近日，面壁智能公司正式揭曉了其最新研發(fā)成果——端側(cè)大模型MiniCPM 4.0，這一發(fā)布在科技圈內(nèi)引起了廣泛關(guān)注。據(jù)官方消息，該模型在6月6日晚間正式亮相，通過其自主研發(fā)的CPM.cu推理框架，實(shí)現(xiàn)了前所未有的性能提升。
此次發(fā)布的MiniCPM 4.0系列包含兩款不同規(guī)格的LLM模型，分別為8B和0.5B參數(shù)規(guī)模。其中，8B版本被命名為“閃電稀疏版”，采用了創(chuàng)新的稀疏架構(gòu)，旨在提供高效且強(qiáng)大的處理能力。而0.5B版本則以其小巧靈活著稱，被形象地稱為“最強(qiáng)小小鋼炮”。
面壁智能在解決長、短文本處理難題上取得了顯著進(jìn)展。MiniCPM 4.0-8B版本引入了“高效雙頻換擋”機(jī)制，能夠根據(jù)任務(wù)特性自動調(diào)整注意力模式。在處理復(fù)雜的長文本和深度思考任務(wù)時，該模型會啟用稀疏注意力模式以降低計算成本；而在處理短文本時，則切換至稠密注意力模式，以確保結(jié)果的準(zhǔn)確性。這一機(jī)制使得MiniCPM 4.0在長、短文本處理之間切換自如，實(shí)現(xiàn)了高效響應(yīng)。
MiniCPM 4.0還憑借其內(nèi)置的CPM.cu推理框架，在模型壓縮、量化以及端側(cè)部署等方面實(shí)現(xiàn)了重大創(chuàng)新。據(jù)官方介紹，這些創(chuàng)新使得模型體積縮小了90%，同時提升了運(yùn)行速度。特別是在極限場景下，MiniCPM 4.0的推理速度甚至達(dá)到了之前的220倍，而在常規(guī)場景下也有5倍的提升。這一突破性的性能提升，使得MiniCPM 4.0在端側(cè)推理領(lǐng)域具備了顯著的競爭優(yōu)勢。
MiniCPM 4.0還支持在多個開源框架上部署，包括vLLM、SGLang、LlamaFactory和XTuner等。這一兼容性使得用戶能夠根據(jù)自己的需求選擇合適的框架，進(jìn)一步拓展了MiniCPM 4.0的應(yīng)用場景。
