螞蟻集團旗下的百靈大模型團隊在近期舉辦的螞蟻技術(shù)日上，向外界公布了一項重大決策：他們決定全面開源其多模態(tài)大模型Ming-lite-omni。此舉不僅彰顯了螞蟻集團在人工智能領(lǐng)域的開放姿態(tài)，更在業(yè)界引起了轟動，被視為首個在模態(tài)支持能力上能夠媲美GPT-4o的開源模型。
Ming-lite-omni是基于Ling-lite構(gòu)建而成的，它采用了前沿的MoE（專家混合）架構(gòu)，擁有驚人的220億總參數(shù)和30億激活參數(shù)。這一參數(shù)規(guī)模在當(dāng)前的開源多模態(tài)模型中堪稱翹楚，充分展示了螞蟻集團在大模型技術(shù)領(lǐng)域的深厚底蘊。
值得注意的是，Ming-lite-omni的模型權(quán)重和推理代碼已經(jīng)面向公眾全面開放，未來還將陸續(xù)發(fā)布訓(xùn)練代碼和訓(xùn)練數(shù)據(jù)。這一舉措無疑為全球開發(fā)者提供了寶貴的技術(shù)資源，助力他們在人工智能領(lǐng)域取得更多突破。
事實上，百靈大模型團隊今年的開源步伐從未停歇。他們先后推出了Ling-lite、Ling-plus等大語言模型，以及多模態(tài)大模型Ming-lite-uni和預(yù)覽版Ming-lite-omni。特別是五月中旬開源的Ling-lite-1.5版本，其能力已經(jīng)接近同水位的SOTA水平，性能介于千問4B和8B之間。這一成果成功驗證了300B尺寸SOTA MoE大語言模型在非高端算力平臺上訓(xùn)練的可行性。
在多項理解和生成能力的評測中，Ming-lite-omni的表現(xiàn)與10B量級的多模態(tài)大模型相當(dāng)甚至更優(yōu)。螞蟻集團自豪地表示，Ming-lite-omni是目前已知首個在模態(tài)支持方面能夠與GPT-4o相媲美的開源模型。這一成就不僅為全球開發(fā)者提供了重要的技術(shù)選擇，更為他們樹立了新的參考標(biāo)準(zhǔn)。
百靈大模型團隊的負責(zé)人西亭在介紹技術(shù)路線時強調(diào)：“我們始終堅定地在語言大模型和多模態(tài)大模型上統(tǒng)一使用MoE架構(gòu)，并充分利用非高端算力平臺。這一策略成功證明了國產(chǎn)GPU在訓(xùn)練可比擬GPT-4o模型方面的潛力。”
