百度近日宣布了一項重大舉措,正式對外開源了其文心大模型4.5系列,這一系列涵蓋了多達10款模型,包括擁有47B和3B激活參數的混合專家(MoE)模型,以及一款0.3B參數的稠密型模型。尤為百度不僅開放了預訓練權重,還一并公開了推理代碼,實現了真正的全面開源。
目前,開發者已經可以在飛槳星河社區、HuggingFace等多個平臺上下載并部署文心大模型4.5系列。同時,百度智能云千帆大模型平臺也提供了開源模型的API服務,進一步降低了使用門檻。
百度此次開源的10款模型,在多個關鍵維度上均展現出了行業領先地位。無論是獨立自研的模型數量,還是模型類型的多樣性、參數的豐富程度,乃至開源的寬松度和可靠性,百度都表現出了強大的競爭力。
文心大模型4.5系列在MoE架構上進行了創新,提出了一種全新的多模態異構模型結構。這種結構不僅適用于從大語言模型向多模態模型的持續預訓練,而且在保持或提升文本任務性能的同時,顯著增強了多模態理解能力。這一突破主要得益于多模態混合專家模型預訓練、高效訓練推理框架以及針對模態的后訓練等關鍵技術。
所有文心大模型4.5系列均基于飛槳深度學習框架進行訓練、推理和部署,實現了高效的資源利用。在大語言模型的預訓練中,模型的FLOPs利用率高達47%,彰顯了飛槳框架的強大性能。
實驗數據表明,文心大模型4.5系列在多個文本和多模態基準測試中均達到了業界領先水平。特別是在指令遵循、世界知識記憶、視覺理解和多模態推理等任務上,其表現尤為突出。
在文本模型方面,文心大模型4.5系列展現出了強大的基礎能力、高事實準確性、出色的指令遵循能力以及卓越的推理和編程能力。在多個主流基準評測中,它甚至超越了DeepSeek-V3、Qwen3等模型,彰顯了其強大的競爭力。
而在多模態模型領域,文心大模型4.5系列同樣表現出色。它擁有卓越的視覺感知能力和豐富的視覺常識,實現了思考與非思考的統一。在視覺常識、多模態推理、視覺感知等主流評測中,它的表現優于閉源的OpenAI o1模型。
文心大模型4.5系列在輕量模型上也取得了顯著成果。例如,文心4.5-21B-A3B-Base文本模型的效果與同量級的Qwen3相當,而文心4.5-VL-28B-A3B多模態模型則是目前同量級中最好的多模態開源模型,其性能甚至與更大參數的Qwen2.5-VL-32B模型不相上下。
文心大模型4.5系列的權重按照Apache 2.0協議進行開源,這為學術研究和產業應用提供了極大的便利。同時,基于飛槳提供的開源產業級開發套件,這些模型可以廣泛兼容多種芯片,進一步降低了模型的后訓練和部署門檻。
作為國內AI研發的先行者之一,百度在算力、框架、模型到應用的全鏈條布局上構建了顯著的AI全棧技術優勢。飛槳作為中國首個自主研發、功能豐富、開源開放的產業級深度學習平臺,經過多年的積累,已經形成了完善的開源技術與生態系統。
此次文心大模型4.5系列的開源發布,還同步升級了文心大模型開發套件ERNIEKit和大模型高效部署套件FastDeploy。這些工具為文心大模型4.5系列及開發者提供了開箱即用的便捷體驗和全流程支持,進一步推動了AI技術的普及和應用。