【ITBEAR科技資訊】6月14日消息，近日在北京智源大會上，智源研究院發(fā)布了一系列全面開源的大模型，其中包括"悟道3.0"系列以及"悟道·天鷹"(Aquila)語言大模型等領先成果。據ITBEAR科技資訊了解，這一發(fā)布引起了廣泛關注。
據悉，"悟道·天鷹"(Aquila)語言大模型是首個具備中英雙語知識、支持商用許可協(xié)議和國內數據合規(guī)需求的開源語言大模型。該模型是基于中英文高質量語料從零開始訓練的，并通過數據質量控制和多種訓練優(yōu)化方法，在較小的數據集和更短的訓練時間內獲得了比其他開源模型更優(yōu)的性能。
摩爾線程是在此次發(fā)布中扮演重要角色的公司之一。摩爾線程的代碼移植工具"MUSIFY"被廣泛應用于適配大模型。該工具能夠快速將現(xiàn)有的CUDA程序遷移至摩爾線程的MUSA平臺，實現(xiàn)零成本的CUDA代碼自動移植，并且在短時間內完成熱點分析和針對性優(yōu)化，大大縮短了遷移優(yōu)化的周期。這使得大模型的適配成為了一個標準的流水線作業(yè)，為開發(fā)者提供了省時、省力、省事、省心的解決方案。
此外，摩爾線程打造的AI與云計算平臺也能夠運行多種開源大模型，如ChatGLM、Stable Diffusion、LLaMA和"悟道3.0"等，并且支持摩爾線程自研的MUSAChat和MUSABert等模型的部分訓練和推理應用。該平臺基于摩爾線程的元計算統(tǒng)一系統(tǒng)架構MUSA，能夠復用PyTorch開源社區(qū)中的大量模型算子，降低開發(fā)成本。摩爾線程的MT PyTorch支持多種模型的推理，覆蓋CV、NLP、語音等多個領域，不僅能夠運行大模型分布式多卡推理，還能支持單機多卡和多機多卡的分布式訓練。
智源研究院發(fā)布的"悟道3.0"系列開源模型涵蓋了語言、視覺和多模態(tài)等基礎大模型，這無疑將成為自主大語言模型產業(yè)生態(tài)發(fā)展的一個里程碑事件。摩爾線程表示愿意與其他基礎模型供應商深度合作，從硬件、算子和算法多個方面進行優(yōu)化，從而在硬件、軟件、模型和業(yè)務等多個維度上為應用開發(fā)者提供更好的支持，助力大模型更好地賦能千行百業(yè)。
