快科技10月9日消息，日前有媒體報(bào)道稱，百度正加緊訓(xùn)練文心大模型4.0，已經(jīng)接近可發(fā)布狀態(tài)，這將是文心大模型3.5版本后，又一個(gè)重磅版本。
消息稱，文心大模型4.0進(jìn)展比預(yù)期快很多，將是基礎(chǔ)模型的大升級(jí)，理解、生成、邏輯、記憶核心能力都將提升，特別是在邏輯推理、代碼和數(shù)學(xué)等方面提升最明顯。
根據(jù)我們獲得的最新消息，上述消息基本屬實(shí)。目前了解到，文心大模型4.0實(shí)際上已經(jīng)在小流量測(cè)試。
根據(jù)我們拿到的消息，文心大模型4.0的參數(shù)規(guī)模要大于目前所有公開發(fā)布參數(shù)的LLM，也是國(guó)內(nèi)首次使用萬(wàn)卡集群訓(xùn)練的大模型。這意味著文心大模型4.0的參數(shù)規(guī)模預(yù)計(jì)能突破萬(wàn)億級(jí)別。
萬(wàn)卡集群什么概念？國(guó)內(nèi)之前只有華為、阿里透露已建成萬(wàn)卡AI集群，但我們都沒看到基于它推出的具體模型。萬(wàn)卡集群就不容易建了，如果用起來(lái)發(fā)揮最大化作用則更難了。
據(jù)分析，正是因?yàn)轱w槳的深度聯(lián)合，才能高效地基于萬(wàn)卡集群訓(xùn)練起如此規(guī)模的模型。
不僅訓(xùn)練成本在增加，文心4.0的推理成本比3.5增加很多，我們還沒拿到具體每千token的推理成本，但據(jù)傳大概是此前的8-10倍，這還是在高利用率（MFU）的情況下。如果利用率更低，估計(jì)成本還會(huì)繼續(xù)增加。
不得不說(shuō)，大模型真的很費(fèi)錢。可見，打造領(lǐng)先的底層基礎(chǔ)打模型，就是一場(chǎng)巨頭的游戲。
根據(jù)IDC發(fā)布的首個(gè)大模型評(píng)估報(bào)告《AI大模型技術(shù)能力評(píng)估報(bào)告，2023》，百度文心大模型3.5拿下12項(xiàng)指標(biāo)的7個(gè)滿分，綜合評(píng)分第一，算法模型第一，行業(yè)覆蓋第一，綜合能力在眾多國(guó)產(chǎn)大模型中遙遙領(lǐng)先。
經(jīng)過(guò)全面升級(jí)后，文心大模型4.0的訓(xùn)練速度、推理速度等將進(jìn)一步提升，能否與GPT-4一戰(zhàn)甚至超越后者的表現(xiàn)，我們拭目以待。
