在AI技術(shù)日新月異的今天，ChatGPT的橫空出世無(wú)疑為整個(gè)行業(yè)點(diǎn)燃了一把熊熊烈火。這款在2022年一經(jīng)發(fā)布便迅速吸引全球目光的AI模型，短短兩個(gè)月內(nèi)便收獲了1億注冊(cè)用戶，不僅極大地激發(fā)了公眾對(duì)人工智能的期待，也讓業(yè)界看到了AI大模型技術(shù)的無(wú)限潛力。
近年來(lái)，AI大模型如雨后春筍般不斷涌現(xiàn)，據(jù)中國(guó)信通院數(shù)據(jù)顯示，截至2024年7月，全球AI大模型數(shù)量已高達(dá)1328個(gè)，其中中國(guó)的大模型數(shù)量占比達(dá)到了36%。隨著技術(shù)的不斷進(jìn)步，模型的研發(fā)和應(yīng)用也從最初的大語(yǔ)言模型擴(kuò)展到了多模態(tài)模型。然而，算力、網(wǎng)絡(luò)等基礎(chǔ)設(shè)施的優(yōu)化仍然是AI大模型賴以生存和發(fā)展的關(guān)鍵。
在這個(gè)被稱為中國(guó)大模型“洗牌年”的關(guān)鍵時(shí)刻，近日，國(guó)內(nèi)知名AI大模型獨(dú)角獸MiniMax的副總裁劉華與騰訊云北區(qū)云原生總經(jīng)理田豐接受了包括智東西在內(nèi)的多家媒體的采訪，共同探討了算力、網(wǎng)絡(luò)對(duì)AI大模型落地應(yīng)用的影響。
MiniMax，這家成立于2021年12月的公司，被譽(yù)為“國(guó)產(chǎn)大模型六小虎”之一。自成立以來(lái)，MiniMax便致力于自主研發(fā)多模態(tài)通用大模型，包括萬(wàn)億參數(shù)的MoE文本大模型、語(yǔ)音和音樂大模型、圖像大模型以及視頻大模型等。基于這些通用大模型，MiniMax推出了智能助手“海螺AI”、AI陪伴產(chǎn)品“星野”“Talkie”等面向C端的應(yīng)用，并通過(guò)其開放平臺(tái)為企業(yè)和開發(fā)者提供API服務(wù)。
在采訪中，劉華從AI大模型公司的角度出發(fā)，談到了多模態(tài)大模型在應(yīng)用過(guò)程中所面臨的算力成本問題。他指出，隨著大模型從處理文本任務(wù)擴(kuò)展到語(yǔ)音任務(wù)、視頻任務(wù)，算力需求急劇增加。如果用token來(lái)計(jì)算，一個(gè)小視頻的tokens數(shù)量遠(yuǎn)遠(yuǎn)超過(guò)了一篇文章的tokens數(shù)量。因此，為了讓新技術(shù)落地并讓更多企業(yè)或個(gè)人接受，必須確保大模型能夠以高性價(jià)比的方式處理大規(guī)模的輸入或輸出。
作為MiniMax的長(zhǎng)期合作伙伴，騰訊云自MiniMax成立之初便與其建立了合作關(guān)系，為其提供算力、網(wǎng)絡(luò)等基礎(chǔ)設(shè)施支持。田豐在采訪中分享了這兩三年來(lái)他對(duì)客戶需求變化的觀察。他表示，大模型公司客戶對(duì)算力的需求從早期的千卡集群到現(xiàn)在的上萬(wàn)卡，甚至未來(lái)可能達(dá)到十萬(wàn)卡。這種規(guī)模的增長(zhǎng)對(duì)云服務(wù)的組網(wǎng)能力、集群運(yùn)維都帶來(lái)了全新的挑戰(zhàn)。
特別是在網(wǎng)絡(luò)方面，田豐強(qiáng)調(diào)，訓(xùn)練萬(wàn)億參數(shù)的大模型時(shí)，傳統(tǒng)的網(wǎng)絡(luò)協(xié)議容易造成擁堵和高延時(shí)。0.1%的丟包率都可能導(dǎo)致50%的續(xù)訓(xùn)效率下降，中斷恢復(fù)后需要從上一個(gè)續(xù)訓(xùn)點(diǎn)繼續(xù)訓(xùn)練，這對(duì)萬(wàn)億規(guī)模的模型訓(xùn)練來(lái)說(shuō)是一個(gè)巨大的損失。因此，優(yōu)化網(wǎng)絡(luò)傳輸通訊效率成為了一個(gè)亟待解決的問題。
田豐還提到，并不是所有的大模型廠商都需要十萬(wàn)卡的算力，十萬(wàn)卡的訓(xùn)練效率也并不一定大于萬(wàn)卡的訓(xùn)練效率。關(guān)鍵在于優(yōu)化和調(diào)整GPU資源的利用率，以及提高網(wǎng)絡(luò)傳輸通訊的效率。只有這樣，才能在不斷增長(zhǎng)的算力需求中保持競(jìng)爭(zhēng)力。
在AI大模型行業(yè)進(jìn)入淘汰賽階段的當(dāng)下，算力、技術(shù)、產(chǎn)品都成為競(jìng)爭(zhēng)的關(guān)鍵要素。中國(guó)大模型的“洗牌年”里，大模型公司和云服務(wù)廠商都在積極應(yīng)對(duì)挑戰(zhàn)，尋求突破。正如劉華在采訪中所說(shuō)：“實(shí)踐是檢驗(yàn)AI的唯一標(biāo)準(zhǔn)。AI大模型是一場(chǎng)長(zhǎng)跑，投資人和創(chuàng)業(yè)者都需要有信心和耐心。炫酷的技術(shù)最終還是要落實(shí)到商業(yè)化本身，要盈利去賺錢。”
