圖源:視覺中國
備受市場期待的騰訊自研通用大模型“混元”,終于浮出水面。
在9月7日舉辦的2023騰訊全球數字生態大會上,騰訊混元大模型正式亮相,并宣布通過騰訊云對外開放。
據騰訊集團高級執行副總裁、騰訊云與智慧產業事業群CEO湯道生介紹,混元大模型擁有超千億參數規模,預訓練語料超2萬億tokens,具有強大的中文理解與創作能力、邏輯推理能力,以及可靠的任務執行能力,并在解決大模型常見的“幻覺”問題上取得了明顯進步。

此時國內首批大模型應用剛剛通過備案上線,更大規模的市場終于向這一新興技術開放,國產大模型的混戰因此開始進入全新的競爭階段,卷應用而不是卷技術,成為業界共識。
混元大模型,同樣以“實用級”大模型自居。騰訊方面指出,混元大模型從實踐中來,其技術積累來自騰訊豐富的應用場景,且經過多個業務場景充分磨煉,是多次迭代之后的通用技術底座,更能滿足應用需要。
并要向實踐中去。據湯道生透露,目前,騰訊云、騰訊廣告、騰訊游戲、騰訊金融科技、騰訊會議、騰訊文檔、微信搜一搜、QQ瀏覽器等超過50個騰訊業務和產品,已經接入騰訊混元大模型測試,并取得初步效果。
與此同時,湯道生指出,混元大模型還將作為騰訊云MaaS服務的底座,客戶不僅可以直接通過API調用混元,也可以將混元作為基底模型,開發不同產業場景的應用。
從這個角度來看,騰訊再一次展露出它的狡黠。在一場又一場激烈的戰役之中,這家互聯網大廠或許并不會在第一個抵達戰場,但它會花更長的時間排兵布陣、籌備軍糧,在最關鍵的時刻,用最好的狀態沖向沙場。
慢工出細活
在大模型戰場上,混元大模型似乎來得有些遲。
早在6個月前,百度就曾發布文心一言。阿里通義千問、科大迅速星火、華為盤古等一眾大模型緊跟百度的步伐,在接下來的兩三個月時間內密集發布。賽迪顧問數據顯示,截至 2023 年 7 月,中國累計已經有130個大模型問世。
市場因此擔心,騰訊會錯失先發優勢,在后續競爭中處于被動地位。
但在騰訊內部,有著完全不一樣的看法。早在今年5月,騰訊董事會主席馬化騰就曾對外指出,我們認為這是幾百年不遇的、類似發明電的工業革命一樣的機遇。我們也一樣在埋頭研發,但是并不急于早早做完,把半成品拿出來展示。
“對于工業革命來講,早一個月把電燈泡拿出來在長的時間跨度上來看是不那么重要的。關鍵還是要把底層的算法、算力和數據扎扎實實做好。”
相比國內部分廠商直接調用國外開源模型進行訓練的方法,騰訊自研大模型因此走向一條更難但更為正確的道路。
據騰訊集團副總裁蔣杰介紹,混元大模型從第一個token開始從零訓練,掌握了從模型算法到機器學習框架,再到AI基礎設施的全鏈路自研技術。

冷啟動、從零開始,騰訊自研大模型所需時間因此被大大拉長。但也正是得益于此,騰訊才能在一些困擾業界的問題上找到突破口。
如此前不斷被討論的大模型“幻覺”問題。正是因為正確率無法保證,大模型實際的應用場景才會被局限在容錯率高、任務簡單的休閑場景,無法進一步深入。騰訊為此在算法層面進行了一系列自研創新,提高了模型可靠性和成熟度。
如針對大模型容易“胡言亂語”的問題,騰訊優化了預訓練算法及策略,讓混元大模型的幻覺相比主流開源大模型降低了30%至50%;通過強化學習的方法,讓模型學會識別陷阱問題,可以拒絕回答不恰當的用戶問題;通過位置編碼優化,提高了超長文的處理效果和性能。
此外,騰訊的研發團隊還提出了思維鏈的新策略,能夠讓大模型能夠像人一樣結合實際的應用場景進行推理和決策。
與此同時,蔣杰指出,騰訊的自研機器學習框架Angel讓訓練速度相比業界主流框架提升1倍,推理速度比業界主流框架提升1.3倍。
混元大模型因此更能理解上下文的含義,并且有長文記憶能力,可以流暢地進行專業領域的多輪對話。而在文學創作、文本摘要、角色扮演等內容創作上,混元大模型做到充分理解用戶意圖,并高效、準確的給出有時效性的答復。
在發布會上,蔣杰用中國信通院《大規模預訓練模型技術和應用的評估方法》的標準符合性測試結果,來展現混元大模型的能力水平。
在該項評測中,混元大模型共測評66個能力項,在“模型開發”和“模型能力”兩個重要領域的綜合評價均獲得了當前的最高分。在主流的評測集MMLU、CEval和AGI-eval上,混元大模型均有優異的表現。
全面擁抱大模型
在互聯網江湖內,騰訊一直以對產品的精細化調整聞名。這家以社交產品起家的大廠,愿意為一些極其細致的問題做長期持續的投入,將產品做到極致。在國產大模型這場混戰之中,騰訊再度展現出其“產品經理”的底色。
“我們研發大模型的目標不是在評測上獲得高分,而是將技術應用到實際場景中。騰訊將全面擁抱大模型。”蔣杰如此表示。

目前,騰訊已經在豐富的內部場景和應用上,對混元大模型進行了反復錘煉。目前,騰訊云、騰訊廣告、騰訊游戲、騰訊金融科技、騰訊會議、騰訊文檔、微信搜一搜、QQ瀏覽器等超過50個騰訊業務和產品,已經接入騰訊混元大模型測試,并取得初步效果。
發布會上,蔣杰具體展示了騰訊會議、騰訊文檔、騰訊廣告等多個業務接入騰訊混元大模型后的實際應用情況。
比如騰訊會議基于混元大模型打造了AI小助手,只需要簡單的自然語言指令,就能完成會議信息提取、內容分析等復雜任務,會后還能生成智能總結紀要。據實測,在指令理解、會中問答、會議摘要、會議待辦項等多個方面,混元大模型均獲得較高的用戶采納率。
在文檔處理方面,騰訊混元大模型支持數十種文本創作場景,在騰訊文檔推出的智能助手功能中已有應用。同時,混元還能夠一鍵生成標準格式文本,精通數百種Excel公式,支持自然語言生成函數,并基于表格內容生成圖表,目前這些功能正在內測階段,將在成熟后面向用戶開放。
在廣告業務場景,騰訊混元大模型支持智能化的廣告素材創作,能夠適應行業與地域特色,滿足千人千面的需求,實現文字、圖片、視頻的自然融合。此外,基于混元大模型的能力,廣告智能導購能夠幫助商家在企業微信等場景,提升服務質量和服務效率。
與此同時,微信的騰訊混元助手小程序也已經開放內測申請,目前正在排隊審核期。該助手支持AI問答,可以回答各類問題,也能處理多種任務,如獲取知識、解決數學問題、翻譯、提供旅游攻略、工作建議等,可以看作是小程序版的“ChatGPT”。
不過在會后群訪環節中,蔣杰透露,混元大模型已經向相關部門備案,且已獲批。但目前混元大模型的C端基本還是以內部應用和結合一定場景做嘗試為主。
基于行業場景的B端需求,仍是混元大模型目前落地的主要方向。今年6月,騰訊云推出了MaaS解決方案,提供涵蓋模型預訓練、模型精調、智能應用開發等一站式的行業大模型服務。
近期,騰訊云也全面接入Llama 2、Bloom等20多個主流模型,和混元大模型一樣,都支持直接部署調用。客戶可以根據實際需求,基于混元大模型或開源大模型,打造自己專屬的行業大模型。