11月5日，騰訊混元宣布最新開源的MoE模型“混元Large”和圖文生3D模型正式上線。騰訊云TI平臺(tái)也宣布同步開放接入，為廣大用戶、開發(fā)者提供一站式精調(diào)、API調(diào)用及私有化部署服務(wù)。
混元Large模型擁有3890億總參數(shù)量、520億激活參數(shù)量，并支持256K上下文長(zhǎng)度，是目前業(yè)界參數(shù)規(guī)模最大、性能領(lǐng)先的開源MoE模型。基于MoE（Mixture of Experts）結(jié)構(gòu)的優(yōu)越性，混元Large在推理速度和參數(shù)規(guī)模之間取得平衡，顯著提升了模型的處理能力。測(cè)試結(jié)果顯示，混元Large在CMMLU、MMLU、Ceval、AGIeval等多學(xué)科評(píng)測(cè)集以及中英文NLP任務(wù)、代碼、數(shù)學(xué)等9大維度表現(xiàn)出色，超越Llama3和Mixtral等主流開源模型。
騰訊云TI平臺(tái)在國(guó)內(nèi)首批完成混元大模型的適配和上架，為企業(yè)和開發(fā)者提供一鍵精調(diào)和推理服務(wù)，進(jìn)一步擴(kuò)展了騰訊云在大模型領(lǐng)域的生態(tài)布局，為產(chǎn)業(yè)智能化升級(jí)提供了強(qiáng)有力的技術(shù)和平臺(tái)支持。騰訊混元大模型之外，目前平臺(tái)也已廣泛接入了Llama 3、Baichuan等市場(chǎng)主流開源大模型，支持快速發(fā)起訓(xùn)練任務(wù)或部署推理服務(wù)，使用流程簡(jiǎn)單、開發(fā)效率高。
實(shí)戰(zhàn)導(dǎo)向的大模型精調(diào)工具鏈，提升企業(yè)業(yè)務(wù)效能
騰訊云TI平臺(tái)致力于打造實(shí)戰(zhàn)型大模型精調(diào)工具鏈，幫助用戶訓(xùn)練出符合業(yè)務(wù)需求的高效模型，縮短開發(fā)周期并提升研發(fā)效率。平臺(tái)支持靈活的數(shù)據(jù)準(zhǔn)備和標(biāo)注流程，并提供一鍵啟動(dòng)精調(diào)和推理任務(wù)的功能，大幅簡(jiǎn)化企業(yè)級(jí)用戶的操作流程。
精調(diào)之前的數(shù)據(jù)準(zhǔn)備從繁瑣的數(shù)據(jù)清洗到耗時(shí)的數(shù)據(jù)標(biāo)注都需要一個(gè)高效的工具平臺(tái)，一份高質(zhì)量的訓(xùn)練數(shù)據(jù)對(duì)精調(diào)模型達(dá)標(biāo)起著至關(guān)重要的作用。騰訊云 TI 平臺(tái)沉淀了優(yōu)圖算法專家清洗大模型訓(xùn)練數(shù)據(jù)的優(yōu)質(zhì)Pipeline，支持開箱即用。平臺(tái)面向大語(yǔ)言模型和多模態(tài)大模型的標(biāo)注工具非常靈活，基于數(shù)據(jù)集 Schema，可完全自定義工作臺(tái)，支持的大模型標(biāo)注場(chǎng)景包括但不限于高質(zhì)量文本問(wèn)答對(duì)篩選、文本數(shù)據(jù)清洗、圖片問(wèn)答對(duì)審核/修改、圖片問(wèn)答競(jìng)品評(píng)測(cè)、圖片多輪問(wèn)答、多模態(tài)閱讀理解、圖片文本描述等所有文生文、圖生文類的場(chǎng)景。騰訊云TI 平臺(tái)具備卓越的云原生特性，對(duì)接用戶的云文件系統(tǒng)后，無(wú)需數(shù)據(jù)拷貝，標(biāo)注結(jié)果直接保存在原文件路徑。
在精調(diào)訓(xùn)練階段，騰訊云TI平臺(tái)內(nèi)置了騰訊混元模型及其他主流開源模型，用戶可以一鍵發(fā)起精調(diào)任務(wù)。通過(guò)硬件容錯(cuò)、容器調(diào)度、任務(wù)斷點(diǎn)續(xù)訓(xùn)的三層保障機(jī)制，平臺(tái)確保大規(guī)模訓(xùn)練任務(wù)的穩(wěn)定性。另外，借助騰訊自研的Angel加速機(jī)制，騰訊云TI平臺(tái)整體提升了訓(xùn)練性能30%，不僅加快了混元大模型的精調(diào)過(guò)程，還有效降低了資源消耗。
與此同時(shí)，騰訊云TI平臺(tái)還提供了一整套完善的模型評(píng)測(cè)工具，包括在線輕量體驗(yàn)、客觀評(píng)測(cè)以及主觀評(píng)測(cè)。這些評(píng)測(cè)功能讓企業(yè)能夠根據(jù)實(shí)際業(yè)務(wù)需求，對(duì)模型效果進(jìn)行全方位的驗(yàn)證，確保在應(yīng)用場(chǎng)景中的高效表現(xiàn)。
全面適配國(guó)產(chǎn)算力，滿足異構(gòu)計(jì)算需求
目前，騰訊云TI平臺(tái)已完成對(duì)國(guó)產(chǎn)計(jì)算卡的適配，有效滿足了相關(guān)企業(yè)對(duì)安全性和獨(dú)立性的高標(biāo)準(zhǔn)要求。
在適配過(guò)程中，騰訊云憑借騰訊優(yōu)圖實(shí)驗(yàn)室在相關(guān)訓(xùn)練方面的豐富經(jīng)驗(yàn)，成功應(yīng)對(duì)了千卡規(guī)模集群中的多項(xiàng)技術(shù)挑戰(zhàn)。最新支持異構(gòu)算力的統(tǒng)一納管，實(shí)現(xiàn)了ARM架構(gòu)和X86架構(gòu)芯片服務(wù)器算力資源可通過(guò)一個(gè)控制臺(tái)進(jìn)行統(tǒng)一納管，在當(dāng)下算力資源緊張的情況下，幫助客戶最大限度整合現(xiàn)有資源。
通過(guò)優(yōu)化系統(tǒng)架構(gòu)和技術(shù)流程，騰訊云TI平臺(tái)有效解決了性能、兼容性等關(guān)鍵問(wèn)題，確保了混元大模型在國(guó)產(chǎn)硬件上的流暢運(yùn)行，保障用戶在自主可控環(huán)境中仍然可以獲得卓越的算力和推理性能。
推動(dòng)大模型生態(tài)建設(shè)，助力行業(yè)智能化轉(zhuǎn)型
混元大模型成功上架騰訊云TI平臺(tái)，標(biāo)志著騰訊云在大模型生態(tài)建設(shè)上邁出全新一步。目前，騰訊在大模型領(lǐng)域已經(jīng)構(gòu)建了一套全鏈路產(chǎn)品矩陣，涵蓋從底層豐富基礎(chǔ)設(shè)施到頂層多元智能應(yīng)用。包括自研通用大模型、模型開發(fā)平臺(tái)、智能體開發(fā)平臺(tái)，以及針對(duì)不同場(chǎng)景定制的智能應(yīng)用解決方案等。通過(guò)這些產(chǎn)品和方案，致力于助力企業(yè)客戶高效地將大模型技術(shù)應(yīng)用到實(shí)際業(yè)務(wù)場(chǎng)景中，實(shí)現(xiàn)快速部署和價(jià)值創(chuàng)造。
在醫(yī)療行業(yè)，騰訊云攜手上海市數(shù)字醫(yī)學(xué)創(chuàng)新中心，共研醫(yī)學(xué)大模型，目前在瑞金醫(yī)院實(shí)現(xiàn)了總檢報(bào)告和電子病歷生成等相關(guān)項(xiàng)目的落地應(yīng)用。以體檢報(bào)告生成為例，平均每5秒即可自動(dòng)生成一份總檢報(bào)告，為醫(yī)生節(jié)約50%+的撰寫時(shí)間。
在文娛行業(yè)，閱文集團(tuán)一直利用大模型能力持續(xù)提升其用戶寫作和插圖制作效率，但面臨模型迭代快、更新復(fù)雜和推理成本高昂等問(wèn)題。騰訊云TI平臺(tái)的應(yīng)用簡(jiǎn)化了模型訓(xùn)練配置，通過(guò)加速框架提升了推理速度，同時(shí)提供了易于使用的管理工具，助力持續(xù)解決上述難題。
大模型時(shí)代，算力、網(wǎng)絡(luò)、數(shù)據(jù)構(gòu)成了底層基礎(chǔ)設(shè)施的“鐵三角”。除了提供一站式AI大模型服務(wù)之外，騰訊云還為客戶提供了HCC高性能計(jì)算集群、星脈高性能計(jì)算網(wǎng)絡(luò)以及向量數(shù)據(jù)庫(kù)等基礎(chǔ)設(shè)施服務(wù)。
不斷為千行百業(yè)打造行業(yè)大模型解決方案的同時(shí)，騰訊云也在積極參與行業(yè)大模型標(biāo)準(zhǔn)的制定。在金融領(lǐng)域，騰訊云與信通院合作，發(fā)布了國(guó)內(nèi)首個(gè)金融行業(yè)大模型標(biāo)準(zhǔn)，為智能化發(fā)展和大模型的安全合規(guī)提供了支持；在醫(yī)療健康領(lǐng)域，騰訊參與編寫的《人工智能大模型賦能醫(yī)療健康產(chǎn)業(yè)白皮書（2023年）》已發(fā)布，旨在推動(dòng)醫(yī)療健康大模型的發(fā)展并提出標(biāo)準(zhǔn)建議。
與此同時(shí)，騰訊還被選舉為全國(guó)信標(biāo)委人工智能分委會(huì)委員兼副秘書長(zhǎng)單位，作為核心成員，承擔(dān)了更多標(biāo)準(zhǔn)制定工作以及技術(shù)引領(lǐng)作用。未來(lái)，騰訊云將持續(xù)優(yōu)化技術(shù)，推動(dòng)大模型生態(tài)建設(shè)，加速千行百業(yè)應(yīng)用落地，為各行業(yè)的數(shù)字化轉(zhuǎn)型提供有力支持。
