高效靈活的云上基礎(chǔ)設(shè)施，是大模型創(chuàng)業(yè)的必要底座。
7月20日，騰訊云對(duì)外披露助力MiniMax研發(fā)大模型的最新進(jìn)展。目前，騰訊云長期支持MiniMax的千卡級(jí)任務(wù)穩(wěn)定運(yùn)行在騰訊云上，可用性達(dá)99.9%。
MiniMax是一家專注通用大模型研發(fā)的獨(dú)角獸創(chuàng)業(yè)企業(yè)，擁有文本、語音、視覺多種模態(tài)融合的通用大模型引擎能力。研發(fā)過程中，每日億級(jí)的調(diào)用次數(shù)，也帶來了對(duì)算力的海量需求。
從2022年6月起，基于算力集群、云原生、大數(shù)據(jù)、安全等產(chǎn)品能力，騰訊云為MiniMax搭建了從資源層、數(shù)據(jù)層到業(yè)務(wù)層的云架構(gòu)。
在資源層，高性能、高彈性和高穩(wěn)定的算力需要借助專業(yè)的云服務(wù)。騰訊云協(xié)同優(yōu)化單機(jī)算力、網(wǎng)絡(luò)架構(gòu)和存儲(chǔ)性能，為MiniMax構(gòu)建起大規(guī)模、分布式的HCC高性能計(jì)算集群。
借助騰訊自研的星脈網(wǎng)絡(luò)，HCC集群將通信損耗降到更低；CFS Turbo、COS+GooseFS高性能存儲(chǔ)，使得上千個(gè)計(jì)算節(jié)點(diǎn)能同時(shí)高速讀取訓(xùn)練數(shù)據(jù)。
同時(shí)，利用騰訊云容器服務(wù)TKE，MiniMax實(shí)現(xiàn)了對(duì)不同規(guī)格云服務(wù)器的統(tǒng)一管理和調(diào)度，各種類型的應(yīng)用和服務(wù)得以部署在同一套基礎(chǔ)設(shè)施上，資源實(shí)現(xiàn)了高效整合，資源利用率大幅提升；
基于云原生的管理方式，支撐7*24小時(shí)的全局監(jiān)控視角，支持編排、框架、實(shí)例等多層級(jí)的指標(biāo)監(jiān)控。一旦觸發(fā)故障，能夠在5分鐘內(nèi)恢復(fù)任務(wù)、10分鐘內(nèi)恢復(fù)基礎(chǔ)設(shè)施，無需人工干預(yù)完成，能夠最大化保障任務(wù)連續(xù)進(jìn)行。
根據(jù)實(shí)測數(shù)據(jù)，在云底座的支撐下，騰訊云助力MiniMax扛住了激增的并發(fā)計(jì)算量；基于云原生架構(gòu)，MiniMax整體用云成本降低了20%。
在數(shù)據(jù)層，MiniMax在大數(shù)據(jù)分析方面也有大量的任務(wù)需求。
通過騰訊云的數(shù)據(jù)集成DataInlong、流計(jì)算Oceanus、數(shù)據(jù)湖計(jì)算DLC等云原生大數(shù)據(jù)產(chǎn)品提供的數(shù)據(jù)處理能力，對(duì)大量數(shù)據(jù)做實(shí)時(shí)或離線分析，滿足了MiniMax在各個(gè)階段的數(shù)據(jù)分析需求，實(shí)現(xiàn)數(shù)據(jù)的快速靈活部署。以容器化的方式使用大數(shù)據(jù)組件，使得模型驗(yàn)證、推理等任務(wù)得以按計(jì)劃推進(jìn)。
此外，大模型研發(fā)過程中，MiniMax對(duì)云上資產(chǎn)安全、Web業(yè)務(wù)運(yùn)營風(fēng)險(xiǎn)、DDoS攻擊防護(hù)等高度關(guān)注。
通過引入騰訊云的防火墻、WAF、主機(jī)安全、漏洞掃描、數(shù)據(jù)加密、iOA零信任安全管理等一系列安全產(chǎn)品，MiniMax實(shí)現(xiàn)了對(duì)云上資產(chǎn)的全方位保護(hù)，確保業(yè)務(wù)的穩(wěn)定運(yùn)行和數(shù)據(jù)的安全性。
業(yè)務(wù)上云后，基于海量、彈性的算力支撐和大量改進(jìn)調(diào)優(yōu)，MiniMax的大模型研發(fā)得以加速。
MiniMax業(yè)務(wù)副總裁魏偉表示：“成熟的云基礎(chǔ)設(shè)施，既滿足了業(yè)務(wù)彈性與穩(wěn)定性的需要，又提升了研發(fā)效率。MiniMax將進(jìn)一步擴(kuò)大用云規(guī)模，與騰訊云加速訓(xùn)練、推理等更多業(yè)務(wù)場景的云上落地，共同打造面向大模型的云上基礎(chǔ)設(shè)施。相信未來，云計(jì)算會(huì)為AIGC帶來更多可能。”
在算力集群、星脈網(wǎng)絡(luò)、向量數(shù)據(jù)庫之外，騰訊云還推出了涵蓋模型預(yù)訓(xùn)練、模型精調(diào)、智能應(yīng)用開發(fā)的一站式行業(yè)大模型解決方案，助力企業(yè)快速搭建專屬模型。
未來，騰訊云將繼續(xù)通過軟硬一體的方式，持續(xù)加速全社會(huì)云上創(chuàng)新。
