8月24日,浪潮信息正式發(fā)布大模型智算軟件棧 OGAI。OGAI (Open GenAI Infra)“元腦生智”,是為大模型業(yè)務(wù)提供AI算力系統(tǒng)環(huán)境部署、算力調(diào)度保障及模型開發(fā)管理能力的全棧全流程的智算軟件棧。OGAI由浪潮信息基于大模型自身實(shí)踐與服務(wù)客戶的專業(yè)經(jīng)驗(yàn)而開發(fā),旨在為大模型研發(fā)與應(yīng)用創(chuàng)新全力打造高效生產(chǎn)力,加速生成式AI產(chǎn)業(yè)創(chuàng)新步伐。
大模型是當(dāng)前通用人工智能產(chǎn)業(yè)發(fā)展創(chuàng)新的核心技術(shù)。目前國內(nèi)已發(fā)布的生成式AI模型超過了100個(gè),“百模爭秀”的格局初現(xiàn)。但大模型從研發(fā)到應(yīng)用的各環(huán)節(jié)中,依然面臨諸多挑戰(zhàn),如大模型算力的系統(tǒng)全棧問題、兼容適配問題、性能優(yōu)化問題等。
OGAI是浪潮信息從當(dāng)前大模型算力建設(shè)、模型開發(fā)和應(yīng)用落地的實(shí)際需求出發(fā),秉承全棧全流程、算力充分釋放、實(shí)戰(zhàn)驗(yàn)證提煉的設(shè)計(jì)原則打造而成。OGAI由5層架構(gòu)組成,從L0到L4分別對(duì)應(yīng)基礎(chǔ)設(shè)施層的智算中心OS、系統(tǒng)環(huán)境層的PODsys、調(diào)度平臺(tái)層的AIStation、模型工具層的YLink和多模納管層的MModel。
L0層智算中心OS:面向大模型算力服務(wù)的智能算力運(yùn)管平臺(tái),滿足多租戶以裸金屬為主的彈性AI算力運(yùn)管需求。其中,高效的裸金屬服務(wù)支持分鐘級(jí)部署上千規(guī)模裸金屬節(jié)點(diǎn)并按需進(jìn)行彈性擴(kuò)展,實(shí)現(xiàn)異構(gòu)計(jì)算芯片、IB、RoCE高速網(wǎng)絡(luò)、高性能存儲(chǔ)等環(huán)境一鍵獲取,并實(shí)現(xiàn)計(jì)算、網(wǎng)絡(luò)、數(shù)據(jù)隔離以保障業(yè)務(wù)安全。
L1層PODsys:開源、高效、兼容、易用的智算集群系統(tǒng)環(huán)境部署方案。聚焦智算集群部署場景,從OS、驅(qū)動(dòng)到系統(tǒng)監(jiān)控可視化、資源調(diào)度等集群系統(tǒng)環(huán)境要素全面覆蓋,選用最穩(wěn)定和廣泛兼容的軟件版本,通過一系列腳本工具簡化部署過程,縮短算力上線周期,并可向企業(yè)用戶提供實(shí)施安裝服務(wù)和集群性能校準(zhǔn)的專家服務(wù)。
L2層AIStation:面向大模型開發(fā)的商業(yè)化人工智能算力調(diào)度平臺(tái)。針對(duì)大模型訓(xùn)練中常見的訓(xùn)練中斷難題,可實(shí)現(xiàn)訓(xùn)練異常快速定位,斷點(diǎn)自動(dòng)續(xù)訓(xùn):通過快速定位芯片、網(wǎng)卡、通訊設(shè)備異?；蚬收?實(shí)現(xiàn)全局訓(xùn)練暫停保持,熱備算力自動(dòng)彈性替換,健康節(jié)點(diǎn)快速CheckPoint讀取,實(shí)現(xiàn)斷點(diǎn)自動(dòng)續(xù)訓(xùn)。
L3層YLink:面向大模型數(shù)據(jù)治理、預(yù)訓(xùn)練、微調(diào)的高效工具鏈。聚焦于大模型的數(shù)據(jù)治理、預(yù)訓(xùn)練、微調(diào)等開發(fā)過程,集成了浪潮信息在大模型研發(fā)中的自研工具和開源工具,如數(shù)據(jù)處理工具包(Y-DataKit)、大模型訓(xùn)練工具包(Y-TrainKit)和大模型微調(diào)工具包(Y-FTKit)等等,通過這些多樣且完善的工程化、自動(dòng)化工具,加速大模型的訓(xùn)練和開發(fā)效率。
L4層MModel:提供多模型接入、服務(wù)、評(píng)測等功能的納管平臺(tái)。核心組件包括數(shù)據(jù)集管理、模型納管和評(píng)測,可以方便開發(fā)者和研究人員更好地管理多版本、多類型的基礎(chǔ)大模型與任務(wù)模型,并通過多樣化的評(píng)測數(shù)據(jù)集與評(píng)測任務(wù),對(duì)多個(gè)模型進(jìn)行生成準(zhǔn)確率、推理延遲、推理穩(wěn)定性等指標(biāo)進(jìn)行全面評(píng)估。
浪潮信息高級(jí)副總裁、AI&HPC總經(jīng)理劉軍表示:“OGAI提供完善的工程化、自動(dòng)化工具軟件堆棧,將幫助更多企業(yè)順利跨越大模型研發(fā)應(yīng)用門檻,充分釋放大模型創(chuàng)新生產(chǎn)力。浪潮信息將通過智算系統(tǒng)軟硬件高度協(xié)同進(jìn)行持續(xù)創(chuàng)新,持續(xù)培育繁榮元腦生態(tài),推動(dòng)實(shí)現(xiàn)‘助百模,智千行’,加速生成式AI產(chǎn)業(yè)創(chuàng)新。”
