【ITBEAR】在大模型技術(shù)蓬勃發(fā)展的浪潮中,存儲(chǔ)系統(tǒng)作為支撐其高效運(yùn)行的關(guān)鍵基石,正經(jīng)歷著前所未有的變革。這一變革不僅體現(xiàn)在技術(shù)層面的迭代升級(jí),更在于市場(chǎng)格局的深刻重塑。
存儲(chǔ),這一在AI產(chǎn)業(yè)中常常被忽視卻至關(guān)重要的環(huán)節(jié),正逐步從大模型的幕后走向臺(tái)前。它不僅需要承載海量多模態(tài)數(shù)據(jù)的存儲(chǔ)與管理,還要確保數(shù)據(jù)的安全可靠,同時(shí)支持快速數(shù)據(jù)讀取、并行計(jì)算、實(shí)時(shí)數(shù)據(jù)獲取以及緩存優(yōu)化,以提升訓(xùn)練與推理效率。隨著大模型產(chǎn)業(yè)的飛速發(fā)展,存儲(chǔ)系統(tǒng)的要求也水漲船高,傳統(tǒng)存儲(chǔ)方案已難以滿(mǎn)足當(dāng)前的需求。
近日,全球權(quán)威AI基準(zhǔn)測(cè)評(píng)組織MLCommons公布的MLPerf v1.0存儲(chǔ)性能基準(zhǔn)測(cè)試結(jié)果,揭示了存儲(chǔ)領(lǐng)域的新格局。國(guó)內(nèi)存儲(chǔ)廠(chǎng)商焱融科技憑借其全閃存儲(chǔ)產(chǎn)品F9000X,在帶寬、模擬GPU數(shù)量以及GPU利用率等關(guān)鍵性能指標(biāo)上,取得了多項(xiàng)世界第一,標(biāo)志著國(guó)內(nèi)AI存儲(chǔ)技術(shù)的重大突破。
焱融科技CTO張文濤表示,大模型的發(fā)展對(duì)存儲(chǔ)系統(tǒng)在性能、穩(wěn)定性和成本方面提出了更高要求。為滿(mǎn)足這些需求,焱融科技不斷進(jìn)行產(chǎn)品研發(fā)和優(yōu)化,最終推出了全閃F9000X這一里程碑式產(chǎn)品。該產(chǎn)品搭載了自研的高性能分布式并行文件存儲(chǔ)YRCloudFile,實(shí)測(cè)顯示,3節(jié)點(diǎn)存儲(chǔ)集群的性能可達(dá)到750萬(wàn)IOPS和270GBps帶寬,輕松應(yīng)對(duì)大規(guī)模訓(xùn)練及高算力場(chǎng)景的挑戰(zhàn)。
MLPerf Storage的測(cè)試結(jié)果不僅驗(yàn)證了焱融科技產(chǎn)品的卓越性能,更揭示了存儲(chǔ)系統(tǒng)在大模型訓(xùn)練與推理中的重要性。在測(cè)試中,焱融科技是唯一一家參與了全部模型測(cè)試的國(guó)內(nèi)存儲(chǔ)廠(chǎng)商,包括3D-Unet、CosmoFlow和ResNet 50等。測(cè)試規(guī)則要求存儲(chǔ)系統(tǒng)支持大規(guī)模分布式訓(xùn)練集群場(chǎng)景,多個(gè)客戶(hù)端模擬真實(shí)數(shù)據(jù)并行的方式并發(fā)訪(fǎng)問(wèn)存儲(chǔ)集群,以評(píng)估存儲(chǔ)系統(tǒng)在支持機(jī)器學(xué)習(xí)工作負(fù)載方面的性能。
測(cè)試結(jié)果顯示,在分布式訓(xùn)練集群場(chǎng)景下,焱融存儲(chǔ)在所有三個(gè)模型的測(cè)試中,能夠支撐的每個(gè)計(jì)算節(jié)點(diǎn)平均ACC數(shù)量和存儲(chǔ)帶寬性能均排名第一。這意味著焱融存儲(chǔ)能夠高效利用GPU資源,提升模型訓(xùn)練效率,同時(shí)降低成本。張文濤指出,高效的算力利用率和成本效益是存儲(chǔ)系統(tǒng)在大模型場(chǎng)景中的兩大關(guān)鍵點(diǎn)。
焱融科技的成功并非偶然。自成立以來(lái),公司始終專(zhuān)注于文件存儲(chǔ)領(lǐng)域,是SDS賽道中唯一一家專(zhuān)注于此的企業(yè)。在私有云崛起、開(kāi)源云計(jì)算管理平臺(tái)OpenStack爆火、開(kāi)源容器編排引擎Kubernetes剛面世的背景下,焱融科技敏銳地洞察到了文件存儲(chǔ)在未來(lái)AI和高性能計(jì)算場(chǎng)景中的潛力。
隨著AI技術(shù)的不斷發(fā)展,文件存儲(chǔ)的優(yōu)勢(shì)逐漸凸顯。與塊存儲(chǔ)和對(duì)象存儲(chǔ)相比,文件存儲(chǔ)在處理海量文件、高并發(fā)訪(fǎng)問(wèn)、頻繁的元數(shù)據(jù)操作等AI工作負(fù)載時(shí)表現(xiàn)出獨(dú)特的優(yōu)勢(shì)。焱融科技憑借對(duì)技術(shù)路線(xiàn)的深刻洞察和堅(jiān)持不懈的追求,成功將文件存儲(chǔ)與大模型等高性能計(jì)算場(chǎng)景的需求相結(jié)合,推出了多款備受市場(chǎng)認(rèn)可的存儲(chǔ)產(chǎn)品。
自2018年起,焱融科技開(kāi)始大量上線(xiàn)大規(guī)模集群,成功服務(wù)了包括智譜AI、智源研究院、中國(guó)移動(dòng)、海爾、美的在內(nèi)的眾多行業(yè)領(lǐng)軍企業(yè)。2021年,公司進(jìn)一步入局自動(dòng)駕駛行業(yè),與多家知名的自動(dòng)駕駛技術(shù)公司達(dá)成合作。這些成功案例不僅驗(yàn)證了焱融科技產(chǎn)品的卓越性能,更彰顯了其在AI存儲(chǔ)領(lǐng)域的領(lǐng)先地位。
如今,焱融科技已成為大模型時(shí)代存儲(chǔ)領(lǐng)域的佼佼者。其全閃F9000X產(chǎn)品不僅在國(guó)內(nèi)市場(chǎng)取得了顯著成績(jī),更在國(guó)際舞臺(tái)上展現(xiàn)了中國(guó)AI存儲(chǔ)技術(shù)的實(shí)力。未來(lái),隨著大模型技術(shù)的不斷發(fā)展和應(yīng)用場(chǎng)景的不斷拓展,焱融科技將繼續(xù)深耕AI存儲(chǔ)領(lǐng)域,為更多企業(yè)提供高效、穩(wěn)定、低成本的存儲(chǔ)解決方案。