IT行業(yè)變化太快，不變的唯有變化。如今，在OpenAI的直接帶動或刺激下，大模型已經(jīng)成為企業(yè)間競爭的新焦點，這不僅加速了更多大模型的開發(fā)與訓(xùn)練，還促使企業(yè)在其原有的產(chǎn)品中融入大模型的能力，以便在新的范式轉(zhuǎn)換和技術(shù)進步中搶占先機。
“對于青云來說，AI時代將是一個全新的機遇，它將會帶來長達10年、比過去10年更大的市場需求和機會。”青云科技總裁林源如是說。而在AI大模型這一輪技術(shù)進步中，支撐人工智能所需的算力自然也成為關(guān)注的焦點?；趯I算力需求的洞察，9月19日青云全新發(fā)布青云AI算力調(diào)度平臺、青云AI算力云等產(chǎn)品與服務(wù)。
我國AI算力發(fā)展迎來黃金期
隨著AI大模型的發(fā)展，算力的重要性日益凸顯。以ChatGPT為例，根據(jù)相關(guān)調(diào)查數(shù)據(jù)，ChatGPT的總算力消耗約為3640PF-days，需要7到8個投資規(guī)模為30億、計算能力為500P的數(shù)據(jù)中心才能支持其運行。值得注意的是，AI訓(xùn)練任務(wù)中的算力增長速度極快，每3.5個月就會翻一倍。
在算力需求提升的同時，算力已成為推動數(shù)字經(jīng)濟發(fā)展的核心力量。《中國綜合算力指數(shù)（2023年）》的最新數(shù)據(jù)顯示，截至2023年6月底，我國算力總規(guī)模已經(jīng)達到了197EFLOPS，全國在用數(shù)據(jù)中心機架總規(guī)模超過760萬標準機架，位列世界第二。我國算力總規(guī)模近五年年均增速近30%。
特別是AI大模型等技術(shù)的發(fā)展，引發(fā)了AI算力需求的進一步增長。在當(dāng)前的算力規(guī)模下，智能算力規(guī)模占整體算力規(guī)模的比例已經(jīng)提高到了25.4%，同比增長達到了45%，比算力規(guī)模整體增速高出了15個百分點。林源表示：“在AI的刺激下，算力需求呈現(xiàn)出飛速增長的趨勢，相較于傳統(tǒng)的CPU時代的需求，它已經(jīng)增長了10倍、100倍甚至更多。”
一大批重大工程項目，也進一步推動了算力產(chǎn)業(yè)的快速發(fā)展。其中，超算中心和智算中心的建設(shè)是重要舉措之一。自2009年以來，科技部批準了14所國家超級計算中心，分布于天津、濟南、無錫、昆山、深圳等地。同時，各地也積極投入智算中心的建設(shè)之中。據(jù)公開報道，截至今年8月15日，全國至少有30座城市已經(jīng)建成或正在建設(shè)智算中心，這還不包括企業(yè)自主建設(shè)的智算中心。
AI驅(qū)動下，智算中心面臨哪些挑戰(zhàn)？
AI算力產(chǎn)業(yè)的發(fā)展既是機遇又是挑戰(zhàn)。
林源認為，AI和大模型是重大生產(chǎn)力的變革，在這場技術(shù)推動的市場變革中，客戶需求、算力需求、應(yīng)用需求和底層架構(gòu)都在發(fā)生變化。在過去十年，無論是面向C端的移動互聯(lián)網(wǎng)還是面向B端的數(shù)字化，主要基于CPU進行應(yīng)用革新。然而，隨著AI的普及，幾乎所有應(yīng)用都需要擁抱AI技術(shù)或被AI改造，使得GPU的需求量增加。
不僅如此，在東數(shù)西算的趨勢下，未來AI應(yīng)用將在追求效率的同時，更加注重成本效益，從而推動算力從延遲低的東部沿海地區(qū)向價格更便宜的西部地區(qū)發(fā)展，未來算力分布將更加分散。此外，隨著AI和云原生技術(shù)的不斷發(fā)展，客戶業(yè)務(wù)將更加復(fù)雜，業(yè)態(tài)將更加豐富，對技術(shù)和平臺的挑戰(zhàn)也將越來越多。
尤其是在智算中心建設(shè)和運營過程中，其設(shè)計合規(guī)化如何考量，超算、智算、通算等多元算力如何做到統(tǒng)一調(diào)度，傳統(tǒng)應(yīng)用、云原生應(yīng)用、AI應(yīng)用如何同時兼顧，如何支持異構(gòu)CPU/GPU，如何提供高效網(wǎng)絡(luò)與存儲，如何實現(xiàn)高效地運維與運營等，都是需要考慮的問題?？梢哉f，智算中心建設(shè)后的運營成為關(guān)鍵挑戰(zhàn)。
如何充分應(yīng)對這些挑戰(zhàn)？在筆者看來，未來算力將像水、電一樣成為公共資源，隨著算力規(guī)模的擴大，算力調(diào)度和交易將會被用于解決算力的供需問題。
九大關(guān)鍵能力，解讀AI算力調(diào)度平臺
基于自身經(jīng)驗與實踐，青云科技也給出相應(yīng)的答案——AI算力調(diào)度平臺，并為行業(yè)提供了一份可參考的范式。青云科技產(chǎn)品經(jīng)理苗慧表示：“AI算力調(diào)度平臺作為算力中心建設(shè)運營的新模式，目的是像管理本地資源一樣，管理AI基礎(chǔ)設(shè)施，提供多元算力調(diào)度，提供智能化的算力調(diào)度，保證算力能快速建立起來。”
據(jù)悉，青云AI算力調(diào)度平臺正在根據(jù)多種芯片支持、全生命周期管理、多種AIGC模型一站式交付、多元計算能力等進行優(yōu)化與研發(fā)，為算力中心提供更好地支持和服務(wù)。
苗慧透露，青云AI算力調(diào)度平臺具備九大關(guān)鍵能力，分別為多區(qū)域多業(yè)務(wù)資源整合、混合組網(wǎng)、容器推理服務(wù)平臺、分布式調(diào)度與管理、算法開發(fā)支持、模型倉庫（MaaS）、AI訓(xùn)練平臺、靈活調(diào)度、高速并行存儲。
在多區(qū)域多業(yè)務(wù)資源整合方面，青云科技通過多區(qū)域、多中心、多Zone的形式納入到云平臺上統(tǒng)一管理。在進行資源調(diào)度時，青云科技采用就近原則對后端服務(wù)器、資源組設(shè)置路徑標簽，以供用戶就近調(diào)用。
在資源調(diào)度方面，青云科技可以實現(xiàn)立即調(diào)度擴容數(shù)萬卡資源、通信鏈路最短優(yōu)先調(diào)度、支持異構(gòu)平臺、感知作業(yè)級單卡調(diào)度顆粒度、廣泛的調(diào)度選項，以及動態(tài)靈活的資源調(diào)度等關(guān)鍵能力。苗慧表示：“青云所有的節(jié)點、服務(wù)器、存儲設(shè)備都有相應(yīng)的路徑標簽，可供用戶設(shè)置路徑距離，并且青云通過該算法，計算最短通信鏈路，以確保兩個節(jié)點在一個交換機內(nèi)，減少數(shù)據(jù)的傳輸損耗。”
在AI訓(xùn)練方面，青云提供了一個在線訓(xùn)練平臺，專注于將高性能計算和GPU卡等資源集成起來。在這個專屬的環(huán)境中，青云提供了GPU服務(wù)器在線申請和構(gòu)建集群的功能，所有的網(wǎng)絡(luò)和環(huán)境都可以一鍵生成。此外，青云還針對行業(yè)內(nèi)常用的模型和小工具進行了集成，使用戶能夠更方便地進行訓(xùn)練和應(yīng)用。
林源認為，AI算力調(diào)度平臺是智算中心運營者的關(guān)鍵工具，將幫其建立從建設(shè)到運營的閉環(huán)。林源透露，青云AI算力調(diào)度平臺已經(jīng)在國家超算濟南中心成功應(yīng)用。
依托生態(tài)的力量，打造AI算力云
在會上，青云還發(fā)布AI算力云產(chǎn)品。林源介紹：“AI算力云是以青云為主，以生態(tài)聯(lián)合的方式，對外運營的AI算力服務(wù)。”青云發(fā)布的AI算力云為何要借助生態(tài)的力量？又是如何運營AI算力云的？這是有一定的原因的。
傳統(tǒng)模式下，大廠喜歡從底層IDC到軟件、PaaS都進行自建、自投和自營，但這種模式會導(dǎo)致研發(fā)成本高昂，壓力增大。而在AI時代，每一層的成本都比過去更高，例如大模型的研發(fā)需要大量人力、算力和時間，同時還需要成熟的算力調(diào)度平臺和IDC建設(shè)。因此，雖然一個大廠可以選擇從上到下都自己干，但這樣做會非常吃力和費勁，并且成本也會更高。
相比傳統(tǒng)模式，青云打造的AI算力云有其一定的優(yōu)勢：從客戶的角度來看，他們需要一個完整的解決方案，包括有機房、算力、調(diào)度平臺、模型驅(qū)動、模型、Model Service和上面的應(yīng)用；從供應(yīng)商的角度來看，每層都需要專業(yè)的技術(shù)和長時間的積累和巨大的投入。
林源認為，在AI領(lǐng)域，一定會出現(xiàn)巨頭，但這些巨頭不應(yīng)該是一家獨立的公司，而應(yīng)該是一個一個良好的生態(tài)合作體系，需要各家公司協(xié)同合作，共同推動AI技術(shù)的進步和發(fā)展。
“青云AI算力云服務(wù)的定位是一個開放的生態(tài)同盟，所以青云在集結(jié)志同道合的合作伙伴，通過‘同盟’的方式一起運營AI算力云服務(wù)。”林源如是說。青云也將通過開放的、成熟的、可運營的一個AI算力調(diào)度平臺，通過自營、合營乃至支撐第三方運營的方式，與生態(tài)同盟一起貢獻AI Cloud。據(jù)悉，青云AI算力云能夠提供算力資源、存儲資源，以及鏡像倉庫、容器推理、高速IB網(wǎng)絡(luò)等能力。
青云認為，未來AI時代，企業(yè)一定是通過算力服務(wù)、算法和模型、高價值的數(shù)據(jù)來實現(xiàn)智能化，這也是AI生態(tài)體系的價值所在。青云AI算力云服務(wù)主要圍繞AI算力基礎(chǔ)設(shè)施的生態(tài)共享、AI算力大模型的資源整合以及AI數(shù)據(jù)資源的生態(tài)整合。
據(jù)筆者了解，青云AI算力組件生態(tài)已有英特爾、英偉達、AMD、中科曙光等；AI模型生態(tài)已有紫東太初2.0、商湯、智譜清言等；AI算力服務(wù)生態(tài)已有國家超級計算濟南中心、清華大學(xué)電子工程系智算中心、中國電信等；AI應(yīng)用場景也已囊括金融、交通、制造業(yè)、能源、自然資源等行業(yè)領(lǐng)域。
寫在最后
在AI大模型的驅(qū)動下，AI算力未來的發(fā)展也迎來新的機遇和挑戰(zhàn)，而躬身入局的廠商勢必拿出過硬的“武器”，方能在時代趨勢下贏得持續(xù)發(fā)展的先機。在這個背景下，青云結(jié)合自身實踐、優(yōu)勢與經(jīng)驗，左手抓AI算力調(diào)度平臺，右手抓AI算力云，兩手抓、兩手都要硬，通過在算力運營服務(wù)的實力，以及借助生態(tài)的力量，不斷壯大自己，助力企業(yè)實現(xiàn)AI的業(yè)務(wù)價值。
