在AI技術日新月異的今天,企業對于AI推理落地的需求愈發迫切。火山引擎憑借其AI云原生方案,為企業提供了一套適配當下AI推理需求的IT土壤,助力企業加速AI技術的產業化進程。
這套IT土壤被視為目前國內最新、最適配AI推理的IT架構體系。它包含了大規模GPU集群的彈性調度管理、專為AI推理場景設計的存儲計算產品,以及基于AI訓練推理需求的網絡優化。這些特性使得企業能夠以更快、更穩、更具性價比的方式實現AI落地。
然而,在AI技術落地的過程中,企業面臨著諸多挑戰。一位AI企業負責人透露,在具體場景的落地過程中,推理需求規模幾乎是訓練需求的5-10倍。這導致企業在嘗試AI落地時,常常會遇到推理訓練成本高、AI應用反應速度慢等問題。火山引擎AI云原生方案的出現,正是為了解決這些痛點。
火山引擎云基礎產品負責人羅浩表示,在AI大模型時代,業務架構從以CPU為中心轉變為以GPU為中心,整個體系都需要升級。這包括資源層的更高難度調度模式、對新的資源層和新的數據模型的處理方式,以及適配AI模型的一系列計算、存儲數據庫產品、新的編排等中間件,還有新的網絡穩定手段等。
以美圖秀秀為例,作為應用市場的骨灰級玩家,美圖在AI時代面臨著轉型的壓力。火山引擎成為了其底層助力者,通過一系列算力資源、存儲網絡的加持,幫助美圖構建了一個有彈性、成本可控、健康的AI infra架構。這不僅使得美圖能夠實現在不同場景下GPU卡資源的調度,更能在流量高峰時迅速擴容資源,滿足其大規模推理場景的落地。
同樣受益于火山引擎AI云原生方案的還有沐瞳科技和深勢科技。沐瞳科技通過火山引擎的Private Link私網訪問調用豆包大模型API,實現了推理側的超低時延、低成本的落地。而深勢科技則在火山引擎的加持下,解決了大量不同格式的數據處理問題,實現了不同訓練推理場景的資源匹配,保證了業務的高效推進。
在火山引擎FORCE原動力大會上,火山引擎正式推出了AI云原生方案,并展示了其在算力、存儲、網絡層面的亮點。其中,算力層面推出了彈性預約實例ESI和搶占式實例Spot,全面支持CPU和GPU,滿足不同場景客戶的彈性算力需求。存儲層面則發布了彈性極速緩存EIC,通過GPU Direct和RDMA技術解決了傳統AI架構中核心數據流動繞行CPU的問題。網絡層面則提供了第三代異構GPU和NPU實例,以及第四代CPU實例,全面支持普惠的vRDMA互聯能力,顯著提升了訓練和推理效率。
火山引擎veStack智算版也升級到了2.0階段,不僅在智算基礎設施上有了更豐富的支持,還在穩定性建設、運維能力、訓練框架和模型開發能力上都有了進一步提升。同時,在生態方面提供了標準化API,針對各行各業的不同場景都提供了行業落地能力,幫助客戶更好地應對智算時代的各種挑戰。
火山引擎AI云原生方案的推出,不僅解決了企業在AI落地過程中遇到的痛點,更提供了一個最適宜AI推理表達的土壤。這個土壤包含了大規模GPU集群的彈性調度管理、國內最適配AI推理場景的存儲計算產品,以及基于AI訓練推理需求的網絡優化。這些特性使得企業能夠以更高效、更具性價比、更實用、更安全的方式滿足推理需求。
羅浩表示,現在不同的企業需求都在火山引擎底層AI云原生方案的加持下推進。無論是企業對AI應用的初步探索,還是對某些環節基于AI的進化,抑或是企業層面的AI升級迭代,火山引擎AI云原生都能提供當下最適配AI推理落地的IT土壤。
火山引擎AI云原生方案的成功,不僅得益于其在技術上的先發性和長期積累,更得益于其對市場需求的深刻洞察和精準把握。隨著AI技術的不斷發展和企業對AI推理需求的不斷增加,火山引擎AI云原生方案有望成為推動產業數智化升級的重要力量。