AI大模型的爆發式增長，正驅動著算力需求不斷升級，云基礎設施在集群建設和管理、性能、穩定性等方面都面臨著嚴峻挑戰。
火山引擎基于字節跳動在大模型領域的實踐沉淀，帶來更高性價比的算力資源和一站式資源服務，持續助力企業 AI 轉型落地。8月21日，2024火山引擎AI創新巡展上海站活動成功舉辦，火山引擎云基礎產品負責人羅浩發表演講，詳細介紹了面對算力需求的升級，火山引擎的具體應對方法和措施。
羅浩表示，早在2019年，火山引擎已經觀察到了由Transformer帶來的更大規模算力需求。并且隨著算力大規模爆發式增長，也帶來了計算模式的變化，計算從“單節點模式”向“集群模式”演化。
為了滿足AI領域的算力增長，火山引擎首先打造更新的基礎設施，如新一代GPU型算力，以及能夠容納這些算力的新一代機房等。
在此基礎上，則是打造新一代互聯技術，將多達數十萬個計算節點互聯起來，支持近似線性加速比。
羅浩介紹，由于不同算力資源池的節點閾值不同，當小于8個節點的時候，調度都在一臺服務器內部完成，但當節點大于500的時候，可能就需要跨機架調度，而當節點大于1000或更多時，需要跨兩至三層的交換機調度，所涉及到的網絡架構管理內容，包括通信協議、擁塞控制等等，其性能挑戰的難度將逐步增大。
因此，隨著AI大模型的爆發，任務已從單節點來到多節點，甚至達到萬卡規模，故障域也變得更大。
如此大的故障域中，如何在當某個節點發生故障時能快速識別問題，及時剔除故障節點，節省計算成本，就存在相當嚴峻的挑戰。
火山引擎云基礎產品負責人羅浩
因此火山引擎提出“AI全棧云”，包含三個方面。
一、集中使用資源和算力。最大程度上避免由于分布式數據中心建設帶來的算力孤島和存儲孤島問題。
二、所有的IaaS層產品、PaaS層產品、數據產品、安全產品甚至推薦算法還有AI產品，都在同一朵云上，采用同樣的軟件架構、通信協議，使得數據流動、業務通信保持最高效的，同時也更加安全。
三、大算力資源池建設和自研硬件，以及自研網絡通信協議、擁塞控制算法等能力相結合，實現規模更大、性能更強、穩定性更高和成本更優。
羅浩表示，目前火山引擎能夠做到在分鐘級別調度千卡規模資源池，以應對彈性任務。互聯能力方面，單機互聯能力已經從800G提升到了3.2T，增長了4倍。同時火山引擎還提供覆蓋全球的網絡，能夠支持2TB/秒吞吐并行文件存儲。
在高可用方面，火山引擎做了充分的壓測左移體系，會在批量機器交付之前，抽樣比較大的集群同時部署上容器、虛擬機、物理機進行測試，確保高可用性。擁有這樣的壓測能力，即可快速發現問題，結合冷遷移技術，將故障節點在離線狀態或在線狀態剝離出去，使得任務持續運行。
成本方面，火山引擎除對大規模算力資源池集中使用之外，對于loadbook、DevOps等短期任務，只會用單張卡或0.5張卡，提供更加靈活、更小粒度的資源使用方式。同時，火山引擎的網絡負載均衡還能夠感知到訓練推理體系里的KV Cache、過熱導致的調度不均勻問題，達到更高的調度效能。
在存儲方面，除VPFS超大規模、超大性能存儲之外，火山引擎還提供LAS緩沖層、CFS、TOS分層性價比更高的存儲。
羅浩表示，火山引擎基于字節跳動在大模型領域的實踐沉淀，以技術驅動的極致性價比讓大模型人人用得起，陪伴客戶一起成長。未來，火山引擎全棧 AI 服務將持續助力企業 AI 轉型落地，激發業務增長潛能。
