近期，百度智能云發(fā)布了一份深度報告，聚焦于2024年大模型時代的異構計算平臺發(fā)展。該報告詳盡地探討了隨著GPT-3等大模型的崛起，訓練過程中的技術瓶頸與應對之道。
GPT-3等大模型的誕生標志著大模型時代的到來，它們在效果和通用性上的顯著提升引起了業(yè)界的廣泛關注。然而，這種進步也帶來了前所未有的訓練需求。以GPT-3為例，其1750億參數(shù)和3000億詞語的龐大體量，使得計算量高達314 ZFLOPs。如果使用單張A100顯卡，需要32年才能完成訓練。千億參數(shù)所需的2TB存儲空間，也遠超單卡80GB的顯存限制。這些挑戰(zhàn)迫使業(yè)界尋求分布式加速和更多存儲空間的解決方案。
面對算力墻和存儲墻的困境，報告提出了多種模型切分技術。數(shù)據(jù)并行通過梯度同步確保多卡參數(shù)的一致性，常用的同步策略包括同步更新和異步更新，當前主流做法是同步更新。流水線并行則讓每張顯卡保存模型的部分層，并同步激活與梯度。張量并行則將單層操作分割到多張顯卡上。分組參數(shù)切片則是對數(shù)據(jù)并行中的顯存冗余進行優(yōu)化，以節(jié)省顯存。
在硬件資源和網(wǎng)絡設計上，報告指出，單機硬件的選型需要注重高算力和機內多卡通信能力，如配置8張NVIDIA A100顯卡等。集群網(wǎng)絡則采用8導軌優(yōu)化的三層CLOS架構，可以支撐萬卡級別的規(guī)模，并重點優(yōu)化同號卡的AllReduce操作。
在軟硬件結合的優(yōu)化方面，報告介紹了基于靜態(tài)圖的多后端加速架構，該架構包括圖接入、后端抽象、圖優(yōu)化和圖轉換等環(huán)節(jié)。圖接入融合了動態(tài)圖和靜態(tài)圖的優(yōu)勢，通過多種方式實現(xiàn)。后端加速則涉及計算執(zhí)行時間分析、算子融合和算子實現(xiàn)優(yōu)化。通信優(yōu)化針對交換機哈希沖突、All2All加速和使能Infiniband等問題，提出了具體的解決方案。端到端自動化任務切分與放置通過構建cost model，搜索最優(yōu)方案。
報告中還提及了在大模型訓練中減少計算量的方法，如條件計算和混合專家模式。這些方法根據(jù)條件激活部分參數(shù)，將模型拆分為子網(wǎng)絡，從而降低了計算量。
隨著大模型的發(fā)展，參數(shù)規(guī)模持續(xù)增加，多模態(tài)訓練逐漸興起，算力需求也大幅增長。這些趨勢將推動基礎設施的不斷演進。百度百舸·AI異構計算平臺2.0應運而生，為城市大腦、工業(yè)互聯(lián)網(wǎng)等業(yè)務場景提供了有力支持，滿足了大模型訓練和應用的多樣化需求。
