近期,關于Grok 3是否堪稱地表最強AI的討論持續升溫,盡管意見紛呈,但其在能耗上的“王者”地位卻無可爭議。這款AI大模型的誕生,背后是驚人的計算資源堆砌——20萬塊GPU的“烘烤”。
據馬斯克在直播中的揭秘,Grok 3的訓練量是前代Grok 2的十倍,這一壯舉依托的是人工智能創新企業xAI位于孟菲斯的超級計算機集群。xAI的建設速度同樣令人咋舌,第一階段,僅用122天便搭建起擁有10萬塊NVIDIA H100 GPU的超級計算集群;而第二階段,再增10萬塊GPU,用時更縮短至92天。
談及成本,有分析人士粗略估算了xAI在孟菲斯的硬件投入。僅以10萬塊H100 GPU計算,每塊GPU成本約3萬美元,這意味著Grok 3的硬件開銷已輕松突破30億美元大關。而若將20萬塊GPU全部納入考量,這一數字無疑將更加龐大。
能耗方面,Grok 3所使用的H100 GPU每臺功耗高達700瓦,總能耗之巨,堪比一個小城市的日常用電。更令人咋舌的是其訓練過程中產生的碳排放量。若以混合能源(平均碳排放系數0.5千克二氧化碳/千瓦時)計算,Grok 3訓練一年的碳排放量,大約相當于4萬多輛燃油車一年的排放總和。
在直播演示中,馬斯克與xAI團隊透露,20萬塊GPU的運行需要高達250兆瓦的電力支持。他們笑稱:“為了填補電力缺口,我們租用了大堆發電機,還租用了美國四分之一的制冷能力。這樣的液冷數據中心規模,前所未有。”xAI還預告了下一個更為強大的算力集群計劃,其所需電力將高達1.2吉瓦。