華為在2025年的鯤鵬昇騰開發者大會上，正式揭曉了其最新的技術創新——昇騰超節點技術。這一技術不僅實現了業界前所未有的384卡高速總線互聯規模，更為AI大模型的未來發展開辟了新路徑。
當前，AI大模型的發展正處于參數規模與運行效率交替提升的關鍵階段。一方面，Scaling Law持續推動模型能力的邊界拓展；另一方面，諸如DeepSeek等創新架構與技術，正加快模型在各行各業的落地應用步伐。在此背景下，MoE模型結構逐漸成為主流，但其復雜的混合并行策略給計算帶來了巨大挑戰，單次通信量高達GB級別且難以通過技術手段掩蓋。
隨著模型并行規模的日益擴大，傳統服務器跨機帶寬的限制愈發凸顯，成為制約訓練效率的關鍵因素。傳統服務器主要依賴以太網絡實現跨機互聯，通信帶寬有限。實踐表明，當分布式策略的混合并行域超過8卡時，跨機通信帶寬便成為明顯的性能瓶頸，導致整體性能顯著下滑。
為了突破這一瓶頸，華為推出了昇騰超節點技術。該技術打破了傳統的以CPU為中心的馮諾依曼架構，創新性地提出了對等計算架構。通過高速總線互聯技術，華為成功將總線從服務器內部擴展至整機柜乃至跨機柜，實現了通信性能的重大飛躍。在超節點范圍內，高速總線互聯替代了傳統的以太網，通信帶寬提升了15倍，單跳通信時延從2微秒降低至200納秒，降幅達10倍。這一變革使得集群內的各節點能夠像一臺計算機一樣協同工作，從而有效突破了系統性能的限制。
據悉，此次推出的昇騰384超節點由12個計算柜和4個總線柜組成，是當前業界規模最大的超節點。依托華為在ICT領域的深厚積累與卓越技術實力，該超節點通過最佳負載均衡組網方案，可進一步擴展為包含數萬卡的Atlas 900 SuperCluster超節點集群，為未來更大規模模型的演進提供了堅實支撐。
性能測試數據顯示，在昇騰超節點集群上運行LLaMA 3等千億級稠密模型時，性能相比傳統集群提升了2.5倍以上。而在通信需求更高的Qwen、DeepSeek等多模態、MoE模型上，性能提升更是達到了3倍以上，相較于業界其他集群，性能高出1.2倍，彰顯了華為昇騰超節點在AI計算領域的領先地位。
