三言科技最新報道,DeepSeek在連續五天慷慨開源其代碼庫后,今日再度拋出驚喜:發布V3/R1推理系統概覽。
該系統通過一系列創新手段,顯著提升了處理效率:
首先,跨節點EP驅動的批量擴展技術,有效提升了數據處理規模;其次,計算與通信重疊策略,進一步縮短了任務執行時間;最后,通過精細的負載平衡,確保了資源的最大化利用。
DeepSeek在線服務的統計數據顯示,每個H800節點每秒能夠處理73.7k個輸入令牌和14.8k個輸出令牌,成本利潤率高達545%。
DeepSeek表示,此次分享的V3/R1推理系統概覽,旨在為開源社區貢獻寶貴的知識財富,并推動人工智能領域向通用人工智能(AGI)的目標邁進。