在2024年末，AI領域迎來了一次新的震撼，DeepSeek公司推出的新一代MoE模型DeepSeek-V3，不僅在性能上達到了行業領先水平，更因其在成本控制上的卓越表現而引發了廣泛關注。
這家獨立于主流大模型公司之外的新興勢力，發布了DeepSeek-V3的首個版本，并大方地選擇了開源。這款模型擁有驚人的6710億參數，其中370億為激活參數，其預訓練數據更是高達14.8萬億token。在知識類任務及代碼能力上，DeepSeek-V3與業界頂尖模型Claude-3.5-Sonnet-1022不相上下，甚至在數學能力上超越了多個知名開源與閉源模型。
然而，DeepSeek-V3真正引起轟動的，并非僅僅是其卓越的性能，而是其低廉的訓練成本。據DeepSeek公布的數據，該模型的總訓練成本僅為557.6萬美元，完整訓練消耗了278.8萬個GPU小時，僅為同等性能水平模型訓練成本的十分之一。這一消息在國內外迅速傳播，使得DeepSeek成為了業界的焦點。
回顧2024年初，DeepSeek就曾憑借“MoE架構+MLA（Multi-head Latent Attention）技術”在降低大模型使用成本上取得了顯著成果，從而引發了API價格戰。如今，這一創新技術在DeepSeek-V3上得到了進一步的鞏固和完善。
面對DeepSeek的強勢崛起，其他大模型公司不得不重新審視這位低調而穩定的競爭對手。DeepSeek的每一次進步，都可能成為對其他公司的商業奇襲。
DeepSeek-V3的低成本訓練模式，引發了業界對于AI模型開發成本控制的深入思考。尤其是在英偉達高端GPU顯卡在中國大陸受限的背景下，算力不足成為了國內AI公司面臨的一大難題。而DeepSeek背后的開發公司幻方，憑借其雄厚的算力儲備，成為了少數能夠應對這一挑戰的公司之一。
據悉，DeepSeek-V3的訓練僅使用了2048張英偉達H800 GPU（H100 GPU的特供版），便完成了如此大規模的模型訓練。相比之下，meta旗下的開源模型Llama-3.1則動用了超過16000張英偉達H100 GPU，訓練成本高達數億美元。這一對比，無疑彰顯了DeepSeek在成本控制上的卓越能力。
DeepSeek-V3的成功，不僅在于其低廉的訓練成本，更在于其背后的一系列創新技術。模型壓縮、專家并行訓練、FP8混合精度訓練等技術，共同構成了DeepSeek-V3的低成本訓練模式。這些技術的引入，不僅降低了模型開發的成本，也為行業探索低成本訓練模式提供了新的思路。
然而，要復制DeepSeek的成功并不容易。FP8訓練技術雖然具有顯著的成本優勢，但也帶來了模型精度不足和性能不穩定的風險。這需要開發團隊具備強大的調優能力，以確保模型在降低成本的同時，保持卓越的性能。
DeepSeek在人才儲備上也具有獨特優勢。其核心團隊由一批本土的頂尖高校畢業生和年輕人才組成，他們憑借深厚的專業知識和創新思維，為DeepSeek的發展提供了強大的動力。這種人才儲備模式，不僅為DeepSeek的技術創新提供了有力支持，也為公司的未來發展奠定了堅實基礎。
隨著DeepSeek-V3的火爆，業界開始關注DeepSeek的商業觸角將向哪個領域延伸。目前，DeepSeek主要以開源模型API接口服務開發者和企業，但在C端和B端應用場景上尚未有明確動作。然而，從幻方在招聘平臺上釋放的崗位信息來看，DeepSeek或許已經在籌備自己的C端產品，并有望在數學和代碼能力上形成獨特優勢。
無論如何，DeepSeek憑借其卓越的模型實力和成本優勢，已經成為業界不可忽視的一股力量。對于其他大模型公司而言，DeepSeek的崛起無疑是一個巨大的挑戰和威脅。
