近日,DeepSeek-v3模型的出現引發了人工智能領域的廣泛關注。這一由中國廠商推出的模型,其性能接近GPT-4和Claude-3.5-Sonnet等閉源模型,但訓練成本卻僅為這些同性能模型的十分之一。這一突破性進展,不僅讓人們看到了中國大模型在商業化道路上的新希望,也啟示了模型效率提升的重要性。
據了解,DeepSeek-v3模型僅使用了2048張H800顯卡,在不到兩個月的時間內完成了訓練,計算預算不到600萬美元。相比之下,Llama 3.1 405B模型則使用了1.6萬張H100顯卡,訓練時間長達80天。這一對比,讓不少人對算力需求產生了新的疑問,是否算力被高估了?
然而,事實并非如此。DeepSeek-v3的訓練成本之所以如此低,部分原因在于其作為后發模型,能夠避開前人走過的彎路,站在巨人的肩膀上前進。算法進步和算力通縮等因素也使得模型訓練成本隨著時間的推移而不斷下降。但值得注意的是,DeepSeek-v3的訓練成本并不包括其前期數據生成和模型架構探索階段所消耗的算力。
盡管如此,DeepSeek-v3的出現仍然具有重要意義。它證明了中國廠商在探索模型效率極限方面的能力,為中國大模型的商業化提供了新的可能性。在過去,中國大模型在訓練階段面臨技術封鎖,突破性研究往往受到預算和資源的限制。然而,隨著模型走向應用階段,這一局面有望發生改變。
在推理階段,由于標準多樣且復雜,技術封鎖的難度較大。中國廠商可以通過工程創新的方式,探索更高效的算力優化方式,從而在好、快、便宜和可靠性之間找到最優解。這一趨勢已經在國內得到了體現,不少企業正在積極投入算力優化和模型效率提升的研究。
與此同時,科技巨頭們在算力上的投入也在不斷增加。據國外網站LessWrong估算,明年科技巨頭的算力規模將繼續大幅增長。國內同樣延續這一趨勢,字節跳動等企業在AI算力采購上的投入也在不斷增加。這些投入不僅為新模型的訓練提供了更多算力支持,也推動了AI應用的繁榮和發展。
隨著AI應用的逐漸落地,模型效率將成為打通中國大模型產業商業循環的關鍵。美國押注模型能力提升,而中國則追求模型效率的極限。這一差異使得中美兩國在人工智能領域的發展路徑有所不同,但都為全球人工智能產業的發展做出了重要貢獻。
回顧過去十年,中美兩國在互聯網領域的發展也呈現出了不同的趨勢。美國科技業全面擁抱SaaS,而中國在消費互聯網上展現出了非凡的生命力。如今,在人工智能領域,中美兩國也將繼續以不同的方式邁向未來。中國大模型在商業化道路上的探索,將為我們帶來更多啟示和可能。