近期，關于人工智能大模型核心理論“Scaling Law”的起源，在外網上引發了一場熱烈討論。有最新觀點指出，中國科技巨頭百度可能在OpenAI之前就已經實現了這一重大突破。
據《南華早報》報道，雖然美國在AI模型創新方面一直占據領先地位，但最新的討論揭示，中國在探索這些前沿概念上可能更為領先。《百度在OpenAI之前就發現了Scaling Law？AI領域的辯論重新燃起》一文，詳細探討了這一話題。
Scaling Law，作為大模型發展的核心原則，認為模型的智能能力會隨著訓練數據和模型參數的增加而增強。這一理論被廣泛歸功于OpenAI在2020年發表的論文《Scaling Laws for Neural Language Models》。然而，這一觀點近日受到了挑戰。
OpenAI論文的合著者、前研究副總裁、Anthropic創始人Dario Amodei，在最近的一次播客中透露，他早在2014年與吳恩達在百度研究AI時，就已經非正式地觀察到了Scaling Law現象。他表示，隨著數據量的增加、模型規模的擴大以及訓練時間的延長，模型的性能顯著提升。這一觀察后來在OpenAI的GPT-1語言模型中得到了驗證。
不僅如此，行業人士還指出，關于Scaling Law的原始研究實際上來自百度2017年發表的一篇論文，而非OpenAI的2020年研究。meta研究員、康奈爾大學博士候選人Jack Morris在社交媒體上引用了一篇由百度硅谷人工智能實驗室于2017年發布的論文《Deep Learning Scaling is Predictable, Empirically》。該論文詳細討論了機器翻譯、語言建模等領域的Scaling現象。
然而，這篇論文的重要性在過去并未得到充分的重視。OpenAI在2020年的研究中，雖然引用了百度研究人員在2019年發表的論文《Beyond Human-Level Accuracy: Computational Challenges in Deep Learning》，但卻忽略了2017年的研究。批評者認為，2017年的研究才是Scaling Law概念的真正起源。
有研究者表示，百度的早期研究為AI大模型的發展奠定了堅實的理論基礎。事實上，百度在2019年就發布了第一代文心大模型，幾乎與OpenAI處于同一時期。據《南華早報》報道，在上海舉行的百度世界大會2024上，百度宣布了新技術，用以減輕圖像生成中的幻覺問題，即生成誤導性或事實不一致的圖像。同時，百度還透露，截至11月初，百度文心大模型的日均調用量已經達到了15億，相比一年前首次披露的5000萬次，增長了約30倍。
這些進展不僅表明中國在大型模型方面取得了顯著進步，也獲得了國際社會的廣泛認可。隨著AI技術的不斷發展和應用的深入，中國在全球AI領域的影響力和領導地位將更加突出。
