近期,人工智能領域迎來了一項引人注目的新突破。一份最新發布的研究報告顯示,斯坦福大學與華盛頓大學的科研團隊,僅花費了不到50美元(當前匯率下約為364元人民幣)的云計算成本,便成功打造出一個具備卓越“推理”能力的人工智能模型——s1。
這款名為s1的模型,在數學與編程能力測試中,展現出了與OpenAI的o1及DeepSeek的r1等業界頂尖推理模型相當的水平。尤為s1模型及其訓練所用的全部數據與代碼,均已在GitHub平臺上開源,供全球開發者共享與學習。
s1團隊透露,他們采用了“蒸餾”技術來構建這一模型。該技術通過訓練模型去模仿并學習另一個模型的答案,從而提煉出其“推理”能力。具體而言,s1是從谷歌的推理模型Gemini 2.0 Flash Thinking Experimental中蒸餾而來。有趣的是,上個月,加州大學伯克利分校的研究人員也運用了相同的蒸餾方法,但成本高達約450美元,創建了一個人工智能推理模型。
s1模型的問世,引發了業界對于人工智能模型商品化的深刻思考。若能夠以相對低廉的成本復制出價值數百萬美元的模型,那么大型科技公司的競爭優勢何在?這一疑問無疑給行業帶來了新的挑戰與反思。
面對這一新情況,大型人工智能實驗室表現出了明顯的不悅。例如,OpenAI此前就曾指責DeepSeek不當獲取其API數據用于模型蒸餾。而此次s1的推出,無疑加劇了這一領域的競爭與爭議。
s1團隊的研究人員表示,他們致力于尋找實現強大推理性能和“測試時擴展”的最簡潔途徑。這些正是OpenAI的o1模型所取得的一些突破性進展。s1的論文指出,通過一種稱為監督微調(SFT)的方法,可以利用較小的數據集來蒸餾推理模型。在SFT中,模型被明確指示在數據集中模仿特定行為,這比DeepSeek用于訓練R1模型的大規模強化學習方法更具成本效益。
谷歌通過其Google AI Studio平臺免費提供了Gemini 2.0 Flash Thinking Experimental模型的訪問權限,但設有每日使用限制。然而,其使用條款明確禁止對模型進行逆向工程,以開發與谷歌自身人工智能產品競爭的服務。盡管如此,s1團隊仍巧妙地利用了這一資源。
s1基于阿里巴巴旗下中國人工智能實驗室Qwen提供的一款小型、現成的免費模型。為了訓練s1,研究人員精心策劃了一個包含1000個問題及其答案的數據集,并收集了谷歌Gemini 2.0 Flash Thinking Experimental為每個答案提供的“思考”過程。在16個Nvidia H100 GPU的支持下,s1的訓練耗時不到30分鐘,成本僅為約20美元。
更為巧妙的是,研究人員還為s1設計了一個獨特的技巧,讓其能夠在工作過程中進行自我檢查并延長“思考”時間——他們讓s1在推理過程中“等待”。論文顯示,這一簡單的添加,有助于模型獲得更為準確的答案。