近日，三言科技披露了一則關于人工智能領域的最新動態。據悉，知名AI企業Kimi在上月推出的多模態推理模型k1.5，其背后的誕生故事由月之暗面官方于2月17日正式揭曉。
月之暗面的研究員Flood Sung回顧了k1.5模型的研發歷程，特別提到了去年9月12日OpenAI發布的o1模型對其產生的深遠影響。o1模型中的長思維鏈技術，讓Flood Sung深感震撼，因為這項技術早在一年多前，就被月之暗面的聯合創始人Tim周昕宇所驗證。當時，他們通過小型模型訓練，實現了數十位的加減乘除運算，將精細的運算步驟串聯成長長的思維鏈數據，進行監督微調，取得了顯著成效。
“那次實驗的結果讓我們意識到長上下文的重要性，因此我們率先嘗試將文本長度增加。”Flood Sung坦言，“然而，對于長思維鏈的重視程度卻不夠。這主要是出于成本考慮。長上下文主要涉及長文本輸入，有預填充技術和Mooncake的加持，成本和速度都在可控范圍內。而長思維鏈則意味著長文本輸出，成本高昂且速度緩慢，因此并未成為我們的首選方案。”
但Flood Sung強調，性能始終是首要考慮的因素。他相信，隨著摩爾定律的推動，成本和速度將不斷下降，只要性能得到提升，其他問題都將迎刃而解。“因此，我們決定迎難而上，著手研發長思維鏈技術，即o1模型。”
在研發過程中，Flood Sung和他的團隊還發現了一個重要現象：隨著訓練的進行，模型性能不斷提升，同時token數也在不斷增加。這是強化學習（RL）訓練過程中模型自我涌現的結果，與另一家AI企業Deepseek的發現不謀而合。
Flood Sung的這一發現，無疑為k1.5模型的研發注入了新的動力。他堅信，通過不斷的技術創新和突破，月之暗面將在AI領域取得更加輝煌的成就。
