近日,關于人工智能巨頭OpenAI的下一代語言模型GPT-5的誕生歷程,外媒The Information披露了一系列鮮為人知的內幕消息,引發了業界的廣泛關注。
據悉,GPT-5的誕生之路并非一帆風順。在研發過程中,OpenAI遭遇了人才流失、內部混亂以及技術瓶頸等多重挑戰。尤其是核心研究團隊的部分成員被meta(臉書母公司)的高薪挖角,直接導致了OpenAI內部組織架構的動蕩。這一變動甚至引發了研究副總裁Jerry Tworek在Slack上的公開抱怨,表達了團隊面臨的困境,這一消息被眾多同事所見。
然而,就在這些負面消息頻出的同時,OpenAI卻傳來了另一則好消息。公司成功籌集了83億美元的巨額融資,使其估值飆升至3000億美元。這筆資金是OpenAI今年400億美元融資計劃的一部分,由Dragoneer投資集團領投,Blackstone、TPG、Fidelity、Founders Fund和紅杉資本等多家投資機構跟投。盡管Dragoneer是本輪融資的最大出資方,但軟銀仍是整個融資計劃的牽頭者。
盡管融資成功為OpenAI注入了新的活力,但GPT-5的研發進展卻并未如預期般順利。據外媒報道,GPT-5并未實現像GPT-3到GPT-4那樣的技術飛躍。實際上,原本被寄予厚望的Orion模型,在經歷了一系列測試后,因其性能未能達到預期,最終被降級為GPT-4.5,并于今年2月低調發布。GPT-4.5的推出并未引起市場的廣泛關注,迅速淡出了公眾的視野。
Orion模型的失敗,暴露了OpenAI在預訓練階段遇到的天花板問題。隨著高質量網絡數據的日益枯竭,原本在小模型上有效的訓練技巧,在大模型上卻失效了。這不僅導致了GPT-5的延期,也讓OpenAI團隊內部陷入了自我懷疑。
盡管如此,OpenAI并未放棄對GPT-5的研發。據報道,公司正在開發一種名為“通用驗證器”的新技術,該技術可以自動化地確保模型在強化學習(RL)過程中產生高質量的答案。這一技術的核心是讓一個大型語言模型(LLM)承擔起檢查和評估另一個模型答案的任務,并利用各種信息源對答案進行核實。這一創新有望為GPT-5的性能提升提供有力支持。
OpenAI在推理模型方面也取得了新的突破。基于一項名為Q*的技術突破,OpenAI開發了一系列推理模型,這些模型在獲得更多算力時表現出更佳的性能。盡管在將推理模型轉化為聊天版本時遇到了一些挑戰,但OpenAI仍在不斷探索和優化這一技術路徑。
盡管GPT-5的發布日期尚未確定,但OpenAI的高管們對模型的未來充滿信心。他們相信,沿著目前的架構路徑發展,模型有朝一日將達到GPT-8的水平。CEO山姆·奧特曼也表示,利用現有技術,OpenAI有望創造出通用人工智能(AGI)。這些樂觀的預期,無疑為OpenAI的未來增添了更多的想象空間。