在AI界的一次意外曝光中，一篇看似不起眼的博客文章竟成為了打開OpenAI大門的鑰匙。近日，AI云服務商Hyperbolic的聯(lián)合技術官Yuchen Jin在社交媒體上透露，研究員Keller Jordan僅憑一篇關于新型神經(jīng)網(wǎng)絡優(yōu)化器Muon的博客，便成功加入了OpenAI，并疑似參與到了GPT-5的研發(fā)中。
Jin的這一爆料迅速引起了業(yè)界的廣泛關注。據(jù)悉，Keller Jordan的這篇博客發(fā)布于2024年12月，題為《Muon：神經(jīng)網(wǎng)絡隱藏層的優(yōu)化器》。文章詳細介紹了Muon的設計原理及其在實際應用中的表現(xiàn)，特別是在提高訓練速度方面的顯著成果。
Keller Jordan在博客中提到，Muon是一個專門針對神經(jīng)網(wǎng)絡隱藏層二維參數(shù)的優(yōu)化器。它通過結合SGD-momentum生成的更新，并應用牛頓-舒爾茨迭代法作為后處理步驟，來優(yōu)化這些參數(shù)。這種方法使得更新矩陣近似正交化，從而提高了訓練效率。
實驗結果顯示，Muon在多個任務上都取得了顯著的速度提升。例如，在CIFAR-10數(shù)據(jù)集上，它將訓練速度記錄從3.3秒提高到了2.6秒，準確率保持在94%。在NanoGPT快速運行競賽任務FineWeb上，Muon也將訓練速度記錄提高了1.35倍。在擴展到更大規(guī)模參數(shù)時，Muon也繼續(xù)顯示出訓練速度的提升。
Keller Jordan在文章中還批判了當前神經(jīng)網(wǎng)絡優(yōu)化研究中的一些不良現(xiàn)象，特別是糟糕的基線和過度宣傳的新方法。他強調，許多聲稱能夠擊敗AdamW的優(yōu)化器在實際應用中并未能達到預期效果，這主要是因為這些研究在比較時往往沒有充分調整AdamW基線。
Keller Jordan加入OpenAI的時間恰好是在他發(fā)布這篇博客之后。這一巧合不禁讓人猜測，Muon優(yōu)化器很可能正是他加入OpenAI的敲門磚。而鑒于OpenAI在GPT-5研發(fā)上的投入和期望，Muon很有可能成為這一劃時代大模型中的重要技術之一。
然而，盡管Muon已經(jīng)取得了顯著的成果，但仍有許多問題有待解決。例如，Muon是否可以擴展到更大規(guī)模的訓練？是否能在大型GPU集群中正確分布其使用的牛頓-舒爾茨迭代？以及Muon是否僅適用于預訓練，而不適用于微調或強化學習工作負載？這些問題或許在GPT-5的研究中已經(jīng)得到了答案，但業(yè)界仍需持續(xù)關注Muon的發(fā)展和應用。
總的來說，Keller Jordan的這篇博客不僅為神經(jīng)網(wǎng)絡優(yōu)化研究帶來了新的思路和方法，也為他個人的職業(yè)生涯開啟了新的篇章。而Muon優(yōu)化器作為這一研究的成果，無疑將在未來的AI發(fā)展中發(fā)揮重要作用。
