在AI領(lǐng)域，一篇博客文章往往難以引起廣泛關(guān)注，但Keller Jordan的博客卻是個(gè)例外。近日，AI云服務(wù)商Hyperbolic的聯(lián)合創(chuàng)始人兼CTO Yuchen Jin在社交平臺(tái)X上透露，Keller Jordan僅憑這篇博客就成功加入了OpenAI，并且有可能正在使用其中提出的神經(jīng)網(wǎng)絡(luò)隱藏層優(yōu)化器Muon來訓(xùn)練GPT-5。
Jordan的這篇博客發(fā)布于2024年12月，題為《Muon：神經(jīng)網(wǎng)絡(luò)隱藏層的優(yōu)化器》。在博客中，他詳細(xì)介紹了Muon的設(shè)計(jì)原理及其在多個(gè)任務(wù)中的實(shí)證結(jié)果。據(jù)悉，Muon是一個(gè)針對(duì)神經(jīng)網(wǎng)絡(luò)隱藏層二維參數(shù)的優(yōu)化器，它通過采用SGD-momentum生成的更新，并在應(yīng)用之前對(duì)每個(gè)更新應(yīng)用Newton-Schulz迭代作為后處理步驟，以實(shí)現(xiàn)更新矩陣的近似正交化。
Jordan在博客中指出，Muon在多個(gè)任務(wù)中均取得了顯著的效果。例如，在CIFAR-10數(shù)據(jù)集上，它將訓(xùn)練速度記錄提高到94%準(zhǔn)確率，從3.3秒提高到2.6秒；在NanoGPT快速運(yùn)行競(jìng)賽任務(wù)FineWeb上，它將訓(xùn)練速度記錄提高至3.28 val loss，提高了1.35倍；在擴(kuò)展到774M和1.5B參數(shù)的同時(shí)，Muon也繼續(xù)顯示了訓(xùn)練速度的提升。
Jordan在博客中還對(duì)神經(jīng)網(wǎng)絡(luò)優(yōu)化研究文獻(xiàn)進(jìn)行了批判，指出其中充斥著大量已死的優(yōu)化器。他認(rèn)為，這些優(yōu)化器聲稱能夠擊敗AdamW，但往往以巨大的優(yōu)勢(shì)獲勝，卻從未被社區(qū)采用。Jordan認(rèn)為，問題出在研究界，而非潛在的采用者。他犀利地指出，這項(xiàng)研究出了問題，并提出應(yīng)該采用更高的證據(jù)標(biāo)準(zhǔn)來評(píng)估新的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法。
Jordan的觀點(diǎn)和Muon的實(shí)證結(jié)果顯然引起了OpenAI的注意。據(jù)Yuchen Jin透露，Jordan正是憑借這篇博客成功加入了OpenAI，并且有可能正在使用Muon來訓(xùn)練GPT-5。這一消息無疑讓AI領(lǐng)域?qū)uon充滿了期待。
從職場(chǎng)社交平臺(tái)領(lǐng)英上也可以看到，Jordan確實(shí)是在2024年12月加入了OpenAI。這一時(shí)間點(diǎn)與博客的發(fā)布時(shí)間相吻合，進(jìn)一步印證了Yuchen Jin的爆料。如果Jordan真的在使用Muon來訓(xùn)練GPT-5，那么這一技術(shù)很有可能成為GPT-5中的重要部分。
不過，Jordan也在博客中提出了一些尚未解決的問題。例如，Muon是否可以擴(kuò)展到更大規(guī)模的訓(xùn)練？是否有可能在大型GPU集群中正確分布Muon使用的Newton-Schulz迭代？以及Muon是否僅適用于預(yù)訓(xùn)練，而不適用于微調(diào)或強(qiáng)化學(xué)習(xí)工作負(fù)載？這些問題仍有待進(jìn)一步的研究和驗(yàn)證。
盡管如此，Muon的出現(xiàn)仍然為AI領(lǐng)域帶來了新的希望和可能。它讓人們看到了在神經(jīng)網(wǎng)絡(luò)優(yōu)化方面還有巨大的潛力和空間等待挖掘。隨著技術(shù)的不斷進(jìn)步和發(fā)展，相信未來會(huì)有更多像Muon這樣的創(chuàng)新技術(shù)涌現(xiàn)出來，推動(dòng)AI領(lǐng)域不斷向前發(fā)展。
