近期，Epoch AI這一非營(yíng)利性人工智能研究機(jī)構(gòu)發(fā)布了一份引人深思的報(bào)告，揭示了AI企業(yè)在推理模型領(lǐng)域面臨的新挑戰(zhàn)。據(jù)該報(bào)告預(yù)測(cè)，推理模型性能的顯著提升可能在未來一年內(nèi)逐漸放緩。
這份報(bào)告深入分析了公開數(shù)據(jù)和多種假設(shè)，指出計(jì)算資源的有限性以及研究成本的激增是當(dāng)前AI領(lǐng)域面臨的主要問題。長(zhǎng)久以來，AI行業(yè)依賴推理模型不斷刷新基準(zhǔn)測(cè)試成績(jī)，但這種模式正遭遇前所未有的阻礙。
Epoch AI的分析師Josh You指出，推理模型的崛起得益于其在特定任務(wù)上的卓越表現(xiàn)。例如，OpenAI的o3模型在近期內(nèi)顯著提升了數(shù)學(xué)與編程能力。然而，這些模型通過增加計(jì)算資源來提升性能，處理復(fù)雜任務(wù)時(shí)需要更多的計(jì)算量，導(dǎo)致耗時(shí)增加。
推理模型的訓(xùn)練過程通常包括兩個(gè)階段：首先基于海量數(shù)據(jù)進(jìn)行常規(guī)訓(xùn)練，然后應(yīng)用強(qiáng)化學(xué)習(xí)技術(shù)進(jìn)行微調(diào)。強(qiáng)化學(xué)習(xí)為模型提供“反饋”，幫助其優(yōu)化解決方案，從而推動(dòng)AI的快速迭代。然而，這種方法也暴露出了潛在的瓶頸。
據(jù)報(bào)告，前沿AI實(shí)驗(yàn)室如OpenAI正加大對(duì)強(qiáng)化學(xué)習(xí)的投入。在訓(xùn)練o3模型時(shí)，OpenAI使用了約10倍于前代o1的計(jì)算資源，其中大部分用于強(qiáng)化學(xué)習(xí)階段。OpenAI的研究者Dan Roberts透露，未來計(jì)劃將進(jìn)一步優(yōu)先強(qiáng)化學(xué)習(xí)，并投入更多計(jì)算資源，甚至超過初始模型訓(xùn)練時(shí)的水平。
盡管這種策略加速了模型的改進(jìn)，但Epoch AI的分析也提醒我們，這種改進(jìn)并非沒有邊界。計(jì)算資源的增加將不可避免地遇到物理和經(jīng)濟(jì)上的限制。Josh You在報(bào)告中詳細(xì)闡述了性能增長(zhǎng)的差異，指出標(biāo)準(zhǔn)AI模型訓(xùn)練的性能每年翻倍，而強(qiáng)化學(xué)習(xí)的性能則在每3-5個(gè)月內(nèi)增長(zhǎng)十倍。這種快速增長(zhǎng)的趨勢(shì)可能將在2026年左右與整體AI前沿進(jìn)展趨于一致。
Josh You還強(qiáng)調(diào)，推理模型的規(guī)模化不僅面臨計(jì)算資源的問題，還包括高昂的研究成本。如果研究持續(xù)需要高投入，推理模型可能無法達(dá)到預(yù)期的規(guī)模，這將進(jìn)一步制約AI行業(yè)的發(fā)展。
