在人工智能領(lǐng)域的一項最新突破中，字節(jié)跳動旗下的Seed團隊攜手香港大學(xué)及復(fù)旦大學(xué)，聯(lián)合推出了一項名為POLARIS的創(chuàng)新強化學(xué)習(xí)訓(xùn)練方案。該方案通過獨特的Scaling RL策略，成功將小型模型的數(shù)學(xué)推理能力提升至與大型模型相當(dāng)?shù)乃剑瑸锳I小模型的優(yōu)化開辟了一條嶄新道路。
實驗數(shù)據(jù)表明，利用POLARIS訓(xùn)練的Qwen3-4B開源模型，在AIME25和AIME24數(shù)學(xué)測試中分別斬獲了79.4%和81.2%的準確率，其表現(xiàn)甚至超越了部分規(guī)模更大的非開源模型。尤為POLARIS-4B模型的輕量化設(shè)計，使其能夠輕松適配消費級顯卡，極大地降低了應(yīng)用門檻。
POLARIS的核心創(chuàng)新聚焦于其訓(xùn)練策略。研究團隊發(fā)現(xiàn)，通過為待訓(xùn)練模型量身定制訓(xùn)練數(shù)據(jù)和超參數(shù)配置，可以顯著提升模型的數(shù)學(xué)推理能力。在實際操作中，團隊精心調(diào)整了訓(xùn)練數(shù)據(jù)的難度分布，構(gòu)建了一個略微偏向難題的數(shù)據(jù)集，避免了樣本難度的過度集中。同時，引入了數(shù)據(jù)動態(tài)更新機制，根據(jù)模型在訓(xùn)練過程中的實時表現(xiàn)剔除過于簡單的樣本，確保訓(xùn)練的高效性。
在采樣控制層面，POLARIS通過精細調(diào)節(jié)采樣溫度，實現(xiàn)了模型性能與生成路徑多樣性的平衡。研究發(fā)現(xiàn)，采樣溫度對模型性能和路徑多樣性具有重要影響，過高或過低的溫度均不利于模型的訓(xùn)練。因此，團隊提出了控制探索區(qū)的溫度初始化策略，并在訓(xùn)練過程中動態(tài)調(diào)整采樣溫度，以保持生成內(nèi)容的多樣性。
針對長上下文訓(xùn)練的難題，POLARIS引入了長度外推技術(shù)，通過調(diào)整位置編碼RoPE，使模型能夠處理超出訓(xùn)練長度的更長序列。這一創(chuàng)新策略有效彌補了長文本訓(xùn)練中的不足，提升了模型在長文本生成任務(wù)上的表現(xiàn)。
POLARIS還采用了分階段RL訓(xùn)練方法。在訓(xùn)練初期，使用較短的上下文窗口進行訓(xùn)練，待模型表現(xiàn)趨于穩(wěn)定后，再逐漸增加上下文窗口的長度。這一策略有助于模型逐步適應(yīng)更復(fù)雜的推理任務(wù)，提高了訓(xùn)練的穩(wěn)定性和效果。
目前，POLARIS的詳細訓(xùn)練方法、訓(xùn)練數(shù)據(jù)、訓(xùn)練代碼及實驗?zāi)Ｐ鸵讶骈_源。研究團隊在多個主流推理評測集上對POLARIS的有效性進行了驗證，結(jié)果顯示，在應(yīng)用POLARIS訓(xùn)練方法后，不同規(guī)模和家族的模型效果均得到了顯著提升。
POLARIS的GitHub主頁為：https://github.com/ChenxinAn-fdu/POLARIS
同時，POLARIS也在Hugging Face平臺上設(shè)有主頁：https://huggingface.co/POLARIS-Project
