螞蟻技術團隊近期宣布了一項重大舉措，正式向公眾開放了其最新研發的輕量級推理模型——Ring-lite。這款模型在多個推理評測中取得了卓越表現，彰顯了MoE（混合專家）架構在推理任務中的巨大潛力。
Ring-lite是在螞蟻技術團隊先前推出的Ling-lite-1.5模型的基礎上進一步優化而來。Ling-lite-1.5采用了MoE架構，總參數達到168億，但有效激活參數僅為27.5億。而Ring-lite通過引入獨創的C3PO強化學習訓練方法，成功提升了模型性能，在AIME24/25、LiveCodeBench、CodeForce、GPQA-diamond等多個推理評測中均名列前茅，其表現甚至超越了參數規模為其三倍以下的Dense模型。
在技術創新方面，Ring-lite團隊實現了多項突破。他們首創的C3PO強化學習訓練方法有效解決了回復長度波動帶來的訓練難題，顯著提高了訓練的穩定性和效率。團隊還深入探討了Long-CoT SFT與RL訓練的最佳比例，通過引入基于entropy loss的訓練策略，平衡了訓練效果和樣本效率，進一步提升了模型的整體性能。
Ring-lite還解決了多領域數據聯合訓練的挑戰。通過系統對比混合訓練與分階段訓練的優劣，該模型在數學、代碼、科學三大領域實現了協同提升。在復雜推理任務中，Ring-lite展現出了強大的性能，特別是在數學推理和編程競賽方面，其得分遠超其他對比模型。
為了驗證Ring-lite的實際應用能力，螞蟻技術團隊還對其進行了高考數學和物理題的測試。結果顯示，Ring-lite在數學全國一卷上的得分接近130分，表現極為出色。
螞蟻技術團隊在開源Ring-lite時，不僅提供了模型權重和訓練代碼，還承諾將逐步公開所有訓練數據集、超參配置以及實驗記錄。這一舉措標志著輕量級MoE推理模型首次實現了全鏈路透明化，為相關領域的研究人員提供了極為寶貴的參考資源。
感興趣的研究人員和開發者可以通過以下鏈接獲取Ring-lite的相關信息：
GitHub鏈接：https://github.com/inclusionAI/Ring
Hugging Face鏈接：https://huggingface.co/inclusionAI/Ring-lite
ModelScope鏈接：https://modelscope.cn/models/inclusionAI/Ring-lite
