在人工智能領(lǐng)域，一項(xiàng)重大技術(shù)突破近日由九章云極DataCanvas公司攜手中國(guó)人民大學(xué)STILL項(xiàng)目團(tuán)隊(duì)及北京智源研究院團(tuán)隊(duì)共同實(shí)現(xiàn)。他們?cè)诖竽Ｐ吐伎纪评砑夹g(shù)上取得了顯著進(jìn)展，成功復(fù)現(xiàn)了類R1推理模型，并將其實(shí)現(xiàn)細(xì)節(jié)及訓(xùn)練技巧全面開源。這一成果不僅標(biāo)志著技術(shù)的深度共享，更為AI推理技術(shù)的發(fā)展注入了新的活力。
更為引人注目的是，該聯(lián)合團(tuán)隊(duì)創(chuàng)新性地引入了代碼工具以增強(qiáng)模型推理性能，這一策略在AIME數(shù)學(xué)推理測(cè)試中取得了顯著成效，超越了DeepSeek-R1模型的性能表現(xiàn)。相關(guān)研究成果已凝聚成論文《An Empirical Study on Eliciting and Improving R1-like Reasoning Models》，并在預(yù)印版論文網(wǎng)站arXiv上公開發(fā)表，供全球?qū)W者研究參考。
為了推動(dòng)AI技術(shù)的工業(yè)化應(yīng)用，九章云極DataCanvas聯(lián)合團(tuán)隊(duì)進(jìn)一步公布了DeepSeek-R1全參數(shù)微調(diào)開源方案，并發(fā)布了全新的強(qiáng)化學(xué)習(xí)訓(xùn)練模型STILL-3-Tool-32B。該方案不僅涵蓋了從模型訓(xùn)練到推理部署的全鏈路工程代碼，還同步分享了經(jīng)過實(shí)踐驗(yàn)證的技術(shù)經(jīng)驗(yàn)與調(diào)優(yōu)策略，為開發(fā)者提供了一個(gè)可直接部署的、工業(yè)化級(jí)的大模型訓(xùn)練框架。在AIME 2024基準(zhǔn)測(cè)試中，STILL-3-Tool-32B模型取得了81.70%的準(zhǔn)確率（采樣），這一成績(jī)超越了DeepSeek-R1滿血版，彰顯了其強(qiáng)大的推理能力。
STILL-3-Tool-32B模型的問世，是九章云極DataCanvas聯(lián)合團(tuán)隊(duì)在長(zhǎng)鏈復(fù)雜推理模型訓(xùn)練框架上的又一次重要?jiǎng)?chuàng)新。研究論文指出，即使在已接近性能巔峰的蒸餾模型上，通過該強(qiáng)化學(xué)習(xí)訓(xùn)練方法也能大幅提升AIME 2024的準(zhǔn)確率。這一發(fā)現(xiàn)對(duì)于提升大模型的回復(fù)長(zhǎng)度和推理準(zhǔn)確性具有重要意義。為了克服語言推理中可能存在的精準(zhǔn)性不足問題，STILL-3-Tool-32B模型引入了外部工具來增強(qiáng)AI模型的復(fù)雜推理能力，從而在AIME 2024上取得了顯著優(yōu)勢(shì)。
在DeepSeek-R1技術(shù)報(bào)告公布后，開源模型的復(fù)現(xiàn)仍面臨諸多挑戰(zhàn)，如代碼完整性缺失、超參數(shù)調(diào)試等。九章云極DataCanvas聯(lián)合團(tuán)隊(duì)通過AI基礎(chǔ)設(shè)施的深度融合，成功突破了這些難題。他們開源了該模型在DataCanvas Alaya NeW智算操作系統(tǒng)上完成的全過程訓(xùn)練日志、獎(jiǎng)勵(lì)函數(shù)代碼及容器化部署方案，為開發(fā)者提供了寶貴的參考。研究結(jié)果顯示，在Alaya NeW中采用on-policy學(xué)習(xí)策略是成功的關(guān)鍵因素，這一策略充分探索了相關(guān)的超參數(shù)設(shè)置及訓(xùn)練技巧。
值得注意的是，DeepSeek及蒸餾模型在推理過程中無法調(diào)用外部代碼工具，這一直是復(fù)現(xiàn)過程中的關(guān)鍵難點(diǎn)。而Alaya NeW智算操作系統(tǒng)在開源工具鏈與基座模型適配、算法與算力協(xié)同、邏輯推理與多步?jīng)Q策等復(fù)雜任務(wù)框架方面展現(xiàn)出了明顯優(yōu)勢(shì)。這一突破有望推動(dòng)AI技術(shù)的進(jìn)一步發(fā)展，為人工智能領(lǐng)域帶來更多的創(chuàng)新和應(yīng)用。
九章云極DataCanvas聯(lián)合團(tuán)隊(duì)還分享了他們?cè)贏IME 2024測(cè)試中的具體表現(xiàn)。STILL-3-Tool-32B模型以15.56%的顯著優(yōu)勢(shì)超越了其基座訓(xùn)練模型，與OpenAI的o3-mini持平，并超越了o1和DeepSeek-R1在同場(chǎng)景下的表現(xiàn)。這一成績(jī)不僅驗(yàn)證了團(tuán)隊(duì)的技術(shù)實(shí)力，也為AI推理技術(shù)的發(fā)展樹立了新的標(biāo)桿。
隨著人工智能技術(shù)的不斷發(fā)展，九章云極DataCanvas聯(lián)合團(tuán)隊(duì)的這一成果無疑將為AI推理技術(shù)帶來更多的可能性。他們通過開源技術(shù)、分享經(jīng)驗(yàn)，不僅推動(dòng)了AI技術(shù)的工業(yè)化應(yīng)用，也為全球?qū)W者和開發(fā)者提供了寶貴的研究資源。未來，我們期待看到更多基于這一技術(shù)的創(chuàng)新應(yīng)用，為人類社會(huì)帶來更多的便利和進(jìn)步。
