在OpenAI連續12天的技術發布會上,一項名為RFT(Reinforcement-based Fine-Tuning,基于強化學習的微調)的新型訓練方法引發全球關注。該方法通過結合強化學習與監督微調,僅需少量標注數據即可顯著提升模型在特定場景下的性能。2月28日,百度智能云千帆ModelBuilder成為了國內首個全面支持RFT訓練方法的大模型開發平臺,為企業開發者提供更高效、低成本的大模型開發模式,進一步降低生成式AI應用落地的門檻。
什么是RFT:大模型高效訓練的新范式
RFT融合了強化學習(RL)和微調(Fine-tuning)技術,突破了傳統訓練依賴大量人工標注偏好數據的局限,借助Grader比較模型Response和Reference進行打分(0 - 1),自動分配獎勵信號,驅動模型優化。
這一訓練方式的優勢在于,AI可以自己思考,強化導致正確答案的思維路徑、抑制導致錯誤的思維路徑,可以在用戶的少量專業數據中完成推理,從而完成強化學習,迅速達到細分領域的專家水平。
RFT融合強化學習(RL)與監督微調(SFT),通過以下機制突破傳統訓練瓶頸:
1、 獎勵信號自動化引入Grader模塊(基于規則或參考答案的評分器),對比模型輸出與參考答案(Reference),自動生成0-1分值的量化獎勵信號,替代人工偏好標注。
2、 策略優化智能化基于PPO算法構建強化學習框架,驅動模型通過自主探索優化輸出策略,避免傳統SFT的局部最優局限。
千帆ModelBuilder RFT訓練全流程解析:RFT如何讓模型實現"思維躍遷"
在千帆ModelBuilder的實測中,RFT展現出"超強增效"特性:
數據效率:復雜場景下,僅需4500條訓練數據即可完成訓練,并保證模型效果。
泛化能力:在3-8人復雜度遞增的"好人/壞人"推理場景中,平均準確率相比base模型提升29%。
訓練天花板:在復雜問題場景下,RFT的訓練能力天花板更高。
千帆ModelBuilder上的RFT訓練三步曲
Step 1:創建RFT訓練任務
在千帆ModelBuilder上,選擇「模型精調」→「偏好對齊」→「RFT」,并選擇base模型DeepSeek-R1-Distill-Qwen-7B,同時配置獎勵規則(平臺預置四種規則,獎勵規則中定義了如何評估模型輸出效果的規則)。
Step 2:準備訓練數據
采用開源數據集K-and-K/knights-and-knaves(約4,500條數據);平臺數據配置中,數據格式需包含Prompt(問題)與Response(參考答案)。
Step 3:模型部署與效果快速評估
配置成功后,在平臺即可一鍵開啟模型訓練,訓練完成后一鍵部署至千帆ModelBuilder,同時平臺支持創建自動評估任務,通過ERNIE-4.0-Turbo作為裁判員模型并自定義評估指標,快速得到模型評估結果。
效果驗證—RFT“超強增效”:訓練后的模型回答準確率大幅提升,超越OpenAI o1模型!
整個訓練過程,基于百度智能云千帆ModelBuilder平臺,利用base模型DeepSeek-R1-Distill-Qwen-7B使用約4500條少量數據,完成RFT訓練;根據回答準確率以及case示例分析,得出2個關鍵結論。
準確率躍升,訓練天花板更高:在3-8人復雜度遞增的場景中,RFT后的DeepSeek-R1-Distill-Qwen-7B平均準確率提升29%,超越了OpenAI o1;同時對比SFT-全量更新后的模型回答準確率,發現在邏輯推理場景下,RFT的效果提升更顯著,訓練天花板更高。
泛化能力增強:RFT前Base模型的輸出答案以及思考過程均有明顯錯誤,并且當題目難度越高的時候甚至模型回答語言已經錯亂;而RFT后,模型輸出的答案準確,思考過程也更加清晰。
