小米公司近日通過其官方公眾號“Xiaomi MiMo”宣布了一項重大技術進展——正式開源了首個專注于推理能力的大型語言模型MiMo。該模型擁有70億參數，小米官方強調，MiMo在數學推理和代碼競賽等多個公開測評中展現出了卓越的性能，甚至超越了OpenAI的閉源模型o1-mini以及規模更大的阿里開源模型Qwen2.5-32B。
小米技術團隊深入揭示了MiMo背后的技術創新。他們指出，模型的成功得益于預訓練與后訓練階段的協同優化策略。在預訓練階段，團隊精心挖掘并合成了約2000億tokens的高質量推理語料，通過三階段漸進訓練策略，累計訓練量達到了驚人的25萬億tokens，為模型打下了堅實的基礎。
進入后訓練階段，小米引入了創新的強化學習技術，包括自主研發的“測試難度驅動獎勵”算法和“簡單數據重采樣”策略。這些創新技術有效提升了模型在處理復雜任務時的穩定性和準確性。技術團隊還開發了“無縫部署”系統，使得訓練效率提高了2.29倍，驗證速度加快了1.96倍，進一步加速了模型的優化和應用。
小米官方特別指出，在相同的強化學習訓練數據下，MiMo-7B在數學與代碼領域的表現明顯優于當前業界廣泛使用的DeepSeek-R1-Distill-7B和Qwen2.5-32B模型。這一對比結果進一步驗證了MiMo在推理能力上的顯著優勢。
為了推動人工智能領域的技術進步和開放共享，小米已在HuggingFace平臺上開源了MiMo-7B全系列的四個模型，并發布了詳細的技術報告。這一舉措不僅展示了小米在AI技術領域的深厚積累，也為全球開發者提供了一個寶貴的資源，共同推動人工智能技術的創新與發展。
