小米大模型團隊近日通過官方渠道“Xiaomi MiMo”公眾號震撼發布，其首個專為推理能力打造的大模型——MiMo正式開源。這一舉措標志著小米在人工智能領域的又一重大突破，由全新組建的小米大模型Core團隊傾力打造。
據悉，MiMo在數學推理（參考AIME 24-25評測）及代碼競賽（LiveCodeBench v5評測）兩大公開測評集中，僅憑7B的參數規模，便超越了業界知名的OpenAI閉源推理模型o1-mini，以及規模更為龐大的阿里開源推理模型QwQ-32B-Preview，展現出卓越的推理性能。
小米官方詳細闡述了MiMo推理能力得以大幅提升的背后邏輯，這得益于預訓練和后訓練階段中數據和算法等多方面的創新融合。在預訓練階段，團隊著重讓模型接觸并學習多樣化的推理模式；數據方面，深入挖掘富含推理元素的語料，并合成約200B tokens的推理數據集，為模型提供了豐富的訓練素材。訓練過程則分為三個階段，逐步提升難度，累計訓練量達到25T tokens。
進入后訓練階段，小米團隊采用了高效穩定的強化學習算法和框架。算法層面，創新性地提出了Test Difficulty Driven Reward機制，有效緩解了困難算法問題中的獎勵稀疏難題，并引入Easy Data Re-Sampling策略，確保RL訓練的穩定性。框架層面，設計了一套Seamless Rollout系統，使得RL訓練速度提升了2.29倍，驗證速度也加快了1.96倍。
小米大模型MiMo的開源，無疑為人工智能社區注入了一股新的活力。對于開發者而言，這意味著他們將有機會深入了解并應用這一先進的推理模型，推動相關領域的技術進步和創新。同時，MiMo的成功也展示了小米在人工智能領域的深厚積累和持續創新能力。
對于關注人工智能發展的廣大用戶而言，小米MiMo的開源無疑是一個值得期待的消息。它預示著未來將有更多基于這一模型的創新應用涌現，為人們的生活和工作帶來更多便利和可能性。
感興趣的開發者可以通過以下鏈接獲取小米MiMo的開源代碼及技術報告：
Hugging Face平臺：（鏈接已移除）
技術報告：https://github.com/XiaomiMiMo/MiMo/blob/main/MiMo-7B-Technical-Report.pdf
