小米大模型團隊在音頻推理領域取得了一項引人注目的成就。近日，該團隊宣布，他們受Deepseek-R1的啟發，在國際權威的MMAU音頻理解評測中取得了突破，以64.5%的準確率登頂榜首，并且已經將相關技術開源。
MMAU評測集，即大規模多任務音頻理解和推理評測集，是衡量音頻推理能力的重要標尺。它包含了一萬條涵蓋語音、環境聲和音樂的音頻樣本，并結合人類專家標注的問答對，測試模型在27種技能上的表現，旨在推動模型達到接近人類專家的邏輯分析水平。然而，這一評測標準對人類來說也并非易事，人類專家在MMAU上的準確率也不過82.23%。
在小米大模型團隊登頂之前，MMAU官網榜單上的佼佼者是來自OpenAI的GPT-4o，其準確率為57.3%，緊隨其后的是Google DeepMind的Gemini 2.0 Flash，準確率為55.6%。而來自阿里的Qwen2-Audio-7B模型，在此評測集上的表現則為49.2%。
小米大模型團隊并未止步于Qwen2-Audio-7B模型的表現。他們利用該模型的開源特性，嘗試使用清華大學發布的AVQA數據集進行微調。AVQA數據集雖然僅包含3.8萬條訓練樣本，但通過全量有監督微調（SFT），Qwen2-Audio-7B模型在MMAU上的準確率提升到了51.8%。這一初步成果為團隊后續的研究奠定了堅實的基礎。
DeepSeek-R1的發布為小米大模型團隊帶來了新的啟示。該模型采用的Group Relative Policy Optimization（GRPO）方法，使得模型能夠通過“試錯-獎勵”機制自主進化，涌現出類似人類的反思和多步驗證等推理能力。小米大模型團隊深受啟發，嘗試將DeepSeek-R1的GRPO算法遷移到Qwen2-Audio-7B模型上。
經過不懈的努力，小米大模型團隊最終取得了令人矚目的成果。在僅使用AVQA的3.8萬條訓練樣本的情況下，強化學習微調后的模型在MMAU評測集上實現了64.5%的準確率。這一成績不僅遠超Qwen2-Audio-7B模型微調前的表現，也比目前榜單上第一名的商業閉源模型GPT-4o有近10個百分點的優勢。
小米大模型團隊的這一成就，不僅展示了他們在音頻推理領域的強大實力，也為整個AI領域帶來了新的啟示。他們通過開源技術和創新算法的結合，推動了音頻理解和推理能力的提升，為未來的AI發展開辟了新的道路。
