近日，國際電信聯盟電信標準分局（ITU-T）正式公布了由中國信息通信研究院（簡稱“中國信通院”）主導制定的全新國際標準——ITU-T F.748.44，該標準聚焦于大模型基準測試評估體系，命名為“基準測試/Assessment criteria for foundation models: Benchmark”。這一里程碑式的成就標志著大模型技術評估領域邁向了國際化標準化的新篇章。
該國際標準深入規范了大模型基準測試的各項關鍵要素，包括測試維度、數據集、方法及工具，旨在構建一個全球公認的大模型能力評估框架。通過系統性研究全球產學研界超過500項基準測試，標準確立了四大核心測試維度，即測試場景、測試能力、測試任務和測試指標，為全面、客觀地衡量大模型性能提供了科學依據。
隨著人工智能技術的飛速發展，如何準確評估大模型的綜合能力及其潛在缺陷，已成為學術界與產業界共同關注的焦點。模型基準測試作為目前最為認可的評估手段，通過精心設計的測試任務和評價數據集，實現了對模型性能的公正、量化評估。然而，由于缺乏統一標準，當前市場上存在眾多基準測試方法和數據集，評測結果的公正性備受質疑。
為了破解這一難題，中國信通院自2023年起便著手布局大模型基準測試研究，并于年底推出了“方升”大模型基準測試體系，創新性地引入了自適應動態測試方法，積累了600萬條數據集，并構建了FactTeting測試工具，實現了大模型測試流程的自動化。這一系列的努力為國際標準的制定奠定了堅實基礎。
自2024年起，中國信通院參照已發布的ITU大模型基準測試國際標準，對國內外眾多標桿大模型進行了持續監測，涵蓋了OpenAI o1、DeepSeek R1、Gemini 2.5 Pro、Claude 3.7 Sonnet、Qwen2.5-Max以及百度文心大模型X1等上百個模型。通過每兩個月一次的周期性評測，發布了涵蓋大語言通用能力、推理能力、代碼能力、多模態理解能力、文生圖能力以及文生視頻能力等多個方面的評測結果，為行業提供了權威、全面的參考。
ITU-T F.748.44國際標準的發布，不僅為大模型技術的提供方和應用方提供了高質量的能力評估依據，還促進了大模型基準測試體系架構的國際共識，引導大模型技術及產業健康有序發展。這一標準化成果對于推動技術創新、引領行業趨勢以及加強國際合作與交流具有重要意義，標志著大模型測試領域邁出了堅實的一步。
