人工智能領域近期掀起了一場關于公共基準測試平臺公正性的熱議。LMArena，這一備受矚目的平臺，近期被指存在對大型供應商如OpenAI、谷歌及meta的潛在偏袒，引發了行業內的廣泛關注和爭議。
LMArena平臺通過展示不同大型語言模型（LLM）的回復對比，并由用戶投票選出更優者，形成了一個在行業內被廣泛引用的模型性能排行榜。這一機制原本旨在提供一個公平、透明的評估環境，然而，最新的研究卻揭示了其排名系統可能存在的問題。
由Cohere Labs、普林斯頓大學和麻省理工學院的研究人員聯合進行的一項深入分析顯示，LMArena的排名可能受到了大型企業優勢的影響。這些企業被指能夠私下測試多個模型版本，并僅選擇性能最佳的版本進行展示，而其余的則被悄然移除。這種做法被稱為“分數游戲”，它使得排行榜上的模型更像是經過精心挑選的“優等生”。例如，meta在發布Llama4之前，據稱至少測試了27個內部版本，并在用戶批評后，部署了專門針對基準測試優化的版本。
研究還發現，大型供應商在獲取用戶數據方面擁有顯著優勢。通過API接口，它們能夠收集到大量的用戶與模型交互的數據，包括提示和偏好設置。然而，這些數據并未被公平地共享，OpenAI和谷歌的模型占據了絕大多數的用戶交互數據（占比高達61.4%）。這使得它們能夠利用更多的數據進行優化，甚至可能針對LMArena平臺進行專門優化，從而提升排名。
更令人擔憂的是，大量模型在未公開通知的情況下被從LMArena平臺移除，這對開源模型的影響尤為嚴重。在評估的243個模型中，有205個模型未經解釋就被停用，僅有47個模型被正式標記為棄用。這種缺乏透明度的模型移除機制，進一步加劇了排名的失真。
面對這些指控，LMArena團隊迅速做出回應，堅決否認存在偏袒行為。他們強調，其排名系統反映了數百萬真實的人類偏好，并認為提交前的測試是合法且必要的手段，旨在確定最符合用戶期望的模型變體。LMArena團隊還表示，他們僅依據最終公開發布的模型進行排名，且平臺的源代碼和數百萬用戶交互數據均已公開，以體現其開放的設計理念。
然而，盡管LMArena團隊做出了回應，但研究人員仍堅持認為平臺需要進行改革。他們呼吁LMArena公開所有測試過的模型變體、限制供應商單次提交的版本數量、確保模型在用戶之間更公平地分配，并對模型移除進行清晰記錄。他們警告說，如果缺乏更嚴格的監督，LMArena最終可能會獎勵那些針對排行榜進行策略性優化的模型，而非真正性能卓越的模型。
