近期,AI評測領域迎來了一場前所未有的風暴,由AAI機構推出的FormulaOne基準測試讓業界為之震動。此次測試匯集了GPT-5、Grok4、o3Pro等頂尖AI模型,然而結果卻令人大跌眼鏡:所有參賽模型在測試中均未能及格,得分全部為零。
FormulaOne基準測試包含220個精心設計的圖結構動態規劃問題,這些問題難度橫跨中等至科研級別,涉及拓撲、幾何和組合等多個復雜領域。盡管問題表述簡潔明了,但背后所需的推理和邏輯推演難度極高,堪稱AI領域的“博士級”挑戰。
該測試的核心在于利用Courcelle提出的算法元定理,該定理表明,對于類似樹的圖結構,任何可用邏輯定義的問題都能通過動態規劃算法解決。這要求AI模型能夠利用樹分解結構,將圖的頂點組織成一系列重疊集合,并以樹狀結構排列,再通過動態規劃逐步求解。
在測試初期,這些前沿AI模型在較為簡單的問題上尚能維持一定成功率,范圍在50%至70%之間,顯示出它們對這類問題有一定的理解和應對能力。然而,隨著問題難度的加深,這些模型的表現開始急劇下滑。在深層難度測試中,Grok4、Gemini-Pro等模型幾乎全軍覆沒,僅能解決極少數問題,而GPT-5Pro雖稍勝一籌,也僅成功解答了四道題。至于最深層的難度測試,所有模型均未能斬獲任何分數,遭遇了徹底的失敗。
這一評測結果迅速在科研界引發了廣泛熱議,人們對AI模型的真實能力產生了深刻質疑。不少專家甚至提出,或許應該邀請人類博士生參與評測,以更全面地評估AI的推理能力。隨著AI技術的迅猛發展,人們不禁要問:這些尖端模型距離達到真正的“博士級”推理水平,究竟還有多遠的距離?
FormulaOne基準測試的模型表現詳情,可在以下鏈接中查看:https://huggingface.co/spaces/double-ai/FormulaOne-Leaderboard
重要信息概覽:
GPT-5等AI模型在FormulaOne基準測試中集體遭遇滑鐵盧,得分均為零。
FormulaOne測試包含220個高難度動態規劃問題,旨在檢驗AI模型的推理極限。
雖然部分模型在簡單問題上表現尚可,但在深層和更高難度問題上均告失敗,暴露了AI在復雜推理任務上的局限性。