近期，人工智能領域的快速發展，特別是大型模型的日新月異，給傳統的AI能力評估方式帶來了巨大挑戰。為了應對這一挑戰，紅杉中國在5月26日正式揭曉了其最新研發的AI基準測試工具——xbench。這款工具不僅專注于AI模型的能力評估，更引入了一項創新的動態更新機制，確保評估過程既有效又公正。
xbench的誕生，源于紅杉中國在ChatGPT發布后對通用人工智能（AGI）發展的持續關注。隨著智能體在多個領域的廣泛應用，傳統的靜態基準測試方法逐漸暴露出局限性，難以準確衡量模型的真實水平。因此，xbench采用了獨特的雙軌評估體系：一方面，通過構建全面的多維度測評數據集，追蹤并評估模型的理論能力上限；另一方面，則注重智能體的實際應用價值，力求實現對AI技術的全面、客觀評價。
在評估方法上，xbench采用了長青評估機制，即評估工具會根據技術的快速迭代進行動態更新。這一機制不僅提升了測試的可靠性，還有效避免了題庫泄露等問題，確保了評估的公正性和準確性。過去，一些模型因題庫泄露而被質疑“刷榜”，而xbench的推出正是為了從根本上解決這一問題。
xbench還引入了垂直領域智能體的評測方法論，特別是在招聘與營銷領域的應用。隨著AI智能體的不斷發展，深度搜索、信息收集和推理分析等能力成為衡量其是否邁向AGI的關鍵。為此，xbench特別關注具有思維鏈的多模態模型在生成商用視頻方面的表現，以及在動態更新的應用中，GUI智能體的可信度等關鍵問題。這些評測內容不僅豐富了xbench的評估維度，也為其在垂直領域的應用提供了有力支持。
