近期，AI領域的兩大突破性進展讓業界眼前一亮，先是World Labs發布了其創新性的3D場景渲染AI，緊接著谷歌DeepMind也推出了第二代“世界模型”Genie 2，兩者均展示了AI在理解和生成現實世界方面的巨大潛力。
World Labs的創始人李飛飛，作為AI界的重量級人物，其新項目引發了廣泛關注。這家實驗室聲稱，他們的AI能夠直接渲染出完整的3D場景，超越了傳統生成模型僅限于像素預測的范疇。這些場景不僅具備交互性和自由度，用戶甚至可以通過鍵盤和鼠標在網頁上進行操作體驗。盡管目前仍處于測試階段，官網上的案例已經足夠讓人驚嘆，展示了AI在構建空間模型方面的強大能力。
然而，就在World Labs發布后不久，谷歌DeepMind也不甘示弱，推出了其第二代“世界模型”Genie 2。與World Labs的項目相比，Genie 2似乎更加流暢，自由度更高。它不僅能夠生成類似游戲的基礎世界模型，還支持用戶通過WASD鍵、空格和鼠標來操控畫面中的角色。更令人稱奇的是，AI能夠即時計算出根據操作產生的畫面，持續時間可長達一分鐘，且生成的畫面和建模在用戶操控鍵盤回溯時仍能保持一致。
Genie 2中的角色和交互也頗具看點。角色不僅可以步行，還能跑、跳、爬梯子，甚至開車和開槍射擊。AI生成的NPC之間也能發生交互，盡管效果尚待完善。Genie 2還成功模擬了自然相關的運動場景，如水面波動、煙霧飄散，以及重力和光線反射效果，展現出AI在理解現實世界物理規律方面的顯著進步。
盡管視覺效果令人印象深刻，但DeepMind也坦誠地指出，Genie 2目前仍處于早期版本，測試過程中仍會出現一些翻車案例。例如，在讓畫面中的小哥滑雪的任務中，AI卻將其變成了跑酷；在另一個花園場景中，玩家尚未操作，就突然飄過了一個幽靈。這些瑕疵表明，盡管取得了顯著進步，但AI在理解現實世界方面仍有待完善。
值得注意的是，與以往的Sora類視頻模型相比，Genie 2和World Labs的項目在訓練方向和技術路線上有所不同。Sora雖然號稱世界模型，但穿模和幻覺問題難以解決，因為它們主要依賴視頻素材進行學習，并不真正理解視頻中的物體如何交互。而Genie 2和World Labs則通過學習環境和物體之間的交互關系，取得了更接近真實世界的模擬效果。尤其是DeepMind的Genie 2，通過游戲素材進行學習，不僅學到了角色和畫面的動態變化，還觀察到了鍵盤操作對畫面和動作的影響，從而更全面地理解了物體與環境的交互。
