在機器人技術領域，一項重大突破于近日由智元機器人、上海交通大學與上海人工智能實驗室攜手實現。他們共同研發的4D世界模型EnerVerse，旨在解決機器人在復雜任務中的動作規劃難題，為機器人技術開辟了新的道路。
傳統的機器人動作規劃方法，在多模態空間（如語言、視覺和動作）之間難以實現精確對齊，同時缺乏大規模、多模態且帶有動作標簽的數據集。而EnerVerse通過引入自回歸擴散模型（autoregressive diffusion），在生成未來具身空間的同時，能夠引導機器人完成復雜任務，顯著提升了動作規劃的性能。
EnerVerse的核心設計包括逐塊生成的自回歸擴散模型、稀疏記憶機制（Sparse Memory）與自由錨定視角（Free Anchor View, FAV）。其中，自回歸擴散模型采用基于時空注意力的UNet結構，通過卷積與雙向注意力建模每個空間塊內部，并通過單向因果邏輯保持時間一致性，確保生成的序列邏輯合理。稀疏記憶機制則借鑒了大模型的上下文記憶，有效降低了計算開銷，同時提升了長程任務的生成能力。而自由錨定視角方法則解決了具身操作中由于遮擋關系復雜，難以構建完美全局視角的問題。
自由錨定視角方法允許根據場景靈活重置錨定視角，避免固定多視角在狹窄空間中的局限性。它使用視線方向圖作為視角控制條件，同時將擴散模型中的2D空間注意力擴展為跨視角的3D空間注意力，確保生成的多視角視頻在幾何上保持一致。通過在仿真數據上微調的4D生成模型與4D高斯潑濺交替迭代，構建了一個數據飛輪，為真實場景下的FAV生成提供偽真值支持。
在EnerVerse架構中，生成網絡下游集成了Diffusion策略頭，打通了未來空間生成與機器人動作規劃的全鏈條。這一設計使得生成網絡在逆擴散的第一步即可輸出未來動作序列，無需等待完整的空間生成過程，確保了動作預測的實時性。同時，稀疏記憶隊列存儲真實或重建的FAV觀測結果，有效提升了長程任務規劃能力。
實驗結果表明，EnerVerse在視頻生成、動作規劃等方面均表現出卓越的性能。在短程生成任務中，EnerVerse的表現優于現有的微調視頻生成模型。而在長程生成任務中，EnerVerse展現出更強的邏輯一致性與連續生成能力，這是現有模型無法比擬的。EnerVerse在LIBERO仿真場景和AgiBot World真實場景中生成的多視角視頻質量也得到了充分驗證。
在動作規劃能力方面，EnerVerse同樣表現出色。在LIBERO基準測試中，EnerVerse在機器人動作規劃任務中取得了顯著優勢。其單視角模型在LIBERO四類任務中的平均成功率已超過現有最佳方法，多視角設定更是進一步提升了任務成功率。消融實驗也表明，稀疏記憶對長程序列生成的合理性及長程動作預測精度至關重要。
通過可視化Diffusion策略頭中的交叉注意力模塊，研究發現EnerVerse生成的未來空間與預測的動作空間具有較強的時序一致性。這一發現進一步證明了EnerVerse在未來空間生成與動作規劃任務中的優勢。
EnerVerse架構的提出，不僅突破了機器人任務規劃的技術瓶頸，還為多模態、長程任務的研究提供了全新范式。隨著項目的開源推進，EnerVerse有望進一步優化、拓展其應用邊界，加速機器人技術從實驗室邁向實際應用，為工業制造、物流配送等場景帶來更高的生產效率。
