在機器人技術的前沿探索中,一款名為AgiBot Digital World的大型仿真框架橫空出世,由智元機器人公司自主研發并正式發布。該框架旨在為機器人操作提供一個全面而靈活的仿真環境,不僅包含了高效的仿真數據生成方案,還預置了大規模仿真數據,并確立了統一的模型評測標準。同時,智元機器人還慷慨地開源了海量的仿真數據集,為行業內外的研究與應用提供了寶貴資源。
AgiBot Digital World精心設計,專為機器人操作技能的研究與應用而生。它集成了種類繁多的逼真三維資產,涵蓋了多樣化的場景、物體和機器人模型。這些資產通過精細的人工建模、先進的三維重建技術以及前沿的生成式人工智能技術轉化而來,能夠滿足各類復雜機器人操作任務的仿真需求。通過這些資產,AgiBot Digital World能夠高保真地模擬各種訓練場景,為機器人提供近乎真實的操作體驗。
AgiBot Digital World基于NVIDIA Isaac-Sim仿真平臺構建,提供了高度逼真的視覺渲染和精確的物理模擬。仿真情景與真實世界之間的域差異被大幅縮小,無論是光影效果還是物理交互,都呈現出極高的真實感。例如,當光線透過玻璃窗投射在物體上,或機器人動作引發的倒影變化,都顯得自然而生動。
AgiBot Digital World引入了多模態大模型,支持基于資產庫自動生成操作任務,以及根據指定任務自動生成操作場景和物體布局。這一功能極大地提升了仿真任務的多樣性和靈活性,能夠根據實際需求創建復雜度可調的仿真環境與任務,實現數據閉環。例如,在書房場景中,若機器人需要從桌面操作轉向書架上的立面操作,只需一鍵召喚取書任務,系統即可自動捕捉到環境中的書架并生成相應的仿真場景。
在數據生成方面,AgiBot Digital World提供了多元化專家軌跡生成策略。這包括真機操作數字孿生、具身智能體自動生成以及仿真遙操作等多種方式。通過這些策略,系統能夠生成豐富多樣的專家軌跡數據,用于增強模型的泛化能力。同時,數據生成引擎還支持環境光照、物體材質、物理屬性域的隨機化,以及多種操作軌跡增強方式,進一步提升了數據的多樣性和魯棒性。
此次智元機器人開源的仿真數據集AgiBot Digital World Dataset涵蓋了家居、商超、辦公、餐飲和工業五大場景,共包含超過180種具體物品、9種主要材質以及12種核心技能。這些數據具有高質量、高泛化性、任務多樣性以及應用靈活性等特點,為端到端模型的訓練提供了可靠保障。通過這些數據,研究人員和開發者能夠更快速地實現光照、干擾物、平面位置、高度、背景和物體類別的泛化,提升模型在各種環境下的表現。
AgiBot Digital World的發布與數據開源,無疑為具身智能技術的開發與應用注入了新的活力。這些資源不僅為研究人員提供了堅實的開發基礎,也為行業內外的應用提供了廣泛的應用可能性。隨著AgiBot Digital World的進一步擴展與融合更多模態,我們有理由相信,具身智能技術的開發與應用將迎來更加蓬勃的發展。