在機器人技術的前沿探索中,一款名為AgiBot Digital World的大型仿真框架近日由智元機器人公司正式推出。這一創新工具專為機器人操作技能的研究與應用而設計,旨在通過提供靈活的仿真數據生成方案、預訓練的大規模仿真數據以及統一的模型評測標準,推動機器人技術的進一步發展。
AgiBot Digital World集成了海量的三維資產,這些資產不僅數量龐大,而且種類繁多,包括逼真的物體、場景和機器人模型。這些資產通過精細的人工建模、三維重建技術和先進的生成式人工智能技術轉化而來,能夠滿足各種復雜機器人操作任務的仿真需求。框架還提供了多樣化的專家軌跡生成機制和全面的模型評估工具,使得機器人訓練過程更加高效和準確。
該仿真框架能夠高保真地模擬訓練場景,實現全鏈自動化的數據生成。無論是光影效果還是物理效應,AgiBot Digital World都能以驚人的真實度進行再現。例如,當光線透過玻璃窗投射在物體上,或是機器人移動時產生的倒影,都顯得異常自然。當機器人將小車放入籃子時,兩者的晃動也模擬得十分逼真。
AgiBot Digital World的另一大亮點是其引入的多模態大模型。這一功能支持基于資產庫自動生成操作任務,以及根據指定任務自動生成操作場景和物體布局。這意味著,根據實際訓練需求,用戶可以靈活創建多樣化、復雜度可調的仿真任務與仿真環境,從而實現數據的閉環管理。例如,在書房場景中,如果機器人需要從桌面任務轉向書架上的立面操作,只需一鍵召喚取書任務,系統即可自動捕捉到環境中的書架,并根據需要調用資產庫補充物體或切換場景。
智元機器人還同步開源了海量規模的仿真數據集AgiBot Digital World Dataset。該數據集涵蓋了家居、商超、辦公、餐飲和工業五大場景,其中家居場景最為豐富,占比36%;商超占比21%;其余場景各占14.3%。數據集包含超過180種具體物品,涵蓋9大品類和9種主要材質。還囊括了12種核心技能,如抓、放、插、倒等,能夠靈活應對各種任務。這些數據具有高質量、快速泛化、任務多樣和應用靈活等特點,為機器人技術的開發和應用提供了堅實的基礎。