在機器人技術的前沿探索中,一款名為AgiBot Digital World的大型仿真框架橫空出世,由智元機器人自主研發并正式發布。這一創新成果旨在為機器人操作技能的研究與應用提供強有力的支持,通過靈活的仿真數據生成方案、預訓練的大規模仿真數據以及統一的模型評測標準,為行業樹立了新的標桿。
AgiBot Digital World框架精心設計了逼真的三維資產庫,涵蓋了多樣化的物體、場景和機器人模型。這些資產通過精細的人工建模、三維重建技術和先進的生成式人工智能(AIGC)技術轉化而來,能夠高度滿足復雜機器人操作任務的仿真需求。借助NVIDIA Isaac-Sim仿真平臺,AgiBot Digital World實現了高度逼真的視覺渲染和精確的物理模擬,使得仿真情景與真實世界之間的域差異微乎其微,無論是光影效果還是物理交互,都呈現出令人信服的真實感。
在AgiBot Digital World中,用戶可以享受到豐富的三維資產帶來的高保真模擬訓練場景。從書房到廚房,從辦公室到餐廳,各種場景應有盡有。同時,該框架還支持基于資產庫自動生成操作任務,以及根據指定任務自動生成操作場景和物體布局,從而實現了數據閉環,極大地提升了仿真任務的多樣性和復雜度可調性。
為了進一步提升數據的多樣性和魯棒性,AgiBot Digital World引入了多模態大模型,支持在仿真環境中進行環境光照、物體材質、物理屬性域的隨機化,以及多種操作軌跡增強方式。這些功能共同作用下,能夠生成具有多樣性和魯棒性的專家軌跡數據,從而增強模型在真實環境中的泛化能力。
AgiBot Digital World還提供了多元化專家軌跡生成策略,包括真機操作數字孿生、具身智能體自動生成以及仿真遙操作。這些策略使得用戶能夠輕松獲取豐富的專家演示數據,為機器人操作技能的學習和優化提供了有力支持。
在數據開源方面,智元機器人也展現出了極大的誠意。此次開源的AgiBot Digital World Dataset涵蓋了家居、商超、辦公、餐飲和工業五大場景,物體品類超過180種,材質種類多達9種,并包含了12種核心技能。這些數據具有高質量、高泛化性、任務多樣性和應用靈活性等特點,為各類場景應用提供了堅實的開發基礎和廣泛的應用可能性。
據了解,AgiBot Digital World后續還將進一步擴展功能,適配更多的機器人本體和執行器,并融合更多模態的仿真數據,如深度噪聲傳感器仿真和觸覺傳感仿真等。這一舉措無疑將加速具身智能技術的開發和應用,為機器人技術的未來發展注入新的活力。