在機器人技術的前沿探索中,一款名為AgiBot Digital World的大型仿真框架橫空出世,由智元機器人團隊自主研發(fā),為機器人操作技能的訓練與研究開辟了新的道路。該框架不僅提供了靈活的仿真數(shù)據(jù)生成方案,還同步開源了規(guī)模龐大的仿真數(shù)據(jù)集,為行業(yè)內(nèi)的開發(fā)者與研究人員帶來了前所未有的便利。
AgiBot Digital World專為機器人操作技能的應用與設計而生,集成了海量且逼真的三維資產(chǎn)、多樣化的專家軌跡生成機制以及全面的模型評估工具。通過高度模擬真實訓練場景,AgiBot Digital World能夠實現(xiàn)一系列具象化的仿真服務,精準再現(xiàn)各種復雜的機器人訓練情境。
智元機器人此次開源的仿真數(shù)據(jù)集AgiBot Digital World Dataset,涵蓋了家居、商超、辦公、餐飲和工業(yè)五大場景,共計超過180種具體物品,涉及9種常見材質和12種核心操作技能。這些數(shù)據(jù)集不僅數(shù)量龐大,而且質量上乘,為端到端模型的訓練提供了可靠保障。
AgiBot Digital World的三維資產(chǎn)庫堪稱豐富多樣,包含各種物體、場景和機器人模型。這些資產(chǎn)通過精細的人工建模、三維重建技術和生成式人工智能(AIGC)等手段轉化而來,能夠滿足各種復雜機器人操作任務的仿真需求。高保真度的視覺渲染和精確的物理模擬,使得仿真情景與真實世界之間的域差異微乎其微,無論是光影效果還是物理碰撞,都表現(xiàn)得極為真實。
AgiBot Digital World還引入了多模態(tài)大模型,支持基于資產(chǎn)庫自動生成操作任務,以及根據(jù)指定任務自動生成操作場景和物體布局。這一功能極大地提升了仿真任務的多樣性和靈活性,使得開發(fā)者能夠根據(jù)實際訓練需求,輕松創(chuàng)建復雜度可調(diào)的仿真環(huán)境與任務。
在數(shù)據(jù)生成方面,AgiBot Digital World同樣表現(xiàn)出色。它提供了多元化專家軌跡生成策略,包括真機操作數(shù)字孿生、具身智能體自動生成以及仿真遙操作等。這些策略不僅能夠生成豐富多樣的專家軌跡數(shù)據(jù),還能夠通過環(huán)境光照、物體材質、物理屬性域隨機化等手段,增強數(shù)據(jù)的多樣性和魯棒性,從而提升模型在真實環(huán)境中的泛化能力。
此次智元機器人開源的仿真數(shù)據(jù)集,不僅為機器人技術的研發(fā)提供了堅實的基礎,也為各類場景應用提供了廣闊的可能性。海量數(shù)據(jù)的開放,有望降低行業(yè)研發(fā)門檻,加速具身智能技術的開發(fā)與應用進程。對于整個機器人行業(yè)而言,這無疑是一個振奮人心的消息。