在機(jī)器人技術(shù)的前沿探索中,一款名為AgiBot Digital World的大型仿真框架橫空出世,由智元機(jī)器人公司自主研發(fā)并正式推出。這一創(chuàng)新成果為機(jī)器人操作技能的研發(fā)與應(yīng)用提供了強(qiáng)有力的支持,不僅包含靈活的仿真數(shù)據(jù)生成方案,還預(yù)裝了大規(guī)模仿真數(shù)據(jù),并確立了統(tǒng)一的模型評(píng)測(cè)標(biāo)準(zhǔn)。更為慷慨的是,智元機(jī)器人同步開(kāi)源了海量的仿真數(shù)據(jù)資源。
AgiBot Digital World專(zhuān)為機(jī)器人操作技能設(shè)計(jì),集成了豐富多樣的三維資產(chǎn)、專(zhuān)家軌跡生成機(jī)制以及全面的模型評(píng)估工具。通過(guò)高度逼真的模擬訓(xùn)練場(chǎng)景,該框架能夠自動(dòng)生成全鏈條數(shù)據(jù),為機(jī)器人提供包括各種復(fù)雜操作場(chǎng)景在內(nèi)的具身仿真服務(wù)。這些服務(wù)使得機(jī)器人能夠在虛擬環(huán)境中進(jìn)行高效的訓(xùn)練和學(xué)習(xí)。
智元機(jī)器人此次開(kāi)源的仿真數(shù)據(jù)集AgiBot Digital World Dataset同樣引人注目,涵蓋了家居、商超、辦公、餐飲和工業(yè)五大場(chǎng)景,包含超過(guò)180種具體物品、9種常見(jiàn)材質(zhì)和12種核心技能。數(shù)據(jù)集的多樣性確保了機(jī)器人在面對(duì)各種實(shí)際操作任務(wù)時(shí)能夠靈活應(yīng)對(duì)。
AgiBot Digital World的三維資產(chǎn)庫(kù)是其核心優(yōu)勢(shì)之一,擁有海量的物體、場(chǎng)景和機(jī)器人模型。這些資產(chǎn)通過(guò)精細(xì)的人工建模、三維重建技術(shù)和生成式人工智能(AIGC)轉(zhuǎn)化而來(lái),能夠滿足各種復(fù)雜機(jī)器人操作任務(wù)的仿真需求。無(wú)論是精細(xì)的家居物品還是復(fù)雜的工業(yè)設(shè)備,都能在仿真環(huán)境中得到高度逼真的再現(xiàn)。
基于NVIDIA Isaac-Sim仿真平臺(tái),AgiBot Digital World在視覺(jué)渲染和物理模擬方面均達(dá)到了高度逼真的水平。仿真情景與真實(shí)世界之間的域差異極小,無(wú)論是光影效果還是物理交互都顯得極為真實(shí)。例如,當(dāng)光線透過(guò)玻璃窗投射在物體上產(chǎn)生的光影變化,或是機(jī)器人動(dòng)作引起的倒影變動(dòng),都顯得自然而流暢。
AgiBot Digital World還引入了多模態(tài)大模型,支持基于資產(chǎn)庫(kù)自動(dòng)生成操作任務(wù),并根據(jù)指定任務(wù)自動(dòng)生成操作場(chǎng)景和物體布局。這一功能極大地提升了仿真任務(wù)的靈活性和多樣性,使得機(jī)器人能夠在各種復(fù)雜環(huán)境中進(jìn)行高效的訓(xùn)練和學(xué)習(xí)。例如,在書(shū)房場(chǎng)景中,機(jī)器人可以一鍵召喚取書(shū)任務(wù),系統(tǒng)將自動(dòng)捕捉到環(huán)境中的書(shū)架并規(guī)劃出合理的操作路徑。
在數(shù)據(jù)生成方面,AgiBot Digital World提供了多元化專(zhuān)家軌跡生成策略,包括真機(jī)操作數(shù)字孿生、具身智能體自動(dòng)生成和仿真遙操作等。這些策略使得機(jī)器人能夠在仿真環(huán)境中生成豐富多樣的專(zhuān)家軌跡數(shù)據(jù),用于增強(qiáng)模型的泛化能力。同時(shí),數(shù)據(jù)生成引擎還支持多種操作軌跡增強(qiáng)方式,以生成具有多樣性和魯棒性的數(shù)據(jù),進(jìn)一步提升機(jī)器人在真實(shí)環(huán)境中的表現(xiàn)。