昆侖萬(wàn)維集團(tuán)近期宣布了一項(xiàng)重大技術(shù)進(jìn)展，正式向公眾開(kāi)放了Matrix-Game大模型，這一創(chuàng)新成果專注于交互式世界的生成，為相關(guān)領(lǐng)域帶來(lái)了前所未有的技術(shù)革新。Matrix-Game不僅是Matrix系列在交互式世界生成領(lǐng)域的具體實(shí)踐，更是業(yè)界首個(gè)開(kāi)源的、規(guī)模超過(guò)10B的空間智能大模型，專為開(kāi)放式環(huán)境下的高質(zhì)量?jī)?nèi)容生成與精細(xì)控制而精心打造。
Matrix-Game的構(gòu)建基于三大核心組件：首先是Matrix-Game-MC數(shù)據(jù)集，這是一個(gè)龐大的、專門設(shè)計(jì)的交互世界數(shù)據(jù)集。該數(shù)據(jù)集整合了海量的Minecraft游戲視頻數(shù)據(jù)，既包括無(wú)標(biāo)簽的視頻資料，也含有經(jīng)過(guò)精細(xì)動(dòng)作標(biāo)注、帶有鍵盤與鼠標(biāo)控制信號(hào)的Minecraft與Unreal可控視頻數(shù)據(jù)。這些數(shù)據(jù)為模型提供了復(fù)雜環(huán)境動(dòng)態(tài)與交互模式的高效學(xué)習(xí)基礎(chǔ)。
Matrix-Game主模型則是采用了前沿的擴(kuò)散模型技術(shù)，能夠依據(jù)用戶輸入生成流暢且可控的互動(dòng)視頻內(nèi)容。模型通過(guò)無(wú)標(biāo)簽數(shù)據(jù)預(yù)訓(xùn)練與標(biāo)注數(shù)據(jù)可控訓(xùn)練的兩階段策略，顯著提升了空間理解、用戶指令響應(yīng)及物理交互建模的能力。用戶能夠體驗(yàn)到細(xì)致入微的交互控制，如前進(jìn)、跳躍、攻擊及視角移動(dòng)等動(dòng)作，操作自然且精準(zhǔn)。同時(shí)，生成的互動(dòng)視頻在保持視覺(jué)連貫性的同時(shí)，嚴(yán)格遵循物理規(guī)律，如重力與碰撞等，極大地增強(qiáng)了沉浸感。Matrix-Game還展現(xiàn)出了強(qiáng)大的多場(chǎng)景泛化能力，能夠適應(yīng)不同地形、天氣及生物群系，并具備向其他非Minecraft游戲環(huán)境拓展的潛力。
為了全面評(píng)估交互式世界生成模型的性能，Matrix-Game還推出了一套統(tǒng)一的GameWorld Score評(píng)測(cè)體系。該體系從視覺(jué)質(zhì)量、時(shí)序質(zhì)量、動(dòng)作可控性及物理規(guī)則理解四個(gè)維度對(duì)模型進(jìn)行量化評(píng)估，填補(bǔ)了該領(lǐng)域系統(tǒng)性評(píng)測(cè)標(biāo)準(zhǔn)的空白。在GameWorld Score評(píng)測(cè)中，Matrix-Game在各項(xiàng)維度上均表現(xiàn)出色，顯著優(yōu)于現(xiàn)有的開(kāi)源基線模型Oasis與MineWorld。在雙盲用戶測(cè)試中，Matrix-Game生成的視頻內(nèi)容更受用戶青睞，進(jìn)一步證明了其在交互式世界生成領(lǐng)域的卓越表現(xiàn)。
對(duì)于感興趣的開(kāi)發(fā)者和研究人員，Matrix-Game提供了豐富的資源。項(xiàng)目主頁(yè)、技術(shù)報(bào)告及GitHub和HuggingFace的開(kāi)源地址均已開(kāi)放，供公眾訪問(wèn)和下載。這些資源的發(fā)布，無(wú)疑將推動(dòng)交互式世界生成技術(shù)的進(jìn)一步發(fā)展，激發(fā)更多創(chuàng)新應(yīng)用的誕生。
昆侖萬(wàn)維集團(tuán)的這一開(kāi)源舉措，不僅展示了其在人工智能領(lǐng)域的深厚積累與前瞻視野，也為全球開(kāi)發(fā)者提供了一個(gè)強(qiáng)大的工具平臺(tái)，共同探索交互式世界生成的無(wú)限可能。
