昆侖萬維近期宣布了一項(xiàng)重大技術(shù)突破，正式向公眾開源了其Matrix-Game大模型，這一舉措標(biāo)志著交互式世界生成技術(shù)邁入了一個(gè)全新的發(fā)展階段。Matrix-Game不僅是Matrix系列在交互式世界生成領(lǐng)域的首次實(shí)踐落地，更是工業(yè)界首個(gè)對外開放的、參數(shù)規(guī)模超過10B的空間智能大模型。
空間智能技術(shù)作為AI領(lǐng)域的前沿探索，正悄然改變著我們與虛擬世界的互動(dòng)方式。通過整合視頻生成、三維建模與交互控制等前沿技術(shù)，空間智能不僅為用戶帶來了更為自然、直觀且沉浸式的體驗(yàn)，還在具身智能、影視創(chuàng)作及游戲開發(fā)等多個(gè)領(lǐng)域展現(xiàn)出了巨大的應(yīng)用潛力。
昆侖萬維作為空間智能技術(shù)的長期關(guān)注者與推動(dòng)者，此次開源的Matrix-Game大模型無疑是一次技術(shù)實(shí)力的集中展現(xiàn)。Matrix-Game不僅刷新了交互式世界生成的技術(shù)上限，更為構(gòu)建一個(gè)通用的虛擬世界基座提供了全新的參考標(biāo)準(zhǔn)。該模型以游戲世界建模為核心，專為開放式環(huán)境中的高質(zhì)量生成與精確控制而設(shè)計(jì)。
Matrix-Game大模型的核心競爭力在于其深度融合了視頻生成與用戶交互。用戶只需通過簡單直觀的指令，就能自由探索、操控甚至創(chuàng)造出細(xì)節(jié)豐富、物理規(guī)則合理的虛擬世界。這一特性得益于其精心設(shè)計(jì)的三大核心組成部分：Matrix-Game-MC數(shù)據(jù)集、Matrix-Game主模型以及GameWorld Score評測體系。
Matrix-Game-MC數(shù)據(jù)集是昆侖萬維自主構(gòu)建的大規(guī)模交互世界數(shù)據(jù)集，它包含了大量無標(biāo)簽的Minecraft游戲視頻以及帶有鍵盤與鼠標(biāo)控制信號的Minecraft與Unreal可控視頻數(shù)據(jù)。這些數(shù)據(jù)為模型提供了豐富的訓(xùn)練素材，支持其對復(fù)雜環(huán)境動(dòng)態(tài)與交互模式的高效建模與學(xué)習(xí)。
Matrix-Game主模型則是基于先進(jìn)的擴(kuò)散模型技術(shù)開發(fā)而成，它能夠根據(jù)用戶輸入（如鍵盤指令、鼠標(biāo)移動(dòng)等）生成連貫、可控的互動(dòng)視頻。該模型在視覺質(zhì)量、時(shí)序一致性與物理合理性方面均表現(xiàn)出色，為用戶帶來了極致的交互體驗(yàn)。
為了系統(tǒng)性地評估和比較交互式世界生成模型的性能，昆侖萬維還提出了GameWorld Score評測體系。該體系從視覺質(zhì)量、時(shí)序質(zhì)量、交互可控性與物理規(guī)則理解四個(gè)維度對模型進(jìn)行全面量化評估，填補(bǔ)了該領(lǐng)域缺乏系統(tǒng)性評測基準(zhǔn)的空白。
在GameWorld Score評測體系中，Matrix-Game大模型展現(xiàn)出了卓越的性能。無論是在視覺質(zhì)量、時(shí)間一致性還是動(dòng)作可控性與物理規(guī)則理解方面，Matrix-Game均取得了領(lǐng)先成績，全面超越了現(xiàn)有的開源基線模型。
Matrix-Game大模型還具備強(qiáng)大的泛化能力。它能夠在不同Minecraft場景下實(shí)現(xiàn)可控生成，包括基礎(chǔ)運(yùn)動(dòng)、復(fù)合運(yùn)動(dòng)、視角運(yùn)動(dòng)等。得益于Unreal數(shù)據(jù)的融入，Matrix-Game在泛化到更廣泛的通用游戲場景方面也展現(xiàn)出了明顯優(yōu)勢。
昆侖萬維表示，Matrix-Game大模型的開源將為多個(gè)領(lǐng)域帶來革命性影響。在虛擬游戲世界方面，借助模型的可控生成能力，可以低成本、高效率地創(chuàng)建多樣化、結(jié)構(gòu)合理的游戲地圖與交互環(huán)境；在影視與元宇宙內(nèi)容生產(chǎn)方面，Matrix-Game支持高保真、物理一致的動(dòng)態(tài)場景合成，為沉浸式體驗(yàn)開發(fā)與創(chuàng)意內(nèi)容生成提供了通用世界建模基礎(chǔ)；在具身智能體訓(xùn)練與數(shù)據(jù)生成方面，盡管當(dāng)前模型未直接用于具身智能，但其生成大規(guī)模交互視頻的能力具備擴(kuò)展至具身智能體訓(xùn)練與評估的潛力。
Matrix-Game大模型的開源不僅是對技術(shù)實(shí)力的一次展示，更是對開源社區(qū)的一次回饋。昆侖萬維表示，未來將持續(xù)投入前沿技術(shù)與基礎(chǔ)模型研發(fā)，并堅(jiān)定開源SOTA級別模型，以推動(dòng)整個(gè)行業(yè)的共同進(jìn)步與發(fā)展。
