【ITBEAR】在人工智能領(lǐng)域，大模型挑戰(zhàn)電腦游戲的新篇章已經(jīng)開啟。淘天集團(tuán)未來生活實驗室的算法工程師們，利用多模態(tài)大模型深入探索了國產(chǎn)電腦游戲《黑神話：悟空》，并取得顯著成果。這一研究不僅測試了大模型在特定場景下的性能，還揭示了其在動作角色扮演類游戲中的潛力。
動作角色扮演類游戲因其復(fù)雜性，成為了研究者們測試大模型性能的理想平臺。在這類游戲中，大模型需要僅通過視覺輸入進(jìn)行決策，并生成復(fù)雜而連續(xù)的動作。然而，這一任務(wù)并非易事，大模型面臨著直接視覺輸入和動作任務(wù)兩大挑戰(zhàn)。
為應(yīng)對這些挑戰(zhàn)，技術(shù)團(tuán)隊提出了名為VARP Agent的新框架。該框架以游戲截圖為輸入，通過多模態(tài)大模型的推理，生成可直接操作游戲角色的代碼。這些代碼由各種原子命令組合而成，包括輕攻擊、躲避等。
VARP Agent框架還包含三個庫：情境庫、動作庫和人類引導(dǎo)庫，用于存儲和更新密集知識。在研究中，技術(shù)團(tuán)隊定義了多項任務(wù)，其中大部分發(fā)生在戰(zhàn)斗場景中。結(jié)果顯示，該框架在基本任務(wù)和簡單到中等難度的戰(zhàn)斗中表現(xiàn)出色，勝率高達(dá)90%。
盡管在面對高難度任務(wù)時，VARP Agent的表現(xiàn)相對較差，其整體水平仍不及高水平人類玩家，但這一研究成果為設(shè)計更復(fù)雜、更智能的智能體提供了寶貴參考。
