在 Quest的手部追蹤中，Meta 表明 AI 是 VR 和 AR 的一項基礎技術：經過數小時手部運動訓練的神經網絡即使使用 Quest 頭顯的低分辨率攝像頭也能實現強大的手部追蹤，專門針對手部跟蹤進行了優化。
AI 的預測能力使這成為可能：由于在培訓中獲得的先驗知識，來自現實世界的少量輸入足以將手準確地翻譯到虛擬世界，包括 VR 渲染在內的完整實時捕捉將需要更多功率。
近日，Meta 旗下 Reality Labs 研究人員展示了一項新研究，即通過使用先前收集的跟蹤數據訓練 AI ，以盡可能合理和物理正確的方式模擬虛擬身體運動。QuestSim 只能使用來自頭顯和兩個手柄的傳感器數據，對可能進行的全身運動進行模擬。
Meta 團隊使用人工生成的傳感器數據訓練 QuestSim AI。為此，研究人員在 172 人的 8 小時動作捕捉剪輯中模擬了頭顯和控制器。這樣一來，他們就不必從頭開始重新捕獲頭顯和控制器數據以及身體動作。
動作捕捉片段包括 130 分鐘的步行、110 分鐘的慢跑、80 分鐘的手勢隨意交談、90 分鐘的白板討論和 70 分鐘的平衡。使用強化學習對虛擬化身進行的模擬訓練持續了大約兩天。
訓練后，QuestSim 可以使用真實世界的頭顯和控制器數據來識別一個人正在做的動作。使用 AI 預測，QuestSim 甚至可以模擬腿部等身體部位的運動，這些部位沒有實時傳感器數據，但其模擬運動是合成動作捕捉數據集的一部分，即由 AI 學習。
不過，這項技術目前尚未完美，化身的動作模擬依然存在著一些不足。因為化身的動作是在沒有額外的非物理基力下模擬而出的，在試圖移動角色基點時需要一系列特殊的關節力矩。
QuestSim 適用于不同體型的人，當角色不斷偏離用戶之后，會變得很難跟上動作。因此，模擬角色在試圖模仿一些高活躍度動作（跳舞、跳躍）時會摔倒，因為它們還沒有接受相關扭矩控制的強化學習訓練。
Meta 的研究團隊還表明，僅來自頭顯的傳感器數據與 AI 預測相結合就足以制作出可信且物理上正確的虛擬化身。在進一步的工作中，Meta 研究人員希望將更詳細的骨骼和身體形狀信息整合到訓練中，從而改善化身的運動多樣性。
