meta Reality Labs 科研人員近日研發出一款 VR 頭顯原型，內置了一個專門用于處理人工智能的定制加速器芯片，使在獨立頭盔上渲染該公司的逼真的 Codec Avatars 成為可能。
在公司更名之前，meta 公司就一直在推動 Codec Avatars 項目，該項目旨在使 VR 中近乎逼真的頭像成為現實。利用設備上的傳感器(如眼球追蹤和嘴巴追蹤)和人工智能處理的組合，該系統以逼真的方式實時為用戶制作詳細的動畫。
Codec Avatars 項目的早期版本需要使用 NVIDIA 的 Titan X GPU 進行渲染支持，這使得像 meta 最新 Quest 2 這樣的移動獨立頭顯無法驅動這些需求。
于是該公司已經開始研究如何在低功率的獨立頭顯上實現 Codec Avatars，上個月召開的 2022 年 IEEE CICC 會議上發表的一篇論文證明了這一點。在這篇論文中，meta 公司透露它創建了一個用 7 納米工藝制造的定制芯片，作為專門用于 Codec Avatars 的加速器。
根據研究人員的說法，該芯片遠非現成的。該小組在設計它時，考慮到了 Codec Avatars 處理管道的一個重要部分，特別是分析傳入的眼球追蹤圖像，并生成 Codec Avatars 模型所需的數據。該芯片的占地面積僅有 1.6mm2。
研究人員寫道：“在7納米技術節點制造的測試芯片具有一個神經網絡(NN)加速器，由1024個乘積(MAC)陣列、2MB片上SRAM和一個32位RISC-V CPU組成”。反過來，他們也重建了Codec Avatars人工智能模型的部分，以利用該芯片的特定架構。
研究人員表示：“通過重新構建基于卷積[神經網絡]的眼睛注視提取模型，并為硬件量身定做，整個模型適合在芯片上使用，以減輕系統級能量和片外內存訪問的延遲成本。通過在電路層面有效地加速卷積操作，所提出的原型[芯片]在低外形尺寸下實現了每秒30幀的性能和低功耗”。
通過加速 Codec Avatars 工作負載的密集部分，該芯片不僅加快了進程，而且還減少了所需的功率和熱量。由于芯片的定制設計，它能夠比通用CPU更有效地做到這一點，然后為Codec Avatars的眼球追蹤組件的重新架構的軟件設計提供參考。
但頭顯的通用CPU(在這種情況下，Quest 2的Snapdragon XR2芯片)也沒有閑著。當定制芯片處理Codec Avatars的部分編碼過程時，XR2管理解碼過程和渲染化身的實際視覺效果。
這項工作一定是相當多學科的，因為論文中提到了12名研究人員，他們都來自meta的現實實驗室。H. Ekin Sumbul, Tony F. Wu, Yuecheng Li, Syed Shakib Sarwar, William Koven, Eli Murphy-Trotzky, Xingxing Cai, Elnaz Ansari, Daniel H. Morris, Huichu Liu, Doyun Kim, and Edith Beigne。
令人印象深刻的是，meta的Codec Avatars可以在獨立的耳機上運行，即使需要一個特殊的芯片。但我們不知道的一點是，頭像的視覺渲染是如何處理的。用戶的底層掃描是高度詳細的，可能太復雜而無法在Quest 2上完全渲染。目前還不清楚在這種情況下，Codec Avatars的"逼真"部分被保留了多少，即使所有的基礎部分都在那里以驅動動畫。
