運動捕捉技術是借助慣性、光學傳感器,重建精確的人體三維模型信息的一種特效技術,通常在影視劇及游戲特效制作、運動員動作分析、患者康復評估等專業領域被廣泛應用。相比高技術門檻、高成本的專業操作,騰訊微視近期在手機上實現了運動捕捉技術,國內首次在移動端實現人體3D Mesh重建,用戶只需拿起手機拍攝或上傳一張全身照,即可體驗黃金圣斗士的鎧甲實時貼合在人物身上。
(圖:騰訊微視“圣斗士集結”效果展示)
一鍵變身黃金圣斗士,集結最強戰隊燃燒小宇宙
騰訊微視聯動《圣斗士星矢(騰訊)》手游推出圣斗士系列玩法。通過黃金圣斗士鎧甲換裝的玩法,在騰訊微視APP內落地。用戶可參與“圣斗士集結”活動,即可一鍵穿上圣斗士們的黃金圣衣。用戶可通過搜索“圣斗士集結”關鍵詞進入活動頁面,或者點擊首頁底部+號進入拍攝界面,也能找到活動入口。
(圖:騰訊微視“圣斗士集結”活動主界面)
用戶可上傳或拍攝一張正面照片,系統即可自動識別照片姿勢,給人物全身換裝黃金圣斗士鎧甲。或者在拍攝頁面選擇圣斗士相關特效,全身入鏡即可變身圣斗士,即使在拍攝過程中處于運動狀態,黃金盔甲特效也會實時計算跟蹤。在拍攝特效界面,可召喚多個星座的圣斗士,如黃金射手座、雙子座撒加、處女座沙加等。
(圖:騰訊微視“圣斗士集結”體驗步驟)
動捕技術移動端首秀,微視自研手機3D Mesh算法
現如今短視頻領域的諸多玩法,背后的技術能力主要分為四種:人臉2D關鍵點檢測、人體2D關鍵點檢測、人臉/頭3D Mesh重建、人體3D關鍵點檢測。但想要實現上傳一張照片,或拍攝運動狀態下的人物都穿上黃金圣斗士鎧甲的效果,則需要實現從普通圖像中重建出人體3D Mesh,才能將人體的身材用鎧甲包裹住,并且保證能夠在手機上實時運行。
(圖:人體3D Mesh重建效果展示)
騰訊微視為了獲取到高質量的3D人體Mesh重建數據,獨立搭建了一套全新的動捕系統,使用并基于這套系統開發了相應的Mesh重建算法,使其能更高效地進行訓練數據的迭代,解決更多場景和姿態下的問題,增強模型的泛化性能。通過重建7千多個頂點和1.5萬的面片,還原人體的基本動作,甚至預測出人體的高矮胖瘦。最終,渲染引擎根據這些信息給視頻中的人物“穿上”盔甲。
在基礎技術儲備完成后,騰訊微視團隊主要從數據集制作、算法流程改進、網絡結構搜索、移動端工程優化以及算法細節打磨等幾個方面對算法進行了優化。比如對上萬個貼近手機端用戶拍攝內容的視頻數據進行采集、標注、清洗;對網絡Backbone結構的設計與優化等。
(圖:騰訊微視“圣斗士集結”效果演示)
算法渲染設計多部門協同配合,量身定制優化方案
從最開始的CV技術研發、到移動端的部署以及渲染,整個技術生產鏈條的打通離不開各部門團隊間的多番協作。該項目調動了騰訊PCG內部多個技術團隊,包括OVBU拍攝算法團隊、應?研究中?、光流產品中?和MXD創意平臺設計中?。技術是第一步,特效的渲染和設計打磨也是特效出街前的必然步驟。
在特效渲染層面,微視技術團隊基于重建的人體3D Mesh量身定制了一套AttachToBody的渲染方案,確保高質量的渲染效果。此外,技術團隊開發的自定義材質系統,也為玩法提供了更自由靈活的材質與光照解決方案。在性能方面,為了提升效果整體的覆蓋率,在低端機上采取了Material Capture材質捕捉技術方案,用較小的計算成本擬合出近似PBR的真實感效果。同時在一些高頻且量大的矩陣計算中啟用了NEON加速方案,整體降低了數學計算耗時。
在視覺效果優化層面,設計團隊通過對微視引擎的了解,設計出高標準且不超綱的設計,從研發、調整到打磨階段都與技術團隊強綁定,明確優化方向,給出優化建議;輔助優化引擎渲染能力,對特效的衣服貼合度與跟隨性,身體比例協調性,衣服視效等方面進行了多輪打磨,最終達到較高標準的效果質量。
(圖:騰訊微視“圣斗士集結”視覺優化過程)
一直以來,騰訊微視高度關注技術研發,未來也將持續圍繞三維人體重建來進行創意特效設計與研發,不斷提升3D重建精度,解決更多拍攝場景的需求。在人體形變、人體驅動虛擬角色等方面也將努力有進一步的突破,為用戶提供更酷炫好玩的特效新體驗。據了解,騰訊微視發布器團隊正在大力招聘中,吸納更多技術創新研發、創意視覺玩法等方面的專業人才進入,來發掘更優質的創意玩法,打造行業一流的短視頻發布器一體化解決方案。
