近日，快手特效團隊聯(lián)合Y-tech技術團隊為游戲主播“俠客紅塵”打造了一款高真實感的虛擬人形象“紅塵”。“紅塵”已在快手帶來直播首秀，虛擬形象加上新奇有趣的玩法使得首秀直播吸引了近 300 萬人觀看，同時在線人數(shù)近 5000 人，漲粉近 10 萬。
直播間效果顯示，直播中虛擬人“紅塵”的面部動作和肢體動作真實感很強，在游戲中的喜怒哀樂的情緒均能準確的表達，還可以自由切換發(fā)型和各種道具。此外還為“紅塵”配置了一些有趣的玩法，比如，在被彈幕噴“菜”時會氣得頭變大，在輸?shù)粲螒驎r會變出一個平底鍋來接鍋。
紅塵在直播時唱歌
據(jù)了解，紅塵在直播中運用了大量的2D和3D特效效果。在直播中，“紅塵”的頭頂有可愛的小鴨子，還能夠換上機車頭盔和小象頭套，甚至還能變成馬臉和一個電視機。帶著馬臉揮著平底鍋，跳著騎馬舞的夸張形象引起了直播間觀眾們“就離譜”的陣陣驚呼。
豐富的3D魔表效果
主播“俠客紅塵”表示，用了虛擬形象之后，和觀眾有了更好的互動體驗。“之前直播的時候我只是打游戲，即使在和觀眾互動時也主要是圍繞游戲展開。現(xiàn)在有了虛擬形象后，能明顯感覺到大家在關注游戲的同時，還能非常好地感受到我，感受到我的喜怒哀樂等情緒。”
據(jù)了解，在虛擬人“紅塵”這套技術完全由快手自研。獲得快手用戶喜愛的背后，實際上主播并不需要為此添置昂貴或者復雜的器材。應用快手的這套解決方案，主播只需要單個攝像頭和普通電腦即可實時驅(qū)動虛擬人。
該項目的技術總監(jiān)馬博士表示，這套方案包括3D掃描、動作捕捉以及實時渲染等技術，可在一個 100 元左右的攝像頭下，實時捕捉人的動態(tài)并幾乎無延遲地驅(qū)動虛擬人。這次虛擬人識別驅(qū)動技術為業(yè)內(nèi)頂級，其中面部捕捉技術可以和蘋果arkit技術相媲美，而且并不需要采集深度信息。
據(jù)介紹，此次虛擬人驅(qū)動模塊根據(jù)真人識別信息，通過資產(chǎn)校準、反向動力學等算法模塊，轉(zhuǎn)化為連續(xù)穩(wěn)定的資產(chǎn)動畫。系統(tǒng)中還使用了自動情緒增強模塊，通過自動識別的驅(qū)動者情感，對資產(chǎn)的面部表情動作進行自動調(diào)優(yōu)，以使虛擬角色體現(xiàn)出更具表現(xiàn)力的情感。
資深算法工程師鄭博士表示，該項目在實時渲染效果上極大的接近了真實感，且在渲染效率上做了大幅優(yōu)化，以能夠完美支持直播和短視頻場景。鄭博士還介紹，在高真實感的皮膚材質(zhì)生成方面，快手運用深度神經(jīng)網(wǎng)絡，將美術繪制的紋理進行風格轉(zhuǎn)化，通過該方法降低了美術素材的創(chuàng)建成本，同時提高了渲染的真實感。
該項目負責人表示，基于平臺優(yōu)質(zhì)的直播和短視頻生態(tài)，未來快手還將推出千人千面的虛擬人服務，為創(chuàng)作者提供廣闊的發(fā)揮空間，也將面向C端用戶提供更多豐富的玩法選擇，歡迎對虛擬人感興趣的組織聯(lián)系快手。
