隨著年末的到來(lái)，半年前蘋(píng)果在頭顯領(lǐng)域的大招Vision Pro距離正式發(fā)售也越來(lái)越近。
雖然半年來(lái)，大家的目光都聚焦在Vision Pro可能帶來(lái)的全新沉浸式體驗(yàn)上，但潛藏在其中關(guān)于虛擬人的探索亦有不少：
從五年前引領(lǐng)3D面部動(dòng)捕的Animoji，到上周發(fā)布的可以生成真人數(shù)字分身的HUGS技術(shù)，都展露出蘋(píng)果想探索出一條與眾不同虛擬人道路的決心。
而這些多年積累的技術(shù)，也都將在Vision Pro上迎來(lái)高光時(shí)刻——不得不說(shuō)，在為元宇宙續(xù)命這塊蘋(píng)果是會(huì)拿捏的，以半年為周期穩(wěn)定為元宇宙注入新的可能性。
1 全新技術(shù) 讓虛擬人無(wú)限趨近現(xiàn)實(shí)
蘋(píng)果最新發(fā)布的 “HUGS”虛擬人技術(shù)，全稱為Human Gaussian Splats，即人類(lèi)高斯合成，這項(xiàng)技術(shù)基于3D Gaussian Splatting（3DGS）和SMPL身體模型，通過(guò)兩種先進(jìn)技術(shù)融合來(lái)創(chuàng)造出更加生動(dòng)和真實(shí)的數(shù)字人物。
較之傳統(tǒng)的虛擬人生成技術(shù)，HUGS的一個(gè)關(guān)鍵優(yōu)勢(shì)在于其高效的數(shù)據(jù)處理能力，其僅需大約2到4秒的視頻（50-100幀），就能生成一個(gè)完整的數(shù)字分身，大大減少了創(chuàng)建虛擬人所需要的原始素材。
當(dāng)然目前HUGS在捕捉細(xì)節(jié)方面還有局限，不過(guò)通過(guò)算法，HUGS能夠自動(dòng)填充未被捕捉到的元素，確保了數(shù)字分身的整體質(zhì)量。
此外，HUGS的生成速度是其另一個(gè)優(yōu)勢(shì)：蘋(píng)果發(fā)布的相關(guān)論文宣稱，HUGS能在約30分鐘內(nèi)完成數(shù)字人的生成，速度比當(dāng)前市場(chǎng)上的其他同類(lèi)產(chǎn)品快約100倍。
而在所需素材較少，生成速度較快的基礎(chǔ)上，HUGS在渲染質(zhì)量和速度上也有顯著提高：HUGS能夠以60 FPS的速度實(shí)現(xiàn)高質(zhì)量渲染，同時(shí)還能處理動(dòng)態(tài)場(chǎng)景中的復(fù)雜挑戰(zhàn)，如避免偽影并協(xié)調(diào)動(dòng)畫(huà)過(guò)程中的運(yùn)動(dòng)。
雖然動(dòng)作設(shè)計(jì)有些鬼畜，但通過(guò)演示視頻可以看出，當(dāng)前利用 HUGS“技術(shù)生成的數(shù)字人在動(dòng)作流暢性、人物擬真性上都已經(jīng)趨近完成體。
這也宣示著蘋(píng)果在數(shù)字渲染領(lǐng)域的一個(gè)顯著進(jìn)步，特別是在動(dòng)態(tài)場(chǎng)景中創(chuàng)建和渲染人類(lèi)數(shù)字分身的能力上。因此在擁有Vinsion Pro后，通過(guò)相關(guān)技術(shù)快速生成數(shù)字人并在此基礎(chǔ)上開(kāi)展多樣化應(yīng)用也成為了可能。
除了潛在的與Vinsion Pro結(jié)合的可能性，HUGS的這些特性也使其成為電影制作、游戲開(kāi)發(fā)、虛擬現(xiàn)實(shí)等領(lǐng)域的一個(gè)有價(jià)值的工具，特別是在需要快速且高質(zhì)量地渲染動(dòng)態(tài)人類(lèi)角色的場(chǎng)景中。
通過(guò)HUGS技術(shù)，創(chuàng)作者和開(kāi)發(fā)者能夠更自由地實(shí)現(xiàn)新穎姿勢(shì)和視圖的合成，開(kāi)辟數(shù)字創(chuàng)作的新可能性。
當(dāng)然突破并非一蹴而就——近幾年，蘋(píng)果在虛擬人相關(guān)技術(shù)上進(jìn)行的諸多探索，都一個(gè)個(gè)成為Vision Pro未來(lái)圖景的基石。
2 逐步積淀 空間計(jì)算穩(wěn)健前行
回顧蘋(píng)果的虛擬人相關(guān)的動(dòng)作，2017年的Animoji無(wú)疑是其中的關(guān)鍵一步。
Animoji首次亮相于2017年的蘋(píng)果秋季發(fā)布會(huì)，與iphone X一同亮相的Animoji在彼時(shí)展示出了一種全新的交互方式：
這一技術(shù)通過(guò)iPhone的前置TrueDepth相機(jī)系統(tǒng)精確捕捉用戶的面部動(dòng)作，如嘴巴、眉毛和眼睛的運(yùn)動(dòng)，從而實(shí)時(shí)地將這些表情映射到獨(dú)角獸、機(jī)器人或貓頭鷹等各種動(dòng)畫(huà)角色上。用戶可以選擇不同的動(dòng)畫(huà)角色來(lái)錄制和發(fā)送含有語(yǔ)音的動(dòng)畫(huà)消息，這些角色能夠精準(zhǔn)地模擬并反映用戶的表情和聲音。
而后來(lái)發(fā)生的故事，我們已經(jīng)很熟悉：隨著技術(shù)的不斷進(jìn)步，Animoji也被運(yùn)用到更廣泛的場(chǎng)景，如社交媒體和視頻制作上。同時(shí)其他同類(lèi)產(chǎn)品也開(kāi)始瘋狂涌現(xiàn)，通過(guò)面部捕捉生成自己虛擬形象的熱潮，每隔一段時(shí)間就會(huì)重復(fù)一次。
同時(shí)隨著時(shí)間的推進(jìn)，蘋(píng)果在虛擬人相關(guān)技術(shù)的探索上也更進(jìn)一步——其中的許多技術(shù)細(xì)節(jié)中，都不乏Animoji的影子。
據(jù)目前的消息，在Vision Pro上蘋(píng)果會(huì)提前錄入使用者的 3D 面孔數(shù)據(jù)，生成出一個(gè) 3D 建模渲染的自己，也就是接近一比一還原的虛擬人，而為了讓虛擬人更加逼真，蘋(píng)果將采用一項(xiàng)名為“情緒識(shí)別”的新技術(shù)。
該技術(shù)旨在通過(guò)攝像頭，來(lái)分析用戶的面部表情和情緒。根據(jù)專利內(nèi)容，在這套系統(tǒng)中，需要使用面部識(shí)別技術(shù)來(lái)識(shí)別用戶身份，以便提供定制化的操作，而這一技術(shù)其實(shí)也源自蘋(píng)果早年的積淀。
該技術(shù)的最初開(kāi)發(fā)其實(shí)是為了應(yīng)用在Siri上。彼時(shí)，為了減少語(yǔ)音請(qǐng)求被誤解的次數(shù)，蘋(píng)果試圖通過(guò)分析用戶情緒來(lái)做到這一點(diǎn)，以進(jìn)一步提高準(zhǔn)確度。在早年的一份專利申請(qǐng)中，顯示蘋(píng)果正在開(kāi)發(fā)一種全新的方法，通過(guò)在未來(lái)版本的Siri或其他系統(tǒng)中添加面部分析功能，來(lái)幫助Siri解讀用戶提出的請(qǐng)求。
伴隨著Vision Pro的問(wèn)世，此前鋪墊的情緒識(shí)別技術(shù)無(wú)疑也即將迎來(lái)更大的用武之地。
除了在構(gòu)建更擬真虛擬人上的努力，對(duì)于虛擬人潛在的應(yīng)用場(chǎng)景，蘋(píng)果也早已開(kāi)始探索。
蘋(píng)果公司最近獲得的元宇宙在線購(gòu)物體驗(yàn)專利，是一項(xiàng)旨在徹底改變?cè)诰€購(gòu)物方式的創(chuàng)新技術(shù)——在這個(gè)虛擬環(huán)境中，用戶可以直接與各種虛擬產(chǎn)品進(jìn)行互動(dòng)，就像在現(xiàn)實(shí)中一樣。
該技術(shù)主要運(yùn)用計(jì)算機(jī)生成圖像（CGI）和擴(kuò)展現(xiàn)實(shí)（CGR）技術(shù)，以提升數(shù)字零售體驗(yàn)至新的層次，系統(tǒng)允許用戶通過(guò)虛擬通信會(huì)話，實(shí)時(shí)與遠(yuǎn)程銷(xiāo)售人員進(jìn)行互動(dòng)。
例如，用戶可以從一個(gè)虛擬電視上拿下一部虛擬智能手機(jī)，體驗(yàn)其所有功能，這些互動(dòng)的方式讓虛擬對(duì)象看起來(lái)和真實(shí)物理對(duì)象一樣具有真實(shí)感。此外，專利還提出了在VR環(huán)境中的應(yīng)用場(chǎng)景，包括虛擬零售商店、虛擬桌子和產(chǎn)品展示。這些應(yīng)用不僅限于展示現(xiàn)實(shí)世界中的產(chǎn)品，還可以包括顯示歷史地點(diǎn)或虛構(gòu)場(chǎng)景等虛擬位置。
通過(guò)這項(xiàng)專利，蘋(píng)果旨在解決在線購(gòu)物中缺乏即時(shí)反饋和互動(dòng)性的問(wèn)題，使用戶即使在家中或任何遠(yuǎn)程環(huán)境中也能享受到類(lèi)似面對(duì)面購(gòu)物的體驗(yàn)。用戶可以通過(guò)簡(jiǎn)單的手勢(shì)啟動(dòng)CGR環(huán)境中的零售體驗(yàn)，或互動(dòng)體驗(yàn)虛擬產(chǎn)品演示，同時(shí)銷(xiāo)售人員也可以遠(yuǎn)程操縱產(chǎn)品來(lái)突出其特性和功能。
在很近的將來(lái)，通過(guò)Vision Pro用戶就能夠體驗(yàn)到高度真實(shí)感的虛擬人物，還能在更加沉浸式的環(huán)境中與之互動(dòng)——無(wú)論是在娛樂(lè)、教育還是遠(yuǎn)程溝通方面都將開(kāi)辟新的體驗(yàn)方式。
3 技術(shù)融合 未來(lái)比想象中更近
至此，蘋(píng)果的虛擬人路徑已經(jīng)清晰展現(xiàn)：那就是以真人數(shù)字分身作為主要方向，通過(guò)完善動(dòng)作、細(xì)節(jié)、情感、場(chǎng)景等，使數(shù)字人無(wú)限趨近于真實(shí)。
有別于當(dāng)前的超寫(xiě)實(shí)虛擬人或卡通式虛擬人，蘋(píng)果選擇的道路更接近于通過(guò)真人素材構(gòu)建真人數(shù)字分身的路徑。
雖然當(dāng)下的真人虛擬人已經(jīng)可以做到十分逼真的程度，但其應(yīng)用更多停留在2D平面，也就是手機(jī)、電腦等顯示屏中，生成的內(nèi)容以口播為主，需要出鏡的范圍也基本局限在上半身，且以面部動(dòng)作為主，身體其他部分動(dòng)作有限。
而在Vision Pro即將開(kāi)啟的空間計(jì)算時(shí)代中，對(duì)真人數(shù)字人以及其全身動(dòng)作擬真性的要求會(huì)達(dá)到前所未有的高度。
此前META Horizon Worlds中卡通人物呈現(xiàn)的低幼感，與只能顯示虛擬人物上半身的詭異感，成為其發(fā)展過(guò)程中的兩大重大阻礙：
一方面低幼感的形象會(huì)讓虛擬空間天然具備更多游戲性，從而阻礙其在生產(chǎn)力上的拓展；另一方面顯示人物上半身的詭異感會(huì)很輕易地破壞沉浸式體驗(yàn)。
顯然，蘋(píng)果認(rèn)知中的虛擬人乃至虛擬世界，都要以無(wú)限趨近真實(shí)世界作為目標(biāo)。
IOS 17.2更新后正式亮相的空間視頻錄制功能同樣是實(shí)現(xiàn)這一目標(biāo)的關(guān)鍵一步。雖然當(dāng)下該功能只能實(shí)現(xiàn)1080P 60幀的內(nèi)容錄制，但根據(jù)已有的體驗(yàn)反饋，其已經(jīng)可以實(shí)現(xiàn)接近現(xiàn)實(shí)世界的沉浸感。
雖然HUGS目前生成數(shù)字人30分鐘的時(shí)間依然略顯漫長(zhǎng)，情緒識(shí)別功能的具體應(yīng)用效果、在線購(gòu)物等場(chǎng)景能在多大程度上符合人們的期待都還要等Vision Pro發(fā)售后揭曉，空間視頻1080P的分辨率限制離頭顯對(duì)于內(nèi)容8K乃至16K的高標(biāo)準(zhǔn)要求還要一定距離，但一個(gè)關(guān)于真人數(shù)字人與真實(shí)場(chǎng)景構(gòu)建的虛擬世界的拼圖已經(jīng)越來(lái)越多。
在相關(guān)技術(shù)進(jìn)一步完善與融合后，只需要一段視頻就可以構(gòu)建一個(gè)場(chǎng)景真實(shí)、人物逼真的虛擬世界的未來(lái)，其實(shí)比想象中更近。
