10月8日，第19屆亞洲運動會在浙江杭州正式落幕。在這場亞洲規(guī)模最大的綜合性運動會閉幕式上，騰訊游戲知幾團隊與浙江衛(wèi)視創(chuàng)新合作打造的數(shù)字人“谷小雨”在短片《最憶是杭州》中驚艷亮相，在呈現(xiàn)亞運之美的同時，向觀眾與選手表達歡慶與惜別。
亞運會期間，基于游戲科技打造的數(shù)字人“谷小雨”，出現(xiàn)在亞運會宣傳的各個環(huán)節(jié)，以新聞播報、點評、訪談等方式頻頻登場，相關話題閱讀量累計達600萬，全網累計曝光量突破1200萬，登上同城熱搜，并被杭州亞組委官方點贊轉發(fā)，探索出了數(shù)字人參與新聞報道的更多可能性。
見證體育精神：“谷小雨”的亞運會全景式宣傳與報道
“谷小雨”是浙江省委宣傳部指導、浙江廣播電視集團部署，浙江衛(wèi)視與騰訊游戲知幾聯(lián)合打造的數(shù)字人。“谷小雨”身著的改良宋韻服飾，結合了當下潮流元素進行了創(chuàng)新設計，水墨長裙的印花靈感則來源于南宋西湖圖。其形象設計融合了古典文化與流行元素，寓意著雨生百谷，欣欣向榮。
在亞運會期間，“谷小雨”參與了亞運會系列宣傳報道。浙江衛(wèi)視的新聞欄目《亞運時間》以新聞播報、專家點評、嘉賓訪談等形式，聚焦運動之美、發(fā)展之美、人心之美，全景式展示杭州亞運會盛況。其中，“谷小雨”主持的@亞運板塊，聚焦網絡最新最潮的亞運熱點，以具有感染力的內容形式，帶領大眾以全新視角感受亞運氛圍，感受運動之美。
除了在大屏端通過《亞運時間》天天與觀眾見面外，“谷小雨”也在“Z視介”上也推出《谷小雨看視介》和亞運會吉祥物“三小只”一起主持，帶用戶一起看亞運精彩奪冠時刻。宋韻文化推廣人與亞運吉祥物同屏，奇妙互動、妙趣橫生，首期節(jié)目就獲得獲亞組委官方微博的點贊轉發(fā)。
在中秋和國慶節(jié)期間，“谷小雨”還與亞運“三小只”推出了節(jié)慶表情包，以極具辨識度的形象火遍全網。由亞組委、中國藍新聞及“谷小雨”共創(chuàng)的《當谷小雨遇上亞運“三小只”》短視頻也在短視頻平臺迅速破圈，讓國潮宋韻和亞運吉祥物碰撞出不一樣的火花，為杭州第19屆亞運會加油！收獲眾多網友關注：“沒想到國風里的三小只和小雨這么美！”
這并不是“谷小雨”首次亮相重大活動。今年9月，2023宋韻文化節(jié)啟動暨“意造大觀——宋代書法及影響”特展在杭州舉行，作為宋韻文化推廣人“谷小雨”，又一次擔任了宋韻文化節(jié)的主持人，展示了虛擬人物在文化傳承和藝術表達方面的潛力。
作為國內首個使用虛幻引擎在廣電AR實時舞臺實現(xiàn)實時渲染的超過200萬面數(shù)的高精度寫實虛擬人，在全球體育和文化的盛大舞臺上，“谷小雨”成為了無處不在的焦點之一。依托于AI智能驅動系統(tǒng)，谷小雨具備更加擬人的感知、表達和交互能力。亞運會后，谷小雨計劃參與新一季的浙江衛(wèi)視《王牌對王牌》等綜藝節(jié)目，和神秘嘉賓進行互動，還將登上浙江衛(wèi)視跨年夜晚會的舞臺，為大家?guī)硇缕婷畹囊暵犘赂惺堋?/p>
“谷小雨”背后：高寫實語音驅動3D面部生成與高表現(xiàn)低資源語音合成的探索
由南宋臨安“穿越”而來的谷小雨，兼具技術之“形”與文化內涵所賦予的“神”，不僅僅是一段簡單的代碼，更是技術與文化、現(xiàn)實與虛擬的融合，是科技與傳統(tǒng)藝術的交匯。這得益于背后“高寫實語音驅動3D面部”和“高表現(xiàn)低資源語音合成”等技術的驅動，騰訊知幾團隊基于此推出了“AI驅動3D數(shù)字人口播內容平臺”。據(jù)悉，谷小雨亞運期間的視頻內容，都由該平臺產出，只需輸入文本即可快速轉換成語音與自定義“谷小雨”的視頻場景、動作。
語音驅動3D面部動畫任務的目標是將輸入的語音信號轉換成生動逼真的3D面部動畫。“谷小雨”采用了由騰訊游戲知幾團隊和Aivatar團隊共同研發(fā)的業(yè)界首個使用非平行數(shù)據(jù)實現(xiàn)高寫實語音驅動3D面部的算法，以及首個能使用開放文本控制生成面部動畫的算法，不需要動畫師或者技術美術的參與，只需要輸入文字內容，就能通過合成后的語音實時驅動對應的面部表情。“谷小雨”也由此成為業(yè)內首個不依賴平行語音—動畫訓練數(shù)據(jù)實現(xiàn)高寫實語音驅動3D面部算法的數(shù)字人，實現(xiàn)了通過語音到面部動畫的全自動生成，支持各語種、歌唱、特殊語氣等任意語音驅動，并支持多種情緒控制。
“谷小雨”還實現(xiàn)了語音驅動多種情緒面部表情，填補了語音預訓練模型在中文領域的空白。研發(fā)團隊完成了高質量情緒3D面部動畫數(shù)據(jù)集的收集，共積累超百萬幀高質量動畫數(shù)據(jù)，擁有數(shù)萬小時的中英文語音庫。針對數(shù)據(jù)采集難的問題，提出了業(yè)內首個基于跨模態(tài)編碼的半監(jiān)督語音驅動3D面部動畫框架，成為首個使用自然語言作為提示來實現(xiàn)靈活可控的情感語音驅動3D面部動畫生成的團隊。在語音表現(xiàn)方面，傳統(tǒng)語音合成方案依賴高質量語音合成數(shù)據(jù)集，數(shù)據(jù)集的制作成本高、制作周期長、風格種類少，無法覆蓋多種場景需求。騰訊游戲知幾團隊構建的多風格高表現(xiàn)力語音合成系統(tǒng)，實現(xiàn)了將文本轉換成目標音色語音的音頻，可以支持不同情感，不同風格，不同音色以及不同口音的語音生成。
此外，騰訊游戲知幾團隊在語音數(shù)據(jù)上有大量積累，包括中低質量的對話語音數(shù)據(jù)，以及高質量的游戲相關，閱讀相關的語音合成數(shù)據(jù)數(shù)萬小時。結合團隊在文本語言模型領域相關的積累，騰訊游戲知幾團隊自研了基于大數(shù)據(jù)、大模型的語言合成方案，30秒就可以復刻語音的音色和風格，降低了語音合成落地成本。
為了快速高效地獲得數(shù)字人的動作視頻素材，研發(fā)團隊還自研了數(shù)字人可控視頻生成渲染系統(tǒng)，能夠在較低算力支持的平臺上也能快速部署，實現(xiàn)谷小雨視頻素材的快速產出。
游戲科技與藝術的交融，探索數(shù)字人的更多可能
“谷小雨”以其高度寫實的面部動畫和多樣性的語音合成能力，展示了以數(shù)字人技術為代表的游戲科技在文化創(chuàng)新化傳播維度的有效應用，開啟了數(shù)字人在多領域的新篇章。借助前沿的技術，這一全新形態(tài)的虛擬存在將賦予數(shù)字化時代新的可能性。
高寫實語音驅動3D面部技術賦予了谷小雨近乎真人的面部表情與微妙的情感變化。而高表現(xiàn)低資源語音合成技術，則使其在各種場景中都能清晰自然地傳遞信息，無論是新聞報道還是藝術表演。
在文化、藝術和教育領域，谷小雨的出現(xiàn)為傳統(tǒng)內容賦予了聲音和生命，并使得中國文化以一種更為新穎的方式呈現(xiàn)。通過游戲技術的驅動，讓中國傳統(tǒng)文化有了新穎且潮流的呈現(xiàn)方式，能讓外界更為直觀的感受到中國文化的魅力。
在內容領域，結合基于大數(shù)據(jù)、大模型的語言合成方案以及高寫實語音驅動3D面部等技術的驅動，數(shù)字人擁有了更加豐富的情感表達與互動能力。可以大幅降低制作成本，同時提高制作效率與質量。制作高質量的虛擬人視頻不再需要高昂的成本和長時間的制作周期。這意味著，無論是大型的商業(yè)宣傳，還是個人的內容創(chuàng)作，都可以快速、高效地生成高品質的數(shù)字視頻。
“谷小雨”打開了一扇通往數(shù)字世界的窗戶。在線上活動、虛擬會議等眾多場景中，數(shù)字人能為用戶提供更多的交互方式，讓溝通更為真實、有趣，幫助真實世界與數(shù)字世界之間建立橋梁。
