【ITBEAR】火山引擎在視頻云大會(huì)上發(fā)布了一項(xiàng)創(chuàng)新成果——基于歷史古建三維實(shí)景重建的「虛擬直播間」。這一場(chǎng)景利用AI生成3D內(nèi)容和大場(chǎng)景重建技術(shù)，為山西高平金代二郎廟戲臺(tái)和北京正乙祠戲樓這兩座百年建筑創(chuàng)建了3D數(shù)字資產(chǎn)，并將其應(yīng)用于抖音的戲曲直播中，旨在讓古建筑在現(xiàn)代生活中煥發(fā)新生，同時(shí)助力戲曲等非物質(zhì)文化遺產(chǎn)的傳承。
火山引擎視頻云負(fù)責(zé)人Yongyuan強(qiáng)調(diào)，隨著AI視頻時(shí)代的到來(lái)，用戶對(duì)沉浸式體驗(yàn)的需求日益增強(qiáng)。如何讓歷史古建的數(shù)字資產(chǎn)真正融入現(xiàn)代人的日常生活，對(duì)技術(shù)團(tuán)隊(duì)提出了嚴(yán)峻挑戰(zhàn)。
「虛擬直播間」通過結(jié)合3DGS先進(jìn)技術(shù)與自研大場(chǎng)景建模技術(shù)，實(shí)現(xiàn)了對(duì)真實(shí)場(chǎng)景的高質(zhì)量3D幾何構(gòu)建與外觀重建渲染。該方案不僅視覺效果出眾，還支持美術(shù)管線編輯，能夠?qū)崿F(xiàn)復(fù)雜的光效和陰影渲染，使直播表演更加真實(shí)，為觀眾帶來(lái)更加沉浸式的體驗(yàn)。
山西高平市寺莊鎮(zhèn)王報(bào)村二郎廟內(nèi)的戲臺(tái)，作為我國(guó)現(xiàn)存時(shí)代最早、木構(gòu)特征及紀(jì)年最確切的神廟戲臺(tái)，成為了「虛擬直播間」的首個(gè)場(chǎng)景。火山引擎多媒體實(shí)驗(yàn)室團(tuán)隊(duì)采用基于視覺的三維重建方式，高效、低成本且高精度地完成了對(duì)這座800多年歷史的露天戲臺(tái)的三維重建。
為了豐富場(chǎng)景細(xì)節(jié)，技術(shù)團(tuán)隊(duì)還借助AIGC的能力，為戲臺(tái)生成了“守舊”、石獅子等裝飾元素和四季不同的效果。火山引擎的AIG3D方案基于大模型的生成能力，采用創(chuàng)新的圖生3D模式，能夠快速精準(zhǔn)建模，將建模時(shí)間縮短至以分鐘為單位。
圖說(shuō)：火山引擎視頻云負(fù)責(zé)人Yongyuan在大會(huì)發(fā)布「虛擬直播間」
另一個(gè)「虛擬直播間」場(chǎng)景是北京正乙祠戲樓，這座始建于清康熙6年的木制結(jié)構(gòu)室內(nèi)劇場(chǎng)，被譽(yù)為“中國(guó)戲樓活化石”。在三維重建過程中，技術(shù)團(tuán)隊(duì)注重還原劇場(chǎng)演出的美感，并添加了現(xiàn)實(shí)中難以呈現(xiàn)的效果，如復(fù)雜的光效和色彩渲染，使這座百年戲樓在手機(jī)屏幕上呈現(xiàn)出美輪美奐的效果。
自2024年5月起，「虛擬直播間」邀請(qǐng)了多位抖音上的京劇主播進(jìn)行體驗(yàn)測(cè)試，包括國(guó)家二級(jí)演員和仍在戲曲學(xué)院讀書的00后大學(xué)生。他們表示，「虛擬直播間」為他們提供了更多選擇，使直播更加生動(dòng)有趣。
北京京劇院老生演員、國(guó)家二級(jí)演員王寧是首位使用「虛擬直播間」的主播。他表示，「虛擬直播間」讓他無(wú)需綠幕背景，在相對(duì)日常的環(huán)境下就能使用虛擬場(chǎng)景進(jìn)行直播。技術(shù)團(tuán)隊(duì)還自研了智能運(yùn)鏡算法，配合主播的移動(dòng)產(chǎn)生專業(yè)的運(yùn)鏡效果，并生成了京劇里常見的道具“一桌二椅”，使直播更加專業(yè)且富有傳統(tǒng)韻味。
Yongyuan表示，項(xiàng)目的初衷是讓現(xiàn)代戲曲主播站在虛擬古戲臺(tái)上表演，觀眾既可回望古代建筑之美，又能品鑒主播們典雅的曲詞、婉轉(zhuǎn)的行腔，足不出戶穿越時(shí)空，更加生動(dòng)直觀地了解文化遺產(chǎn)的歷史和價(jià)值。
