10月15日，火山引擎在視頻云大會上發布了基于歷史古建三維實景重建的「虛擬直播間」場景。采用AI生成3D內容和大場景重建方案，火山引擎視頻云團隊為山西高平金代二郎廟戲臺和北京正乙祠戲樓兩座百年建筑生成3D數字資產，并以「虛擬直播間」的形式應用于抖音的戲曲直播場景，讓古建筑在現代人的生活方式中煥發新生，同時助力戲曲等非遺的傳承。
火山引擎視頻云負責人Yongyuan 介紹，「虛擬直播間」是火山引擎在公益助力文化數字化方面的一項重要探索。他表示：“隨著AI視頻時代的到來，用戶對沉浸式體驗需求不斷加強，如何讓歷史古建的數字資產真正地融入現代人的日常‘活’起來，也對技術團隊提出了考驗。”
據了解，「虛擬直播間」采用了將3DGS先進技術（一種用于三維場景表示和渲染的先進技術）與自研大場景建模技術相結合的方式，實現了對真實場景的高質量3D幾何構建與外觀重建渲染。該方案不僅實現了優質的視覺效果，還可以接入美術管線進行編輯，實現復雜的光效、陰影渲染，讓直播表演更具真實感，帶給觀眾更加沉浸式的體驗。
圖說：火山引擎視頻云負責人Yongyuan在大會發布「虛擬直播間」
現存最早古戲臺，在抖音直播間煥發新生
位于山西高平市寺莊鎮王報村二郎廟內的二郎廟戲臺是我國現存時代最早、木構特征及紀年最確切的神廟戲臺。該戲臺建于金大定二十三年（1183年），是國務院公布的全國重點文物保護單位。
作為「虛擬直播間」的首個場景，這座距今800多年的露天戲臺，刻獸紋路和力士雕像已暗淡模糊。火山引擎多媒體實驗室團隊采用基于視覺的方式對文物進行三維重建，具有采集效率高、采集成本低、精度上限高等優點，同時避免了高精度激光掃描設備對古跡帶來不必要的損害。
為了適配手機屏幕細節呈現難，技術團隊還借助AIGC的能力，為戲臺生成了“守舊”、石獅子等裝飾元素和春、夏、秋、冬四季的不同效果，讓場景更加豐富。
據介紹，火山引擎多媒體實驗室團隊的AIG3D（AI生成3D）方案基于大模型強大的生成能力，采用創新的圖生3D模式：僅需上傳3D內容參考圖，系統就會自動生成關鍵視角和稀疏視角圖像，再將其輸入到3D重建大模型中，能夠快速精準建模，建模時間縮短至以分鐘為單位。
「虛擬直播間」的另一個場景北京正乙祠戲樓始建于清康熙6年，是中國歷史上第一座木制結構的室內劇場，被譽為“中國戲樓活化石”。與二郎廟戲臺稍顯粗獷的風格相比，正乙祠戲樓的構造布局更為復雜精巧，講求光影明暗搭配等舞臺細節的美感。
在三維重建時，正乙祠戲樓負責人張鵬希望火山引擎技術團隊能夠還原真實劇場演出的美感，并通過技術手段為虛擬場景添加一些現實中難以呈現的效果。
圖說：還原演出光效的正乙祠「虛擬直播間」場景
對此，技術團隊給正乙祠的「虛擬直播間」場景接入了美術管線進行編輯，更大限度地還原了舞臺演出時復雜的光效，并對戲臺二層的銅鑼、舞臺背景的金箔添加了色彩渲染，這也呼應了這座戲樓的歷史——曾是供奉財神趙公明的廟宇，讓這座百年戲樓在手機屏幕里呈現出美輪美奐的效果。
助力文化傳承，讓青年戲曲演員登上古老的“新”舞臺
從2024年5月起，「虛擬直播間」陸續邀請了抖音上多位京劇主播進行體驗測試，這其中既包括國家二級演員，也包括仍在戲曲學院讀書的00后大學生。
圖說：抖音京劇主播使用「虛擬直播間」開播
北京京劇院老生演員、國家二級演員王寧是「虛擬直播間」的首位使用主播，他表示，作為專業演員，日常只能在業余時間直播，受成本和場地限制，很難時常更換直播間場景，“虛擬直播間讓我們有了更多選擇。”他說。
火山引擎的實時高精度摳圖技術方案，能夠讓主播無需綠幕背景、在相對日常的環境下使用虛擬直播間，技術團隊還根據主播的反饋，自研了智能運鏡算法。在直播中開啟后，能夠配合主播的移動產生專業的運鏡效果。同時，還生成了京劇里常見的道具“一桌二椅”，主播只要在真實空間里坐在與屏幕中虛擬桌椅重合的位置，就能在直播中呈現出端坐在京劇桌椅旁（上）的效果。
在使用正乙祠場景的一次直播中，王寧收獲了京劇直播里比較少見的“嘉年華”。在他看來，正乙祠戲樓見證了京劇表演藝術從誕生、發展到輝煌的整個歷程，從程長庚到梅蘭芳，眾多梨園界前輩都曾在此登臺獻藝，這次經歷令他印象深刻。
“現代戲曲主播站在虛擬古戲臺上表演，觀眾既可回望古代建筑之美，又能品鑒主播們典雅的曲詞、婉轉的行腔，足不出戶穿越時空，更加生動直觀地了解文化遺產的歷史和價值。”Yongyuan這樣闡釋項目的初衷。
“原汁原味的古戲樓場景，不會讓觀眾產生審美疲勞，還能夠‘觸摸’到歷史痕跡，是一件非常有意義事情。”王寧說。
