在北京市大興區(qū)，一場(chǎng)聚焦全球化和人工智能的科技盛宴于2024年12月6日至7日盛大舉行。這場(chǎng)名為2024T-EDGE創(chuàng)新大會(huì)暨鈦媒體財(cái)經(jīng)年會(huì)的活動(dòng)，匯聚了全球科技和商業(yè)領(lǐng)域的精英，共同探討企業(yè)全球化增長(zhǎng)的新趨勢(shì)，以及人工智能對(duì)全球各行業(yè)的深遠(yuǎn)影響。
在影視制作領(lǐng)域，一個(gè)長(zhǎng)期存在的挑戰(zhàn)是如何精準(zhǔn)捕捉人物的面部、嘴型、表情和肢體動(dòng)作，尤其是在視頻生成過(guò)程中。細(xì)微的動(dòng)作位移和差異都可能導(dǎo)致失真，而要達(dá)到好萊塢級(jí)別的影視效果，往往需要巨大的投入。然而，隨著生成式AI技術(shù)的迅猛發(fā)展，這一難題正在被逐步攻克。
MARZ，一家著名的視覺(jué)效果（VFX）工作室和AI技術(shù)初創(chuàng)公司，于2023年8月推出了新一代AI視效產(chǎn)品——LipDub。這款產(chǎn)品的誕生，旨在解決影視配音中口型不同步的頑疾。在演講中，LipDub的首席執(zhí)行官Jonathan Bronfman詳細(xì)介紹了這款產(chǎn)品的技術(shù)原理和應(yīng)用場(chǎng)景。他透露，LipDub采用了三種方案來(lái)實(shí)現(xiàn)口形同步：直接對(duì)視頻進(jìn)行翻譯、通過(guò)定制虛擬形象進(jìn)行對(duì)話調(diào)整，以及通過(guò)一段語(yǔ)料實(shí)現(xiàn)角色的量身定制。
MARZ的AI研究團(tuán)隊(duì)由特拉維夫大學(xué)計(jì)算機(jī)科學(xué)系的知名教授Danny Cohen-Or領(lǐng)導(dǎo)，他是ACM研究員和Isaias Nizri視覺(jué)計(jì)算主席。Cohen-Or教授與西蒙弗雷澤大學(xué)的助理教授Ali Mahdavi-Amiri長(zhǎng)期合作，共同領(lǐng)導(dǎo)了MARZ的AI研究。他們此前已成功開(kāi)展了Vanity AI的研究，這是MARZ開(kāi)發(fā)的第一個(gè)AI解決方案。Vanity AI能夠通過(guò)AI美妝技術(shù)，針對(duì)人物面部皺紋進(jìn)行年輕化處理，已在45多個(gè)好萊塢作品中使用。
Jonathan在演講中指出，生成式AI技術(shù)已經(jīng)演進(jìn)到文生圖、圖生視頻的階段。對(duì)于營(yíng)銷人員和內(nèi)容創(chuàng)作者來(lái)說(shuō)，這意味著他們可以在極短的時(shí)間內(nèi)生成視頻內(nèi)容，從而快速驗(yàn)證視頻效果。然而，視頻內(nèi)容生成的挑戰(zhàn)依然存在，即速度慢且成本高。但隨著技術(shù)的進(jìn)步，用戶現(xiàn)在可以在幾分鐘內(nèi)生成一段視頻，并且同一段視頻素材也可以反復(fù)使用。
LipDub的口形同步技術(shù)不僅適用于真人片段，還進(jìn)一步擴(kuò)展到了CG角色制作。Jonathan強(qiáng)調(diào)，好萊塢影視畫面的要求不僅僅是口型同步，而是要確保對(duì)原始人物/角色表演進(jìn)行1比1的還原，同時(shí)傳遞出飽滿的情緒。為了實(shí)現(xiàn)這一目標(biāo)，LipDub采用了Language Agnostic模型，以實(shí)現(xiàn)跨語(yǔ)言無(wú)關(guān)特征學(xué)習(xí)。
目前，LipDub已經(jīng)宣布了beta版，并預(yù)計(jì)在今年年底取得新的進(jìn)展。除了服務(wù)于好萊塢電影外，LipDub還擴(kuò)展到了廣告、在線教育、企業(yè)宣傳片等多個(gè)領(lǐng)域。在在線教育視頻場(chǎng)景中，LipDub能夠營(yíng)造出真實(shí)的聽(tīng)眾體驗(yàn)，讓人感覺(jué)就像是說(shuō)話人自己的語(yǔ)言。LipDub還提供了初級(jí)和高級(jí)兩種模式供用戶選擇，以滿足不同需求。
在演講的最后部分，Jonathan展示了LipDub的新功能——替換對(duì)話框（Replace Dialogue）。這一功能類似于文本到語(yǔ)音的轉(zhuǎn)換，但更加靈活和準(zhǔn)確。用戶可以輕松修改視頻中的對(duì)話內(nèi)容，并確保跨語(yǔ)言轉(zhuǎn)換時(shí)能夠恰當(dāng)?shù)貍鬟f情感。
