在近日于北京希爾頓酒店舉行的T-EDGE大會上，一位加拿大企業家的演講引起了廣泛關注。LipDub.AI的創始人兼首席執行官Jonathan Bronfman在會上展示了一項革命性的唇音同步技術，該技術不僅大幅降低了視頻制作成本，同時保持了高質量水準。
在提到視頻制作時，“昂貴”和“耗時”往往是人們首先想到的兩個詞。好萊塢之所以能在全球電影業中獨占鰲頭，很大程度上得益于其雄厚的資金支持。然而，LipDub.AI卻提供了一種既能降低成本又能保持高質量的解決方案。
Bronfman在演講中展示了多個令人驚嘆的視頻片段，其中一段視頻顯示，一位名叫Craig Smith的前《紐約時報》記者（來自華盛頓州）用普通話詢問費率時，唇音同步效果極其逼真，讓人誤以為他是中國人。Bronfman還展示了如何將視頻內容從弗拉芒語翻譯成英語，以及如何通過輸入新的臺詞從舊視頻中生成新視頻。無論是《阿凡達》、《星際迷航》還是《權力的游戲》中的科幻語言，這項技術都能迅速掌握并應用。
Bronfman不僅是LipDub.AI的掌舵人，還是另一家公司MARZ（全稱Monsters, Aliens, Robots, Zombies）的首席執行官。MARZ曾為迪士尼、Netflix和亞馬遜制作視覺特效，這段經歷讓Bronfman對音視頻制作有了深入了解。他發現，整個行業存在同質化問題，大家使用相同的技術棧和藝術家資源。
2019年，Bronfman認識到人工智能（AI）是降低成本、提高效率和產能的關鍵工具。于是，他組建了一支世界級的研發團隊，由特拉維夫大學視覺計算教授Daniel Cohen-Or和西蒙弗雷澤大學計算機科學助理教授Ali Mahdavi-Amiri領導。他們的首個產品Vanity，可以在傳統視覺特效流程的基礎上，將2D年齡變化、美化、假發和假肢修復的速度提高300倍。該產品因其高性價比和卓越品質在好萊塢廣受歡迎。
2021年，Bronfman觀看了Netflix上的韓國劇集《魷魚游戲》。他發現，雖然該劇在英語市場大受歡迎，但唇音同步存在問題。于是，他聯系了Cohen-Or和Mahdavi-Amiri，并決定解決這個問題。隨后，他們為好萊塢創造了LipDub唇音同步技術。
“這不是TikTok上的濾鏡。這是真正的4K高清分辨率。你需要調整姿勢、改變相機、調整光線和遮擋物。”Bronfman強調說，好萊塢仍然是行業的北極星或生產者的終極市場。
LipDub可用于視頻內容翻譯、自定義角色的對話更改和個性化定制。例如，品牌在不同市場為產品使用不同的名稱。如果他們想拍攝廣告并更改特定產品的名稱，那么LipDub將是理想的選擇。
由LipDub.AI開發的唇音同步技術同樣適用于計算機生成（CG）角色。“這不僅僅是唇音同步。我們不想看到一張紙板一樣的角色。它需要是動態的。因此，表情——角色是開心還是悲傷？我們需要確保保持原始表演的完整性。”Bronfman解釋說。
這款目前仍處于測試階段的應用程序將于2025年1月20日正式上線，并將廣泛應用于廣告和電子學習等多個行業。然而，Bronfman更傾向于根據質量而不是行業來劃分用戶案例?！白屛覀儥M向切割。讓我們將用戶分為關心質量的人和不關心質量的人。我們關心質量。這將繼續是我們的北極星?！盉ronfman說，“我們將為這些人提供服務。”
Bronfman指出，人工智能正處于一個轉折點?！叭藗冋谙蜻@個領域投入大量資金。人們希望它更快、更實惠……他們想看到在給定市場或給定行業中推廣或吸引受眾的最有效、最積極的方式?！彼麖娬{說。
Bronfman認為，人工智能是解決視頻和電影制作行業中高昂成本這一常見且持久問題的關鍵。雖然目前視頻制作仍然緩慢且昂貴，但Bronfman提供了一個解決方案?！坝辛薒ipDub，視頻可以被重復使用。你可以輕松地將內容全球化?！彼谘葜v的高潮部分總結道。
