在近日于北京希爾頓酒店舉行的T-EDGE大會上，一位加拿大企業(yè)家的演講引起了廣泛關(guān)注。LipDub.AI的創(chuàng)始人兼首席執(zhí)行官Jonathan Bronfman在會上展示了一項(xiàng)革命性的唇音同步技術(shù)，該技術(shù)不僅大幅降低了視頻制作成本，同時保持了高質(zhì)量水準(zhǔn)。
在提到視頻制作時，“昂貴”和“耗時”往往是人們首先想到的兩個詞。好萊塢之所以能在全球電影業(yè)中獨(dú)占鰲頭，很大程度上得益于其雄厚的資金支持。然而，LipDub.AI卻提供了一種既能降低成本又能保持高質(zhì)量的解決方案。
Bronfman在演講中展示了多個令人驚嘆的視頻片段，其中一段視頻顯示，一位名叫Craig Smith的前《紐約時報》記者（來自華盛頓州）用普通話詢問費(fèi)率時，唇音同步效果極其逼真，讓人誤以為他是中國人。Bronfman還展示了如何將視頻內(nèi)容從弗拉芒語翻譯成英語，以及如何通過輸入新的臺詞從舊視頻中生成新視頻。無論是《阿凡達(dá)》、《星際迷航》還是《權(quán)力的游戲》中的科幻語言，這項(xiàng)技術(shù)都能迅速掌握并應(yīng)用。
Bronfman不僅是LipDub.AI的掌舵人，還是另一家公司MARZ（全稱Monsters, Aliens, Robots, Zombies）的首席執(zhí)行官。MARZ曾為迪士尼、Netflix和亞馬遜制作視覺特效，這段經(jīng)歷讓Bronfman對音視頻制作有了深入了解。他發(fā)現(xiàn)，整個行業(yè)存在同質(zhì)化問題，大家使用相同的技術(shù)棧和藝術(shù)家資源。
2019年，Bronfman認(rèn)識到人工智能（AI）是降低成本、提高效率和產(chǎn)能的關(guān)鍵工具。于是，他組建了一支世界級的研發(fā)團(tuán)隊(duì)，由特拉維夫大學(xué)視覺計算教授Daniel Cohen-Or和西蒙弗雷澤大學(xué)計算機(jī)科學(xué)助理教授Ali Mahdavi-Amiri領(lǐng)導(dǎo)。他們的首個產(chǎn)品Vanity，可以在傳統(tǒng)視覺特效流程的基礎(chǔ)上，將2D年齡變化、美化、假發(fā)和假肢修復(fù)的速度提高300倍。該產(chǎn)品因其高性價比和卓越品質(zhì)在好萊塢廣受歡迎。
2021年，Bronfman觀看了Netflix上的韓國劇集《魷魚游戲》。他發(fā)現(xiàn)，雖然該劇在英語市場大受歡迎，但唇音同步存在問題。于是，他聯(lián)系了Cohen-Or和Mahdavi-Amiri，并決定解決這個問題。隨后，他們?yōu)楹萌R塢創(chuàng)造了LipDub唇音同步技術(shù)。
“這不是TikTok上的濾鏡。這是真正的4K高清分辨率。你需要調(diào)整姿勢、改變相機(jī)、調(diào)整光線和遮擋物?！盉ronfman強(qiáng)調(diào)說，好萊塢仍然是行業(yè)的北極星或生產(chǎn)者的終極市場。
LipDub可用于視頻內(nèi)容翻譯、自定義角色的對話更改和個性化定制。例如，品牌在不同市場為產(chǎn)品使用不同的名稱。如果他們想拍攝廣告并更改特定產(chǎn)品的名稱，那么LipDub將是理想的選擇。
由LipDub.AI開發(fā)的唇音同步技術(shù)同樣適用于計算機(jī)生成（CG）角色?！斑@不僅僅是唇音同步。我們不想看到一張紙板一樣的角色。它需要是動態(tài)的。因此，表情——角色是開心還是悲傷？我們需要確保保持原始表演的完整性?！盉ronfman解釋說。
這款目前仍處于測試階段的應(yīng)用程序?qū)⒂?025年1月20日正式上線，并將廣泛應(yīng)用于廣告和電子學(xué)習(xí)等多個行業(yè)。然而，Bronfman更傾向于根據(jù)質(zhì)量而不是行業(yè)來劃分用戶案例?！白屛覀儥M向切割。讓我們將用戶分為關(guān)心質(zhì)量的人和不關(guān)心質(zhì)量的人。我們關(guān)心質(zhì)量。這將繼續(xù)是我們的北極星。”Bronfman說，“我們將為這些人提供服務(wù)?！?/p>
Bronfman指出，人工智能正處于一個轉(zhuǎn)折點(diǎn)。“人們正在向這個領(lǐng)域投入大量資金。人們希望它更快、更實(shí)惠……他們想看到在給定市場或給定行業(yè)中推廣或吸引受眾的最有效、最積極的方式?！彼麖?qiáng)調(diào)說。
Bronfman認(rèn)為，人工智能是解決視頻和電影制作行業(yè)中高昂成本這一常見且持久問題的關(guān)鍵。雖然目前視頻制作仍然緩慢且昂貴，但Bronfman提供了一個解決方案?！坝辛薒ipDub，視頻可以被重復(fù)使用。你可以輕松地將內(nèi)容全球化。”他在演講的高潮部分總結(jié)道。
