【ITBEAR】在數(shù)字化創(chuàng)意領(lǐng)域，動(dòng)作捕捉技術(shù)一直是制作高質(zhì)量動(dòng)畫與游戲角色表情的關(guān)鍵。然而，傳統(tǒng)的動(dòng)捕方法不僅設(shè)備昂貴，操作流程也極為復(fù)雜，耗時(shí)甚久。近日，字節(jié)跳動(dòng)智能創(chuàng)作團(tuán)隊(duì)推出了一項(xiàng)革新性技術(shù)——X-Portrait2單圖視頻驅(qū)動(dòng)技術(shù)，該技術(shù)有望徹底改變這一現(xiàn)狀。
X-Portrait2技術(shù)的亮點(diǎn)在于其簡(jiǎn)潔高效的工作流程：僅需一張靜態(tài)照片和一段驅(qū)動(dòng)視頻，便能生成電影級(jí)的動(dòng)態(tài)視頻。該技術(shù)不僅能保留原始照片的身份特征，更能精準(zhǔn)捕捉并真實(shí)再現(xiàn)從微妙到夸張的各種表情與情緒，為創(chuàng)作者們提供了一種既經(jīng)濟(jì)又高效的角色動(dòng)畫與視頻片段制作方法。
為了直觀展示X-Portrait2技術(shù)的實(shí)力，我們進(jìn)行了一系列實(shí)際測(cè)試。測(cè)試中，我們使用了不同類型的照片和視頻，包括游戲角色、影視劇人物以及AI生成的人像。結(jié)果令人印象深刻，無論是復(fù)刻經(jīng)典影視片段，還是將真人表情移植到虛擬角色上，X-Portrait2均表現(xiàn)出了出色的性能。
在深入了解X-Portrait2技術(shù)的背后原理后，我們發(fā)現(xiàn)其創(chuàng)新之處不僅在于簡(jiǎn)化了動(dòng)捕流程，更在于其強(qiáng)大的表情編碼器模型。該模型通過自監(jiān)督學(xué)習(xí)框架從大量人像視頻中提取運(yùn)動(dòng)隱式表征，與生成式擴(kuò)散模型相結(jié)合，從而實(shí)現(xiàn)了流暢且富有表現(xiàn)力的視頻生成。
X-Portrait2技術(shù)在運(yùn)動(dòng)表現(xiàn)力和身份保持性方面均顯著優(yōu)于先前技術(shù)。其精準(zhǔn)的表情動(dòng)作控制能力使得驅(qū)動(dòng)視頻中的人物情感能夠高保真地遷移到生成的視頻中，為創(chuàng)作者們提供了更為廣闊的創(chuàng)作空間。
與行業(yè)內(nèi)其他類似技術(shù)相比，如Runway的Act-One功能，X-Portrait2在處理快速頭部動(dòng)作、細(xì)微表情變化以及強(qiáng)烈個(gè)人情感方面展現(xiàn)出了更為出色的性能。這得益于其先進(jìn)的模型設(shè)計(jì)和訓(xùn)練策略，使得生成的視頻在保持高度真實(shí)感的同時(shí)，更加自然流暢。
字節(jié)跳動(dòng)智能創(chuàng)作團(tuán)隊(duì)的X-Portrait2單圖視頻驅(qū)動(dòng)技術(shù)無疑為動(dòng)畫與游戲創(chuàng)作者們帶來了一股強(qiáng)大的創(chuàng)新力量。其簡(jiǎn)潔高效的工作流程、出色的表情動(dòng)作控制能力以及廣泛的應(yīng)用前景，都預(yù)示著這項(xiàng)技術(shù)將在未來的數(shù)字化創(chuàng)意領(lǐng)域中占據(jù)重要地位。
