【ITBEAR】復(fù)旦大學(xué)與百度攜手推出全新AI模型——Hallo2，該模型已正式在GitHub開源。Hallo2能夠生成長達(dá)數(shù)小時(shí)、分辨率為4K的人物動(dòng)畫，相較于前代模型，實(shí)現(xiàn)了顯著提升。
Hallo2模型基于latent diffusion models構(gòu)建，引入了數(shù)據(jù)增強(qiáng)方法，如patch-drop和高斯噪聲，有效提升了長時(shí)間視頻的視覺一致性和時(shí)間連貫性。同時(shí)，該模型還結(jié)合了向量量化生成對(duì)抗網(wǎng)絡(luò)和時(shí)間對(duì)齊技術(shù)，確保了高分辨率視頻的質(zhì)量和流暢性。
Hallo2還創(chuàng)新性地將可調(diào)整的語義文本標(biāo)簽的肖像表情作為條件輸入，提高了生成內(nèi)容的可控性和多樣性。據(jù)項(xiàng)目頁面介紹，Hallo2是首個(gè)實(shí)現(xiàn)4K分辨率并生成長達(dá)1小時(shí)音頻驅(qū)動(dòng)人像圖像動(dòng)畫的方法，且可通過文本提示進(jìn)行增強(qiáng)。
附Hallo2項(xiàng)目地址。
