【ITBEAR】在OpenAISora項(xiàng)目面臨挑戰(zhàn)之際，meta公司向公眾揭示了其最新的生成式AI研究——metaMovieGen。據(jù)meta官方博客介紹，這僅是該技術(shù)的“初步亮相”，正式應(yīng)用尚需時(shí)日。
metaMovieGen展現(xiàn)了強(qiáng)大的功能，包括從文本生成視頻和音頻、編輯現(xiàn)有視頻以及創(chuàng)作全新視頻內(nèi)容。經(jīng)過人類評(píng)估，該技術(shù)在相關(guān)任務(wù)上的表現(xiàn)甚至超越了行業(yè)內(nèi)的其他類似模型。
在具體應(yīng)用上，metaMovieGen在人物動(dòng)作和動(dòng)物生成方面取得了顯著成效，生成的視頻在長(zhǎng)時(shí)間和大幅度動(dòng)作的表現(xiàn)上尤為逼真，盡管仍存在一些細(xì)微的不足。
meta強(qiáng)調(diào)，MovieGen的訓(xùn)練完全基于公開或已獲得授權(quán)的數(shù)據(jù)集。作為公司的第三波研究成果，MovieGen融合了多種模態(tài)，并為用戶提供了更加精細(xì)的控制選項(xiàng)。
在技術(shù)層面，MovieGen采用了創(chuàng)新的多階段訓(xùn)練方法，并借助大量的H100GPU進(jìn)行訓(xùn)練。在推理階段，meta也引入了新穎的思路。
基于這一基礎(chǔ)模型，meta進(jìn)一步開發(fā)出了個(gè)性化視頻生成和精確視頻編輯功能，同時(shí)在音頻生成方面也取得了令人矚目的成果。
meta在多個(gè)技術(shù)領(lǐng)域展現(xiàn)出的創(chuàng)新力和突破性成果無疑引發(fā)了業(yè)界的廣泛關(guān)注。然而，關(guān)于metaMovieGen是否將免費(fèi)提供給公眾使用，公司尚未給出明確答復(fù)。
