【ITBEAR】在OpenAISora項目面臨挑戰(zhàn)之際，meta公司向公眾揭示了其最新的生成式AI研究——metaMovieGen。據(jù)meta官方博客介紹，這僅是該技術的“初步亮相”，正式應用尚需時日。
metaMovieGen展現(xiàn)了強大的功能，包括從文本生成視頻和音頻、編輯現(xiàn)有視頻以及創(chuàng)作全新視頻內容。經過人類評估，該技術在相關任務上的表現(xiàn)甚至超越了行業(yè)內的其他類似模型。
在具體應用上，metaMovieGen在人物動作和動物生成方面取得了顯著成效，生成的視頻在長時間和大幅度動作的表現(xiàn)上尤為逼真，盡管仍存在一些細微的不足。
meta強調，MovieGen的訓練完全基于公開或已獲得授權的數(shù)據(jù)集。作為公司的第三波研究成果，MovieGen融合了多種模態(tài)，并為用戶提供了更加精細的控制選項。
在技術層面，MovieGen采用了創(chuàng)新的多階段訓練方法，并借助大量的H100GPU進行訓練。在推理階段，meta也引入了新穎的思路。
基于這一基礎模型，meta進一步開發(fā)出了個性化視頻生成和精確視頻編輯功能，同時在音頻生成方面也取得了令人矚目的成果。
meta在多個技術領域展現(xiàn)出的創(chuàng)新力和突破性成果無疑引發(fā)了業(yè)界的廣泛關注。然而，關于metaMovieGen是否將免費提供給公眾使用，公司尚未給出明確答復。
