在2024年的尾聲，文生影像領(lǐng)域迎來了一場前所未有的技術(shù)盛宴。國內(nèi)外各大科技巨頭紛紛亮出殺手锏，其中，OpenAI的Sora、谷歌的Veo 2以及背靠字節(jié)跳動的即夢AI尤為引人注目。
Sora以最高1080P的分辨率、20秒的時長以及創(chuàng)新的故事板、Remix等功能，率先點(diǎn)燃了這場技術(shù)競賽的戰(zhàn)火。然而，谷歌隨后發(fā)布的Veo 2模型，憑借在指令遵循、鏡頭控制以及畫面質(zhì)量上的卓越表現(xiàn)，再次刷新了人們的認(rèn)知。與此同時，即夢AI也在激烈的市場競爭中嶄露頭角，其背靠字節(jié)跳動強(qiáng)大的短視頻基因，短短數(shù)月內(nèi)便經(jīng)歷了數(shù)次迭代，成功解決了AI生成影像中的中文嵌入難題。
在這場技術(shù)較量中，即夢AI憑借其獨(dú)特的“智能參考”功能，讓用戶能夠通過一句簡單的話語實(shí)現(xiàn)零門檻改圖，并精準(zhǔn)收獲預(yù)期效果。例如，用戶只需輸入“兵馬俑喝奶茶”的prompt，即夢AI便能在幾秒鐘內(nèi)將一張兵馬俑的照片轉(zhuǎn)化為左手握奶茶的圖片，且圖片其余部位保持原樣，無需額外操作。這一功能不僅滿足了C端用戶在社交媒體制圖方面的需求，也為創(chuàng)作者提供了極大的便利，降低了使用成本，提高了創(chuàng)作效率。
不僅如此，即夢AI還上線了“文字海報”功能，用戶只需輸入一句話即可生成中/英文海報，并可在后續(xù)進(jìn)行涂抹修改錯字。這一功能不僅實(shí)現(xiàn)了簡單快速的排版設(shè)計，更在AI圖像生成中中文難以生成的問題上取得了突破。同時，即夢的模型還能根據(jù)提示詞自動完善文案并補(bǔ)充畫面細(xì)節(jié)，在控制圖片中的文字生成方面開創(chuàng)了行業(yè)先河。
在視頻生成方面，即夢AI同樣表現(xiàn)出色。其S&P雙模型采用了DiT架構(gòu)，其中S2.0 pro模型在首幀一致性和畫質(zhì)上表現(xiàn)出色，而P2.0 pro模型則具有較高的“提示詞遵循能力”。用戶輸入復(fù)雜的提示詞，如鏡頭切換、人物連續(xù)動作、情緒演繹、運(yùn)鏡控制等，模型都能理解并精準(zhǔn)生成視頻。
在實(shí)測中，即夢AI的P2.0 pro模型在鏡頭切換、人物動作以及運(yùn)鏡控制等方面都展現(xiàn)出了卓越的性能。例如，輸入一張圖和prompt，即可生成多鏡頭視頻，實(shí)現(xiàn)全景、中景、特寫等鏡頭切換，并保持視頻與原圖風(fēng)格、場景以及人物的高度一致。同時，模型還能演繹哭、笑、悲傷、生氣等單一情緒以及“哭中帶笑”等復(fù)雜情緒，為用戶提供了豐富的創(chuàng)作空間。
即夢AI在B端場景的應(yīng)用同樣具有廣闊的前景。商品展示類的廣告短片、紅人口播短視頻等都可以通過即夢AI的模型能力實(shí)現(xiàn)。即夢還上線了“對口型”功能，用戶只需提供一張圖片、一段文字或音頻，即可生成對口型視頻，人物表情、神態(tài)以及服飾、配飾等細(xì)節(jié)都能達(dá)到動態(tài)逼真的效果。
在12月18日的即夢發(fā)布會上，剪映業(yè)務(wù)負(fù)責(zé)人張楠表示，視覺模型將極大改變?nèi)藗冇^看視頻的方式。用戶將不再是被動觀看，而是可以在任何時刻介入、參與和影響劇情走向或觀看不同的故事分支。這一觀點(diǎn)不僅展現(xiàn)了即夢AI在技術(shù)創(chuàng)新方面的雄心壯志，也預(yù)示著未來視頻內(nèi)容創(chuàng)作和觀看方式的變革。
剪映業(yè)務(wù)負(fù)責(zé)人 張楠
作為字節(jié)跳動在生成式AI領(lǐng)域的重要布局，即夢AI不僅擁有優(yōu)越的資源稟賦和算力資源，還具備獨(dú)特的生態(tài)站位優(yōu)勢。抖音作為字節(jié)跳動旗下的短視頻平臺，需要源源不斷的內(nèi)容支持。即夢AI可以與剪映結(jié)合，引入AI生產(chǎn)力工具后將內(nèi)容反哺給抖音，為抖音提供更加豐富多樣的內(nèi)容創(chuàng)作方式。
