【ITBEAR】9月24日消息，字節(jié)跳動近日正式宣布進(jìn)軍AI視頻生成領(lǐng)域，推出了兩款面向企業(yè)市場的大模型——“豆包視頻生成-PixelDance”與“豆包視頻生成-Seaweed”，并開啟了邀測活動。
這兩款“豆包視頻生成”大模型憑借其出色的語義理解能力、對復(fù)雜交互畫面的精準(zhǔn)捕捉以及多鏡頭切換下的內(nèi)容一致性，成功躋身業(yè)界領(lǐng)先水平。它們不僅能夠深度理解并響應(yīng)復(fù)雜的指令，驅(qū)動不同人物角色完成一系列精細(xì)的動作互動，還在細(xì)節(jié)處理上達(dá)到了極致，從人物樣貌、服裝的微妙變化到頭飾的精準(zhǔn)呈現(xiàn)，均能在不同運(yùn)鏡角度下保持高度一致，呈現(xiàn)出如同實拍般的自然流暢效果。
據(jù)ITBEAR了解，“豆包視頻生成”模型依托字節(jié)跳動自主研發(fā)的DiT（Dynamic Integration Transformer）架構(gòu)，通過高效的DiT融合計算單元，實現(xiàn)了視頻在大動態(tài)場景與多樣運(yùn)鏡之間的無縫切換。這一技術(shù)突破為視頻創(chuàng)作帶來了更多的自由度和靈動性，滿足了創(chuàng)作者對視覺表達(dá)的無限想象。同時，該模型還采用了全新設(shè)計的擴(kuò)散模型訓(xùn)練方法，有效攻克了多鏡頭切換過程中保持主體、風(fēng)格、氛圍一致性的技術(shù)難題，確保在鏡頭切換的瞬間，視頻的整體氛圍與細(xì)節(jié)表現(xiàn)依然和諧統(tǒng)一，為觀眾帶來更加沉浸式的觀看體驗。
為了進(jìn)一步提升視頻創(chuàng)作的專業(yè)性和觀賞性，“豆包視頻生成”團(tuán)隊在技術(shù)創(chuàng)新上不斷突破。他們通過優(yōu)化算法和增強(qiáng)模型的學(xué)習(xí)能力，使得生成的視頻在畫質(zhì)、流暢度以及細(xì)節(jié)處理上都達(dá)到了業(yè)界頂尖水平。這一系列的努力不僅提升了視頻的質(zhì)量，也為創(chuàng)作者提供了更多發(fā)揮創(chuàng)意的空間。
目前，“豆包視頻生成”系列模型已在即夢AI內(nèi)測版中開啟小范圍測試，旨在收集用戶反饋，不斷優(yōu)化產(chǎn)品性能。這一舉措不僅展示了字節(jié)跳動在AI視頻生成領(lǐng)域的雄心壯志，也為未來的視頻創(chuàng)作市場帶來了新的期待和可能性。
關(guān)鍵詞：#字節(jié)跳動# #AI視頻生成# #豆包視頻生成# #DiT架構(gòu)# #沉浸式觀看體驗#
