近日，阿里巴巴（中國）有限公司在視頻生成技術(shù)領(lǐng)域取得了顯著進展，一項名為“一種圖生視頻方法和裝置”的專利正式對外公布。這一消息的發(fā)布，標(biāo)志著阿里巴巴在智能化視頻生成領(lǐng)域取得了重要突破。
據(jù)了解，該專利的核心在于通過智能化手段實現(xiàn)端到端的圖生視頻生成。具體而言，該專利首先會將含有目標(biāo)對象的源圖像輸入到一個視頻生成模型中，生成一個基礎(chǔ)素材視頻。隨后，利用這個素材視頻，專利會確定一個幀間變換矩陣序列，為后續(xù)的視頻生成提供關(guān)鍵數(shù)據(jù)支持。
在此基礎(chǔ)上，專利進一步從源圖像中提取目標(biāo)對象的對象掩碼圖像。通過將這些對象掩碼圖像與幀間變換矩陣序列結(jié)合，可以生成一系列掩碼圖像。同時，將幀間變換矩陣序列應(yīng)用于源圖像，還可以生成一系列目標(biāo)對象圖像。
接下來，專利會根據(jù)源圖像、掩碼圖像序列和目標(biāo)對象圖像序列，確定目標(biāo)輸入數(shù)據(jù)。這個數(shù)據(jù)會被送入一個支持局部重繪的視頻生成模型中，最終生成目標(biāo)視頻。這一過程不僅提高了視頻生成的智能化程度，還確保了目標(biāo)對象在運動過程中的連貫性和多樣性。
值得注意的是，該專利在生成視頻的過程中，無需預(yù)先設(shè)定運動參數(shù)。這一創(chuàng)新使得視頻生成過程更加靈活，能夠滿足更多樣化的應(yīng)用場景需求。例如，在動畫制作、虛擬形象生成等領(lǐng)域，該專利將發(fā)揮重要作用。
