圖森未來近日在自動駕駛領(lǐng)域之外邁出了重要一步，發(fā)布了其圖生視頻大模型Ruyi，并宣布將Ruyi-Mini-7B版本開源，供用戶在huggingface平臺上下載使用。這款產(chǎn)品的推出，標志著圖森未來正式進軍生成式AI應(yīng)用賽道，特別是動畫與視頻游戲市場。
據(jù)圖森未來工程高級副總裁李海泉介紹，Ruyi從今年8月開始研發(fā)，到12月初訓(xùn)練進入尾聲，并在內(nèi)部進行了多輪測試后才決定發(fā)布。這款模型需要用戶輸入一張圖片，并可選擇輸出時長、分辨率、運動幅度和鏡頭移動方向等參數(shù)，從而生成一個不超過5秒的視頻。李海泉表示，Ruyi特別擅長制作動漫，且動作更為絲滑，達到了每秒24幀的播放效果。
盡管Ruyi在技術(shù)上取得了一定的突破，但圖森未來也坦誠地指出了模型目前存在的問題，如手部畸形、多人面部細節(jié)崩壞以及不可控的轉(zhuǎn)場等。公司表示正在積極改進這些缺點，并計劃在日后的更新中進行修復(fù)。
對于自動駕駛和視頻模型之間的技術(shù)關(guān)聯(lián)，業(yè)內(nèi)存在不同的看法。一些自動駕駛從業(yè)者認為，從技術(shù)復(fù)用的角度來看，兩者互相搭不上邊。一家視頻模型公司的CTO也表示，視頻模型和自動駕駛在技術(shù)上或經(jīng)驗復(fù)用上沒有太大關(guān)系，圖森未來之所以能做，可能是基于市面上的開源模型收集了一些數(shù)據(jù)，門檻并不高。
然而，李海泉對此持不同意見。他認為，雖然自動駕駛領(lǐng)域的算法和規(guī)劃控制無法直接用于視頻模型，但在模型設(shè)計、數(shù)據(jù)處理和基礎(chǔ)工具類等方面還是有很多可以復(fù)用的東西。他強調(diào)，圖森未來在設(shè)計上確實參考了很多開源方案的實現(xiàn)，但這并不意味著要關(guān)起門來搞研發(fā)。
圖森未來之所以選擇進軍生成式AI應(yīng)用賽道，與其對市場的洞察密不可分。根據(jù)GIR的調(diào)研數(shù)據(jù)，全球文生視頻大模型市場在2023年的收入大約為720萬美元，預(yù)計到2030年將達到22.19億美元，年復(fù)合增長率有望達到56.6%。盡管視頻生成的技術(shù)成熟度還有待提高，實現(xiàn)規(guī)模性商業(yè)化也需要時間，但圖森未來認為，最佳應(yīng)用場景是孵化生成式AI工具的原動力。
圖森未來致力于利用大模型降低動漫和游戲內(nèi)容的開發(fā)周期和開發(fā)成本。Ruyi大模型已經(jīng)可以實現(xiàn)輸入關(guān)鍵幀后生成后續(xù)5秒的內(nèi)容，或輸入兩個關(guān)鍵幀由模型生成中間的過渡內(nèi)容，從而顯著降低開發(fā)周期。這與圖森未來想要入局的動畫與視頻游戲市場高度相關(guān)。
然而，并非所有人都對圖森未來的這一轉(zhuǎn)型持樂觀態(tài)度。有觀點認為，圖森未來是在賺吆喝，早期那些AI公司在大模型這波浪潮中可能跟不上節(jié)奏。圖森未來內(nèi)部也存在一些不穩(wěn)定因素，如持續(xù)的內(nèi)訌等。近日有投資人士透露，即將召開的圖森未來股東大會將決定公司下一階段的控制權(quán)。
盡管如此，李海泉仍表示，圖森未來將在12月19日詳細闡述AIGC業(yè)務(wù)、其他業(yè)務(wù)和自動駕駛業(yè)務(wù)如何整合等問題。這無疑為圖森未來的未來發(fā)展增添了一絲神秘色彩。
