【ITBEAR科技資訊】3月21日消息，中信建投研報指出，GPT-4的多模態(tài)特性將為語言模型帶來更加豐富的應(yīng)用場景。報告認為，未來的多模態(tài)模型應(yīng)該包括三個基本組成部分：圖像、視頻和音頻。其中，視頻對算力和IP復雜度的要求最高，其次為音頻。為了滿足多模態(tài)模型的需求，硬件算力需要向視頻、音頻編解碼能力的支持進行擴展。
在新一代語言模型GPT-4的到來之前，中信建投研報認為多模態(tài)模型將會成為未來的發(fā)展趨勢。這種模型不僅可以處理文本，還可以處理圖像、視頻和音頻等多種數(shù)據(jù)類型，從而拓展了語言模型的應(yīng)用場景。
然而，隨著模型規(guī)模和復雜度的增加，對硬件算力的要求也將越來越高。為了滿足多模態(tài)模型的需求，需要在硬件算力層面面向視頻、音頻編解碼能力的支持進行擴展。中信建投研報指出，視頻對于算力和IP復雜度的要求最高，這意味著為了實現(xiàn)多模態(tài)模型的應(yīng)用，需要有更加高效的算力和更加復雜的編解碼模塊支持。
據(jù)ITBEAR科技資訊了解，未來的多模態(tài)模型需要具備圖像、視頻和音頻三個基本組成部分。因此，隨著多模態(tài)的發(fā)展，需要將硬件算力從GPU擴展到GPU周邊支持性的編解碼IP，如VPU模塊，以滿足多模態(tài)模型的需求。
