在AI技術(shù)日新月異的當(dāng)下，ChatGPT自2022年橫空出世，迅速吸引了全球目光，并在短短兩個月內(nèi)突破1億注冊用戶大關(guān)。這一壯舉不僅點(diǎn)燃了公眾對人工智能的無限遐想，更為整個行業(yè)指明了AI大模型技術(shù)的廣闊應(yīng)用前景。
近年來，AI大模型如雨后春筍，層出不窮。據(jù)中國信通院最新數(shù)據(jù)顯示，截至2024年7月，全球范圍內(nèi)已有1328個AI大模型問世（包含同一企業(yè)、同一模型的不同參數(shù)版本），其中中國的大模型數(shù)量占據(jù)了36%的市場份額。從最初的大語言模型，到如今的多模態(tài)模型，行業(yè)對模型的研發(fā)與應(yīng)用正不斷向縱深發(fā)展。然而，支撐這些大模型生存與發(fā)展的基礎(chǔ)設(shè)施，如算力和網(wǎng)絡(luò)，仍需持續(xù)優(yōu)化。
在中國AI大模型領(lǐng)域步入“洗牌年”的關(guān)鍵時刻，國內(nèi)AI大模型領(lǐng)域的佼佼者M(jìn)iniMax，攜手騰訊云，共同探討了算力與網(wǎng)絡(luò)對AI大模型落地應(yīng)用的影響。MiniMax副總裁劉華與騰訊云北區(qū)云原生總經(jīng)理田豐，基于雙方公司的深度合作，分享了他們的見解。
MiniMax，這家成立于2021年12月的年輕企業(yè)，被譽(yù)為“國產(chǎn)大模型六小虎”之一。公司自主研發(fā)了涵蓋萬億參數(shù)MoE文本大模型、語音和音樂大模型、圖像大模型以及視頻大模型在內(nèi)的多模態(tài)通用大模型。憑借這些技術(shù)積累，MiniMax推出了智能助手“海螺AI”、AI內(nèi)容社區(qū)“星野”和“Talkie”等面向C端用戶的應(yīng)用，同時，其開放平臺也為企業(yè)和開發(fā)者提供了豐富的API服務(wù)。
在采訪中，劉華從AI大模型公司的視角出發(fā)，強(qiáng)調(diào)了多模態(tài)大模型應(yīng)用過程中算力成本的不斷攀升。他指出，隨著大模型從處理文本任務(wù)擴(kuò)展到語音、視頻等多媒體任務(wù)，所需的算力資源也隨之激增。以token為單位計(jì)算，一個小視頻的tokens數(shù)量遠(yuǎn)超一篇文章，這無疑給大模型的性價比帶來了巨大挑戰(zhàn)。為了讓新技術(shù)更好地落地，讓更多企業(yè)和個人接受，必須確保大模型能夠以高效且經(jīng)濟(jì)的方式處理大規(guī)模輸入輸出。
作為MiniMax的長期合作伙伴，騰訊云自MiniMax成立之初便與其建立了緊密的合作關(guān)系，為其提供算力、網(wǎng)絡(luò)等基礎(chǔ)設(shè)施支持。田豐在采訪中分享了這兩三年來對客戶需求變化的深刻洞察。他表示，大模型公司客戶對算力的需求正在快速增長，從早期的千卡集群到如今的上萬卡，甚至未來可能達(dá)到十萬卡規(guī)模。這對騰訊云的組網(wǎng)能力、集群運(yùn)維都提出了全新的挑戰(zhàn)。
田豐特別提到了網(wǎng)絡(luò)在訓(xùn)練大模型中的重要性。他指出，在訓(xùn)練萬億參數(shù)的大模型時，傳統(tǒng)的網(wǎng)絡(luò)協(xié)議容易造成擁堵和高延時，即使0.1%的丟包率也可能導(dǎo)致50%的續(xù)訓(xùn)效率下降。一旦訓(xùn)練中斷，恢復(fù)后需要從上一個續(xù)訓(xùn)點(diǎn)繼續(xù)，這對萬億規(guī)模的模型訓(xùn)練來說，損失是巨大的。因此，優(yōu)化網(wǎng)絡(luò)傳輸通訊效率，確保訓(xùn)練的連續(xù)性和穩(wěn)定性至關(guān)重要。
田豐還強(qiáng)調(diào)了資源利用率的重要性。他指出，大集群并不等同于大算力，算力不是靠簡單地堆砌GPU資源就能實(shí)現(xiàn)的。要提升算力，必須優(yōu)化GPU資源的利用率，以及網(wǎng)絡(luò)傳輸通訊的效率。這既是對云服務(wù)廠商技術(shù)實(shí)力的考驗(yàn)，也是推動AI大模型技術(shù)持續(xù)發(fā)展的關(guān)鍵。
在AI大模型領(lǐng)域，技術(shù)與商業(yè)化的雙重考驗(yàn)正在來臨。多模態(tài)模型的研發(fā)與優(yōu)化仍在緊鑼密鼓地進(jìn)行中，而應(yīng)用落地并成功構(gòu)建商業(yè)模式則成為當(dāng)前的重要任務(wù)。中國AI大模型“洗牌年”已經(jīng)到來，算力、技術(shù)、產(chǎn)品都成為競爭的關(guān)鍵要素。在這個充滿挑戰(zhàn)與機(jī)遇的時刻，大模型公司和云服務(wù)廠商都在全力以赴，以期在這場長跑中脫穎而出。
