【ITBEAR】9月14日消息，國(guó)內(nèi)AI技術(shù)領(lǐng)域的佼佼者元象XVERSE，近日發(fā)布了一款具有里程碑意義的開(kāi)源模型——XVERSE-MoE-A36B。這款模型以高達(dá)2550億的總參數(shù)和360億的激活參數(shù)，實(shí)現(xiàn)了千億級(jí)別模型的性能飛躍，且已全面開(kāi)源，供中小企業(yè)、研究者和開(kāi)發(fā)者無(wú)條件免費(fèi)商用。
XVERSE-MoE-A36B的推出，不僅彰顯了元象在AI大模型領(lǐng)域的技術(shù)實(shí)力，更以其卓越的性能和開(kāi)源的特性，為國(guó)內(nèi)的AI應(yīng)用落地提供了強(qiáng)有力的支持。據(jù)悉，該模型在權(quán)威評(píng)測(cè)中表現(xiàn)優(yōu)異，大幅超越了包括Skywork-MoE、Mixtral-8x22B等多個(gè)同類模型。
據(jù)ITBEAR了解，元象團(tuán)隊(duì)在XVERSE-MoE-A36B的研發(fā)過(guò)程中，進(jìn)行了一系列的技術(shù)優(yōu)化和創(chuàng)新。其中包括采用4D拓?fù)浼軜?gòu)以平衡通信、顯存和計(jì)算資源，設(shè)計(jì)預(yù)丟棄策略以減少不必要的計(jì)算和傳輸，以及實(shí)現(xiàn)高效的算子融合等。這些技術(shù)手段共同提升了模型的訓(xùn)練性能和推理速度，使得XVERSE-MoE-A36B在同類模型中脫穎而出。
值得一提的是，元象還借鑒了“課程學(xué)習(xí)”理念，在模型訓(xùn)練過(guò)程中進(jìn)行動(dòng)態(tài)數(shù)據(jù)切換。這一創(chuàng)新做法不僅打破了傳統(tǒng)訓(xùn)練模式的限制，還使得模型能夠持續(xù)學(xué)習(xí)新引入的高質(zhì)量數(shù)據(jù)，從而提升了語(yǔ)料覆蓋面和泛化能力。
元象自成立以來(lái)，便專注于打造AI驅(qū)動(dòng)的3D內(nèi)容生產(chǎn)與消費(fèi)一站式平臺(tái)。此次發(fā)布的XVERSE-MoE-A36B模型，無(wú)疑是其AI技術(shù)路線圖上的又一重要里程碑。該模型的開(kāi)源和免費(fèi)商用，將進(jìn)一步推動(dòng)國(guó)內(nèi)AI技術(shù)的發(fā)展和普及，助力中小企業(yè)和研究者在AI領(lǐng)域取得更多突破。
在商業(yè)應(yīng)用方面，元象也積極探索將AI技術(shù)應(yīng)用于實(shí)際場(chǎng)景。其自主研發(fā)的AI角色扮演與互動(dòng)網(wǎng)文App Saylo，便是基于MoE模型的成功應(yīng)用案例。Saylo憑借逼真的AI角色扮演和有趣的開(kāi)放劇情，在港臺(tái)地區(qū)取得了顯著的下載量和用戶口碑。
總的來(lái)說(shuō)，元象XVERSE發(fā)布的XVERSE-MoE-A36B模型，以其卓越的性能、創(chuàng)新的技術(shù)手段和開(kāi)源的特性，為國(guó)內(nèi)AI技術(shù)的發(fā)展注入了新的活力。未來(lái)，我們有理由期待元象在AI領(lǐng)域取得更多創(chuàng)新成果，推動(dòng)AI技術(shù)的廣泛應(yīng)用和落地。
#元象XVERSE# #開(kāi)源模型# #MoE架構(gòu)# #AI技術(shù)# #應(yīng)用落地#
