在第十七屆外灘金融?上海國際股權(quán)投資論壇（2024SIPEF）上，備受矚目的“2024上海最具投資潛力50佳創(chuàng)業(yè)企業(yè)評選”榜單終于揭曉。此次評選中，RockAI憑借其自主研發(fā)的Yan架構(gòu)大模型脫穎而出，榮獲了該獎項。
RockAI的Yan架構(gòu)大模型在國內(nèi)獨樹一幟，它打破了Transformer架構(gòu)和非Attention機制的常規(guī)，為市場帶來了全新的選擇。這一創(chuàng)新不僅得到了業(yè)界的廣泛關(guān)注，更在本次評選中獲得了評委們的高度認可。憑借其在多元設(shè)備端落地應(yīng)用的市場潛力，RockAI成功登上了“2024上海最具投資潛力50佳創(chuàng)業(yè)企業(yè)”的榮譽殿堂。
“2024上海最具投資潛力50佳創(chuàng)業(yè)企業(yè)評選”已經(jīng)連續(xù)第九年舉辦，由上海市經(jīng)信委指導(dǎo)，市中小企業(yè)辦、市中小企業(yè)服務(wù)中心、市投資促進服務(wù)中心與上海國際股權(quán)協(xié)會等三家行業(yè)協(xié)會聯(lián)合組織。上榜企業(yè)將被納入“上海市重點培育創(chuàng)業(yè)企業(yè)庫”，并有機會與滬上3家股權(quán)投資協(xié)會背后的近百家會員單位展開深入交流與合作，這無疑為RockAI的未來發(fā)展提供了更為廣闊的空間。
自2023年6月成立以來，RockAI始終致力于Yan架構(gòu)大模型的研發(fā)與創(chuàng)新。從Yan1.0到Y(jié)an1.3，每一次迭代都凝聚了團隊的智慧與汗水。Yan架構(gòu)大模型以MCSD、類腦激活機制為基礎(chǔ)原理，實現(xiàn)了快速訓(xùn)練與高效推理。MCSD能夠迅速提取特征，而類腦激活機制則模擬大腦神經(jīng)元的激活模式，選擇性激活部分參數(shù)，從而大幅減少算力冗余，提高問題解決效率。
在訓(xùn)練效率、推理吞吐量等方面，Yan架構(gòu)大模型展現(xiàn)出了優(yōu)于同等參數(shù)量Transformer架構(gòu)模型的卓越性能。在今年的部分數(shù)據(jù)集測評中，Yan架構(gòu)大模型已達到Llama3 8B的水平。Yan架構(gòu)大模型還具備強大的適配伸縮性和多模態(tài)信息處理能力，能夠無損部署到低算力設(shè)備如樹莓派，以及機器人、手機、電腦、無人機等多樣化終端。同時，它還能實現(xiàn)文本、語音、圖像等跨模態(tài)交流，為用戶帶來更加便捷、高效的使用體驗。
Yan架構(gòu)大模型作為國內(nèi)首個非Transformer架構(gòu)、非Attention機制的大模型，已經(jīng)通過網(wǎng)信辦備案，并提交了超過50項專利申請。這些專利涵蓋了模型結(jié)構(gòu)設(shè)計、算法改進、預(yù)訓(xùn)練、微調(diào)等核心環(huán)節(jié)，充分展示了RockAI在大模型領(lǐng)域的創(chuàng)新實力和技術(shù)儲備。憑借在算力受限場景下的本地部署運行等優(yōu)勢，RockAI已經(jīng)與機器人、手機、電腦等領(lǐng)域的設(shè)備廠商建立了深度合作，并成功落地了多個項目。
