【ITBEAR科技資訊】6月14日消息，近日在北京智源大會(huì)上，智源研究院發(fā)布了一系列全面開(kāi)源的大模型，其中包括"悟道3.0"系列以及"悟道·天鷹"(Aquila)語(yǔ)言大模型等領(lǐng)先成果。據(jù)ITBEAR科技資訊了解，這一發(fā)布引起了廣泛關(guān)注。
據(jù)悉，"悟道·天鷹"(Aquila)語(yǔ)言大模型是首個(gè)具備中英雙語(yǔ)知識(shí)、支持商用許可協(xié)議和國(guó)內(nèi)數(shù)據(jù)合規(guī)需求的開(kāi)源語(yǔ)言大模型。該模型是基于中英文高質(zhì)量語(yǔ)料從零開(kāi)始訓(xùn)練的，并通過(guò)數(shù)據(jù)質(zhì)量控制和多種訓(xùn)練優(yōu)化方法，在較小的數(shù)據(jù)集和更短的訓(xùn)練時(shí)間內(nèi)獲得了比其他開(kāi)源模型更優(yōu)的性能。
摩爾線(xiàn)程是在此次發(fā)布中扮演重要角色的公司之一。摩爾線(xiàn)程的代碼移植工具"MUSIFY"被廣泛應(yīng)用于適配大模型。該工具能夠快速將現(xiàn)有的CUDA程序遷移至摩爾線(xiàn)程的MUSA平臺(tái)，實(shí)現(xiàn)零成本的CUDA代碼自動(dòng)移植，并且在短時(shí)間內(nèi)完成熱點(diǎn)分析和針對(duì)性?xún)?yōu)化，大大縮短了遷移優(yōu)化的周期。這使得大模型的適配成為了一個(gè)標(biāo)準(zhǔn)的流水線(xiàn)作業(yè)，為開(kāi)發(fā)者提供了省時(shí)、省力、省事、省心的解決方案。
此外，摩爾線(xiàn)程打造的AI與云計(jì)算平臺(tái)也能夠運(yùn)行多種開(kāi)源大模型，如ChatGLM、Stable Diffusion、LLaMA和"悟道3.0"等，并且支持摩爾線(xiàn)程自研的MUSAChat和MUSABert等模型的部分訓(xùn)練和推理應(yīng)用。該平臺(tái)基于摩爾線(xiàn)程的元計(jì)算統(tǒng)一系統(tǒng)架構(gòu)MUSA，能夠復(fù)用PyTorch開(kāi)源社區(qū)中的大量模型算子，降低開(kāi)發(fā)成本。摩爾線(xiàn)程的MT PyTorch支持多種模型的推理，覆蓋CV、NLP、語(yǔ)音等多個(gè)領(lǐng)域，不僅能夠運(yùn)行大模型分布式多卡推理，還能支持單機(jī)多卡和多機(jī)多卡的分布式訓(xùn)練。
智源研究院發(fā)布的"悟道3.0"系列開(kāi)源模型涵蓋了語(yǔ)言、視覺(jué)和多模態(tài)等基礎(chǔ)大模型，這無(wú)疑將成為自主大語(yǔ)言模型產(chǎn)業(yè)生態(tài)發(fā)展的一個(gè)里程碑事件。摩爾線(xiàn)程表示愿意與其他基礎(chǔ)模型供應(yīng)商深度合作，從硬件、算子和算法多個(gè)方面進(jìn)行優(yōu)化，從而在硬件、軟件、模型和業(yè)務(wù)等多個(gè)維度上為應(yīng)用開(kāi)發(fā)者提供更好的支持，助力大模型更好地賦能千行百業(yè)。
