【ITBEAR科技資訊】5月11日消息，日本多家產(chǎn)學(xué)研機(jī)構(gòu)組成的聯(lián)合研究團(tuán)隊(duì)近日發(fā)布了一款名為 Fugaku-LLM 的大型語(yǔ)言模型。該模型獨(dú)具特色，因?yàn)樗窃谌蜃羁斓腁rm架構(gòu)超級(jí)計(jì)算機(jī)“富岳”上進(jìn)行訓(xùn)練的，充分展現(xiàn)了日本在科技領(lǐng)域的創(chuàng)新實(shí)力。
據(jù)悉，F(xiàn)ugaku-LLM模型的開發(fā)工作于2023年5月正式啟動(dòng)，由富士通、東京工業(yè)大學(xué)、日本東北大學(xué)和日本理化學(xué)研究所等核心機(jī)構(gòu)共同負(fù)責(zé)。而在研發(fā)過(guò)程中，名古屋大學(xué)、CyberAgent公司及HPC-AI領(lǐng)域的創(chuàng)新企業(yè)Kotoba Technologies也于2023年8月加入了這一宏偉計(jì)劃。
研究團(tuán)隊(duì)在新聞稿中自豪地表示，他們成功挖掘了富岳超級(jí)計(jì)算機(jī)的巨大潛能。通過(guò)優(yōu)化算法和提升計(jì)算效率，團(tuán)隊(duì)將矩陣乘法的計(jì)算速度提高了6倍，通信速度也實(shí)現(xiàn)了3倍的提升。這一重要突破證明了大型純CPU超級(jí)計(jì)算機(jī)在訓(xùn)練大型語(yǔ)言模型方面的可行性。
Fugaku-LLM模型擁有龐大的參數(shù)規(guī)模，達(dá)到了130億，成為日本國(guó)內(nèi)最大的大型語(yǔ)言模型。為了構(gòu)建這一模型，研究團(tuán)隊(duì)動(dòng)用了富岳超算的13824個(gè)計(jì)算節(jié)點(diǎn)，在龐大的3800億個(gè)Token上進(jìn)行了深入訓(xùn)練。訓(xùn)練資料中有60%是日語(yǔ)內(nèi)容，其余40%則涵蓋了英語(yǔ)、數(shù)學(xué)、代碼等多個(gè)領(lǐng)域。
該模型在日語(yǔ)表達(dá)方面尤為出色，研究團(tuán)隊(duì)宣稱Fugaku-LLM能夠在交流中自然運(yùn)用日語(yǔ)敬語(yǔ)等特殊表達(dá)方式，這在國(guó)際范圍內(nèi)都是罕見(jiàn)的。在日語(yǔ)MT-Bench模型基準(zhǔn)測(cè)試中，F(xiàn)ugaku-LLM的平均得分高達(dá)5.5，位居基于日本語(yǔ)料資源的開放模型之首。在人文社科類別中，它更是斬獲了9.18的優(yōu)異成績(jī)。
目前，這款杰出的Fugaku-LLM模型已經(jīng)在GitHub和Hugging Face平臺(tái)上公開發(fā)布。外部研究人員和工程師在遵守相關(guān)許可協(xié)議的前提下，可將該模型廣泛應(yīng)用于學(xué)術(shù)研究和商業(yè)領(lǐng)域。
