日本多企業(yè)聯(lián)合科研組于昨日宣布推出Fugaku-LLM大模型，此模型基于Arm架構(gòu)的“富岳”超級(jí)計(jì)算機(jī)進(jìn)行培訓(xùn)，呈現(xiàn)出顯著特性。

Fugaku-LLM模型項(xiàng)目自2023年5月起啟動(dòng)，初始參加方包括富士通、東京工業(yè)大學(xué)、日本東北大學(xué)及日本理化學(xué)研究所（簡稱理研）。至同年8月，又有三家合作伙伴——名古屋大學(xué)、CyberAgent（Cygames母公司）以及HPC-AI領(lǐng)域創(chuàng)新企業(yè)Kotoba Technologies加入。

在昨日公布的新聞稿中，研究團(tuán)隊(duì)表示他們成功發(fā)掘了富岳超級(jí)計(jì)算機(jī)的潛能，使矩陣乘法運(yùn)算速度提升六倍，通信速度提高三倍，從而證實(shí)大型純CPU超級(jí)計(jì)算機(jī)同樣適用于大模型訓(xùn)練。

Fugaku-LLM模型參數(shù)規(guī)模達(dá)13B，成為日本國內(nèi)最大的大型語言模型。該模型利用13824個(gè)富岳超級(jí)計(jì)算機(jī)節(jié)點(diǎn)，在3800億個(gè)Token上進(jìn)行訓(xùn)練，其中60%為日語數(shù)據(jù)，其余40%涵蓋英語、數(shù)學(xué)、代碼等內(nèi)容。

研究團(tuán)隊(duì)表示，F(xiàn)ugaku-LLM模型能夠在交流過程中自然運(yùn)用日語敬語等特殊表達(dá)方式。

在測試結(jié)果方面，該模型在日語MT-Bench模型基準(zhǔn)測試中的平均得分高達(dá)5.5，位列基于日本語料資源的開放模型之首；同時(shí)，在人文社科類別的測試中獲得9.18的高分。

目前，F(xiàn)ugaku-LLM模型已在GitHub和Hugging Face平臺(tái)公開發(fā)布，外部研究人員和工程師可以在遵循許可協(xié)議的前提下，將該模型應(yīng)用于學(xué)術(shù)和商業(yè)領(lǐng)域。