5月11日訊，多方企業(yè)與機(jī)構(gòu)聯(lián)手的日本研究小組昨日公布了Fugaku-LLM大型模型。該模型最大特點(diǎn)在于在Arm架構(gòu)超算“富岳”上完成了訓(xùn)練。

自2023年5月起，F(xiàn)ugaku-LLM模型的開發(fā)工作開始展開，最初參與團(tuán)隊包括富士通、東京工業(yè)大學(xué)、日本東北大學(xué)以及日本理化學(xué)研究所（簡稱理研）。

至同年8月，又有三家合作伙伴——名古屋大學(xué)、CyberAgent（同時也是游戲巨頭Cygames的母公司）及HPC-AI領(lǐng)域創(chuàng)新企業(yè)Kotoba Technologies加入項目。

研究團(tuán)隊在昨日的新聞發(fā)布會上表示，他們成功利用富岳超算的強(qiáng)大性能，使矩陣乘法運(yùn)算速度提升6倍，通信速度提高3倍，從而證明大型純CPU超算同樣適用于大模型訓(xùn)練。

Fugaku-LLM模型參數(shù)規(guī)模達(dá)13B，成為日本國內(nèi)最大的大型語言模型。

該模型采用13824個富岳超算節(jié)點(diǎn)，在3800億個Token上進(jìn)行訓(xùn)練，其中60%為日語數(shù)據(jù)，其余40%涵蓋英語、數(shù)學(xué)、代碼等內(nèi)容。

研究團(tuán)隊表示，F(xiàn)ugaku-LLM模型能夠在交流過程中自然運(yùn)用日語敬語等特殊表達(dá)方式。

在測試結(jié)果方面，該模型在日語MT-Bench模型基準(zhǔn)測試中的平均得分高達(dá)5.5，位列基于日本語料資源的開放模型之首；在人文社科類別的測試中更獲得了9.18的高分。

現(xiàn)如今，F(xiàn)ugaku-LLM模型已在GitHub和Hugging Face平臺公開發(fā)布，外部研究人員和工程師可在遵循許可協(xié)議的基礎(chǔ)上，將該模型應(yīng)用于學(xué)術(shù)和商業(yè)領(lǐng)域。