自ChatGPT發(fā)布以來，生成式AI在全球引起了新的浪潮，它影響著各行各業(yè)，為世界帶來智能化的發(fā)展。然而，類ChatGPT的大語言模型極度依賴算力巨大的服務(wù)器，導(dǎo)致目前大部分應(yīng)用只能通過集中調(diào)用API的方式來應(yīng)用，很難本地化部署。

隨著大模型適用領(lǐng)域的擴(kuò)展，大模型登陸邊緣設(shè)備的需求凸顯，越來越多的行業(yè)需要把大語言模型應(yīng)用在專業(yè)的領(lǐng)域上。在這個(gè)背景下，F(xiàn)irefly推出了基于BM1684X平臺(tái)的大語言模型本地部署的方案，讓邊緣設(shè)備可配置上一顆真正的“智慧”大腦，應(yīng)用于各行各業(yè)。

本地化的ChatGLM-6B大語言模型

（1）具有 62 億參數(shù)

采用了由清華大學(xué)的ChatGLM-6B大語言模型，基于 General Language Model (GLM) 架構(gòu)，具有 62 億參數(shù)， 使用了和 ChatGPT 相似的先進(jìn)技術(shù)，以達(dá)到優(yōu)質(zhì)的效果。

（2）優(yōu)化中文對(duì)話

支持中英雙語的對(duì)話語言模型，并且針對(duì)中文問答和對(duì)話進(jìn)行了優(yōu)化，其開源的訓(xùn)練數(shù)據(jù)量達(dá)到1萬億字符的模型。

AI邊緣計(jì)算主機(jī)EC-A1684XJD4

ChatGLM-6B可部署在Firefly旗下產(chǎn)品AI嵌入式主機(jī)EC-A1684XJD4中，主機(jī)配置了16GB大內(nèi)存，適用于部分大模型的量化部署，可運(yùn)行Ubuntu20.04操作系統(tǒng)，并集成最新的SOPHONSDK 3.0.0，可充分發(fā)揮BM1684X集成TPU的AI加速能力。