本文來(lái)自邊緣域 AI 的“寒武大爆發(fā)”，自 ChatGPT 問世以來(lái)，從 GPT-1 到 GPT-3.5，GPT 模型的智能化程度不斷提升，GPT-4 多模態(tài)模型的發(fā)布進(jìn)一步加速產(chǎn)業(yè)革命。ChatGPT 對(duì)智能終端的賦能開啟新一輪“寒武大爆發(fā)”時(shí)代。

根據(jù)在網(wǎng)絡(luò)中的位置，AI 芯片可以分為云端 AI芯片 、邊緣和終端 AI 芯片；根據(jù)其在實(shí)踐中的目標(biāo)，可分為訓(xùn)練（training ）芯片和推理（inference ）芯片。

云端主要部署高算力的 AI 訓(xùn)練芯片和推理芯片，承擔(dān)訓(xùn)練和推理任務(wù)，具體有智能數(shù)據(jù)分析、模型訓(xùn)練任務(wù)和部分對(duì)傳輸帶寬要求比高的推理任務(wù)；

邊緣和終端主要部署推理芯片，承擔(dān)推理任務(wù)，需要獨(dú)立完成數(shù)據(jù)收集、環(huán)境感知、人機(jī)交互及部分推理決策控制任務(wù)。

全球新一輪 AI 風(fēng)暴漸起，各家大廠相繼發(fā)布多款 AI 產(chǎn)品和大模型突破進(jìn)展，可以預(yù)見未來(lái)訓(xùn)練和推理端需要的算力將呈指數(shù)級(jí)增長(zhǎng)。單 AI 芯片或計(jì)算架構(gòu)或面臨傳輸時(shí)延、功耗、成本等多方面因素制約，因此，未來(lái) AI 運(yùn)算將呈現(xiàn)邊云協(xié)同的多層次算力網(wǎng)絡(luò)趨勢(shì)，AI 訓(xùn)練迭代優(yōu)化等復(fù)雜性任務(wù)主要在云端，實(shí)時(shí)、局部數(shù)據(jù)處理和推理任務(wù)主要在邊緣側(cè)。

1、邊緣 AI 芯片：打通推理加速的“最后一公里”

目前邊緣計(jì)算市場(chǎng)上參與者眾多，不同陣營(yíng)廠商正以不同的路線共同推動(dòng)邊緣計(jì)算快速發(fā)展。以英特爾、AMD 等為代表的芯片廠商積極推出 CPU、GPU、FPGA、DPU、IPU 等邊緣算力芯片；亞馬遜、微軟等云服務(wù)廠商將云計(jì)算能力向設(shè)備和用戶側(cè)延伸，擴(kuò)充云數(shù)據(jù)中心的外延，將云原生的統(tǒng)一編程模式通過(guò)邊緣網(wǎng)關(guān)的能力應(yīng)用到設(shè)備構(gòu)成的邊緣云，主打云邊協(xié)同一體化

嚴(yán)格意義上的邊緣 AI 市場(chǎng)，包括邊緣終端市場(chǎng)和邊緣服務(wù)器市場(chǎng)兩類。邊緣終端市場(chǎng)是指直接在終端設(shè)備上做計(jì)算的 AI 芯片，對(duì)于功耗和能效要求比較高，包括針對(duì)特定應(yīng)用的 SOC 芯片和通用加速器獨(dú)立芯片兩種形態(tài)。另一種針對(duì)邊緣服務(wù)器市場(chǎng)，通常以處理器加上通用型深度學(xué)習(xí)加速芯片為主流方案，傳統(tǒng)巨頭英偉達(dá)、華為等在此市場(chǎng)有較深布局。而本文則將重點(diǎn)討論邊緣終端市場(chǎng)的芯片架構(gòu)，邊緣服務(wù)器市場(chǎng)暫不涉及。

2、計(jì)算芯片：NPU 算力是“兵家必爭(zhēng)之地”

在經(jīng)歷文本、圖像、語(yǔ)音等生成式 AI 系統(tǒng)陸續(xù)落地之后，我們認(rèn)為視頻將是后續(xù) AIGC 落地的重要應(yīng)用場(chǎng)景，人機(jī)交互的輸入端也將從文字、語(yǔ)音識(shí)別擴(kuò)展至機(jī)器視覺等形態(tài)。智能終端的主控芯片也將從傳統(tǒng)的音視頻編解碼功能，擴(kuò)展至更高性能、更大算力的要求。

目前，實(shí)現(xiàn)智能終端算力的最常用方式是在 SoC 芯片中內(nèi)置 NPU 模塊，即神經(jīng)網(wǎng)絡(luò)處理單元。這是專為物聯(lián)網(wǎng)人工智能設(shè)計(jì)的處理器模塊，用于加速神經(jīng)網(wǎng)絡(luò)的運(yùn)算，解決傳統(tǒng)芯片在神經(jīng)網(wǎng)絡(luò)運(yùn)算時(shí)效率低下的問題，特別擅長(zhǎng)處理視頻、圖像類的海量多媒體數(shù)據(jù)。

國(guó)內(nèi)芯片廠商均在加大自研 NPU 能力，以把握 AI 浪潮。以阿里平頭哥的含光 800 為例，其是一款面向數(shù)據(jù)中心 AI 應(yīng)用的人工處理推理芯片，采用臺(tái)積電12nm 制程，集成高達(dá) 170 億顆晶體管。

含光 800 自研 NPU 架構(gòu)為 AI 推理專門定制和創(chuàng)新，包括專有計(jì)算引擎和執(zhí)行單元、192M 本地存儲(chǔ)（SRAM）以及便于快速存取數(shù)據(jù)的核間通信，從而實(shí)現(xiàn)了高算力、低延遲的性能體驗(yàn)。含光 800 還支持主流的深度學(xué)習(xí)框架，包括 TensorFlow、MXNet、ONNX 等，能夠以行業(yè)領(lǐng)先的性能和效率來(lái)處理推理任務(wù)。

除專門推出 NPU 推理芯片，國(guó)產(chǎn) SoC 廠商也在加大 NPU IP 自研力度，以豐富和提升 SoC 人工智能處理能力。如瑞芯微目前已迭代了 4 代 NPU 的 IP，不斷提升對(duì)神經(jīng)網(wǎng)絡(luò)模型的支持和效率，公司最新旗艦芯片 RK3588 支持 6 Tops 的NPU 算力，可以賦能各類 AI 場(chǎng)景，給復(fù)雜場(chǎng)景的本地離線 AI 計(jì)算、復(fù)雜視頻流分析等應(yīng)用提供了各種可能。

晶晨股份也基于在多媒體音視頻領(lǐng)域的長(zhǎng)期積累和技術(shù)優(yōu)勢(shì)，致力于疊加神經(jīng)網(wǎng)絡(luò)處理器、專用 DSP 等技術(shù)，通過(guò)深度機(jī)器學(xué)習(xí)和高速的邏輯推理/系統(tǒng)處理，并結(jié)合行業(yè)先進(jìn)的 12nm 制造工藝，形成了多樣化應(yīng)用場(chǎng)景的人工智能系列芯片，公司的 A311D 系列人工智能芯片最高可支持 5Tops的 NPU 算力。