受限于眼鏡的小巧機(jī)身，大模型無(wú)法適配，隨著技術(shù)迭代，端側(cè)性能提升，所有對(duì)話(huà)均在本地完成，無(wú)需依賴(lài)手機(jī)或云端連接，既保障隱私又提升響應(yīng)速度。在談到AI眼鏡的爆發(fā)時(shí)，有專(zhuān)家表示重量在30克以?xún)?nèi)，實(shí)現(xiàn) 8 小時(shí)長(zhǎng)效續(xù)航，2000 元左右的定價(jià)貼合大眾消費(fèi)需求，目標(biāo)可實(shí)現(xiàn)300萬(wàn)左右的出貨量。這個(gè)階段的AI眼鏡不一定需要顯示功能，主打語(yǔ)音交互。在小模型的應(yīng)用上，兒童玩具這一品類(lèi)用于編寫(xiě)簡(jiǎn)單生動(dòng)的小故事，復(fù)刻爸爸或媽媽的專(zhuān)屬聲音讓陪伴更具溫度，會(huì)是不錯(cuò)的應(yīng)用場(chǎng)景。

谷歌在去年底發(fā)布Coral NPU是基于RISC-V的開(kāi)源邊緣AI加速器，而谷歌Gemma 3的小模型參數(shù)僅為0.27B。可以說(shuō)，引領(lǐng)了AI眼鏡或者其他端側(cè)智能產(chǎn)品的輕量化、智能化的方向。

Coral NPU是一款專(zhuān)為邊緣端低能耗人工智能而設(shè)計(jì)的機(jī)器學(xué)習(xí)加速器IP。它基于開(kāi)放的RISC-V指令集架構(gòu)，可作為經(jīng)過(guò)驗(yàn)證的開(kāi)源IP集成于商業(yè)化的芯片產(chǎn)品中。

Coral NPU的開(kāi)源戰(zhàn)略旨在創(chuàng)建標(biāo)準(zhǔn)架構(gòu)以加速邊緣AI生態(tài)系統(tǒng)發(fā)展，其基礎(chǔ)源于谷歌研究院此前推出的Coral.ai項(xiàng)目。該項(xiàng)目最初于2023年作為“Open Se Cura”研究項(xiàng)目的組成部分發(fā)布，現(xiàn)已成為推動(dòng)這一愿景的專(zhuān)項(xiàng)計(jì)劃。

Coral NPU直接解決了邊緣AI設(shè)備生態(tài)嚴(yán)重碎片化的問(wèn)題。當(dāng)前，由于通用計(jì)算單元（CPU）與機(jī)器學(xué)習(xí)計(jì)算單元采用不同的編程模型，開(kāi)發(fā)者面臨陡峭的學(xué)習(xí)曲線(xiàn)和極高的編程復(fù)雜性。這些機(jī)器學(xué)習(xí)單元通常依賴(lài)于由專(zhuān)用、專(zhuān)有的編譯器生成的命令緩沖區(qū)。這種碎片化的方式難以發(fā)揮不同算力的協(xié)同優(yōu)勢(shì)，也迫使開(kāi)發(fā)者要維護(hù)多條專(zhuān)有且不透明的工具鏈，成本與復(fù)雜度陡增。

Coral NPU基于RISC-V指令集架構(gòu)標(biāo)準(zhǔn)構(gòu)建，通過(guò)引入原生張量處理能力，拓展了C語(yǔ)言編程環(huán)境。它支持多種機(jī)器學(xué)習(xí)框架，包括：JAX、PyTorch和TensorFlow Lite（TFLite），并采用基于開(kāi)放標(biāo)準(zhǔn)的工具，如來(lái)自低級(jí)虛擬機(jī)（LLVM）項(xiàng)目的多級(jí)中間表示（MLIR），作為編譯器基礎(chǔ)設(shè)施。

將原生機(jī)器學(xué)習(xí)加速原語(yǔ)與通用計(jì)算指令集架構(gòu)融合，既避免了傳統(tǒng)獨(dú)立CPU/NPU設(shè)計(jì)帶來(lái)的系統(tǒng)復(fù)雜性、成本及數(shù)據(jù)遷移問(wèn)題，同時(shí)也實(shí)現(xiàn)了卓越的機(jī)器學(xué)習(xí)性能。

Coral NPU 是一套基于開(kāi)放 RISC-V 標(biāo)準(zhǔn)的神經(jīng)處理單元（NPU）完整參考設(shè)計(jì)，由三個(gè)核心組件組成：標(biāo)量核負(fù)責(zé)傳統(tǒng) CPU 功能；矢量執(zhí)行單元：提供額外計(jì)算能力；矩陣執(zhí)行單元執(zhí)行 ML 模型運(yùn)算；三者共同構(gòu)成 Coral NPU 的完整功能與性能。任何芯片廠(chǎng)商若設(shè)計(jì)獨(dú)立 NPU 或?qū)?Coral NPU 集成進(jìn) SoC，均需同時(shí)整合這三個(gè)單元，方可獲得完整方案。

Coral NPU 的設(shè)計(jì)遵循以下幾條核心原則：

ML 優(yōu)先架構(gòu)：傳統(tǒng)處理器先搭標(biāo)量，再加向量（SIMD），最后補(bǔ)矩陣；Coral NPU 反其道而行——先建矩陣（ML）能力，再融入向量與標(biāo)量功能。三種運(yùn)算在同一 ISA 內(nèi)緊密耦合，使整個(gè)架構(gòu)底層就面向 AI 負(fù)載優(yōu)化。（詳見(jiàn)架構(gòu)概覽）

專(zhuān)用 ML 引擎：核心是一顆量化外積乘加（MAC）引擎，專(zhuān)為神經(jīng)網(wǎng)絡(luò)的基本計(jì)算打造。該模塊以極高效率將 8-bit 運(yùn)算累加成 32-bit 結(jié)果。

集成向量（SIMD）核：向量協(xié)處理器實(shí)現(xiàn) RISC-V 向量指令集 RVV v1.0，配 32×256 bit 向量寄存器堆，并采用“strip-mining”機(jī)制——單條指令觸發(fā)多次操作，顯著提升并行效率。

簡(jiǎn)潔、可 C 編程的標(biāo)量核：輕量級(jí) RISC-V RV32IM 前端作為簡(jiǎn)單的控制器，負(fù)責(zé)把任務(wù)分發(fā)給矩陣與向量后端。它采用“運(yùn)行到完成”的模式，無(wú)需復(fù)雜操作系統(tǒng)或頻繁中斷，功耗極低。

高效內(nèi)存管理：僅設(shè)一層小容量高速緩存（8 KB 指令 + 16 KB 數(shù)據(jù)），讓數(shù)據(jù)緊貼計(jì)算單元，降低功耗與延遲。

統(tǒng)一開(kāi)發(fā)體驗(yàn)：平臺(tái)可用 C 語(yǔ)言編程，并原生對(duì)接 TensorFlow Lite Micro（TFLM）、IREE 等現(xiàn)代 ML 編譯器。基于 MLIR 的統(tǒng)一工具鏈可同時(shí)支持 TensorFlow、JAX、PyTorch 的模型部署。

Coral NPU 的設(shè)計(jì)實(shí)現(xiàn)了功耗與性能之間的高效平衡，使其成為環(huán)境應(yīng)用的理想選擇，并可擴(kuò)展至多核架構(gòu)。性能上，512 GOP/S（每秒十億次操作），每周期 256 次乘加運(yùn)算功耗目標(biāo)約 6 mW @ 800 MHz，22 nm 工藝。

Coral NPU 專(zhuān)為超低功耗、始終在線(xiàn)的邊緣 AI 設(shè)計(jì)，尤其專(zhuān)注于泛在感知系統(tǒng)，其首要目標(biāo)是在可穿戴設(shè)備上實(shí)現(xiàn)全天候 AI 體驗(yàn)，同時(shí)最大限度降低電量消耗。憑借高效率與低功耗，Coral NPU 可廣泛部署于智能耳機(jī)與耳塞、智能眼鏡、AR 頭顯、智能手表、健身手環(huán)、智能家居及環(huán)境 IoT 設(shè)備、手機(jī)（用作超低功耗協(xié)處理器）、車(chē)載與汽車(chē)電子系統(tǒng)。

審核編輯 黃宇