數(shù)據(jù)中心生成式 AI 推理計算的先驅(qū) d-Matrix，以及高效率、低功耗 RISC-V 處理器核心的領先供應商、RISC-V 國際協(xié)會的創(chuàng)始首席會員 Andes 晶心科技 (Andes Technology，TWSE: 6533; SIN: US03420C2089; ISIN: US03420C1099)，今日共同宣布 d-Matrix 已選擇 AndesCore AX46MPV 作為其下一代 Raptor 推理架構(gòu)的處理器。本次合作代表著針對數(shù)據(jù)中心規(guī)模的 AI計算工作，以存儲為中心的計算 (memory-centric computing) 與開放標準處理器創(chuàng)新技術的融合。

正在開發(fā)中的 Raptor 加速器，將是首款采用 d-Matrix 革命性 3D 存內(nèi)計算 (3DIMC) 技術的芯片。3DIMC 是一種高效的小芯片 (chiplet-based) 方案，也是全球首個用于規(guī)?；?AI 推理的 3D DRAM 解決方案。它將計算單元和存儲單元堆疊在一起，能將數(shù)據(jù)移動的能耗和延遲降低到1/10，從而解決了限制傳統(tǒng) AI 推理系統(tǒng)的存儲器瓶頸問題。

Andes 晶心科技的 AX46MPV 既是調(diào)度引擎，也是向量計算引擎，負責管理 Raptor 高帶寬計算架構(gòu)中的工作負載分配、存儲器協(xié)調(diào)和運行控制，同時還分擔了諸如激活函數(shù)等計算任務。

d-Matrix 創(chuàng)始人兼首席執(zhí)行官 Sid Sheth 表示：「Raptor 的創(chuàng)新設計，正在將推理效率和可擴展性推向遠超傳統(tǒng)架構(gòu)所能達到的水平。AX46MPV 的 RISC-V 架構(gòu)為我們的 3DIMC 方法提供了理想的 CPU，使我們能夠以前所未有的每瓦性能交付數(shù)據(jù)中心規(guī)模的推理?！?/p>

Andes 晶心科技董事長兼首席執(zhí)行官 林志明 表示：「我們與 d-Matrix 的合作，展示了 RISC-V 如何賦能真正的數(shù)據(jù)中心級推理系統(tǒng)。通過將 d-Matrix 開創(chuàng)性的 3D 存內(nèi)計算與Andes 晶心科技先進的 RISC-V 向量 CPU 相結(jié)合，我們正在將下一代生成式 AI 推理變?yōu)楝F(xiàn)實?！?/p>

本次合作標志著 RISC-V 進軍大規(guī)模 AI 推理領域的又一個里程碑。它將Andes 晶心科技成熟的 CPU IP 和軟件生態(tài)系統(tǒng)，與 d-Matrix 創(chuàng)新的小芯片式 3DIMC 架構(gòu)完美結(jié)合。兩家公司正共同重新定義規(guī)?；墒?AI 部署的每瓦性能和總擁有成本 (TCO)。

技術亮點

AX46MPV 是一款基于開放標準 RISC-V 指令集架構(gòu)的 64 位、支持 Linux 的多核 CPU IP。其亮點包括：

配備高達 2048 比特 (bit) 的向量處理單元 (RVV 1.0)，在歸約求和 (reduction sum) 方面具有顯著性能提升。

雙加載/存儲單元，可用于標量/向量加載和存儲的任意組合。

高帶寬向量存儲器 (HVM)，能夠處理亂序 (out-of-order) 的數(shù)據(jù)返回。

支持多個未完成總線請求。

這些特性共同提供了數(shù)據(jù)中心級推理系統(tǒng)所需的性能余裕和軟件靈活性。針對 Transformer 和大型語言模型工作負載的核心參考內(nèi)核(Reference kernels)顯示，相較于前代處理器 AX45MPV，性能提升高達 2.3 倍。

關于 d-Matrix

d-Matrix 正在開創(chuàng) AI 推理的加速計算，突破延遲、成本和能耗的限制。其 Corsair 加速器、JetStream 網(wǎng)絡和 Aviator 軟件，為數(shù)據(jù)中心規(guī)模帶來了快速、可持續(xù)的 AI 推理。

關于Andes 晶心科技

Andes晶心科技股份有限公司于2005年成立于新竹科學園區(qū)，2017年于臺灣證交所上市 (TWSE: 6533; SIN: US03420C2089; ISIN: US03420C1099)。Andes晶心是RISC-V國際協(xié)會的創(chuàng)始首席會員，也是第一家推出商用RISC-V向量處理器的主流CPU供貨商。為滿足當今電子設備的嚴格要求， Andes晶心提供可配置性高的32/64位高效能CPU核，包含DSP、FPU、Vector、超純量(Superscalar)、亂序執(zhí)行(Out-of-Order)、多核及車用系列，可應用于各式SoC與應用場景。Andes晶心提供功能齊全的整合開發(fā)環(huán)境和全面的軟/硬件解決方案，可幫助客戶在短時間內(nèi)創(chuàng)新其SoC設計。截至2024年底，Andes-Embedded SoC累計出貨量已超過170億顆。