當(dāng)下，邊緣AI全面進(jìn)入大語言模型+多模態(tài)感知深度融合階段，儲(chǔ)能、工業(yè)網(wǎng)關(guān)、智能機(jī)器人、視頻分析等場(chǎng)景，對(duì)本地實(shí)時(shí)推理、低延遲響應(yīng)、數(shù)據(jù)安全合規(guī)的需求爆發(fā)式增長(zhǎng)。但RK3588/RK3576/RK3568等主流主控，原生NPU算力有限、內(nèi)存帶寬不足，3B參數(shù)量以上的大模型跑不動(dòng)、響應(yīng)慢、并發(fā)差，“業(yè)務(wù)剛需猛、端側(cè)算力弱”的沖突日益尖銳。

瑞芯微推出了面向人工智能應(yīng)用的高性能RK182X系列算力卡，依托RKNN3 SDKV1.0.4的發(fā)布，為端側(cè)AI模型部署提供全棧式軟件支撐，在端側(cè)推理性能、模型適配、功能接口、推理精度上全方位升級(jí)，兼具高性能、高適配、高能耗比優(yōu)勢(shì)，即插即用補(bǔ)滿算力缺口，讓LLM/VLM在邊緣設(shè)備穩(wěn)定流暢落地！

一、20TOPS硬核算力，8B大模型端側(cè)推理無壓力

RK182X系列內(nèi)置多核RISC-V CPU與3D堆疊高帶寬DRAM，集成多核高算力NPU，峰值算力可達(dá)20TOPS且廣泛支持從INT4到FP16的多種計(jì)算精度，通過 PCIe/USB 接口與主控設(shè)備高速互聯(lián)，支持從 0.5B 到 8B 多種參數(shù)量的大語言 / 多模態(tài)模型及傳統(tǒng) CNN 模型推理及本地化部署，專注于 AI 端側(cè)推理，不占主控資源，算力獨(dú)立輸出。

二、主流模型全覆蓋 ，打通算法生態(tài)壁壘

RK182X算力卡完成主流AI算法全適配，原生支持LLM大語言、VLM圖文多模態(tài)、CNN卷積網(wǎng)絡(luò)三類核心模型，覆蓋自然語言交互、跨模態(tài)圖文解析、圖像分類檢測(cè)、音頻信號(hào)處理等全場(chǎng)景AI應(yīng)用 ，算力調(diào)度穩(wěn)定、推理時(shí)延優(yōu)異，配套完備的模型編譯工具鏈，輕松實(shí)現(xiàn)模型量化轉(zhuǎn)換、適配優(yōu)化與嵌入式端快速投產(chǎn)。

三、兼容全主控+雙系統(tǒng)，老設(shè)備零成本煥新算力

RK182X系列算力卡全兼容RK3588、RK3576、RK3568等瑞芯微主流主控，適配Linux/Android雙系統(tǒng)，PCIe直插即用無需額外驅(qū)動(dòng)適配。依托該架構(gòu)設(shè)計(jì)，產(chǎn)品實(shí)現(xiàn)跨主控、跨系統(tǒng)通用，存量在用設(shè)備可零改造升級(jí)AI大模型算力，無需更換主板、修改整機(jī)結(jié)構(gòu)、重新做產(chǎn)品認(rèn)證，老舊邊緣網(wǎng)關(guān)、工控主機(jī)、AI邊緣盒能夠低成本迭代升級(jí)為高性能AI推理終端，規(guī)避硬件換代帶來的高額改造成本與周期損耗。

以下為各主控平臺(tái)搭配RK182X算力卡前后大模型推理性能對(duì)比：

測(cè)試參數(shù)說明：

• Input_Tokens和New_tokens分別代表輸入/輸出Tokens數(shù)量；
• TPS：模型每秒能生成的token數(shù)量。

RK3568作為大批量商用落地平臺(tái)，自帶1TOPS板載NPU，原生算力無法適配端側(cè)大模型推理場(chǎng)景；設(shè)備預(yù)留PCIe擴(kuò)展位，選配RK1820/RK1828算力卡后可新增20TOPS獨(dú)立NPU算力，存量整機(jī)無需改版，低成本完成算力擴(kuò)容，穩(wěn)定運(yùn)行大語言、多模態(tài)大模型。

軟件層面，飛凌嵌入式已完成RK182X全系列在Linux/Android雙系統(tǒng)的深度驅(qū)動(dòng)調(diào)試與全量算子落地驗(yàn)證：工業(yè)視覺、服務(wù)機(jī)器人（Linux端）、智能交互一體機(jī)、商用智慧屏（Android端）等多場(chǎng)景均可即插即用。單張算力卡可跨硬件平臺(tái)、跨操作系統(tǒng)復(fù)用，有效壓縮客戶備貨庫存、后期運(yùn)維成本，落地「一卡通用 ，舊機(jī)煥新」的邊緣算力升級(jí)方案。結(jié)合真實(shí)業(yè)務(wù)場(chǎng)景下的上下文尺寸和輸出長(zhǎng)度，RK182X算力卡搭配各RK主控平臺(tái)的各參數(shù)量LLM/VLM模型的端側(cè)推理實(shí)測(cè)性能數(shù)據(jù)見文末。

四、儲(chǔ)能行業(yè)私有化知識(shí)庫落地案

針對(duì)儲(chǔ)能BMS場(chǎng)景的儲(chǔ)能系統(tǒng)AI問答交互系統(tǒng)需求，飛凌嵌入式基于RK3588+RK1828算力卡打造儲(chǔ)能專屬私有化知識(shí)庫，集成語音識(shí)別ASR與語音合成TTS模塊支持全語音問答，支持多級(jí)BMS儲(chǔ)能設(shè)備實(shí)時(shí)運(yùn)行數(shù)據(jù)查詢和儲(chǔ)能系統(tǒng)故障智能診斷，精準(zhǔn)解析運(yùn)維人員的提問意圖，支持故障排查、數(shù)據(jù)查詢、分析建議等連續(xù)交互，端側(cè)離線部署無需聯(lián)網(wǎng)，實(shí)現(xiàn)數(shù)據(jù)本地閉環(huán)、合規(guī)安全。

核心能力

• 本地部署：數(shù)據(jù)不出場(chǎng)站，滿足電力儲(chǔ)能行業(yè)安全合規(guī)要求；
• 高速響應(yīng)：大語言模型端側(cè)推理輸出速度穩(wěn)定60+tokens/s，故障診斷、數(shù)據(jù)查詢實(shí)時(shí)輸出；
• 開箱即用：支持知識(shí)庫快速導(dǎo)入、語音交互、自定義MCP、接口標(biāo)準(zhǔn)化。

演示畫面的截圖：

五、為什么選擇RK182X算力卡？

1. 即插即用

PCIe/USB雙接口 ，雙系統(tǒng)支持，部署周期縮短50%+。

2. 全平臺(tái)覆蓋

完美支持RK3588/3576/3568，存量設(shè)備一鍵升級(jí)算力。

3. 場(chǎng)景化方案

儲(chǔ)能、工業(yè)、機(jī)器人等垂直場(chǎng)景定制優(yōu)化，提供全套技術(shù)支持。

4. 穩(wěn)定可靠

工業(yè)級(jí)品質(zhì)，批量交付有保障，技術(shù)團(tuán)隊(duì)全程護(hù)航。

RK182X系列算力卡真正解決端側(cè)大模型算力短缺，讓LLM/VLM本地跑得穩(wěn)、跑得快、用得起！

以下為RK182X算力卡搭配各RK主控平臺(tái)的LLM/VLM模型端側(cè)推理實(shí)測(cè)性能數(shù)據(jù)：

Ubuntu系統(tǒng)RK3568+RK1828算力卡：

LLM模型端側(cè)推理核心性能數(shù)據(jù)：

VLM模型端側(cè)推理核心性能數(shù)據(jù)：

Ubuntu系統(tǒng)RK3576+RK1828算力卡：

LLM模型端側(cè)推理核心性能數(shù)據(jù)：

VLM模型端側(cè)推理核心性能數(shù)據(jù)：

Android系統(tǒng)RK3588+RK1828算力卡：

LLM模型端側(cè)推理核心性能數(shù)據(jù)：

VLM模型端側(cè)推理核心性能數(shù)據(jù)：

測(cè)試參數(shù)說明：

1.測(cè)試基于主控SOC+RK1820/RK1828，兩者之間通過PCIe連接；

2.TTFT：模型生成第一個(gè)token所需的時(shí)間；

3.TPOT：生成每個(gè)輸出token所需的平均時(shí)間；

4.TPS：模型每秒能生成的token數(shù)量；

5.VLM的Vision和LLM耗時(shí)為獨(dú)立測(cè)試。