前 言

本文是創(chuàng)龍科技針對 RK3576 單板機編寫的 NPU 開發(fā)手冊，聚焦 RK3576 內置 NPU 的 AI 推理開發(fā)流程。文檔詳細講解 RKNN 工具鏈使用、模型轉換與部署方法，并提供 YOLOv5 目標檢測、DeepSeek 大語言模型本地推理兩大實戰(zhàn)案例。創(chuàng)龍科技以清晰步驟、完整源碼與測試流程，幫助開發(fā)者快速上手邊緣 AI 開發(fā)，高效實現目標識別與大模型交互等場景。

開發(fā)環(huán)境

Windows開發(fā)環(huán)境：Windows7 64bit、Windows10 64bit、

Linux開發(fā)環(huán)境：VMware16.2.5、Ubuntu22.04.564bit

sysroot：rk3576-Tronlong-Desktop-22.04-sysroot-[版本號].tar.gz

系統(tǒng)版本：Tronlong-Desktop22.04（類Ubuntu）、Linux-6.1.115、U-Boot-2017.09

備注：本文基于2GByte LPDDR4X、16GByte eMMC配置單板機進行演示。

術語表

為便于閱讀，下表對文檔出現的關鍵術語進行解釋；對于廣泛認同釋義的術語，在此不做注釋。

注意事項

（1）無特殊說明情況下，本文默認從eMMC啟動系統(tǒng)，使用DEBUG作為調試串口。

（2）請先參考《應用開發(fā)手冊》“開發(fā)環(huán)境搭建說明”章節(jié)完成應用開發(fā)環(huán)境搭建，并參考《系統(tǒng)使用手冊》附錄“系統(tǒng)組件安裝說明”安裝OpenCV。

（3）我司提供的NPU開發(fā)案例位于產品資料“4-軟件資料Demoplatform-demos”目錄，具體說明如下。

1NPU開發(fā)說明

NPU(Neural network Processing Unit)，即神經網絡處理器。RK3576內部已集成高能效神經網絡處理器NPU，支持神經網絡推理硬件加速，能夠流暢運行AI算法。主要參數如下：

（1）支持INT4/INT8/INT16/FP16等；

（2）支持多種框架，如TensorFlow、MXNet、PyTorch、Caffe等；

（3）1TOPS算力。

備注：更多詳細信息請查看“6-開發(fā)參考資料數據手冊SBC-TL3576單板機元器件”目錄下的文檔。

為簡化開發(fā)者在AI模型部署與優(yōu)化過程中的工作量，瑞芯微官方提供了核心開發(fā)工具包RKNN-Toolkit2。工具包針對不同類型的AI模型和應用場景，提供了從模型轉換、量化到推理部署的一站式解決方案。

RKNN-Toolkit2是瑞芯微官方推出的用于模型轉換、量化、推理和性能評估的開發(fā)工具包，支持將預訓練的深度學習模型轉換為瑞芯微NPU（神經網絡處理單元）專用的RKNN格式，并在其芯片平臺上高效部署。

開發(fā)流程如下：

a)模型訓練：用戶根據需求自行訓練模型或使用官方提供的模型；

b)模型轉換：使用RKNN-Toolkit2將預訓練模型轉換為RK3576 NPU可使用的RKNN模型；

c)應用開發(fā)：基于RKNN API開發(fā)應用程序。

圖 1?NPU開發(fā)流程圖

關于RKNN-Toolkit2環(huán)境搭建、模型轉換使用說明、混合量化、精度問題排查的詳細介紹，可查看yolov5_object_detect案例"toolsrknn-toolkit2.tar.gz"壓縮包的"rknn-toolkit2doc2_Rockchip_RKNPU_User_Guide_RKNN_SDK_V2.0.0beta0_CN.pdf"文檔。

關于RKNN-Toolkit2模型轉換API接口說明，可查看yolov5_object_detect案例"toolsrknn-toolkit2.tar.gz"壓縮包的"rknn-toolkit2doc2_Rockchip_RKNPU_User_Guide_RKNN_SDK_V2.0.0beta0_CN.pdf"文檔。

關于RKNN API的詳細使用說明，可查看yolov5_object_detect案例"toolsrknn-toolkit2.tar.gz"壓縮包的"toolrknn-toolkit2doc4_Rockchip_RKNPU_API_Reference_RKNNRT_V2.0.0beta0_CN.pdf"文檔。

2yolov5_object_detect案例

2.1案例說明

本案例基于RKNN API實現對圖片中目標對象的識別，并將識別結果以加水印的方式添加至圖像，并保存為圖片文件。案例循環(huán)測試10次，統(tǒng)計出推理的平均處理耗時。

備注：本案例基于瑞芯微官方例程實現，進行了目錄的重構及編譯的簡化,功能邏輯未進行修改。官方例程位于LinuxSDK源碼"external/rknpu2/examples/rknn_yolov5_demo/"目錄下。

圖 2

程序處理流程圖如下：

圖 3

2.2案例測試

在進行案例測試前，請先參考《系統(tǒng)使用手冊》中的“系統(tǒng)組件安裝說明”章節(jié)，完成OpenCV組件的安裝。

請通過網線將單板機千兆網口LAN1連接至路由器。請將案例bin目錄下的所有文件拷貝至單板機系統(tǒng)任意目錄下。

圖 4

在可執(zhí)行文件所在目錄，執(zhí)行如下命令，對圖片目標對象進行模型推理。

備注：模型運行的時間會有抖動。

Target# ./yolov5_object_detect yolov5s-640-640_rk3576.rknn car.jpg

圖 5

從輸出信息可知，本案例程序識別出測試圖片包含person、car、bus、truck等對象，運行1次模型耗時為34.690000ms；循環(huán)運行10次模型平均耗時為25.008300ms。

案例程序對測試圖片的目標對象標記成功后將輸出名稱為out.jpg的標記圖片至當前目錄，請將out.jpg文件拷貝至Windows下，并使用PC端相關軟件對比查看car.jpg與out.jpg，測試結果如下所示。

圖 6

圖 7?car.jpg

圖 8?out.jpg

從out.jpg圖片可知，案例程序能正確框選出人物、汽車等物體，同時顯示person、car等文字標簽和置信度，標記對象的數量及信息等與程序打印信息一致。

本程序能夠支持識別的目標數據集類型說明位于案例bin目錄下的coco_80_labels_list.txt文件，用戶可根據相關目標類型進行測試驗證。

圖 9

2.3案例編譯

將案例src源碼目錄拷貝至Ubuntu工作目錄下，進入源碼目錄，執(zhí)行如下命令配置環(huán)境變量，并修改CMake配置文件CMakeLists.txt，請根據實際情況修改為LinuxSDK源碼路徑。

Host# source /home/tronlong/RK3576/environment

Host# vim CMakeLists.txt

圖 10

修改內容如下：

set(RKNPU_PATH /home/tronlong/RK3576/rk3576_linux6.1_release/external/rknpu2)

圖 11

執(zhí)行如下命令，新建一個build目錄，用于存放編譯過程產生的相關文件，并進入build目錄。

Host# mkdir-pbuild

Host# cd build

圖 12

執(zhí)行如下命令進行案例編譯，編譯完成將會在build目錄下生成編譯過程產生的相關文件。

Host# cmake -DCMAKE_C_COMPILER=aarch64-linux-gnu-gcc -DCMAKE_CXX_COMPILER=aarch64-linux-gnu-g++ ../

Host# make -j4

Host# make install

圖 13

build目錄存放編譯過程產生的相關文件，src目錄存放案例相關文件，包括測試圖片car.jpg、類別數據集coco_80_labels_list.txt、RKNN模型yolov5s-640-640_rk3576.rknn和可執(zhí)行程序yolov5_object_detect等文件，如下圖所示。

圖 14

由于篇幅過長等原因，部分內容均不逐一展示，如需獲取完整版詳細資料，請關注Tronlong創(chuàng)龍科技微信公眾號或官網，或者評論區(qū)留言，感謝您的支持！

審核編輯 黃宇