前 言

本文是創(chuàng)龍科技推出的 RK3562 單板機(jī) NPU 開(kāi)發(fā)手冊(cè)，聚焦神經(jīng)網(wǎng)絡(luò)處理器的 AI 模型部署與實(shí)戰(zhàn)應(yīng)用。文檔基于 RKNN 推理框架，詳細(xì)介紹 NPU 開(kāi)發(fā)流程，含模型轉(zhuǎn)換、應(yīng)用開(kāi)發(fā)及 yolov5_object_detect 目標(biāo)檢測(cè)案例。創(chuàng)龍科技通過(guò)清晰的環(huán)境配置、案例測(cè)試與關(guān)鍵代碼解析，助力開(kāi)發(fā)者快速掌握 INT4/INT8 等量化模型部署技能，充分發(fā)揮 RK3562 單板機(jī) 1TOPS 算力優(yōu)勢(shì)，適配智能識(shí)別、邊緣計(jì)算等嵌入式 AI 場(chǎng)景。

開(kāi)發(fā)環(huán)境

Windows開(kāi)發(fā)環(huán)境：Windows7 64bit、Windows10 64bit、

Linux開(kāi)發(fā)環(huán)境：VMware16.2.5、Ubuntu20.04.6 64bit

sysroot：rk3562-Tronlong-Desktop-20.04-sysroot-[版本號(hào)].tar.gz

系統(tǒng)版本：Tronlong-Desktop20.04（類(lèi)Ubuntu）、Linux-5.10.209、U-Boot-2017.09

備注：本文基于2GByte LPDDR4X、16GByte eMMC配置單板機(jī)進(jìn)行演示。

術(shù)語(yǔ)表

為便于閱讀，下表對(duì)文檔出現(xiàn)的關(guān)鍵術(shù)語(yǔ)進(jìn)行解釋?zhuān)粚?duì)于廣泛認(rèn)同釋義的術(shù)語(yǔ)，在此不做注釋。

注意事項(xiàng)

（1）無(wú)特殊說(shuō)明情況下，本文默認(rèn)從eMMC啟動(dòng)系統(tǒng)，使用DEBUG作為調(diào)試串口。

（2）請(qǐng)先參考《應(yīng)用開(kāi)發(fā)手冊(cè)》“開(kāi)發(fā)環(huán)境搭建說(shuō)明”章節(jié)完成應(yīng)用開(kāi)發(fā)環(huán)境搭建，并參考《系統(tǒng)使用手冊(cè)》附錄“系統(tǒng)組件安裝說(shuō)明”安裝OpenCV。

（3）我司提供的NPU開(kāi)發(fā)案例位于產(chǎn)品資料“4-軟件資料Demoplatform-demos”目錄，具體說(shuō)明如下。

1NPU開(kāi)發(fā)說(shuō)明

NPU(Neural network Processing Unit)，即神經(jīng)網(wǎng)絡(luò)處理器。RK3562內(nèi)部已集成高能效神經(jīng)網(wǎng)絡(luò)處理器NPU，支持神經(jīng)網(wǎng)絡(luò)推理硬件加速，能夠流暢運(yùn)行AI算法。主要參數(shù)如下：

（1）支持INT4/INT8/INT16/FP16等；

（2）支持多種框架，如TensorFlow、MXNet、PyTorch、Caffe等；

（3）1TOPS算力。

備注：更多詳細(xì)信息請(qǐng)查看“6-開(kāi)發(fā)參考資料數(shù)據(jù)手冊(cè)SBC-TL3562單板機(jī)元器件”目錄下的文檔。

為簡(jiǎn)化開(kāi)發(fā)者在AI模型部署與優(yōu)化過(guò)程中的工作量，瑞芯微官方提供了核心開(kāi)發(fā)工具包RKNN-Toolkit2。工具包針對(duì)不同類(lèi)型的AI模型和應(yīng)用場(chǎng)景，提供了從模型轉(zhuǎn)換、量化到推理部署的一站式解決方案。

RKNN-Toolkit2是瑞芯微官方推出的用于模型轉(zhuǎn)換、量化、推理和性能評(píng)估的開(kāi)發(fā)工具包，支持將預(yù)訓(xùn)練的深度學(xué)習(xí)模型轉(zhuǎn)換為瑞芯微NPU（神經(jīng)網(wǎng)絡(luò)處理單元）專(zhuān)用的RKNN格式，并在其芯片平臺(tái)上高效部署。

開(kāi)發(fā)流程如下：

a)模型訓(xùn)練：用戶根據(jù)需求自行訓(xùn)練模型或使用官方提供的模型；

b)模型轉(zhuǎn)換：使用RKNN-Toolkit2將預(yù)訓(xùn)練模型轉(zhuǎn)換為RK3562 NPU可使用的RKNN模型；

c)應(yīng)用開(kāi)發(fā)：基于RKNN API開(kāi)發(fā)應(yīng)用程序。

關(guān)于RKNN-Toolkit2環(huán)境搭建、模型轉(zhuǎn)換使用說(shuō)明、混合量化、精度問(wèn)題排查的詳細(xì)介紹，可查看yolov5_object_detect案例"toolsrknn-toolkit2.tar.gz"壓縮包的"rknn-toolkit2doc?2_Rockchip_RKNPU_User_Guide_RKNN_SDK_V2.0.0beta0_CN.pdf"文檔。

關(guān)于RKNN-Toolkit2模型轉(zhuǎn)換API接口說(shuō)明，可查看yolov5_object_detect案例"toolsrknn-toolkit2.tar.gz"壓縮包的"rknn-toolkit2doc?2_Rockchip_RKNPU_User_Guide_RKNN_SDK_V2.0.0beta0_CN.pdf"文檔。

關(guān)于RKNN API的詳細(xì)使用說(shuō)明，可查看yolov5_object_detect案例"toolsrknn-toolkit2.tar.gz"壓縮包的"toolrknn-toolkit2doc?4_Rockchip_RKNPU_API_Reference_RKNNRT_V2.0.0beta0_CN.pdf"文檔。

2yolov5_object_detect案例

2.1案例說(shuō)明

本案例基于RKNN API實(shí)現(xiàn)對(duì)圖片中目標(biāo)對(duì)象的識(shí)別，并將識(shí)別結(jié)果以加水印的方式添加至圖像，并保存為圖片文件。案例循環(huán)測(cè)試10次，統(tǒng)計(jì)出推理的平均處理耗時(shí)。

備注：本案例基于瑞芯微官方例程實(shí)現(xiàn)，進(jìn)行了目錄的重構(gòu)及編譯的簡(jiǎn)化,功能邏輯未進(jìn)行修改。官方例程位于LinuxSDK源碼"external/rknpu2/examples/rknn_yolov5_demo/"目錄下。

程序處理流程圖如下：

2.2案例測(cè)試

在進(jìn)行案例測(cè)試前，請(qǐng)先參考《系統(tǒng)使用手冊(cè)》中的“系統(tǒng)組件安裝說(shuō)明”章節(jié)，完成OpenCV組件的安裝。

請(qǐng)通過(guò)網(wǎng)線將單板機(jī)千兆網(wǎng)口LAN1連接至路由器。請(qǐng)將案例bin目錄下的所有文件拷貝至單板機(jī)系統(tǒng)任意目錄下。

在可執(zhí)行文件所在目錄，執(zhí)行如下命令，對(duì)圖片目標(biāo)對(duì)象進(jìn)行模型推理。

備注：模型運(yùn)行的時(shí)間會(huì)有抖動(dòng)。

Target# ./yolov5_object_detect yolov5s-640-640_rk3562.rknn car.jpg

從輸出信息可知，本案例程序識(shí)別出測(cè)試圖片包含person、car、bus、truck等對(duì)象，運(yùn)行1次模型耗時(shí)為76.223000ms；循環(huán)運(yùn)行10次模型平均耗時(shí)為52.386902ms。

案例程序?qū)y(cè)試圖片的目標(biāo)對(duì)象標(biāo)記成功后將輸出名稱(chēng)為out.jpg的標(biāo)記圖片至當(dāng)前目錄，請(qǐng)將out.jpg文件拷貝至Windows下，并使用PC端相關(guān)軟件對(duì)比查看car.jpg與out.jpg，測(cè)試結(jié)果如下所示。

從out.jpg圖片可知，案例程序能正確框選出人物、汽車(chē)等物體，同時(shí)顯示person、car等文字標(biāo)簽和置信度，標(biāo)記對(duì)象的數(shù)量及信息等與程序打印信息一致。

本程序能夠支持識(shí)別的目標(biāo)數(shù)據(jù)集類(lèi)型說(shuō)明位于案例bin目錄下的coco_80_labels_list.txt文件，用戶可根據(jù)相關(guān)目標(biāo)類(lèi)型進(jìn)行測(cè)試驗(yàn)證。

2.3案例編譯

將案例src源碼目錄拷貝至Ubuntu工作目錄下，進(jìn)入源碼目錄，執(zhí)行如下命令配置環(huán)境變量，并修改CMake配置文件CMakeLists.txt，請(qǐng)根據(jù)實(shí)際情況修改為sysroot解壓路徑。

Host# source /home/tronlong/RK3562/environment

Host# vim CMakeLists.txt

修改內(nèi)容如下：

set(SDK_ROOT_PATH "/home/tronlong/RK3562")

執(zhí)行如下命令，新建一個(gè)build目錄，用于存放編譯過(guò)程產(chǎn)生的相關(guān)文件，并進(jìn)入build目錄。

Host# mkdir-pbuild

Host# cd build

執(zhí)行如下命令進(jìn)行案例編譯，編譯完成將會(huì)在build目錄下生成編譯過(guò)程產(chǎn)生的相關(guān)文件。

Host# cmake ../

Host# make -j8

Host# make install

build目錄存放編譯過(guò)程產(chǎn)生的相關(guān)文件，src目錄存放案例相關(guān)文件，包括測(cè)試圖片car.jpg、類(lèi)別數(shù)據(jù)集coco_80_labels_list.txt、RKNN模型yolov5s-640-640_rk3562.rknn和可執(zhí)行程序yolov5_object_detect等文件，如下圖所示。

由于篇幅過(guò)長(zhǎng)等原因，部分內(nèi)容均不逐一展示，如需獲取完整版詳細(xì)資料，請(qǐng)關(guān)注Tronlong創(chuàng)龍科技微信公眾號(hào)或官網(wǎng)，或者評(píng)論區(qū)留言，感謝您的支持！