1. rknn-toolkit-lite介紹

rknn-toolkit-lite是用于python算法的推理的組件，當前已經(jīng)在EASY-EAI-Nano完成適配，用戶可以用它進行深度學習算法的純python開發(fā)。而且同時支持已經(jīng)進行了預(yù)編譯的模型，短短幾行代碼即可完成算法的推理，大幅降低開發(fā)成本。同時很多不熟悉C/C++的算法開發(fā)人員有效降低開發(fā)門檻。本地文檔是根據(jù)已經(jīng)完成rknn模型轉(zhuǎn)換的模型進行板卡上的推理，關(guān)于rknn模型轉(zhuǎn)換請閱讀請閱讀《在EASY EAI Nano運行自定義的AI算法》。

2. 固件燒錄

當前我們通過系統(tǒng)預(yù)裝的方式支持rknn-toolkit-lite，燒錄固件方式請閱讀《固件燒錄與更新》。

固件下載鏈接:https://pan.baidu.com/s/1sWFoPf6oJtZsUPp-_do7AQ

提取碼：1234

固件包如下所示:

3. 在板卡測試demo

下載百度網(wǎng)盤：https://pan.baidu.com/s/1yoof_SyY1ty93dIRe1dZgA （提取碼：1234 ）

“測試程序/inference_with_lite.tar.bz2”，把文件傳到EASY-EAI-Nano板卡目錄上。

執(zhí)行以下指令進行解壓:

tar xvf inference_with_lite.tar.bz2

執(zhí)行以下指令切換目錄并執(zhí)行測試程序:

cd /userdata/inference_with_lite/
python3 test.py

結(jié)果如下所示:

4. rknn-toolkit-lite流程說明

4.1 使用流程圖

RKNN Tookit Lite使用流程如下:

4.2 例程

第三小節(jié)的例程如下所示:

import platform
import cv2
import numpy as np
from rknnlite.api import RKNNLite

RKNN_MODEL = '10class_ResNet50_pre.rknn'
IMG_PATH = './test-1.jpg'
INPUT_SIZE = 224

BOX_THRESH = 0.25
NMS_THRESH = 0.6

CLASSES = ("SUV", "bus", "family sedan", "fire engine", "heavy truck", "jeep", "minibus", "racing car", "taxi", "truck")

def show_outputs(output):

	print("softmax output:", output)

	max_confidence = np.max(output)
	index = np.where(output == max_confidence)
	print("max confidence:", max_confidence)
	print("max confidence index:", index[0][0])
	print("CLASSES predict: ", CLASSES[index[0][0]])

def softmax(x):
	return np.exp(x)/sum(np.exp(x))


if __name__ == '__main__':
	rknn_lite = RKNNLite()

	# load RKNN model
	print('--> Load RKNN model')
	ret = rknn_lite.load_rknn(RKNN_MODEL)
	if ret != 0:
		print('Load RKNN model failed')
		exit(ret)
	print('done')

	# Set inputs
	img = cv2.imread(IMG_PATH)
	img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
	resize_img = cv2.resize(img,(224,224))

	# init runtime environment
	print('--> Init runtime environment')

	ret = rknn_lite.init_runtime(target=None)
	if ret != 0:
		print('Init runtime environment failed')
		exit(ret)
	print('done')

	# Inference
	print('--> Running model')
	outputs = rknn_lite.inference(inputs=[resize_img])

	print("outputs[0]:", outputs[0])
	print("outputs[0].shape:", outputs[0].shape)
	show_outputs(softmax(np.array(outputs[0][0])))
	rknn_lite.release()

5. API詳細說明

5.1 RKNNLite初始化及對象釋放

在使用RKNN Toolkit Lite時，都需要先調(diào)用RKNNLite()方法初始化一個RKNNLite對象，并在用完后調(diào)用該對象的release()方法將資源釋放掉。

初始化RKNNLite對象時，可以設(shè)置verbose和verbose_file參數(shù)，以打印詳細的日志信息。其中verbose參數(shù)指定是否要在屏幕上打印詳細日志信息；如果設(shè)置了verbose_file參數(shù)，且verbose參數(shù)值為True，日志信息還將寫到這個參數(shù)指定的文件中。

舉例如下：

# 將詳細的日志信息輸出到屏幕，并寫到inference.log文件中 
rknn_lite = RKNNLite(verbose=True, verbose_file='./inference.log') # 只在屏幕打印詳細的日志信息 
rknn_lite = RKNNLite(verbose=True) 
… 
rknn_lite.release() 

5.2 加載RKNN模型

舉例如下：

# 從當前目錄加載 ResNet50模型
ret = rknn_lite.load_rknn('10class_ResNet50_pre.rknn')

5.3 初始化運行時環(huán)境

在模型推理之前，必須先初始化運行時環(huán)境，確定模型在哪一個芯片平臺上運行。

舉例如下:

	# init runtime environment
	print('--> Init runtime environment')
	ret = rknn_lite.init_runtime(target=None)
	if ret != 0:
		print('Init runtime environment failed')
		exit(ret)
	print('done')

5.4 模型推理

舉例如下:

以分類模型為例，如 resnet50，代碼如下（完整代碼參考第三小節(jié))：

	# Inference
	print('--> Running model')
	outputs = rknn_lite.inference(inputs=[resize_img])

	print("outputs[0]:", outputs[0])
	print("outputs[0].shape:", outputs[0].shape)
	show_outputs(softmax(np.array(outputs[0][0])))

5.5 查詢 SDK 版本

舉例說明:

# 獲取 SDK 版本信息 
…… 
sdk_version = rknn_lite.get_sdk_version() 
……

返回的 SDK 信息如下：

審核編輯 黃宇