1. API詳細說明

1.1 RKNN初始化及釋放

在使用RKNN-Toolkit2的所有API接口時，都需要先調(diào)用RKNN()方法初始化RKNN對象，不再使用該對象時通過調(diào)用該對象的release()方法進行釋放。

初始化RKNN對象時，可以設置verbose和verbose_file參數(shù)，以打印詳細的日志信息。其中verbose參數(shù)指定是否要打印詳細日志信息；如果設置了verbose_file參數(shù)，且verbose參數(shù)值為True，日志信息還將寫到該參數(shù)指定的文件中。

舉例如下：

# 打印詳細的日志信息
rknn = RKNN(verbose=True)

…

rknn.release()

1.2 模型配置

在構建RKNN模型之前，需要先對模型進行通道均值、量化圖片RGB2BGR轉換、量化類型等的配置，這些操作可以通過config接口進行配置。

舉例如下：

# model config
rknn.config(mean_values=[[103.94, 116.78, 123.68]],
       std_values=[[58.82, 58.82, 58.82]],
       quant_img_RGB2BGR=True,
       target_platform='rk3566')

1.3 模型加載

RKNN-Toolkit2目前支持Caffe、TensorFlow、TensorFlow Lite、ONNX、DarkNet、PyTorch等模型的加載轉換，這些模型在加載時需調(diào)用對應的接口，以下為這些接口的詳細說明。
1.3.1 Caffe模型加載接口

舉例如下：

# 從當前路徑加載mobilenet_v2模型
ret = rknn.load_caffe(model='./mobilenet_v2.prototxt',
              blobs='./mobilenet_v2.caffemodel')

1.3.2 TensorFlow模型加載接口

舉例如下：

# 從當前目錄加載ssd_mobilenet_v1_coco_2017_11_17模型
ret = rknn.load_tensorflow(tf_pb='./ssd_mobilenet_v1_coco_2017_11_17.pb',
                 inputs=['Preprocessor/sub'],
                 outputs=['concat', 'concat_1'],
                 input_size_list=[[300, 300, 3]])

1.3.3 TensorFlow Lite模型加載接口

舉例如下：

# 從當前目錄加載mobilenet_v1模型
ret = rknn.load_tflite(model='./mobilenet_v1.tflite')

1.3.4 ONNX模型加載

舉例如下：

# 從當前目錄加載arcface模型
ret = rknn.load_onnx(model='./arcface.onnx')

1.3.5 DarkNet模型加載接口

舉例如下：

# 從當前目錄加載yolov3-tiny模型
ret = rknn.load_darknet(model='./yolov3-tiny.cfg',
               weight='./yolov3.weights')

1.3.6 PyTorch模型加載接口

舉例如下：

# 從當前目錄加載resnet18模型
ret = rknn.load_pytorch(model='./resnet18.pt',
               input_size_list=[[1,3,224,224]])

1.4 構建RKNN模型

舉例如下：

# 構建RKNN模型，并且做量化
ret = rknn.build(do_quantization=True, dataset='./dataset.txt')

1.5 導出RKNN模型

通過本工具構建的RKNN模型通過該接口可以導出存儲為RKNN模型文件，用于模型部署。

舉例如下：

# 將構建好的RKNN模型保存到當前路徑的mobilenet_v1.rknn文件中
ret = rknn.export_rknn(export_path='./mobilenet_v1.rknn')

1.6 加載RKNN模型

舉例如下：

# 從當前路徑加載mobilenet_v1.rknn模型
ret = rknn.load_rknn(path='./mobilenet_v1.rknn')

1.7 初始化運行時環(huán)境

在模型推理或性能評估之前，必須先初始化運行時環(huán)境，明確模型的運行平臺（具體的目標硬件平臺或軟件模擬器）。

舉例如下：

# 初始化運行時環(huán)境
ret = rknn.init_runtime(target='rk3566')

1.8 模型推理

在進行模型推理前，必須先構建或加載一個RKNN模型。

舉例如下：

對于分類模型，如mobilenet_v1，代碼如下（完整代碼參考example/tflite/mobilent_v1）：

# 使用模型對圖片進行推理，得到TOP5結果
outputs = rknn.inference(inputs=[img])
show_outputs(outputs)

輸出的TOP5結果如下：

-----TOP 5-----
[ 156] score:0.928223 class:"Shih-Tzu"
[ 155] score:0.063171 class:"Pekinese, Pekingese, Peke"
[ 205] score:0.004299 class:"Lhasa, Lhasa apso"
[ 284] score:0.003096 class:"Persian cat"
[ 285] score:0.000171 class:"Siamese cat, Siamese"

1.9 評估模型性能

舉例如下：

# 對模型性能進行評估
perf_detail = rknn.eval_perf()

1.10 獲取內(nèi)存使用情況

舉例如下：

# 對模型內(nèi)存使用情況進行評估
memory_detail = rknn.eval_memory()

如examples/caffe/mobilenet_v2，它在RK3588上運行時內(nèi)存占用情況如下：

======================================================
Memory Profile Info Dump
======================================================
NPU model memory detail(bytes):
Weight Memory: 3.53 MiB
Internal Tensor Memory: 1.67 MiB
Other Memory: 473.00 KiB
Total Memory: 5.66 MiB

INFO: When evaluating memory usage, we need consider
the size of model, current model size is: 4.09 MiB
======================================================

1.11 查詢SDK版本

舉例如下：

# 獲取SDK版本信息
sdk_version = rknn.get_sdk_version()
print(sdk_version)

返回的SDK信息類似如下：

==============================================
RKNN VERSION:
API: 1.5.2 (8babfea build@2023-08-25T02:31:12)
DRV: rknn_server: 1.5.2 (8babfea build@2023-08-25T10:30:12)
DRV: rknnrt: 1.5.3b13 (42cbca6f5@2023-10-27T10:13:21)
==============================================

1.12 混合量化

1.12.1 hybrid_quantization_step1
使用混合量化功能時，第一階段調(diào)用的主要接口是hybrid_quantization_step1，用于生成臨時模型文件（.model）、數(shù)據(jù)文件（.data）和量化配置文件
（.quantization.cfg）。接口詳情如下：

舉例如下：

# 調(diào)用hybrid_quantization_step1 產(chǎn)生量化配置文件
ret = rknn.hybrid_quantization_step1(dataset='./dataset.txt')

1.12.2 hybrid_quantization_step2
用于使用混合量化功能時生成RKNN模型，接口詳情如下：

舉例如下：

# Call hybrid_quantization_step2 to generate hybrid quantized RKNN model
ret = rknn.hybrid_quantization_step2(
           model_input='./ssd_mobilenet_v2.model',
           data_input='./ssd_mobilenet_v2.data',
           model_quantization_cfg='./ssd_mobilenet_v2.quantization.cfg')

1.13 量化精度分析

該接口的功能是進行浮點、量化推理并產(chǎn)生每層的數(shù)據(jù)，并進行量化精度分析。

舉例如下：

# Accuracy analysis
ret = rknn.accuracy_analysis(inputs=['./dog_224x224.jpg'])

1.14 獲取設備列表

舉例如下：

rknn.list_devices()

返回的設備列表信息如下：

*************************
all device(s) with adb mode:
VD46C3KM6N
*************************

注：使用多設備時，需要保證它們的連接模式都是一致的，否則會引起沖突，導致設備連接失敗。

1.15 導出加密模型

該接口的功能是將普通的RKNN模型進行加密，得到加密后的模型。

舉例如下：

ret = rknn.export_encrypted_rknn_model('test.rknn')

1.16 注冊自定義算子

該接口的功能是注冊一個自定義算子。

舉例如下：

import numpy as np
from rknn.api.custom_op import get_node_attr
class cstSoftmax:
  op_type = 'cstSoftmax'
  def shape_infer(self, node, in_shapes, in_dtypes):
    out_shapes = in_shapes.copy()
    out_dtypes = in_dtypes.copy()
    return out_shapes, out_dtypes
  def compute(self, node, inputs):
    x = inputs[0]
    axis = get_node_attr(node, 'axis')
    x_max = np.max(x, axis=axis, keepdims=True)
    tmp = np.exp(x - x_max)
    s = np.sum(tmp, axis=axis, keepdims=True)
    outputs = [tmp / s]
    return outputs

ret = rknn.reg_custom_op(cstSoftmax)

1.17 生成C++部署示例

舉例如下：

ret = rknn.codegen(output_path='./rknn_app_demo',
            inputs=['./mobilenet_v2/dog_224x224.jpg'],
            overwrite=True)