1. RKLLM簡(jiǎn)介

1.1 RKLLM工具鏈介紹

1.1.1 RKLLM-Toolkit功能介紹

RKLLM-Toolkit 是為用戶(hù)提供在計(jì)算機(jī)上進(jìn)行大語(yǔ)言模型的量化、轉(zhuǎn)換的開(kāi)發(fā)套件。通過(guò)該 工具提供的 Python 接口可以便捷地完成以下功能：

（1）模型轉(zhuǎn)換：支持將 Hugging Face 和 GGUF 格式的大語(yǔ)言模型（Large Language Model, LLM）轉(zhuǎn)換為 RKLLM 模型，目前支持的模型包括 LLaMA, Qwen, Qwen2, Qwen3, Phi-2, Phi-3, ChatGLM3, Gemma, Gemma2, Gemma3, Gemma3n, InternLM2, TeleChat2, MiniCPM-S, MiniCPM 和 MiniCPM3, MiniCPM4，轉(zhuǎn)換后的 RKLLM 模型能夠在 Rockchip NPU 平臺(tái)上加載使用。

（2）量化功能：支持將浮點(diǎn)模型量化為定點(diǎn)模型，目前支持的量化類(lèi)型包括

a. w4a16；

b. w4a16 分組量化(支持的分組數(shù)為 32, 64, 128)；

c. w8a8；

d. w8a8 分組量化(支持的分組數(shù)為 128, 256, 512)；

1.1.2 RKLLM Runtime功能介紹

RKLLM Runtime 主要負(fù)責(zé)加載 RKLLM-Toolkit 轉(zhuǎn)換得到的 RKLLM 模型，并在板端通過(guò)調(diào) 用 NPU 驅(qū)動(dòng)在 Rockchip NPU 上加速 RKLLM 模型的推理。在推理 RKLLM 模型時(shí)，用戶(hù)可以自 行定義 RKLLM 模型的推理參數(shù)設(shè)置，定義不同的文本生成方式，并通過(guò)預(yù)先定義的回調(diào)函數(shù)不斷獲得模型的推理結(jié)果。

1.2 RKLLM開(kāi)發(fā)流程介紹

RKLLM 的整體開(kāi)發(fā)步驟主要分為 2 個(gè)部分：模型轉(zhuǎn)換和板端部署運(yùn)行。

（1）模型轉(zhuǎn)換：

在這一階段，用戶(hù)提供的 Hugging Face 格式的大語(yǔ)言模型將會(huì)被轉(zhuǎn)換為 RKLLM 格式， 以便在 Rockchip NPU 平臺(tái)上進(jìn)行高效的推理。這一步驟包括：

a. 獲取原始模型：1、開(kāi)源的 Hugging Face 格式的大語(yǔ)言模型；2、自行訓(xùn)練得到的大語(yǔ) 言模型，要求模型保存的結(jié)構(gòu)與 Hugging Face 平臺(tái)上的模型結(jié)構(gòu)一致；3、GGUF 模型，目前僅支持 q4_0 和 fp16 類(lèi)型模型；

b. 模型 加載 ：通 過(guò) rkllm.load_huggingface()函數(shù) 加載 huggingface 格式 模型 ，通過(guò)rkllm.load_gguf()函數(shù)加載 GGUF 模型；

c. 模型量化配置：通過(guò) rkllm.build() 函數(shù)構(gòu)建 RKLLM 模型，在構(gòu)建過(guò)程中可選擇是否 進(jìn)行模型量化來(lái)提高模型部署在硬件上的性能，以及選擇不同的優(yōu)化等級(jí)和量化類(lèi)型。

d. 模型導(dǎo)出：通過(guò) rkllm.export_rkllm() 函數(shù)將 RKLLM 模型導(dǎo)出為一個(gè).rkllm 格式文件，用于后續(xù)的部署。

（2）板端部署運(yùn)行：

這個(gè)階段涵蓋了模型的實(shí)際部署和運(yùn)行。它通常包括以下步驟：

a. 模型初始化：加載 RKLLM 模型到 Rockchip NPU 平臺(tái)，進(jìn)行相應(yīng)的模型參數(shù)設(shè)置來(lái) 定義所需的文本生成方式，并提前定義用于接受實(shí)時(shí)推理結(jié)果的回調(diào)函數(shù)，進(jìn)行推理前準(zhǔn)備。

b. 模型推理：執(zhí)行推理操作，將輸入數(shù)據(jù)傳遞給模型并運(yùn)行模型推理，用戶(hù)可以通過(guò)預(yù) 先定義的回調(diào)函數(shù)不斷獲取推理結(jié)果。

c. 模型釋放：在完成推理流程后，釋放模型資源，以便其他任務(wù)繼續(xù)使用 NPU 的計(jì)算

資源。

以上這兩個(gè)步驟構(gòu)成了完整的 RKLLM 開(kāi)發(fā)流程，確保大語(yǔ)言模型能夠成功轉(zhuǎn)換、調(diào)試，并 最終在 Rockchip NPU 上實(shí)現(xiàn)高效部署。

1.3 資料下載

模型文件、模型轉(zhuǎn)換與部署代碼的百度網(wǎng)盤(pán)下載鏈接(比較大，可以選擇來(lái)下載):

https://pan.baidu.com/s/1-2cDEEH-Ljsnj8cyBFrCZg?pwd=1234（提取碼：1234 ）。