1. 開發(fā)環(huán)境搭建

1.1 RKLLM-Toolkit安裝

本節(jié)主要說明如何通過 pip 方式來安裝 RKLLM-Toolkit，用戶可以參考以下的具體流程說明完成 RKLLM-Toolkit 工具鏈的安裝。

工具安裝包鏈接: https://pan.baidu.com/s/1y5ZN5sl4e3HJI5d9Imt4pg?pwd=1234（提取碼: 1234）。

1.1.1 安裝miniforge3工具

為防止系統(tǒng)對(duì)多個(gè)不同版本的 Python 環(huán)境的需求，建議使用 miniforge3 管理 Python 環(huán)境。 檢查是否安裝 miniforge3 和 conda 版本信息，若已安裝則可省略此小節(jié)步驟。

下載 miniforge3 安裝包：

wget -c https://mirrors.bfsu.edu.cn/github-release/conda-forge/miniforge/Release%2025.9.1/Miniforge3-25.9.1-0-Linux-x86_64.sh

安裝miniforge3:

chmod 777 Miniforge3-Linux-x86_64.sh bash Miniforge3-Linux-x86_64.sh

1.1.2 創(chuàng)建 RKLLM-Toolkit Conda 環(huán)境

進(jìn)入 Conda base 環(huán)境:

source ~/miniforge3/bin/activate

創(chuàng)建一個(gè) Python3.8 版本（建議版本）名為 RKLLM-Toolkit 的 Conda 環(huán)境:

conda create -n RKLLM-Toolkit python=3.8

進(jìn)入 RKLLM-Toolkit Conda 環(huán)境:

conda activate RKLLM-Toolkit

1.1.3 安裝RKLLM-Toolkit

在 RKLLM-Toolkit Conda 環(huán)境下使用 pip 工具直接安裝所提供的工具鏈 whl 包，在安裝過程 中，安裝工具會(huì)自動(dòng)下載 RKLLM-Toolkit 工具所需要的相關(guān)依賴包。

pip install vidia_cublas_cu12-12.1.3.1-py3-none-manylinux1_x86_64.whl pip install scipy-1.10.1-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl pip install torchvision-0.18.0-cp38-cp38-manylinux1_x86_64.whl pip install transformers-4.46.3-py3-none-any.whl pip install triton-2.3.0-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl pip install torch-2.3.0-cp38-cp38-manylinux1_x86_64.whl pip install rkllm_toolkit-1.2.2-cp38-cp38-linux_x86_64.whl

若在安裝的過程中，某些文件安裝很慢，可以登錄python官網(wǎng)單獨(dú)下載:

https://pypi.org/

執(zhí)行以下命令沒有報(bào)錯(cuò)，則安裝成功。