1. AI模型部署

DeepSeek-R1，是幻方量化旗下AI公司深度求索（DeepSeek）研發(fā)的推理模型 。DeepSeek-R1采用強(qiáng)化學(xué)習(xí)進(jìn)行后訓(xùn)練，旨在提升推理能力，尤其擅長(zhǎng)數(shù)學(xué)、代碼和自然語(yǔ)言推理等復(fù)雜任務(wù)。作為國(guó)產(chǎn)AI大數(shù)據(jù)模型的代表，憑借其卓越的推理能力和高效的文本生成技術(shù)，在全球人工智能領(lǐng)域引發(fā)廣泛關(guān)注。

本文主要說(shuō)明DeepSeek-R1如何離線運(yùn)行在EASY-EAI-Nano-TB(RV1126B)硬件上, RV1126B具有優(yōu)異的端側(cè)AI能效比與極高的性價(jià)比，是AI落地的不二之選。

注意，要求使用有2GB以上內(nèi)存的EAI1126B-Core-T方可以正常運(yùn)行。

圖1 EAI1126B-Core-T正面

2. 快速上手

2.1 準(zhǔn)備工作

2.1.1 硬件準(zhǔn)備

需準(zhǔn)備EASY EAI Nano-TB開(kāi)發(fā)板，Type-C數(shù)據(jù)線、網(wǎng)線。可以基于MobaXterm的ssh遠(yuǎn)程桌面登錄調(diào)試。首先使用網(wǎng)線把EASY EAI Nano-TB的千兆以太網(wǎng)接口與連著路由LAN口的交換機(jī)或者路由器的LAN口連接，如下圖所示。

以及串口連接。

2.1.2 開(kāi)發(fā)環(huán)境準(zhǔn)備

如果您初次閱讀此文檔，請(qǐng)閱讀《入門(mén)指南/開(kāi)發(fā)環(huán)境準(zhǔn)備/Easy-Eai編譯環(huán)境準(zhǔn)備與更新》，并按照其相關(guān)的操作，進(jìn)行編譯環(huán)境的部署。

在PC端Ubuntu系統(tǒng)中執(zhí)行run腳本，進(jìn)入EASY-EAI編譯環(huán)境，具體如下所示。

cd ~/develop_environment ./run.sh

2.2 源碼下載以及例程編譯

本節(jié)提供轉(zhuǎn)換成功的大模型文deepseek_r1_rv1126b_w4a16.rkllm及對(duì)應(yīng)的C/C++程序部署代碼。

下載鏈接:https://pan.baidu.com/s/1ELdwCoQYHYtupecOkOhvTw?pwd=1234（提取碼: 1234）。

下載程序包移至ubuntu環(huán)境后，執(zhí)行以下指令解壓：

tar -xvf deepseek-demo.tar.bz2

下載解壓后如下圖所示:

在EASY-EAI 編譯環(huán)境下，進(jìn)入到對(duì)應(yīng)的例程目錄執(zhí)行編譯操作，具體命令如下所示：

cd /opt/nfsroot/rknn-toolkit2/deepseek-demo ./build.sh

同時(shí)，把可執(zhí)行程序目錄deepseek-demo_release/復(fù)制到開(kāi)發(fā)板/userdata目錄上：

cp deepseek-demo_release/ /mnt/userdata/ -rf

而且把librkllmrt.so也同步到板子/usr/lib環(huán)境里面：

cp lib/librkllmrt.so /mnt/usr/lib

2.3 開(kāi)發(fā)板運(yùn)行大模型

通過(guò)串口調(diào)試或ssh調(diào)試，進(jìn)入板卡后臺(tái)，定位到例程部署的位置，如下所示：

cd /userdata/deepseek-demo_release/

運(yùn)行例程命令如下所示：

ulimit -HSn 102400 sudo ./deepseek-demo deepseek_r1_rv1126b_w4a16.rkllm 256 512

至此可以進(jìn)行對(duì)話測(cè)試了，試著輸入“0”測(cè)試預(yù)設(shè)的問(wèn)題?；卮鹑缦滤?

3. RKLLM算法例程

例程目錄為deepseek-demo/src/llm_demo.cpp，操作流程如下。

具體代碼如下所示:

// Copyright (c) 2025 by Rockchip Electronics Co., Ltd. All Rights Reserved. // // Licensed under the Apache License, Version 2.0 (the "License"); // you may not use this file except in compliance with the License. // You may obtain a copy of the License at // // http://www.apache.org/licenses/LICENSE-2.0 // // Unless required by applicable law or agreed to in writing, software // distributed under the License is distributed on an "AS IS" BASIS, // WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. // See the License for the specific language governing permissions and // limitations under the License. #include #include #include #include "rkllm.h" #include #include #include #include using namespace std; LLMHandle llmHandle = nullptr; void exit_handler(int signal) { if (llmHandle != nullptr) { { cout << "程序即將退出" << endl; LLMHandle _tmp = llmHandle; llmHandle = nullptr; rkllm_destroy(_tmp); } } exit(signal); } int callback(RKLLMResult *result, void *userdata, LLMCallState state) { if (state == RKLLM_RUN_FINISH) { printf("\n"); } else if (state == RKLLM_RUN_ERROR) { printf("\\run error\n"); } else if (state == RKLLM_RUN_NORMAL) { /* ================================================================================================================ 若使用GET_LAST_HIDDEN_LAYER功能,callback接口會(huì)回傳內(nèi)存指針:last_hidden_layer,token數(shù)量:num_tokens與隱藏層大小:embd_size 通過(guò)這三個(gè)參數(shù)可以取得last_hidden_layer中的數(shù)據(jù) 注:需要在當(dāng)前callback中獲取,若未及時(shí)獲取,下一次callback會(huì)將該指針釋放 ===============================================================================================================*/ if (result->last_hidden_layer.embd_size != 0 && result->last_hidden_layer.num_tokens != 0) { int data_size = result->last_hidden_layer.embd_size * result->last_hidden_layer.num_tokens * sizeof(float); printf("\ndata_size:%d",data_size); std::ofstream outFile("last_hidden_layer.bin", std::ios::binary); if (outFile.is_open()) { outFile.write(reinterpret_cast(result->last_hidden_layer.hidden_states), data_size); outFile.close(); std::cout << "Data saved to output.bin successfully!" << std::endl; } else { std::cerr << "Failed to open the file for writing!" << std::endl; } } printf("%s", result->text); } return 0; } int main(int argc, char **argv) { if (argc < 4) { std::cerr << "Usage: " << argv[0] << " model_path max_new_tokens max_context_len\n"; return 1; } signal(SIGINT, exit_handler); printf("rkllm init start\n"); //設(shè)置參數(shù)及初始化 RKLLMParam param = rkllm_createDefaultParam(); param.model_path = argv[1]; //設(shè)置采樣參數(shù) param.top_k = 1; param.top_p = 0.95; param.temperature = 0.8; param.repeat_penalty = 1.1; param.frequency_penalty = 0.0; param.presence_penalty = 0.0; param.max_new_tokens = std::atoi(argv[2]); param.max_context_len = std::atoi(argv[3]); param.skip_special_token = true; param.extend_param.base_domain_id = 0; param.extend_param.embed_flash = 1; int ret = rkllm_init(&llmHandle, ?m, callback); if (ret == 0){ printf("rkllm init success\n"); } else { printf("rkllm init failed\n"); exit_handler(-1); } vector pre_input; pre_input.push_back("現(xiàn)有一籠子，里面有雞和兔子若干只，數(shù)一數(shù)，共有頭14個(gè)，腿38條，求雞和兔子各有多少只？"); pre_input.push_back("有28位小朋友排成一行,從左邊開(kāi)始數(shù)第10位是學(xué)豆,從右邊開(kāi)始數(shù)他是第幾位?"); cout << "\n**********************可輸入以下問(wèn)題對(duì)應(yīng)序號(hào)獲取回答/或自定義輸入********************\n" << endl; for (int i = 0; i < (int)pre_input.size(); i++) { cout << "[" << i << "] " <", "<｜Assistant｜>"); while (true) { std::string input_str; printf("\n"); printf("user: "); std::getline(std::cin, input_str); if (input_str == "exit") { break; } if (input_str == "clear") { ret = rkllm_clear_kv_cache(llmHandle, 1, nullptr, nullptr); if (ret != 0) { printf("clear kv cache failed!\n"); } continue; } for (int i = 0; i < (int)pre_input.size(); i++) { if (input_str == to_string(i)) { input_str = pre_input[i]; cout << input_str << endl; } } rkllm_input.input_type = RKLLM_INPUT_PROMPT; rkllm_input.role = "user"; rkllm_input.prompt_input = (char *)input_str.c_str(); printf("robot: "); // 若要使用普通推理功能,則配置rkllm_infer_mode為RKLLM_INFER_GENERATE或不配置參數(shù) rkllm_run(llmHandle, &rkllm_input, &rkllm_infer_params, NULL); } rkllm_destroy(llmHandle); return 0; }