最近，我做了一個(gè)開(kāi)發(fā)者實(shí)驗(yàn)：嘗試把 Qwen2.5-0.5B-Instruct 部署到 HPM6800EVK 上，讓它在板端完成本地推理。

這里的“本地”不是把 MCU 當(dāng)成串口終端，再去調(diào)用云端 API；也不是由 PC 代跑模型、板子只負(fù)責(zé)顯示結(jié)果。模型權(quán)重、Tokenizer、推理框架、采樣邏輯、交互流程都運(yùn)行在 HPM6800EVK 開(kāi)發(fā)板上。用戶(hù)通過(guò) UART 輸入問(wèn)題，MCU 在本地完成推理并流式輸出回答。

這次視頻演示的是兩個(gè)方向：

第一個(gè)是本地聊天。

我將 Qwen2.5-0.5B-Instruct 移植到 HPM6800EVK 上運(yùn)行。這個(gè)模型約 4.94 億參數(shù)，經(jīng)過(guò)混合量化后，模型文件約 414MB，Tokenizer 文件約 2.9MB。板端從 SD/TF 卡加載模型和詞表，在 MCU 上完成前向推理，并通過(guò) UART 提供交互式聊天體驗(yàn)。

在這個(gè)演示工程中，主要做了幾件關(guān)鍵工作：

將模型推理流程用 C 實(shí)現(xiàn)并適配 MCU 運(yùn)行環(huán)境；

將 Qwen2.5 的 Tokenizer 導(dǎo)出為板端可加載的二進(jìn)制格式；

針對(duì) HPM6880 的 RISC-V/Andes D45 內(nèi)核使用 P 擴(kuò)展 SIMD 指令優(yōu)化矩陣計(jì)算；

對(duì) KV cache、權(quán)重布局和運(yùn)行時(shí)內(nèi)存進(jìn)行壓縮與規(guī)劃，讓模型能夠在板載 DDR 資源中運(yùn)行；

保留 UART 流式輸出，讓用戶(hù)能看到模型逐 token 生成結(jié)果。

在當(dāng)前實(shí)驗(yàn)配置下，這個(gè)聊天 demo 可以演示中文問(wèn)答、多輪對(duì)話(huà)和一些基礎(chǔ)代碼類(lèi)問(wèn)題。需要注意的是，整體生成速度并不快，更適合觀察流式輸出過(guò)程和驗(yàn)證鏈路，而不是追求即時(shí)響應(yīng)。它驗(yàn)證的重點(diǎn)不是“MCU 要和 GPU 拼吞吐”，而是在特定硬件和模型配置下，觀察小規(guī)模量化語(yǔ)言模型的完整推理鏈路能在 MCU 平臺(tái)上做到什么。

第二個(gè)是代碼生成。

聊天只是第一步。更進(jìn)一步，我希望嘗試讓板端模型不僅能回答問(wèn)題，還能把自然語(yǔ)言任務(wù)轉(zhuǎn)成可執(zhí)行代碼。

在代碼生成 demo 中，用戶(hù)可以輸入類(lèi)似這樣的任務(wù)：

求 10 的階乘，并打印結(jié)果

板端大模型會(huì)生成 Python 代碼，然后交給同一塊 MCU 上嵌入的 MicroPython 運(yùn)行時(shí)執(zhí)行，最后把結(jié)果打印出來(lái)。

這部分的交互速度會(huì)更慢，更像是等待模型逐步生成一段可執(zhí)行腳本，而不是云端代碼助手那種即時(shí)響應(yīng)體驗(yàn)。

也就是說(shuō)，這條鏈路不是簡(jiǎn)單地“模型輸出一段文本”，而是：

自然語(yǔ)言任務(wù) → 本地大模型生成 Python → MicroPython 在板端執(zhí)行 → 輸出運(yùn)行結(jié)果

為了讓這條鏈路真正跑通，代碼生成 demo 中需要增加幾個(gè)工程模塊：

針對(duì)代碼生成任務(wù)設(shè)計(jì) prompt，讓模型盡量輸出可執(zhí)行 Python；

在 MCU 上集成 MicroPython 編譯器、VM 和 GC 運(yùn)行時(shí)；

增加math、random等常用能力的板端適配；

將 MicroPython 的open()和簡(jiǎn)化os模塊橋接到板端文件系統(tǒng)接口；

支持代碼運(yùn)行失敗后的錯(cuò)誤反饋和重試，讓模型有機(jī)會(huì)根據(jù)錯(cuò)誤重新生成代碼；

因此，視頻里看到的文件讀寫(xiě)也不是預(yù)置輸出。模型生成的 Python 代碼可以通過(guò) MicroPython 直接訪問(wèn) SD/TF 卡上的文件系統(tǒng)，例如創(chuàng)建文件、寫(xiě)入內(nèi)容、讀取文件、遍歷目錄等。

這里也需要強(qiáng)調(diào)：代碼生成 demo 更適合簡(jiǎn)單、受控任務(wù)演示，例如計(jì)算、字符串處理和基礎(chǔ)文件讀寫(xiě)。它不能被理解為可以穩(wěn)定完成復(fù)雜工程代碼，也不能直接用于安全關(guān)鍵或?qū)崟r(shí)控制邏輯。

這塊板子是什么？

本次演示使用的是 HPM6800EVK 開(kāi)發(fā)板。它搭載 HPM6800/HPM6880 系列高性能 RISC-V MCU，主頻可達(dá) 600MHz，并配備大容量 DDR3L 外部存儲(chǔ)、Quad SPI NOR Flash、eMMC、TF 卡等存儲(chǔ)資源。開(kāi)發(fā)板還提供 LCD、MIPI-DSI、MIPI-CSI、DVP 攝像頭、千兆以太網(wǎng)、USB 2.0 OTG、音頻、CAN、RGB LED 等豐富外設(shè)接口，適合用于圖形顯示、音視頻處理、工業(yè)控制以及邊緣 AI 等場(chǎng)景驗(yàn)證。

在這次 LLM demo 中，模型文件從 SD/TF 卡加載，模型權(quán)重、KV cache、運(yùn)行時(shí)緩沖區(qū)等主要依賴(lài)板載 DDR 資源，推理和交互邏輯運(yùn)行在 MCU 端，通過(guò) UART 與用戶(hù)交互。

為什么要在 MCU 上跑大模型？

從開(kāi)發(fā)者視角看，我主要關(guān)注三個(gè)點(diǎn)。

首先，它讓我能觀察小規(guī)模量化語(yǔ)言模型在 MCU 平臺(tái)上的運(yùn)行邊界。過(guò)去更多討論的是服務(wù)器、PC、手機(jī)、邊緣計(jì)算盒子，現(xiàn)在具備外部 DDR 的高性能 MCU 也可以進(jìn)入本地模型推理的實(shí)驗(yàn)范圍。

其次，它讓我看到傳統(tǒng) MCU 工程可以接入一些語(yǔ)言模型相關(guān)模塊，比如 Tokenizer、采樣、腳本運(yùn)行時(shí)和文件系統(tǒng)接口。

第三，代碼生成這段比較有意思：模型先生成一段腳本，再由板端 MicroPython 執(zhí)行?，F(xiàn)在只適合簡(jiǎn)單任務(wù)，但這個(gè)鏈路本身值得繼續(xù)試。

當(dāng)然，這仍然是一個(gè)展示和方向探索 demo。它依賴(lài)特定硬件、板載 DDR 和量化后的模型配置，響應(yīng)速度也比較慢。目前更適合用來(lái)觀察“MCU 本地跑小模型”這條路能走到哪里，而不是作為產(chǎn)品應(yīng)用來(lái)理解。

這也是我做這個(gè) demo 最想表達(dá)的點(diǎn)：

這次 demo 至少說(shuō)明：在這類(lèi)硬件和模型配置下，MCU 本地跑小模型推理鏈路是可以做方向探索的。

下面這條視頻，是從開(kāi)發(fā)者視角做的一次實(shí)際演示。視頻中展示了 HPM6800EVK 上的本地聊天、自然語(yǔ)言代碼生成、MicroPython 板端執(zhí)行，以及 SD/TF 卡文件讀寫(xiě)。

后續(xù)我也會(huì)繼續(xù)關(guān)注邊緣 AI、本地小模型和 MCU 智能化方向的更多探索。