通義千問最新一代多模態(tài)大模型Qwen3.5已成功適配能BM1684X和BM1688系列TPU芯片，2B、4B、9B三個版本均已適配，從預(yù)編譯 bmodel 可 LLM-TPU(附錄鏈接(4))直接下載使用。本文介紹如何通過Openclaw + Skill實現(xiàn)全自動部署——不寫一行代碼，不記一條命令，對話即部署。

關(guān)于Qwen3.5

Qwen3.5（附錄鏈接（1））是阿里通義實驗室推出的新一代多模態(tài)大語言模型，主要亮點包括：

• 多模態(tài)理解：原生支持圖片和視頻輸入，可對圖像內(nèi)容進(jìn)行精細(xì)化描述、文字識別、場景理解等
• 創(chuàng)新架構(gòu)：采用Full Attention + Linear Attention 混合架構(gòu)，兼顧理解深度與推理效率
• 多語言支持：流暢支持超過100種語言
• 豐富的能力矩陣：文本生成、邏輯推理、視覺分析、代碼開發(fā)、多語言對話等全面覆蓋
• 多版本可選：提供2B、4B、9B等多種參數(shù)規(guī)模，滿足不同場景需求

相對于上一代Qwen3VL，表現(xiàn)更加優(yōu)異，如下：

Openclaw + Skill：對話即部署

傳統(tǒng)部署流程需要手動拉代碼、裝依賴、編譯擴(kuò)展、下載模型、寫啟動腳本……每一步都可能踩坑。而通過Openclaw（附錄鏈接（2））+ Skill，這一切只需兩步：

第一步：添加 技能

將 qwen3_5-bmodel Skill（附錄鏈接（3））添加到Openclaw：

gitclonehttps://github.com/baifengbai/skill_hub.git
ln -s"$(pwd)/skill_hub/skills/qwen3_5-bmodel"~/.Openclaw/skills/qwen3_5-bmodel

第二步：用自然語言描述需求

在 Openclaw 中輸入：

幫我在 BM1684X 設(shè)備（IP: 192.168.150.2）上部署 Qwen3.5 多模態(tài)模型，啟動 Web 服務(wù)

將替換為你的 BM1684X 設(shè)備實際 IP 地址。192.168.150.2

就這么簡單。Openclaw 自動讀取 Skill 文檔，全程接管：

• 通過 gssh 連接遠(yuǎn)程邊緣盒子
• 拉取 LLM-TPU（附錄鏈接（4））代碼，編譯 chat.so
• 下載預(yù)編譯 bmodel（~2.3G）
• 上傳 Flask Web 服務(wù)，配置 SSE 流式輸出
• 建立端口轉(zhuǎn)發(fā)，本地瀏覽器直接訪問

部署完成后，打開 即可體驗圖片/視頻/文字多模態(tài)問答:

為什么用 Skill？

Skill 不只是一個部署腳本。它沉淀了真實踩坑經(jīng)驗：

這些經(jīng)驗被結(jié)構(gòu)化地寫入 Skill 文檔，AI Agent 讀取后自動規(guī)避，讓你不再重復(fù)踩坑。

完整 Skill 庫見 skill_hub（附錄鏈接（5）），已添加多個模型的skill一鍵部署：

已適配版本

Qwen3.5 的2B、4B、9B三個參數(shù)版本均已完成適配，INT4 量化預(yù)編譯 bmodel 可從 LLM-TPU（附錄鏈接（4））直接下載，開箱即用：

更大參數(shù)版本（4B、9B）適合對精度要求更高的場景，用戶可根據(jù)實際算力和業(yè)務(wù)需求靈活選擇。

性能表現(xiàn)

基于 BM1684X 平臺，INT4量化的 Qwen3.5-2B 模型實測表現(xiàn)：

以一張768×768圖片為例，僅占用約576個Token，高效平衡了圖像理解精度與推理速度。

效果展示

下圖展示了 Qwen3.5 在BM1684X上運行的實際效果，包括圖片理解和純文本對話：

模型能夠?qū)斎雸D片進(jìn)行詳細(xì)的場景描述（床、梳妝臺、書架、植物、裝飾等元素的精準(zhǔn)識別），并在純文本模式下流暢對話，展現(xiàn)出優(yōu)秀的多模態(tài)理解能力。

應(yīng)用場景

Qwen3.5在TPU上的適配，為以下場景提供了高性價比的端側(cè)AI方案：

• 智能安防：實時視頻流的場景理解與異常檢測
• 智能零售：商品識別、貨架分析、顧客行為理解
• 工業(yè)質(zhì)檢：產(chǎn)品外觀缺陷檢測與分析報告生成
• 智慧文檔：合同、票據(jù)、表格等文檔的OCR與結(jié)構(gòu)化提取
• 教育科研：圖表解讀、論文輔助閱讀與多語言翻譯
• 邊緣智能設(shè)備：機(jī)器人、無人機(jī)等嵌入式平臺的多模態(tài)交互

總結(jié)

Qwen3.5成功落地算能BM1684X/BM1688平臺，標(biāo)志著國產(chǎn)大模型與國產(chǎn)AI芯片的又一次深度協(xié)同。通過 Openclaw + Skill的自動化部署方案，開發(fā)者可以真正實現(xiàn)零代碼、零門檻地將前沿多模態(tài)AI能力部署到邊緣設(shè)備中。

• 想要極簡體驗？用Openclaw + Skill，對話即部署
• 想要深度定制？參考手動部署方式

手動部署方式

如果你更習(xí)慣手動操作，也可以按以下步驟部署。

模型編譯

通過算能TPU-MLIR編譯框架，僅需一條命令即可完成模型編譯：

llm_convert.py -m Qwen3.5-2B-int4-AutoRound --max_input_length 1024 -s 2048 -c bm1684x --out_dir qwen3.5 --max_pixels 768,768

支持INT4量化（AutoRound/AWQ/GPTQ），在保持模型精度的同時大幅降低顯存占用和推理成本。

下載預(yù)編譯 bmodel

#BM1684X
python3 -m dfss --url=open@sophgo.com:/ext_model_information/LLM/LLM-TPU/qwen3.5-2b-int4-autoround_w4bf16_seq2048_bm1684x_1dev_dynamic_20260415_111517.bmodel

#BM1688
python3 -m dfss --url=open@sophgo.com:/ext_model_information/LLM/LLM-TPU/qwen3.5-2b-int4-autoround_w4bf16_seq2048_bm1688_2core_dynamic_20260415_212627.bmodel

Python 運行

訪問 LLM-TPU Qwen3_5 目錄（附錄鏈接（4）），有 Python 和 C++ 兩種 Demo：

pip3 install torchvision transformers qwen_vl_utils
cd python_demo
mkdir build && cd build && cmake .. && make && cp *cpython* .. && cd ..
python3 pipeline.py -m your_model.bmodel -c config

C++ 運行

cd cpp_demo
mkdir build && cd build && cmake .. && make && cp pipeline .. && cd ..
./pipeline -m your_model.bmodel -c config

適配與驗證日期：2026年4月16日

附錄

鏈接匯總