【拆·應(yīng)用】是為開(kāi)源鴻蒙應(yīng)用開(kāi)發(fā)者打造的技術(shù)分享平臺(tái)，是匯聚開(kāi)發(fā)者的技術(shù)洞見(jiàn)與實(shí)踐經(jīng)驗(yàn)、提供開(kāi)發(fā)心得與創(chuàng)新成果的展示窗口。誠(chéng)邀您踴躍發(fā)聲，期待您的真知灼見(jiàn)與技術(shù)火花！

引言

本期內(nèi)容由AI Model SIG提供，介紹了在開(kāi)源鴻蒙中，利用圖形接口Vulkan的計(jì)算著色器能力，在端側(cè)部署大模型的的整體思路和實(shí)踐分享。

開(kāi)源鴻蒙是由開(kāi)放原子開(kāi)源基金會(huì)孵化及運(yùn)營(yíng)的開(kāi)源項(xiàng)目，目標(biāo)是面向全場(chǎng)景、全連接、全智能時(shí)代，搭建一個(gè)智能終端設(shè)備操作系統(tǒng)的框架和平臺(tái)，促進(jìn)萬(wàn)物互聯(lián)產(chǎn)業(yè)的繁榮發(fā)展。在人工智能時(shí)代下，與其它成熟的操作系統(tǒng)相比，開(kāi)源鴻蒙部署AI LLM模型的能力欠缺。為了補(bǔ)齊開(kāi)源鴻蒙在端側(cè)部署大模型的能力，筆者將分享如何在端側(cè)打通大模型部署的整體思路和實(shí)踐。

軟硬件選型

在硬件上選取國(guó)產(chǎn)CPU飛騰D2000，顯卡選用AMD GPU。目前能夠在OpenHarmony5.0.0 Release上點(diǎn)亮AMD GPU，包括RX 550、RX 580和RX 7900 XTX。

其次是推理框架的選擇，筆者選取了llama.cpp這個(gè)開(kāi)源的推理框架，倉(cāng)庫(kù)地址為：github.com/ggml-org/llama.cpp。目前很火的ollama，其也是選用了llama.cpp作為推理后端。llama.cpp是一個(gè)專注于在邊緣設(shè)備、個(gè)人PC上進(jìn)行l(wèi)lm部署的高性能推理框架。其相比于vllm等主流llm推理框架來(lái)說(shuō)，有以下明顯的優(yōu)點(diǎn)：

純 C++/C 實(shí)現(xiàn)，在Windows、mac、Linux等多種系統(tǒng)下編譯都非常簡(jiǎn)單。

豐富的后端支持：如圖所示，支持x86、arm、Nidia_GPU、AMD_GPU、Vulkan甚至華為昇騰NPU_CANN。

支持CPU AVX指令集進(jìn)行矢量計(jì)算加速、CPU多核并行計(jì)算、CPU+GPU混合計(jì)算

支持低精度量化：1.5bit、2 bit、3 bit、4 bit、5 bit、6 bit和 8 bit整數(shù)量化，可加快推理速度并減少內(nèi)存使用。

llama.cpp支持的后端及其硬件

在上圖中，llama.cpp支持Vulkan后端。筆者通過(guò)查閱相關(guān)資料和閱讀llama.cpp關(guān)于Vulkan的相關(guān)代碼，發(fā)現(xiàn)其是利用圖形接口Vulkan的計(jì)算著色器（Compute Shader）的能力來(lái)運(yùn)行大模型的。計(jì)算著色器（Compute Shader） 是GPU上用于通用計(jì)算（GPGPU） 的特殊程序，與傳統(tǒng)圖形渲染管線解耦，可直接操作GPU并行處理非圖形任務(wù)（如AI推理、物理模擬、數(shù)據(jù)處理）等。下表是計(jì)算著色器的特點(diǎn)：

綜合多因素的考量，在軟硬件上最終選用飛騰D2000 + AMD GPU + OpenHarmony 5.0.0 Release的組合，利用圖形接口Vulkan的計(jì)算著色器能力，在終端設(shè)備上高效運(yùn)行大模型。

在開(kāi)源鴻蒙部署大模型的難點(diǎn)

在第一部分提到將利用圖形接口Vulkan的計(jì)算著色器的能力，在端側(cè)高效運(yùn)行大模型。在開(kāi)源鴻蒙社區(qū)有個(gè)Vulkan的demo樣例，倉(cāng)庫(kù)地址為：https://gitee.com/openharmony/applications_app_samples/tree/master/code/BasicFeature/Native/NdkVulkan，通過(guò)筆者的實(shí)踐，目前在HarmonyOS能跑通該樣例，但是在開(kāi)源鴻蒙上尚不能跑通該樣例。通過(guò)閱讀該例子的文檔說(shuō)明，如下圖，發(fā)現(xiàn)核心原因是缺少AMD GPU的Vulkan用戶態(tài)驅(qū)動(dòng)庫(kù)libvulkan_radeon.so以及Vulkan的sdk。因此核心難點(diǎn)是要能將Vulkan的計(jì)算著色器在開(kāi)源鴻蒙上正常跑起來(lái)。

NdkVulkan例子

整體思路

為了能夠利用圖形接口Vulkan的計(jì)算著色器的能力跑大模型。筆者總結(jié)了以下四個(gè)的關(guān)鍵步驟：

在開(kāi)源鴻蒙上正常點(diǎn)亮AMD GPU。

交叉編譯出AMD的Vulkan用戶態(tài)驅(qū)動(dòng)。

交叉編譯出Vulkan sdk。

移植llama.cpp到OpenHarmony上。

實(shí)踐要點(diǎn)

點(diǎn)亮AMDGPU

1.確保AMD GPU 內(nèi)核態(tài)是正常的選用的內(nèi)核版本為linux 6.6.22，需要將內(nèi)核的以下選項(xiàng)打開(kāi)。

系統(tǒng)正常啟動(dòng)后，采用modetest工具進(jìn)行測(cè)試，在測(cè)試前需要關(guān)閉render_service、composer_host和allocator_host這三個(gè)進(jìn)程，具體的命令如下：

在hdc shell中運(yùn)行以下命令：

如果能夠在顯示屏上看到彩色的條紋，如下圖，說(shuō)明AMD GPU的內(nèi)核態(tài)是正常的。

modetest測(cè)試結(jié)果

2.確保AMD GPU的用戶態(tài)是正常的

首先通過(guò)mesa3d交叉編譯出AMD GPU的用戶態(tài)驅(qū)動(dòng)，主要為libEGL.so.1.0.0、libgallium_dri.so、libgbm.so.1.0.0、libglapi.so.0.0.0、libGLESv1_CM.so.1.1.0和libGLESv2.so.2.0.0這個(gè)5個(gè)動(dòng)態(tài)庫(kù)。

大家可以參考laval社區(qū)的《開(kāi)源鴻蒙開(kāi)源GPU庫(kù)Mesa3D適配說(shuō)明》這篇文章，了解GPU的適配過(guò)程，鏈接地址為：https://laval.csdn.net/64804567ade290484cb2ed06.html

這篇文章主要講的是mali gpu的mesa3d點(diǎn)亮過(guò)程。由于跑Vulkan的計(jì)算著色器可以不用到顯示的功能，因此在這里具體的適配過(guò)程就不展開(kāi)，感興趣的讀者可在AI Model SIG的ohos_vulkan倉(cāng)庫(kù)獲取相關(guān)的AMD GPU 的mesa用戶態(tài)驅(qū)動(dòng)的庫(kù)，倉(cāng)庫(kù)地址為：https://gitcode.com/ai_model_sig/ohos_vulkan 成功適配后，可以在顯示屏正?？吹介_(kāi)源鴻蒙的桌面。

Vulkan用戶態(tài)驅(qū)動(dòng)

這一步的核心是能夠獲得libvulkan_radeon.so這個(gè)動(dòng)態(tài)庫(kù)。在mesa3d中有Vulkan用戶態(tài)驅(qū)動(dòng)的實(shí)現(xiàn)，因此通過(guò)編譯mesa3d這個(gè)開(kāi)源項(xiàng)目編譯出libvulkan_radeon.so這個(gè)Vulkan用戶態(tài)驅(qū)動(dòng)庫(kù)。

在build_ohos.py文件中需要指定 -Dgallium-drivers=amd 和 -Dvulkan-drivers=amd這兩個(gè)參數(shù)，如下圖：

通過(guò)以下指令：

便可以編譯出libvulkan_radeon.so這個(gè)動(dòng)態(tài)庫(kù)，如下圖所示

Vulkan sdk

Vulkan sdk的構(gòu)成主要包含以下11個(gè)項(xiàng)目：

https://github.com/KhronosGroup/glslang.git

https://github.com/KhronosGroup/SPIRV-Headers.git

https://github.com/KhronosGroup/SPIRV-Tools.git

https://github.com/zeux/volk.git

https://github.com/KhronosGroup/Vulkan-ExtensionLayer.git

https://github.com/KhronosGroup/Vulkan-Headers.git

https://github.com/KhronosGroup/Vulkan-Loader.git

https://github.com/KhronosGroup/Vulkan-Tools.git

https://github.com/KhronosGroup/Vulkan-Utility-Libraries.git

https://github.com/KhronosGroup/Vulkan-ValidationLayers.git

在這里需要通過(guò)交叉編譯的方式獲得aarch64版本的產(chǎn)物，如下圖所示。

Vulkan sdk的編譯比較復(fù)雜，這里不進(jìn)行展開(kāi)，讀者可以通過(guò)這個(gè)鏈接下載：

https://gitcode.com/ai_model_sig/ohos_vulkan/pull/1

下面介紹一下如何將Vulkan sdk部署在開(kāi)源鴻蒙上：

通過(guò)運(yùn)行vulkaninfo可以獲取vulkan的相關(guān)信息，也能獲取我們所用GPU的型號(hào)。

目前我們能將Vulkan在開(kāi)源鴻蒙上正式跑起來(lái)了，接下來(lái)需要寫一個(gè)簡(jiǎn)單的例子來(lái)驗(yàn)證Vulkan的計(jì)算著色器是否正常。筆者提供了一個(gè)簡(jiǎn)單的利用計(jì)算著色器來(lái)進(jìn)行矩陣并行計(jì)算，大家可以通過(guò)laval社區(qū)的這篇文章詳細(xì)了解一下，文章鏈接：

https://laval.csdn.net/685bdb3d965a29319f2773cb.html

該例子的核心就是矩陣A和矩陣B相乘的到矩陣C，矩陣C的每個(gè)元素需要做256次乘法和255次加法。

下面是例子的具體內(nèi)容：

整體流程：初始化Vulkan → 創(chuàng)建矩陣緩沖區(qū) → 構(gòu)建計(jì)算管線 → 提交計(jì)算任務(wù) → 同步獲取結(jié)果 → 驗(yàn)證輸出 → 資源釋放；

編寫計(jì)算著色器，如下圖；

并行策略：每個(gè)線程計(jì)算輸出矩陣的一個(gè)元素；

工作組配置：每個(gè)工作組包含16x16=256個(gè)并行線程；

執(zhí)行粒度：與主程序中的vkCmdDispatch(MATRIX_SIZE/16, MATRIX_SIZE/16, 1)配合，共調(diào)度 (256/16)^2 = 256個(gè)工作組覆蓋整個(gè)矩陣；

線程總數(shù)：256 * 256 = 65536 個(gè)并行線程。

計(jì)算著色器

假設(shè)矩陣A的元素全為1，矩陣B的元素全為2，那么矩陣C的計(jì)算結(jié)果應(yīng)該全為512。如下圖可見(jiàn)矩陣C的計(jì)算結(jié)果正確，總耗時(shí)大概在5毫秒左右。通過(guò)對(duì)比矩陣C的結(jié)果和耗時(shí)，初步可以確認(rèn)Vulkan的計(jì)算著色器能在開(kāi)源鴻蒙上正常運(yùn)行。

矩陣C的計(jì)算結(jié)果

推理框架 llama.cpp

利用前一步得到的Vulkan sdk，接下來(lái)需要交叉編譯出llama.cpp。下面是交叉編譯的命令。

最終我們將編譯的產(chǎn)物拷貝至開(kāi)源鴻蒙設(shè)備上，然后運(yùn)行?？梢钥吹絣lama.cpp能夠正確識(shí)別我們的AMD GPU并將模型的權(quán)重加載至顯卡上。

總結(jié)

本文主要分享了如何在端側(cè)打通大模型部署的整體思路和實(shí)踐，從而補(bǔ)齊開(kāi)源鴻蒙在端側(cè)部署大模型的能力。目前能夠利用圖形接口Vulkan的計(jì)算著色器的能力，能夠在端側(cè)的AMD的消費(fèi)級(jí)顯卡AMD 7900XTX上部署類似DeepSeek 32B這類的大模型，從而打造了AI能力的算力底座，為AI應(yīng)用提供支撐。