近日，基于華為CANN(Compute Architecture for Neural Networks)端云協(xié)同架構(gòu)打造的華為PC端AI閃繪功能正式落地，標(biāo)志著端側(cè)AI大模型應(yīng)用邁入新階段。

AI閃繪是一種基于擴(kuò)散模型的圖生圖技術(shù)，可根據(jù)現(xiàn)有圖片與提示詞生成符合用戶預(yù)期的新圖像。該功能背后，凝結(jié)了華為CANN團(tuán)隊(duì)與生態(tài)伙伴悟空?qǐng)D像的深度協(xié)作，雙方圍繞SDXL(Stable Diffusion XL)模型的端側(cè)部署展開(kāi)合作，通過(guò)模型瘦身、多風(fēng)格適配與算子優(yōu)化等關(guān)鍵技術(shù)突破，為端側(cè)大模型的落地提供可行的“華為方案”。

從“云端”到“端側(cè)”：破解大模型落地的三大難題

端側(cè)AI大模型的部署長(zhǎng)期面臨三大挑戰(zhàn)：

模型體積龐大：大模型參數(shù)規(guī)模可達(dá)數(shù)十億甚至百億級(jí)，端側(cè)設(shè)備面臨非常大的內(nèi)存壓力;

推理延遲高：端側(cè)算力有限，復(fù)雜模型難以實(shí)現(xiàn)實(shí)時(shí)響應(yīng);

風(fēng)格單一化：?jiǎn)我荒Ｐ碗y以滿足用戶多樣化創(chuàng)作需求。

針對(duì)這些痛點(diǎn)，CANN團(tuán)隊(duì)提出“瘦身—加速—靈活”三位一體技術(shù)路徑，實(shí)現(xiàn)大模型在端側(cè)的高效落地。

模型瘦身：量化技術(shù)讓大模型輕裝上陣

模型體積是端側(cè)部署的首要門檻。

依托CANN端云一致的異構(gòu)計(jì)算架構(gòu)及內(nèi)置量化能力，雙方團(tuán)隊(duì)通過(guò)混合精度量化，將SDXL模型的體積大幅度壓縮，同時(shí)高度保留原始精度。

這一優(yōu)化不僅能高效壓縮模型在端側(cè)的存儲(chǔ)空間，還能使得推理時(shí)的內(nèi)存帶寬顯著減少。該方案已在麒麟芯片NPU完成驗(yàn)證，為端側(cè)大模型的高效運(yùn)行奠定了堅(jiān)實(shí)基礎(chǔ)。

多風(fēng)格適配：LoRA微調(diào)讓AI創(chuàng)作更懂用戶

端側(cè)AI的核心價(jià)值在于“個(gè)性化”。

為實(shí)現(xiàn)“一鍵切換藝術(shù)風(fēng)格”的創(chuàng)作體驗(yàn)，團(tuán)隊(duì)引入LoRA(Low-Rank Adaptation)微調(diào)技術(shù)——通過(guò)在預(yù)訓(xùn)練模型中引入低秩適配器(Low-Rank Adapters)，僅需訓(xùn)練數(shù)千個(gè)可訓(xùn)練參數(shù)(約占原模型的0.1%)，即可快速適配不同風(fēng)格(如夢(mèng)幻糖衣、汽車、像素等)。

憑借LoRA的輕量化特性，用戶點(diǎn)擊風(fēng)格切換后畫面可瞬間重構(gòu)，讓AI從“固定工具”真正成為“創(chuàng)作伙伴”。

算子適配：Ascend C打通端側(cè)部署“最后一公里”

端側(cè)大模型落地不僅依賴模型優(yōu)化，更需要底層算子與硬件的深度協(xié)同。CANN作為業(yè)界首個(gè)同時(shí)支持云側(cè)和端側(cè)NPU自定義算子編程的解決方案，通過(guò)Ascend C算子編程語(yǔ)言結(jié)合華為自研的Da Vinci架構(gòu)，為開(kāi)發(fā)者提供“端云一致的開(kāi)發(fā)體驗(yàn)”。悟空?qǐng)D像團(tuán)隊(duì)基于Ascend C算子編程語(yǔ)言完成了SDXL模型關(guān)鍵算子的NPU優(yōu)化與融合調(diào)度。

這一技術(shù)可以提供一定靈活性，使得開(kāi)發(fā)者可以更加自主的部署端側(cè)模型。

從“可用”到“好用”：端側(cè)AI生態(tài)的加速躍遷

此次合作的成功落地，不僅是單一功能的發(fā)布，更標(biāo)志著端側(cè)AI生態(tài)的一次系統(tǒng)升級(jí)：

技術(shù)普惠化：通過(guò)模型量化、LoRA微調(diào)等技術(shù)優(yōu)化，開(kāi)發(fā)者可低成本實(shí)現(xiàn)大模型端側(cè)部署，推動(dòng)AI能力從“云端”向“終端”普惠延伸;

場(chǎng)景多元化：端側(cè)大模型的低延遲與個(gè)性化特性，為創(chuàng)意設(shè)計(jì)(如AI繪畫)、智能交互(如個(gè)性化助手)等場(chǎng)景帶來(lái)更多想象空間。例如，未來(lái)用戶可在PC端用AI閃繪快速生成多風(fēng)格插畫;

生態(tài)協(xié)同化：CANN平臺(tái)底座與悟空?qǐng)D像的AI應(yīng)用能力結(jié)合，為行業(yè)樹立了“芯片—框架—應(yīng)用”協(xié)同創(chuàng)新的標(biāo)桿，吸引更多開(kāi)發(fā)者加入端側(cè)AI生態(tài)，共同做大產(chǎn)業(yè)蛋糕。

展望未來(lái)

從“實(shí)驗(yàn)室”到“用戶桌面”，從“云端”到“端側(cè)”，AI閃繪功能的本地化是CANN推動(dòng)AI大模型普惠化的重要里程碑。

未來(lái)，華為CANN團(tuán)隊(duì)將持續(xù)深化在計(jì)算加速、端云協(xié)同等方向的技術(shù)投入，攜手更多生態(tài)伙伴，共同加速AI從“可用”到“好用”的跨越，讓每一臺(tái)設(shè)備都成為智能創(chuàng)造力的源泉。