AI產(chǎn)業(yè)已從“追求模型能力極限”轉(zhuǎn)向“追求推理體驗(yàn)最優(yōu)化”，推理體驗(yàn)決定用戶與AI的交互質(zhì)感。當(dāng)前推理應(yīng)用快速發(fā)展，Token調(diào)用量爆發(fā)式增長，推理遇到“推不動(dòng)、推得慢、推得貴”三大瓶頸，成為產(chǎn)業(yè)規(guī)?；l(fā)展的攔路虎。在有限算力下，長序列輸入導(dǎo)致首Token時(shí)延（TTFT）增加，甚至超長序列超出模型上下文窗口限制；隨著并發(fā)數(shù)增加，推理吞吐開始下降，任務(wù)頻繁卡頓；歷史對(duì)話和行業(yè)知識(shí)的重復(fù)調(diào)用造成算力浪費(fèi)，加大推理成本。如何優(yōu)化推理效率，是AI產(chǎn)業(yè)突破發(fā)展瓶頸的關(guān)鍵。

算力的有效利用對(duì)AI推理性能和成本優(yōu)化發(fā)揮著至關(guān)重要的作用，是企業(yè)核心競(jìng)爭(zhēng)力。算力平臺(tái)需適配多元存儲(chǔ)、Kubernetes集群及推理框架，但硬件生態(tài)碎片化、資源分配僵化、調(diào)度缺乏AI任務(wù)感知、運(yùn)維可觀性不足等技術(shù)兼容難題，正嚴(yán)重制約推理應(yīng)用發(fā)展。

近日，華為數(shù)據(jù)存儲(chǔ)與「DaoCloud 道客」聯(lián)合推出了AI推理加速聯(lián)合解決方案。該方案融合了華為UCM（Unified Cache Manager）推理記憶數(shù)據(jù)管理技術(shù)和道客d.run算力調(diào)度平臺(tái)，圍繞大模型歷史數(shù)據(jù)，實(shí)現(xiàn)KV Cache數(shù)據(jù)池化管理，以資源的精細(xì)化管理和智能調(diào)度提升算力利用率，為AI推理加速提供全方位技術(shù)支撐。

道客d.run算力調(diào)度平臺(tái)可支持算力與顯存資源的細(xì)粒度切分及池化，通過多種調(diào)度策略實(shí)現(xiàn)算力資源的最大化利用。調(diào)度器具備拓?fù)涓兄芰Γ蓛?yōu)化任務(wù)在xPU間的通信效率，保障AI任務(wù)穩(wěn)定低耗運(yùn)行。平臺(tái)提供企業(yè)級(jí)運(yùn)維支持，提供多租戶隔離、資源配額管理、完整的監(jiān)控告警及計(jì)費(fèi)計(jì)量等功能，滿足企業(yè)級(jí)使用與運(yùn)維需求。同時(shí)具備多元生態(tài)兼容性，適配NVIDIA、華為昇騰、寒武紀(jì)等多種品牌AI算力，支持TensorFlow等主流AI框架，借助Kubernetes的CSI無縫對(duì)接華為OceanStor AI存儲(chǔ)，簡(jiǎn)化管理并為AI任務(wù)數(shù)據(jù)讀寫提供穩(wěn)定支撐。

華為UCM是以KV Cache為核心，構(gòu)建多級(jí)緩存空間的分層管理與智能流動(dòng)機(jī)制，實(shí)現(xiàn)數(shù)據(jù)在高性能緩存HBM、內(nèi)存DRAM和外置OceanStor A系列存儲(chǔ)的分級(jí)緩存和查詢，確保推理記憶知識(shí)全量保存。并且，UCM還融合多項(xiàng)創(chuàng)新加速算法：自適應(yīng)全局Prefix Cache支持公共前綴、歷史對(duì)話和RAG知識(shí)塊多種拼接組合場(chǎng)景的復(fù)用，通過以查代算，最大程度改善TTFT；全流程稀疏加速算法提供Prefill階段的超長KV分片卸載和增量稀疏，以及Decode階段的動(dòng)態(tài)稀疏，提升長序列推理吞吐。

在Qwen3-32B模型上，測(cè)試問答助手場(chǎng)景，開啟Prefix Cache和RAG Chunk功能。測(cè)試數(shù)據(jù)表明，首Token時(shí)延降低約55%，且隨著序列長度越長，TTFT降低效果越明顯，通過“以查代算”的方式，避免了大量歷史對(duì)話信息的重復(fù)計(jì)算。

圖1 問答助手場(chǎng)景對(duì)比開關(guān)UCM的TTFT

測(cè)試長文檔推理場(chǎng)景，設(shè)定序列長度輸入32K+輸出1K，開啟Chunk Prefill和GSA稀疏化功能。測(cè)試數(shù)據(jù)表明，在并發(fā)數(shù)為30時(shí)，TTFT最大降低47%，端到端吞吐最大提升75%。

圖2 長文檔推理場(chǎng)景對(duì)比開關(guān)UCM的TTFT

圖3 長文檔推理場(chǎng)景對(duì)比開關(guān)UCM的E2E吞吐

關(guān)閉UCM，當(dāng)并發(fā)數(shù)超17時(shí)，請(qǐng)求開始排隊(duì)；開啟UCM，當(dāng)并發(fā)數(shù)超32時(shí)，請(qǐng)求開始排隊(duì)。在以上情況下，開啟UCM對(duì)比關(guān)閉UCM場(chǎng)景，并發(fā)能力提升88.24%。

圖4 長文檔推理場(chǎng)景對(duì)比開關(guān)UCM的并發(fā)能力

目前，該方案正在電力、金融等行業(yè)試點(diǎn)。未來，雙方將持續(xù)深化技術(shù)合作，推動(dòng)技術(shù)迭代與行業(yè)適配，助力AI技術(shù)在更多行業(yè)的落地應(yīng)用。

審核編輯 黃宇