從按下快門前就對(duì)照片進(jìn)行即時(shí)銳化，到通話過(guò)程中實(shí)時(shí)消除背景噪音，再到離線狀態(tài)下與人工智能 (AI) 助手互動(dòng)，端側(cè) AI 正在重塑移動(dòng)體驗(yàn)。而 Arm 計(jì)算平臺(tái)正是實(shí)現(xiàn)這些無(wú)縫交互體驗(yàn)的強(qiáng)勁驅(qū)動(dòng)力。

隨著 AI 工作負(fù)載變得日益復(fù)雜且廣泛滲透至各個(gè)領(lǐng)域，移動(dòng)開(kāi)發(fā)者面臨的需求也與日俱增：他們需要在內(nèi)存、電力和熱預(yù)算等嚴(yán)格且多樣化的限制下，實(shí)現(xiàn)實(shí)時(shí)且高效的性能表現(xiàn)，同時(shí)確保不會(huì)給應(yīng)用及其工作負(fù)載增加額外的復(fù)雜性。

為了應(yīng)對(duì)這些挑戰(zhàn)，Arm 推出了可伸縮矩陣擴(kuò)展 2 (SME2) 技術(shù)，以直接在移動(dòng) CPU 上加速高強(qiáng)度的矩陣計(jì)算工作負(fù)載——這些工作負(fù)載對(duì)計(jì)算機(jī)視覺(jué)和生成式 AI 應(yīng)用至關(guān)重要。SME2 是 Armv9 架構(gòu)中的一組高級(jí) CPU 指令，它基于 SME 升級(jí)、能夠在 AI 異構(gòu)計(jì)算框架下，高效支持圖像處理、自然語(yǔ)言處理、語(yǔ)音生成等實(shí)時(shí)移動(dòng)端推理任務(wù)。

開(kāi)發(fā)者如何獲取 SME2 的優(yōu)勢(shì)

移動(dòng)開(kāi)發(fā)者無(wú)需改動(dòng)現(xiàn)有代碼、模型或應(yīng)用程序，即可直接獲取 SME2 帶來(lái)的性能提升。這得益于 Arm 的軟件加速層——Arm KleidiAI，它能夠無(wú)縫集成到主流運(yùn)行時(shí)庫(kù)和 AI 框架中，為開(kāi)發(fā)者提供開(kāi)箱即用的性能體驗(yàn)。

得益于 KleidiAI 深入且廣泛的集成，SME2 已在 Google 專為安卓系統(tǒng)優(yōu)化的神經(jīng)網(wǎng)絡(luò)推理庫(kù) XNNPACK 中實(shí)現(xiàn)支持。此外，SME2 也被集成至多個(gè)框架中，包括阿里巴巴 MNN、Google LiteRT 和MediaPipe、微軟 ONNX Runtime，以及 llama.cpp。這些集成意味著 SME2 已深度嵌入到軟件棧中。當(dāng)設(shè)備支持并啟用 SME2 時(shí)，XNNPACK 會(huì)自動(dòng)通過(guò) KleidiAI 將矩陣計(jì)算密集型任務(wù)路由至 SME2，從而讓開(kāi)發(fā)者在無(wú)需改動(dòng)任何應(yīng)用邏輯或基礎(chǔ)架構(gòu)的情況下，直接實(shí)現(xiàn)性能提升。

與此同時(shí)，KleidiAI 不僅著眼于當(dāng)下的性能加速，更是為滿足未來(lái)需求而設(shè)計(jì)。隨著 Arm 不斷推出新特性與架構(gòu)升級(jí)，KleidiAI 將持續(xù)為所支持的 AI 框架和運(yùn)行時(shí)庫(kù)帶來(lái)自動(dòng)的性能提升，而無(wú)需開(kāi)發(fā)者投入額外精力。

大規(guī)模 AI 性能與能效優(yōu)化

搭載 SME2 增強(qiáng)硬件的安卓新機(jī)即將上市，開(kāi)發(fā)者可率先通過(guò)硬件加速解鎖 AI 性能躍升。與此同時(shí)，SME2 已支持最新的 iOS 設(shè)備[1]，只要應(yīng)用中使用了集成 SME2 的 AI 框架，便可自動(dòng)享受這些性能提升。

在搭載 SME2 增強(qiáng)硬件的設(shè)備上運(yùn)行 Google Gemma 3 模型時(shí)，其聊天交互中的 AI 響應(yīng)速度比未啟用 SME2 的同款設(shè)備快六倍。此外，僅用單個(gè) CPU 核心，Gemma 3 便可在不到一秒的時(shí)間內(nèi)啟動(dòng)多達(dá) 800 字的文本摘要任務(wù)。目前，一家領(lǐng)先的獨(dú)立軟件供應(yīng)商 (ISV) 已承諾將其應(yīng)用中的大部分詞元 (token) 生成工作負(fù)載從云端遷移到移動(dòng)端，這在一定程度上得益于端側(cè) AI 能力的持續(xù)突破。

“

Google 安卓杰出軟件工程師 Iliyan Malchev 表示：借助 SME2 增強(qiáng)的硬件，更先進(jìn)的 AI 模型（如 Gemma 3）能夠直接在各類設(shè)備上運(yùn)行。隨著 SME2 的持續(xù)擴(kuò)展，移動(dòng)開(kāi)發(fā)者能夠在不同生態(tài)系統(tǒng)中無(wú)縫部署下一代 AI 功能，從而為終端用戶帶來(lái)低延遲、廣泛可用的智能手機(jī)體驗(yàn)。

”

除了性能的提升，SME2 還為 Arm 生態(tài)系統(tǒng)（如 iOS 與安卓）提供了可移植的解決方案。目前，已有 900 萬(wàn)款應(yīng)用在 Arm 計(jì)算平臺(tái)上運(yùn)行，超過(guò) 2,200 萬(wàn)名軟件開(kāi)發(fā)者基于 Arm 平臺(tái)構(gòu)建他們的應(yīng)用和工作負(fù)載。

助力開(kāi)發(fā)者構(gòu)建 AI 的未來(lái)

對(duì)安卓開(kāi)發(fā)者而言，他們只要將應(yīng)用構(gòu)建在集成了 KleidiAI 的 AI 框架和運(yùn)行時(shí)庫(kù)之上，就能自動(dòng)獲得 SME2 帶來(lái)的性能提升，并可在各類設(shè)備上無(wú)縫部署下一代 AI 功能。

開(kāi)發(fā)者若提前布局，即可確保其應(yīng)用在 SME2 增強(qiáng)硬件推向市場(chǎng)時(shí)實(shí)現(xiàn)優(yōu)化，無(wú)需改動(dòng)任何一行代碼，便可為用戶帶來(lái)更快的性能、更低的延遲以及更高的能效。

此外，Arm 還發(fā)布了開(kāi)發(fā)者啟動(dòng)平臺(tái)，幫助移動(dòng)開(kāi)發(fā)者充分利用 SME2 的技術(shù)優(yōu)勢(shì)，通過(guò)豐富案例展示如何針對(duì) KleidiAI 增強(qiáng)框架進(jìn)行開(kāi)發(fā)，從而默認(rèn)激活硬件層面的最新加速能力。

作者：Arm 人工智能平臺(tái)和開(kāi)發(fā)者平臺(tái)與服務(wù)高級(jí)副總裁 Alex Spinelli