生成式人工智能 (Generative AI) 涵蓋了當(dāng)下廣為人知，且備受關(guān)注的大語言模型 (LLM)，如今也已落地邊緣側(cè)的移動設(shè)備。這意味著，無論是生成圖像和視頻，還是理解上下文語義，AI 的生成式推理將開始由移動設(shè)備進(jìn)行全權(quán)處理，而非交由云端處理后返回結(jié)果。

Arm 作為基石技術(shù)，使得無處不在的 AI 成為可能，其中就包括移動端的生成式 AI。無論是支持 AI 功能的新款旗艦智能手機(jī)，還是直接在 Arm CPU 上處理 LLM，這些振奮人心的開發(fā)成果都展現(xiàn)了 Arm 作為基石技術(shù)的實際應(yīng)用價值。

AI 賦能的新款智能手機(jī)

采用 Armv9 架構(gòu)的 CPU 和 GPU 技術(shù)的高性能 AI 智能手機(jī)現(xiàn)已問世，其中包括搭載 MediaTek 天璣 9300 的 vivo X100 和 X100 Pro 智能手機(jī)、三星 Galaxy S24 以及谷歌 Pixel 8。

這些旗艦移動設(shè)備兼顧性能與效率，為 AI 創(chuàng)新提供了前所未有的機(jī)遇。事實上，在過去十年間，得益于 Arm CPU 和 GPU 的性能提升，在移動平臺上的 AI 處理能力每兩年實現(xiàn)翻番。

未來，我們會將更多 AI 性能、技術(shù)和功能加入到我們堅實的消費技術(shù)路線圖中，推動這一趨勢不斷發(fā)展。同樣起助推作用的還有當(dāng)下的邊緣側(cè) AI 推理熱潮，以及使用 LLM 等經(jīng)過訓(xùn)練的模型來驅(qū)動基于 AI 的應(yīng)用，隨著更多的 AI 支持和專用指令的加入，CPU 將成為滿足這一需求的理想選擇。

一切始于 CPU

大多數(shù)情況下，移動設(shè)備的 AI 功能都始于 CPU，例如對面部、手部和身體動作的追蹤，高級的相機(jī)效果和濾鏡，以及許多社交應(yīng)用中的細(xì)分功能。此類 AI 工作負(fù)載的處理可能全權(quán)交由 CPU，或是結(jié)合 GPU 或 NPU 等協(xié)處理器一起提供支持。Arm 的 CPU 設(shè)計廣泛應(yīng)用于當(dāng)今全球數(shù)十億人使用的智能手機(jī)系統(tǒng)級芯片 (SoC) 中，對于在終端設(shè)備實現(xiàn) AI 工作負(fù)載至關(guān)重要。

目前，70% 的第三方應(yīng)用所使用的 AI 均基于 Arm CPU 運行，包括新發(fā)布的社交類、健康類和基于相機(jī)功能的應(yīng)用等。除了設(shè)計的普及性，Arm CPU 還具有靈活性和 AI 功能，因此成為了移動設(shè)備領(lǐng)域開發(fā)者首選的應(yīng)用 AI 工作負(fù)載處理器。

就靈活性而言，Arm CPU 能夠以多種數(shù)據(jù)格式運行各類神經(jīng)網(wǎng)絡(luò)。展望未來，未來的 Arm CPU 將在指令集中加入更多 AI 功能，惠及行業(yè)領(lǐng)先的 Arm 生態(tài)系統(tǒng)，例如適用于 Armv9-A 架構(gòu)的可擴(kuò)展矩陣擴(kuò)展 (Scalable Matrix Extension, SME)，幫助全球開發(fā)者為其 AI 應(yīng)用提供更高的性能、創(chuàng)新功能和可擴(kuò)展性。

Arm 將領(lǐng)先的硬件水平與軟件生態(tài)系統(tǒng)支持相結(jié)合，打造出高性能計算平臺，推動邊緣生成式 AI 的興起，讓游戲迭代、圖像增強、語言翻譯、文本生成和虛擬助手等功能成為可能。我們在今年二月的 2024 世界移動通信大會 (MWC 2024)上展示了部分新一代 AI 工作負(fù)載的示例。

Arm 計算平臺上的移動端 LLM

我們制作了一個虛擬助手演示，在移動端聊天類應(yīng)用上使用了 Meta 的 LLAMA2-7B LLM?；?Arm CPU，無需加速器，即可完全在邊緣側(cè)移動設(shè)備上運行生成式 AI 工作負(fù)載。利用現(xiàn)有的針對 AI 的 CPU 指令，結(jié)合 Arm 計算平臺（包括 Arm AI 軟件庫）針對 LLM 的專門的軟件優(yōu)化，我們實現(xiàn)了出色的性能表現(xiàn)。

從上面的視頻中可以看出，詞元 (Token) 首次響應(yīng)時間表現(xiàn)優(yōu)異，文本生成速率接近每秒 10 個詞元，高于人們的平均閱讀速度。這得益于經(jīng)過高度優(yōu)化的 CPU 例程，它來自于由 Arm 工程團(tuán)隊開發(fā)的軟件庫；與 LLAMA2-7B LLM 中的原生實現(xiàn)相比，詞元首次響應(yīng)時間縮短 50%，文本生成速率提高 20%。

此外，AI 開發(fā)者也可在 Arm CPU 上利用自己的技術(shù)，進(jìn)一步優(yōu)化軟件，讓 LLM 變得更小、更高效、更快速。

LLM 越小、越快，就意味著 AI 處理可以在邊緣側(cè)進(jìn)行。用戶可以享受到響應(yīng)更快、更靈敏的 AI 體驗。此外，由于用戶數(shù)據(jù)僅在移動設(shè)備本地處理，隱私保護(hù)也能做得更好。同時，對于移動端生態(tài)系統(tǒng)而言，這種成本更低、可擴(kuò)展性更強的選擇，也更有利于在數(shù)十億移動設(shè)備上部署 AI。

推動移動設(shè)備上的生成式 AI

作為最為普及的移動端計算平臺和高效計算領(lǐng)域的領(lǐng)導(dǎo)者，Arm 擔(dān)負(fù)著在邊緣側(cè)實現(xiàn)高效、高性能生成式 AI 的責(zé)任。我們已經(jīng)展示了完全基于我們領(lǐng)先的 CPU 技術(shù)所運行的 LLM 的卓越性能。而這僅僅只是開始。

更小、更高效的 LLM，Arm CPU 為移動設(shè)備帶來的更高性能，以及由業(yè)界領(lǐng)先的生態(tài)系統(tǒng)所提供的創(chuàng)新軟件優(yōu)化，三者的結(jié)合將繼續(xù)推動移動端生成式 AI 的普及。

鑒于 Arm CPU 是移動端生成式 AI 創(chuàng)新的核心，作為 AI 的運行基礎(chǔ)，Arm 將持續(xù)賦能每位開發(fā)者，實現(xiàn)無處不在的 AI。

審核編輯：劉清