作者 / Google AI Edge 團(tuán)隊(duì)

前不久，Google DeepMind 推出了 Gemma 4，這是一系列業(yè)界領(lǐng)先的開放模型，重塑了端側(cè) AI 的可能性。Gemma 4 已通過 Apache 2.0 許可發(fā)布，為開發(fā)者提供了強(qiáng)大的端側(cè) AI 開發(fā)工具包。借助 Gemma 4，您將不再局限于簡(jiǎn)單的聊天機(jī)器人，而是可以構(gòu)建直接在本地設(shè)備上運(yùn)行的智能體和自主 AI 應(yīng)用場(chǎng)景。Gemma 4 支持多步規(guī)劃、自主行動(dòng)、離線代碼生成，甚至音視頻處理，且無需專門的微調(diào)。同時(shí)，該模型原生支持 140 多種語言，旨在服務(wù)全球開發(fā)者與用戶。

我們很高興地宣布，Gemma 4 強(qiáng)大的端側(cè)能力現(xiàn)已正式開放體驗(yàn)!您可以通過全新的 AICore 開發(fā)者預(yù)覽版訪問 Android 內(nèi)置的 Gemma 4 模型，或借助 Google AI Edge 在移動(dòng)端、桌面端和邊緣設(shè)備上構(gòu)建具有智能體能力的應(yīng)用內(nèi)體驗(yàn)。在本篇文章中，我們將向您展示如何通過 Google AI Edge Gallery 和 LiteRT-LM 快速上手 Google AI Edge。

在 Google AI Edge Gallery 中探索 Gemma 4 的 Agent Skills

Google AI Edge Gallery 已在 iOS 和 Android 上線，讓您可以構(gòu)建并測(cè)試完全在端側(cè)運(yùn)行的 AI 體驗(yàn)。我們非常高興地宣布推出 "Agent Skills"，這是首批完全在端側(cè)運(yùn)行多步自主智能體工作流的應(yīng)用之一。在 Gemma 4 的驅(qū)動(dòng)下，Agent Skills 可以:

擴(kuò)充知識(shí)庫: Gemma 4 可以通過調(diào)用各種 "Skills"，訪問其初始訓(xùn)練數(shù)據(jù)之外的信息，從而實(shí)現(xiàn)智能體增強(qiáng)型體驗(yàn)。例如，您可以構(gòu)建一個(gè)查詢維基百科的技能，讓智能體能夠查詢并解答各類百科常識(shí)。

生成豐富的交互式內(nèi)容: 將段落或視頻轉(zhuǎn)化為用于學(xué)習(xí)的精簡(jiǎn)摘要或?qū)W習(xí)閃卡，或?qū)?shù)據(jù)轉(zhuǎn)化為交互式的可視化視圖或圖表。例如，您可以創(chuàng)建一個(gè) Skill，根據(jù)用戶的語音輸入，自動(dòng)總結(jié)并展示每日睡眠時(shí)長(zhǎng)和情緒趨勢(shì)。

拓展 Gemma 4 的核心能力: 將 Gemma 4 與其他模型 (如文本轉(zhuǎn)語音、圖像生成或音樂合成模型) 進(jìn)行集成。例如，您可以利用 Skills，為照片配上與氛圍完美契合的音樂。

打造全面的端到端體驗(yàn): 用戶無需在多個(gè)應(yīng)用之間切換，只需通過與 Gemma 4 對(duì)話，即可管理復(fù)雜的工作流并構(gòu)建自己的應(yīng)用。為了直觀展示這一能力，我們構(gòu)建了一個(gè)可以描述并播放動(dòng)物叫聲的可運(yùn)行應(yīng)用。

想要親身體驗(yàn) Gemma 4 E2B 和 E4B 模型的實(shí)際表現(xiàn)，請(qǐng)立即探索 Google AI Edge Gallery 應(yīng)用。在應(yīng)用內(nèi)，借助我們提供的指南，您可以輕松地開始實(shí)驗(yàn)并創(chuàng)建您的專屬 Skills。我們迫不及待地想看到您構(gòu)建的作品，歡迎在 GitHub Discussion 中分享您的 Skills!

借助 LiteRT-LM 實(shí)現(xiàn) Gemma 4 的跨設(shè)備部署

對(duì)于希望在應(yīng)用內(nèi)或更廣泛的設(shè)備上部署 Gemma 4 的開發(fā)者，LiteRT-LM 提供了卓越的性能，能夠覆蓋各類硬件生態(tài)。LiteRT-LM 在 LiteRT 的基礎(chǔ)上增加了生成式 AI 專用庫，而 LiteRT 已憑借其高性能庫 XNNPack 和 ML Drift 深受數(shù)百萬 Android 和端側(cè)開發(fā)者的信賴。LiteRT-LM 構(gòu)建于此技術(shù)棧之上，并通過以下新特性增強(qiáng)了模型性能:

極小的內(nèi)存占用: 得益于 LiteRT 對(duì) 2-bit 和 4-bit 權(quán)重的支持，以及內(nèi)存映射 (mmap) 的逐層嵌入技術(shù)，在某些設(shè)備上運(yùn)行 Gemma 4 E2B 的內(nèi)存占用僅需不到 1.5 GB。

約束解碼: 每次都能獲得結(jié)構(gòu)化、可預(yù)測(cè)的輸出，確保您的 AI 驅(qū)動(dòng)型應(yīng)用和工具調(diào)用腳本在生產(chǎn)環(huán)境中保持穩(wěn)定。

動(dòng)態(tài)上下文: 能夠靈活地在 CPU 和 GPU 上處理單一模型并支持動(dòng)態(tài)上下文長(zhǎng)度，讓您可以充分利用 Gemma 4 的 128K 上下文窗口。

為了支持智能體用例所需的超長(zhǎng)上下文，LiteRT-LM 利用前沿的 GPU 優(yōu)化技術(shù)，在不到 3 秒的時(shí)間內(nèi)即可處理跨越 2 個(gè)不同 Skills 的 4,000 個(gè)輸入 token。

LiteRT-LM 還將較小規(guī)格的 Gemma 4 模型帶到了物聯(lián)網(wǎng)和邊緣設(shè)備，并在多種平臺(tái)上展現(xiàn)出引人注目的性能。其中包括 Raspberry Pi 5，在 CPU 上運(yùn)行時(shí)，其預(yù)填充 (prefill) 速度達(dá)到 133 token/秒，解碼 (decode) 速度為 7.6 token/秒;而 Qualcomm Dragonwing IQ8 上的 NPU 加速則將性能提升至更令人驚嘆的 3,700 預(yù)填充 token/秒和 31 解碼 token/秒。

全平臺(tái)運(yùn)行

Gemma 4 現(xiàn)已發(fā)布，并實(shí)現(xiàn)了前所未有的廣泛平臺(tái)支持:

移動(dòng)端: 支持 Android 和 iOS 的 CPU/GPU 運(yùn)行。開發(fā)者還可以通過 Android AICore 在系統(tǒng)層面訪問并部署 Android 內(nèi)置且經(jīng)過優(yōu)化的 Gemma 4 模型。

桌面端與 Web 端: 在 Windows、Linux 和 macOS (通過 Metal) 上擁有流暢性能，并支持由 WebGPU 驅(qū)動(dòng)的原生瀏覽器執(zhí)行。

物聯(lián)網(wǎng)與機(jī)器人技術(shù): 我們將 Gemma 4 帶到了 Raspberry Pi 5，以及賦能 Arduino VENTUNO Q 的 Qualcomm Dragonwing IQ8 處理器等端側(cè)。

我們還推出了全新的 Python 包和 CLI 工具，讓您在控制臺(tái)中體驗(yàn) Gemma 變得前所未有的簡(jiǎn)單，并為物聯(lián)網(wǎng)設(shè)備上基于 Gemma 的 Python 流水線提供支持。litert-lm CLI 已在 Linux、macOS 和 Raspberry Pi 上可用，開發(fā)者無需編寫任何代碼即可嘗試最新的 Gemma 4 模型能力。該 CLI 現(xiàn)已支持工具調(diào)用，為 Google AI Edge Gallery 中的 Agent Skills 提供支持。LiteRT-LM 的 Python bindings 提供了從 Python 深度定制設(shè)備端大模型流水線的靈活性。借助我們的指南，在終端中開始使用 LiteRT-LM 非常簡(jiǎn)單。

端側(cè)智能體體驗(yàn)的時(shí)代已經(jīng)到來，我們希望您已準(zhǔn)備好在端側(cè)開啟構(gòu)建之旅。無論您在何種設(shè)備上進(jìn)行開發(fā)，請(qǐng)通過 Google AI Edge Gallery 中的 Agent Skills 示例以及 LiteRT-LM 入門指南開啟您的旅程。我們迫不及待地想看到您的作品!