來源：NVIDIA英偉達(dá)

開放模型正在推動(dòng)新一輪設(shè)備端 AI 浪潮，將創(chuàng)新從云端擴(kuò)展到日常本地設(shè)備。隨著這些模型不斷進(jìn)步，它們的價(jià)值愈發(fā)取決于能否訪問本地實(shí)時(shí)上下文，從而將有意義的洞察轉(zhuǎn)化為行動(dòng)。

為順應(yīng)這一轉(zhuǎn)變，Google 的 Gemma 4 家族全新引入了一類的小巧、快速且具備全模態(tài)能力的模型，能夠在廣泛設(shè)備上實(shí)現(xiàn)高效本地運(yùn)行。

Google 與 NVIDIA 合作，將 Gemma 4 為 NVIDIA GPU 進(jìn)行了優(yōu)化，在多種系統(tǒng)上實(shí)現(xiàn)高效性能。從數(shù)據(jù)中心部署到 NVIDIA RTX 驅(qū)動(dòng)的 PC 和工作站，再到 NVIDIA DGX Spark 個(gè)人 AI 超級(jí)計(jì)算機(jī)以及 NVIDIA Jetson Orin Nano 邊緣 AI 模塊。

Gemma 4：為 NVIDIA GPU 優(yōu)化的緊湊型模型

Gemma 4 開放模型家族的最新成員涵蓋 E2B、E4B、26B 和 31B 變體，專為從邊緣設(shè)備到高性能 GPU 的高效部署而設(shè)計(jì)。

所有配置均采用 Q4_K_M 量化、BS = 1、ISL = 4096 和 OSL = 128，在 NVIDIA GeForce RTX 5090 和 Mac M3 Ultra 臺(tái)式機(jī)上進(jìn)行測(cè)量。Token 生成吞吐量基于 llama.cpp b7789，使用 llama-bench 工具測(cè)得。

新一代緊湊型模型支持多種任務(wù)，包括：

推理：在復(fù)雜問題求解任務(wù)中表現(xiàn)強(qiáng)勁。

編碼：面向開發(fā)者工作流的代碼生成與調(diào)試。

智能體：原生支持結(jié)構(gòu)化工具調(diào)用(函數(shù)調(diào)用)。

視覺、視頻和音頻能力：支持對(duì)象識(shí)別、自動(dòng)語(yǔ)音識(shí)別以及文檔或視頻智能等豐富的多模態(tài)交互。

交錯(cuò)式多模態(tài)輸入：可在單個(gè)提示詞中以任意順序混合文本和圖像。

多語(yǔ)言：開箱即用，支持超過 35 種語(yǔ)言，并在超過 140 種語(yǔ)言上進(jìn)行了預(yù)訓(xùn)練。

E2B 和 E4B 模型專為超高效、低延遲的邊緣推理而打造，可在包括 Jetson Nano 模塊在內(nèi)的多種設(shè)備上以接近零延遲的方式完全離線運(yùn)行。

26B 和 31B 模型專為高性能推理和以開發(fā)者為中心的工作流而設(shè)計(jì)，非常適合代理式 AI 任務(wù)。這些優(yōu)化模型以便捷的方式提供業(yè)界領(lǐng)先的推理能力，可在 NVIDIA RTX GPU 和 DGX Spark 上高效運(yùn)行，為開發(fā)環(huán)境、編碼助手和智能體驅(qū)動(dòng)的工作流提供動(dòng)力。

隨著本地代理式 AI 持續(xù)升溫，OpenClaw 等應(yīng)用正讓 RTX PC、工作站和 DGX Spark 上的長(zhǎng)期 AI 助手成為現(xiàn)實(shí)。最新的 Gemma 4 模型兼容 OpenClaw，允許用戶構(gòu)建能夠調(diào)用個(gè)人文件、應(yīng)用程序和工作流上下文的本地智能體，以實(shí)現(xiàn)任務(wù)自動(dòng)化。查看頁(yè)面了解如何在 RTX GPU 和 DGX Spark 上免費(fèi)運(yùn)行 OpenClaw，或查看 DGX Spark OpenClaw playbook 。

查看 Google DeepMind 公告博客，了解 Gemma 4 家族最新成員的更多信息。

開始上手：在 RTX GPU 和 DGX Spark 上運(yùn)行 Gemma 4

NVIDIA 已與 Ollama 和 llama.cpp 合作，為各個(gè) Gemma 4 模型提供最佳本地部署體驗(yàn)。

要在本地使用 Gemma 4，用戶可以下載 Ollama 來運(yùn)行 Gemma 4 模型，或安裝 llama.cpp 并結(jié)合 Gemma 4 的 GGUF Hugging Face checkpoint 使用。Unsloth 提供首日支持，通過 Unsloth Studio 提供經(jīng)過優(yōu)化和量化的模型，以實(shí)現(xiàn)高效的本地微調(diào)和部署?，F(xiàn)在即可開始在 Unsloth Studio 中運(yùn)行和微調(diào) Gemma 4。

在 NVIDIA GPU 上運(yùn)行 Gemma 4 家族等開放模型能夠?qū)崿F(xiàn)最佳性能。NVIDIA Tensor Core 可加速 AI 推理工作負(fù)載，從而為本地執(zhí)行提供更高吞吐量和更低延遲。CUDA 軟件?？纱_保與主流框架和工具廣泛兼容，使新模型從發(fā)布首日就能高效運(yùn)行。

這套組合使得 Gemma 4 等開放模型可在廣泛系統(tǒng)上擴(kuò)展部署，從邊緣側(cè)的 Jetson Orin Nano 到 RTX PC、工作站和 DGX Spark，無需深度優(yōu)化即可覆蓋。查看 NVIDIA 技術(shù)博客，了解如何在 NVIDIA GPU 上快速上手 Gemma 4 的更多細(xì)節(jié)，并進(jìn)一步了解 NVIDIA 在開放模型方面的工作。

別錯(cuò)過：NVIDIA RTX AI PC 的最新進(jìn)展

請(qǐng)查看 RTX AI Garage 博客，了解 NVIDIA GTC 期間發(fā)布的一系列關(guān)于代理式 AI 的公告，例如面向本地智能體的新開放模型。這些模型包括 NVIDIA Nemotron 3 Nano 4B、Nemotron 3 Super 120B，以及針對(duì) Qwen 3.5 和 Mistral Small 4 的優(yōu)化。

NVIDIA 最近推出了 NVIDIA NemoClaw，這是一套開源技術(shù)棧，可通過提升安全性并支持本地模型來優(yōu)化 NVIDIA 設(shè)備上的 OpenClaw 體驗(yàn)。

Accomplish.ai 宣布推出 Accomplish FREE，一款免費(fèi)版的內(nèi)置模型的開源桌面 AI 智能體。它使用 NVIDIA GPU 在本地運(yùn)行開放權(quán)重模型，同時(shí)通過混合路由器在本地 RTX 硬件與云端之間動(dòng)態(tài)平衡工作負(fù)載，無需調(diào)用 API Key，即可實(shí)現(xiàn)快速、私密、零配置的執(zhí)行體驗(yàn)。

| 作者 Michael Fukuyama