開源生成式 AI 模型不再局限于數(shù)據(jù)中心，而是開始深入到現(xiàn)實(shí)世界的各種機(jī)器中。從 Orin 到 Thor，NVIDIA Jetson 系列正在成為運(yùn)行 NVIDIA Nemotron、Cosmos 和 Isaac GR00T 等模型以及千問大模型、Gemma、Mistral AI、GPT-OSS、PI 等社區(qū)模型的通用平臺(tái)。

Cat 306 CR小型挖掘機(jī)重約八噸，尺寸緊湊，可以裝進(jìn)標(biāo)準(zhǔn)集裝箱。當(dāng)工地空間有限時(shí)，例如在建筑物附近挖掘公用設(shè)施溝渠或在密集城區(qū)挖掘地下室，承包商會(huì)租用這種設(shè)備。

它的駕駛室空間接近電話亭大小，操作員需要身體靠近控制臺(tái)，雙手各握兩個(gè)操縱桿。這套系統(tǒng)具有一定的學(xué)習(xí)門檻。

在今年初的 CES 展會(huì)上，這款機(jī)器已經(jīng)能夠回答問題了。

在演示中，Cat AI Assistant 運(yùn)行在NVIDIA Jetson Thor平臺(tái)上。該平臺(tái)是一個(gè)為工業(yè)和機(jī)器人系統(tǒng)設(shè)計(jì)的實(shí)時(shí)推理邊緣 AI 平臺(tái)。為了實(shí)現(xiàn)快速準(zhǔn)確的自然語音交互，該系統(tǒng)采用了NVIDIA Nemotron語音模型，同時(shí)借助 Qwen3 4B，可以通過 vLLM 本地服務(wù)，確保無云連接的情況下，以低延遲解析請(qǐng)求并生成響應(yīng)。

除了推動(dòng)企業(yè)創(chuàng)新，開放模型還為開發(fā)者開辟了自由構(gòu)建與實(shí)驗(yàn)的廣闊空間。通過在 NVIDIA Jetson 上運(yùn)行 OpenClaw，開發(fā)者可打造個(gè)人全天候在線的邊緣 AI 助手。不僅能零成本調(diào)用 API，還能確保完整的數(shù)據(jù)隱私。

所有 Jetson 開發(fā)套件均支持 OpenClaw，用戶能夠靈活切換 20 億至 300 億參數(shù)規(guī)模的開放模型。憑借本地運(yùn)行的前沿級(jí) AI 助手，用戶可實(shí)時(shí)處理晨間簡報(bào)、自動(dòng)化日常任務(wù)、進(jìn)行代碼審查并控制智能家居系統(tǒng)——全部在本地實(shí)時(shí)完成。

從云端到邊緣

在過去一段時(shí)間，開放模型通常部署在最容易提供支持的環(huán)境中。

它們運(yùn)行在數(shù)據(jù)中心，依賴彈性計(jì)算和持續(xù)穩(wěn)定的網(wǎng)絡(luò)連接提供支撐。然而，云部署會(huì)帶來延遲成本和持續(xù)的計(jì)算成本，且這些成本會(huì)隨著每次查詢線性增長。

而物理系統(tǒng)的優(yōu)化重點(diǎn)則不同。它們需要低延遲，因?yàn)闄C(jī)器必須與人和環(huán)境實(shí)時(shí)互動(dòng)；需要功耗受控，以適應(yīng)設(shè)備的硬件限制；以及穩(wěn)定一致的行為，因?yàn)槿魏尾淮_定性都會(huì)帶來風(fēng)險(xiǎn)。

此外，還存在供應(yīng)層面的問題。內(nèi)存短缺推高了全行業(yè)的成本。Jetson 通過將計(jì)算單元與內(nèi)存集成于單個(gè)系統(tǒng)級(jí)模塊 (SoM) 中，不僅加速了客戶的硬件設(shè)計(jì)進(jìn)程，也使元器件采購與驗(yàn)證比采用分立方案更為高效可靠。

與此同時(shí)，隨著模型效率不斷提升，開發(fā)者也開始提出一個(gè)更本質(zhì)的問題：不再糾結(jié)“哪個(gè)模型單獨(dú)性能最強(qiáng)”，而是思考“它在哪里運(yùn)行才最合理”。

如今，答案越來越明確地指向設(shè)備端。例如，入門級(jí)生成式 AI 模型可從 Jetson Orin Nano 8GB 起步。

大規(guī)模構(gòu)建自主物理 AI 系統(tǒng)

對(duì)物理AI系統(tǒng)而言，生成式 AI 模型正在顯著拓展能力邊界。

卡特彼勒正在開發(fā)的駕駛艙內(nèi) Cat AI 助手，可在本地同時(shí)運(yùn)行語音與語言模型，并結(jié)合可信的機(jī)器上下文，為操作員提供指導(dǎo)與安全輔助功能。

在 CES 上，F(xiàn)ranka Robotics 展示了這一理念在機(jī)器人領(lǐng)域的實(shí)際應(yīng)用：該公司 FR3 Duo 雙臂系統(tǒng)在設(shè)備上端到端運(yùn)行 NVIDIA GR00T N1.6 模型，從環(huán)境感知到動(dòng)作執(zhí)行，全程無需任務(wù)腳本。控制策略完全在本地運(yùn)行。

在機(jī)器人研究領(lǐng)域，NVIDIA GEAR 實(shí)驗(yàn)室的 SONIC 項(xiàng)目利用超過 1 億幀的動(dòng)作捕捉數(shù)據(jù)訓(xùn)練人形機(jī)器人控制器，隨后將所得策略部署到實(shí)體機(jī)器人上。其中，運(yùn)動(dòng)學(xué)規(guī)劃器在Jetson Orin上運(yùn)行，單次推理僅需約 12 毫秒，策略控制環(huán)路以 50 Hz 頻率穩(wěn)定運(yùn)行。所有計(jì)算均在設(shè)備本地完成。

這一范式也延伸至開發(fā)者社區(qū)。來自伊利諾伊大學(xué)香檳分校 (UIUC) SIGRobotics 社團(tuán)的一支團(tuán)隊(duì)，借助在 Jetson Thor 上運(yùn)行的 GR00T N1.5 模型，打造了一臺(tái)雙臂抹茶制作機(jī)器人，并在 NVIDIA 具身 AI 黑客松中榮獲第一名。

紐約大學(xué)機(jī)器人與具身智能中心也在持續(xù)推動(dòng)這一方向的研究。該團(tuán)隊(duì)近期在 Jetson Thor 上運(yùn)行其YOR 機(jī)器人，借助 NVIDIA Blackwell 架構(gòu)的強(qiáng)大算力處理 AI 驅(qū)動(dòng)運(yùn)動(dòng)所需的復(fù)雜計(jì)算任務(wù)。初步結(jié)果顯示，YOR 能夠執(zhí)行精細(xì)的抓取與放置任務(wù)，在面對(duì)新物體和場景變化時(shí)展現(xiàn)出更強(qiáng)的泛化能力與穩(wěn)定性，從而加速其在烹飪、洗衣等家庭場景中的應(yīng)用進(jìn)程。

獨(dú)立研究者也得出了相似結(jié)論。Hugging Face 多模態(tài)研究負(fù)責(zé)人 Andrés Marafioti 在Jetson AGX Orin 上構(gòu)建了一個(gè)代理式 AI 系統(tǒng)，能夠跨模型調(diào)度任務(wù)并自主安排工作流。某天深夜，該智能體給他發(fā)了一條消息：“去睡覺吧，一切明早都會(huì)準(zhǔn)備好?！?/p>

Collabnix 社區(qū)的開發(fā)者 Ajeet Singh Raina 展示了如何在 NVIDIA Jetson Thor 上運(yùn)行OpenClaw，打造一個(gè)全天候運(yùn)行的個(gè)人 AI 助手。該配置支持用戶對(duì)其自有數(shù)據(jù)進(jìn)行私有化的大語言模型推理，同時(shí)通過本地網(wǎng)關(guān)管理電子郵件和日歷。

Jetson 正成為新標(biāo)準(zhǔn)

NVIDIA Jetson 已成為在邊緣端運(yùn)行開放模型的通用平臺(tái)。

它全面支持各類開放模型與 AI 框架，開發(fā)者可在邊緣端靈活部署幾乎任何生成式 AI 工作負(fù)載。

模型基準(zhǔn)測試可在Jetson AI Lab獲取，也可查看開放模型社區(qū)提供的詳細(xì)教程。Jetson Thor 在所有主流生成式 AI 模型上均提供領(lǐng)先的推理性能。

Gemma：基于 Google Gemini 研究成果打造，Gemma 3 是 Jetson 平臺(tái)上的一款多功能主力模型。它原生支持多模態(tài)，意味著能“看”并“說”超過 140 種語言。在 Jetson Thor 上，它可處理高達(dá) 128K 的上下文窗口，非常適合需要記憶一長串復(fù)雜或多步驟指令的機(jī)器人應(yīng)用。

gpt-oss-20B：這款來自 OpenAI 的模型通過在 Jetson Thor 和 Orin 上本地運(yùn)行，即可提供接近頂尖水平的推理性能，顯著降低了先進(jìn) AI 的部署門檻，實(shí)現(xiàn)高性價(jià)比推理。

Mistral AI：全新的 Mistral 3 開放模型系列為開發(fā)者和企業(yè)提供了業(yè)界領(lǐng)先的準(zhǔn)確性、效率與定制能力。該系列包含從 3B 到 14B 參數(shù)的小型密集模型，體積小巧卻異常智能。Jetson 開發(fā)者可使用 NVIDIA Jetson Thor 上的 vLLM 容器，在單并發(fā)場景下實(shí)現(xiàn)每秒 52 個(gè) token 的生成速度，在八并發(fā)時(shí)可達(dá)每秒 273 個(gè) token。

NVIDIA Cosmos：該領(lǐng)先開放推理視覺語言模型，使機(jī)器人和 AI 智能體能夠像人類一樣在物理世界中看見、理解并行動(dòng)。其 8B 和 2B 版本均可在 Jetson 上高效運(yùn)行，提供先進(jìn)的時(shí)空感知與推理能力。

NVIDIA Isaac GR00TN1.6：一款面向通用機(jī)器人技能的開放視覺語言動(dòng)作模型 (VLA)。開發(fā)者可用它構(gòu)建能感知環(huán)境、理解指令并在多種任務(wù)、環(huán)境和機(jī)器人形態(tài)中執(zhí)行動(dòng)作的機(jī)器人。在 Jetson Thor 上，完整的 GR00T N1.6 管線可在設(shè)備端本地運(yùn)行，實(shí)現(xiàn)實(shí)時(shí)感知、空間理解與快速響應(yīng)。

NVIDIA Nemotron：一套包含開放模型、數(shù)據(jù)集與技術(shù)組合，賦能用戶構(gòu)建高效、精準(zhǔn)、專用的代理式 AI 系統(tǒng)，面向先進(jìn)推理、編程、視覺理解、代理式任務(wù)、安全性、語音與信息處理等場景。Nemotron 3 Nano 9B 模型可在 Jetson Orin Nano Super 上基于 llama.cpp 高效運(yùn)行，性能達(dá)每秒處理 9 個(gè) token。

PI 0.5： Physical Intelligence 推出的 VLA 模型，使機(jī)器人能理解指令，并憑借強(qiáng)大的泛化能力與實(shí)時(shí)適應(yīng)性，自主執(zhí)行復(fù)雜的現(xiàn)實(shí)世界任務(wù)。NVIDIA Jetson Thor 可提供每秒 120 個(gè)動(dòng)作 token 的輸出，為低延遲、高響應(yīng)性的物理 AI 部署提供強(qiáng)勁支持。

Qwen 3.5：阿里巴巴推出的系列模型 (包括最新 Qwen 3.5 版本)，涵蓋密集模型與混合專家 (MoE) 模型，在推理、編程、多模態(tài)理解和長上下文處理方面表現(xiàn)卓越。Jetson Thor 為千問系列模型提供了了優(yōu)化性能，例如Qwen 3.5-35B-A3B模型可實(shí)現(xiàn)每秒處理 35 個(gè) token 的推理速度，使實(shí)時(shí)交互成為可能。

任何開發(fā)者均可對(duì)這些模型進(jìn)行微調(diào)，構(gòu)建專用的物理 AI 智能體，并將其無縫部署到物理 AI 系統(tǒng)中。NVIDIA Jetson 平臺(tái)全面支持 NVIDIA TRT、Llama.cpp、Ollama、vLLM、SGLang 等主流 AI 框架。

在 Jetson 上嘗試部署開放模型

開發(fā)者可學(xué)習(xí) Hugging Face 上的教程，例如《在Jetson 上部署開源視覺語言模型》，并觀看最新直播演示。通過該教程，學(xué)習(xí)如何在 NVIDIA Jetson 上運(yùn)行 OpenClaw。

歡迎參加GTC 2026，見證實(shí)際運(yùn)行效果。NVIDIA 將展示開放模型如何從數(shù)據(jù)中心走向真實(shí)世界中的機(jī)器，將在“工業(yè)自主化的未來”專題討論會(huì)上的深度分享相關(guān)洞察。

觀看 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛的GTC 主題演講，并關(guān)注物理 AI、機(jī)器人與視覺 AI相關(guān)專場會(huì)議。

卡特彼勒技術(shù)亮點(diǎn)

NVIDIA Jetson Thor：面向工業(yè)與機(jī)器人系統(tǒng)的實(shí)時(shí)邊緣 AI 推理平臺(tái)

NVIDIA Riva：采用 Parakeet ASR 與 Magpie TTS 的語音 AI 框架

Qwen3 4B：用于意圖解析與生成回復(fù)的輕量級(jí)大語言模型

vLLM：在邊緣端實(shí)現(xiàn)高效 LLM 推理服務(wù)的運(yùn)行時(shí)間

CatHelios：提供可信的設(shè)備上下文統(tǒng)一數(shù)據(jù)平臺(tái)

NVIDIA Omniverse：面向工業(yè)工作流的數(shù)字孿生與仿真框架