NVIDIA 今日發(fā)布能在 NVIDIA RTX AI PC 本地運(yùn)行的基礎(chǔ)模型，為數(shù)字人、內(nèi)容創(chuàng)作、生產(chǎn)力和開(kāi)發(fā)提供強(qiáng)大助力。

這些基礎(chǔ)模型以 NVIDIA NIM 微服務(wù)的形式提供，由全新 GeForce RTX 50 系列 GPU 加速，提供最高可達(dá) 2375 AI TOPS 和 32GB 顯存?；?NVIDIA Blackwell 架構(gòu)的 RTX 50 系列 GPU 是首批支持 FP4 計(jì)算精度的消費(fèi)級(jí) GPU。與上一代產(chǎn)品相比，AI 推理性能提升 2 倍，并讓生成式 AI 模型在本地以更小的顯存占用空間運(yùn)行。

長(zhǎng)期以來(lái)，GeForce 一直是 AI 開(kāi)發(fā)者的重要平臺(tái)。早在 2012 年，首個(gè)由 GPU 加速的深度學(xué)習(xí)網(wǎng)絡(luò) AlexNet 就是在 GeForce GTX 580 上進(jìn)行訓(xùn)練的。在去年發(fā)表的 AI 研究論文中，超過(guò) 30% 都提及了對(duì) GeForce RTX 的使用。

現(xiàn)如今，在生成式 AI 和 RTX AI PC 的助力下，任何人都能成為開(kāi)發(fā)者。借助 AnythingLLM、ComfyUI 和 LangFlow 等新一代低代碼和無(wú)代碼工具，發(fā)燒友能夠通過(guò)簡(jiǎn)單的圖形用戶界面(GUI)在復(fù)雜的工作流中使用 AI 模型。

連接到這些 GUI 的 NIM 微服務(wù)使獲取和部署最新生成式 AI 模型輕而易舉。NVIDIA AI Blueprint 基于 NIM 微服務(wù)構(gòu)建，旨在為數(shù)字人、內(nèi)容創(chuàng)作等應(yīng)用提供易于使用的預(yù)配置參考工作流。

為滿足 AI 開(kāi)發(fā)者和發(fā)燒友日益增長(zhǎng)的需求，領(lǐng)先 PC 制造商和系統(tǒng)集成商即將推出搭載 GeForce RTX 50 系列 GPU 且支持 NIM 的 RTX AI PC。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示，“AI 正在以光速發(fā)展，從感知式 AI 到生成式 AI，再到如今的代理式 AI。NIM 微服務(wù)和 AI Blueprint 為 PC 開(kāi)發(fā)者和發(fā)燒友探索 AI 提供了基礎(chǔ)模塊?！?/p>

NIM 提供迅捷 AI 體驗(yàn)

基礎(chǔ)模型，即使用海量原始數(shù)據(jù)訓(xùn)練而成的神經(jīng)網(wǎng)絡(luò)，是生成式 AI 的基礎(chǔ)模塊。

NVIDIA 將發(fā)布一系列來(lái)自包括 Black Forest Labs、Meta、Mistral 和 Stability AI 等頂尖模型開(kāi)發(fā)者的適用于 RTX AI PC 的 NVIDIA NIM 微服務(wù)。涵蓋大語(yǔ)言模型(LLM)、視覺(jué)語(yǔ)言模型、圖像生成、語(yǔ)音、檢索增強(qiáng)生成(RAG)的嵌入模型、PDF 提取和計(jì)算機(jī)視覺(jué)等應(yīng)用場(chǎng)景。

Black Forest Labs 首席執(zhí)行官 Robin Rombach 表示，“支持 FP4 計(jì)算精度的 GeForce RTX 50 系列 GPU 將使一大批此前僅適用于大型數(shù)據(jù)中心的模型得以在 PC 上運(yùn)行。把 Flux 打造成 NVIDIA NIM 微服務(wù)，讓更多用戶以更快的速度部署和體驗(yàn) AI，同時(shí)提供超乎想象的性能?！?/p>

NVIDIA 今天還宣布推出 Llama Nemotron，這是一系列開(kāi)放許可的基礎(chǔ)模型，能夠在各類代理式任務(wù)中提供極高的精度。Llama Nemotron Nano 模型將作為面向 RTX AI PC 和工作站的 NIM 微服務(wù)提供，在指令遵循、工具調(diào)用、聊天、代碼和數(shù)學(xué)等代理式 AI 任務(wù)方面表現(xiàn)出眾。

NIM 微服務(wù)包含在 PC 上運(yùn)行 AI 所需的關(guān)鍵組件，并針對(duì) NVIDIA GPU 的部署進(jìn)行優(yōu)化，無(wú)論 GPU 在 RTX PC 、工作站，還是在云端。

開(kāi)發(fā)者和發(fā)燒友將能快速下載這些 NIM 微服務(wù)，并可在帶有適用于 Linux 的 Windows 子系統(tǒng)(WSL)的 Windows 11 PC 上設(shè)置和運(yùn)行。

微軟副總裁，Windows 業(yè)務(wù)負(fù)責(zé)人 Pavan Davuluri 表示：“AI 正在快速驅(qū)動(dòng) Windows 11 PC 創(chuàng)新，適用于 Linux 的 Windows 子系統(tǒng)(WSL)和 Windows Copilot Runtime 為 Windows 11 上的 AI 開(kāi)發(fā)提供出色的跨平臺(tái)環(huán)境。NVIDIA NIM 微服務(wù)為 Windows PC 提供優(yōu)化，為開(kāi)發(fā)者和發(fā)燒友提供可立即集成到其 Windows 應(yīng)用中的 AI 模型，從而進(jìn)一步加速 Windows 用戶的 AI 功能部署。”

運(yùn)行在 RTX AI PC 上的 NIM 微服務(wù)將兼容?先進(jìn) AI 開(kāi)發(fā)和智能體框架，包括 AI Toolkit for VSCode、AnythingLLM、ComfyUI、CrewAI、Flowise AI、LangChain、LangFlow 和 LM Studio。開(kāi)發(fā)者可以通過(guò)行業(yè)標(biāo)準(zhǔn)端點(diǎn)，將基于上述框架構(gòu)建的應(yīng)用和工作流連接到運(yùn)行 NIM 微服務(wù)的 AI 模型，無(wú)論在云端、數(shù)據(jù)中心、工作站還是 PC 上，都可通過(guò)統(tǒng)一的接口使用最新技術(shù)。

發(fā)燒友還可通過(guò)即將發(fā)布的 NVIDIA ChatRTX 技術(shù) Demo 體驗(yàn)一系列 NIM 微服務(wù)。

讓代理式 AI 擁有擬人表情

為了向 RTX 發(fā)燒友和開(kāi)發(fā)者展示使用 NIM 微服務(wù)構(gòu)建 AI 智能體和助手的方法，NVIDIA 今天首度公開(kāi) Project R2X。這是一款具有視覺(jué)能力的 PC 虛擬形象，它可以讓用戶需要的信息觸手可及、協(xié)助用戶使用桌面應(yīng)用、進(jìn)行視頻會(huì)議、閱讀和總結(jié)文檔等。

該虛擬形象采用全新生成式 AI 算法 NVIDIA RTX Neural Faces 渲染而成，這種算法可利用完全生成的像素來(lái)增強(qiáng)傳統(tǒng)光柵化渲染。然后，面部通過(guò)基于擴(kuò)散原理的全新 NVIDIA Audio2Face-3D 模型驅(qū)動(dòng)動(dòng)畫(huà)，該模型可改善唇部和舌頭動(dòng)作。R2X 可以通過(guò) CrewAI、Flowise AI 和 LangFlow 等開(kāi)發(fā)者框架連接到 OpenAI 的 GPT 4o 或 xAI 的 Grok 等云端 AI 服務(wù)，以及 NIM 微服務(wù)和 AI Blueprint，如 PDF 檢索器或其他 LLM。

AI Blueprint 即將登陸 PC

NIM 微服務(wù)還可通過(guò) AI Blueprint(可在 RTX PC 上本地運(yùn)行的參考 AI 工作流)供 PC 用戶使用。借助這些藍(lán)圖，開(kāi)發(fā)者能夠基于 PDF 文檔創(chuàng)建播客、生成由 3D 場(chǎng)景引導(dǎo)的令人驚艷的圖像等。

將 PDF 轉(zhuǎn)換為播客的藍(lán)圖可從 PDF 中提取文本、圖像和表格，創(chuàng)建可供用戶編輯的播客腳本。它還能根據(jù)此腳本，使用藍(lán)圖中提供的語(yǔ)音或基于用戶的語(yǔ)音樣本生成完整的音頻錄音。此外，用戶還能與 AI 播客主持人進(jìn)行實(shí)時(shí)對(duì)話，了解有關(guān)特定主題的更多信息。

該藍(lán)圖利用像 Mistral-Nemo-12B-Instruct 這樣的 NIM 微服務(wù)來(lái)處理語(yǔ)言，借助 NVIDIA Riva 進(jìn)行文本轉(zhuǎn)語(yǔ)音和自動(dòng)語(yǔ)音識(shí)別，以及使用 NeMo Retriever 微服務(wù)集合進(jìn)行 PDF 提取。

使用由 3D 引導(dǎo)的生成式 AI Blueprint，藝術(shù)家能對(duì)圖像生成進(jìn)行更精細(xì)的控制。雖然 AI 可以通過(guò)簡(jiǎn)單的文本提示生成令人驚嘆的圖像，但僅使用文字控制圖像的內(nèi)容極具挑戰(zhàn)。有了上述藍(lán)圖，創(chuàng)作者可以借助使用 Blender 等 3D 渲染器布置簡(jiǎn)單的 3D 物體來(lái)引導(dǎo) AI 圖像生成。藝術(shù)家可手動(dòng)或使用 AI 生成創(chuàng)建 3D 資產(chǎn)，將其放置在場(chǎng)景中，并設(shè)置 3D viewport 相機(jī)。由 Flux NIM 微服務(wù)提供支持的預(yù)打包工作流將可以通過(guò)插件(例如 Blender 中由開(kāi)發(fā)者 ACGGit 開(kāi)發(fā)的 ComfyUI-BlenderAI-node)使用當(dāng)前布景生成與 3D 場(chǎng)景相匹配的高質(zhì)量圖像。

NVIDIA NIM 微服務(wù)和 AI Blueprint 將從 2 月起開(kāi)始提供，首發(fā)支持的硬件包含 GeForce RTX 50 系列、GeForce RTX 4090 和 4080 以及 NVIDIA RTX 6000 和 5000 GPU，未來(lái)還會(huì)陸續(xù)提供對(duì)其他 GPU 的支持。宏碁、華碩、戴爾、惠普、聯(lián)想、微星、雷蛇將推出支持 NIM 的 RTX AI PC。