在本次大會上，來自整個生態(tài)系統(tǒng)的專家們將分享有關在本地部署 AI 的見解。

生成式 AI 正在重新定義計算，為在 PC 和工作站上構建、訓練和優(yōu)化 AI 模型解鎖了新途徑。從內容創(chuàng)作、大和小語言模型到軟件開發(fā)，AI 賦能的 PC 和工作站正在革新工作流并提升工作效率。

在 3 月 17 日至 21 日于圣何塞會議中心舉行的 GTC 2025 大會上，泛 AI 生態(tài)的專家將分享有關在本地部署 AI、優(yōu)化模型以及利用先進的硬件和軟件來增強 AI 工作流的見解，并重點介紹 RTX AI PC 和工作站的主要進展。

在 RTX 上進行開發(fā)和部署

RTX GPU 基于專用 AI 硬件 —— Tensor Core 構建而成，能夠為運行算力要求極為苛刻的最新 AI 模型提供所需的計算性能。這些高性能 GPU 可以幫助構建數字人、聊天機器人、AI 生成的播客等。

隨著 GeForce RTX 和 NVIDIA RTX GPU 用戶超過 1 億，開發(fā)者在部署新的 AI 應用和功能時，將能夠面向龐大的受眾群體。在“為 RTX PC 和工作站打造數字人、聊天機器人和 AI 生成的播客”會議中，NVIDIA 高級產品經理 Annamalai Chockalingam 將展示一套端到端工具，供開發(fā)者用于簡化開發(fā)并快速部署 AI 應用。

模型行為

大語言模型（LLM）的使用場景多種多樣，并可延伸到各種復雜任務，如編寫代碼或將日語翻譯為希臘語。但是，由于它們通常在廣泛的應用范圍內利用豐富的知識進行訓練，因此可能不適合執(zhí)行特定任務，例如在電子游戲中生成非玩家角色對話。相比之下，小語言模型會通過減小模型大小來滿足更多本地運行需求，并保持準確性。

在“關注您的語言：構建可在設備上運行的小語言模型”會議中，NVIDIA 高級工程經理 Oluwatobi Olabiyi 將展示一些工具和技術，以便當今的開發(fā)者和發(fā)燒友用于生成、整理和提煉數據集 — 然后訓練可以執(zhí)行目標任務的小語言模型。

在 Windows 工作站上充分發(fā)揮 AI 性能

由于硬件配置和軟件環(huán)境多種多樣，要在基于 Windows 的工作站上優(yōu)化 AI 推理和模型執(zhí)行，需要進行戰(zhàn)略性軟硬件調優(yōu)。在“在 Windows 工作站上優(yōu)化 AI 工作負載：策略和最佳實踐”會議中，將探討 AI 優(yōu)化的最佳實踐，包括模型量化、推理工作流增強和硬件感知調優(yōu)。

NVIDIA 軟件工程師團隊還將介紹面向 ONNX Runtime、NVIDIA TensorRT 和 llama.cpp 的硬件感知優(yōu)化，幫助開發(fā)者更大限度地提高 GPU、CPU 和 NPU 上的 AI 效率。

推動本地 AI 開發(fā)

即使未連接到基于云的服務，在本地基礎設施上構建、測試和部署 AI 模型也能確保安全性和性能。Z by HP 的 AI 解決方案由 NVIDIA RTX GPU 加速，提供在本地開發(fā) AI 所需的工具，同時保持對數據和 IP 的掌控。

參加以下會議了解詳情：

Dell Pro Max 和 NVIDIA：開啟 AI 開發(fā)的未來[S74220]：本次會議將介紹搭載 NVIDIA RTX GPU 的 Dell Pro Max PC、高性能筆記本電腦和面向專業(yè)人士的臺式電腦。了解這兩款功能強大的組合如何幫助快速啟動 AI 戰(zhàn)略，并轉變 AI 開發(fā)者、數據科學家、創(chuàng)作者和高級用戶的創(chuàng)新方式。

借助 Z by HP GenAI Lab 和 AI Studio 開發(fā)并評估本地生成式 AI[S74470]：本次會議將展示 Z by HP 解決方案如何簡化本地模型訓練和部署，利用 NVIDIA NGC Catalog 中的模型和 Galileo 評估技術安全高效地優(yōu)化生成式 AI 項目。

借助 Z by HP GenAI Lab 和 AI Studio 為生成式 AI 開發(fā)提供強效助力[S74465]：本次會議將探討 Z by HP 的 GenAI Lab 和 AI Studio 如何助力本地 LLM 開發(fā)，同時確保全面的數據安全性和控制。了解這些工具如何簡化從實驗到部署的整個 AI 生命周期，同時集成 NVIDIA NGC Catalog 中提供的模型，以提高協(xié)作和工作流效率。

開發(fā)者和發(fā)燒友可以使用 NVIDIA NIM 微服務在 RTX AI PC 和工作站上著手進行 AI 開發(fā)。今天推出的首個公開測試版包括 Llama 3.1 LLM、用于自動語音識別（ASR）的 NVIDIA Riva Parakeet 和用于計算機視覺的 YOLOX。

NIM 微服務是經過優(yōu)化的預構建模型，適用于生成式 AI。它們涵蓋對 PC 開發(fā)至關重要的模態(tài)，并且易于通過行業(yè)標準 API 下載和連接。