NVIDIA推出生成式AI微服務(wù)，供開發(fā)者在CUDA GPU系統(tǒng)中創(chuàng)建部署生成式AI助手
NVIDIA 于今日推出數(shù)十項企業(yè)級生成式 AI 微服務(wù)，企業(yè)可以利用這些微服務(wù)在自己的平臺上創(chuàng)建和部署定制應(yīng)用，同時保留對知識產(chǎn)權(quán)的完整所有權(quán)和控制權(quán)。
這些云原生微服務(wù)目錄在NVIDIA CUDA平臺上開發(fā)，其中包括NVIDIA NIM微服務(wù)，可適用于 NVIDIA 及合作伙伴生態(tài)系統(tǒng)中 20 多個熱門的 AI 模型進(jìn)行推理優(yōu)化。此外，用戶現(xiàn)能夠以NVIDIA CUDA-X微服務(wù)的形式使用 NVIDIA 加速軟件開發(fā)套件、庫和工具，用于檢索增強(qiáng)生成（RAG）、護(hù)欄、數(shù)據(jù)處理、HPC 等。NVIDIA 還發(fā)布了 20 多項醫(yī)療 NIM 和 CUDA-X 微服務(wù)。
這些精心挑選的微服務(wù)為 NVIDIA 全棧計算平臺增添了新的一層，連接起了由模型開發(fā)人員、平臺提供商和企業(yè)組成的 AI 生態(tài)系統(tǒng)，使其能夠通過標(biāo)準(zhǔn)化的路徑來運行針對 NVIDIA CUDA 安裝基礎(chǔ)（在云、數(shù)據(jù)中心、工作站和 PC 中的數(shù)以億計的 GPU）優(yōu)化的定制 AI 模型。
NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“成熟的企業(yè)平臺坐擁數(shù)據(jù)金礦，這些數(shù)據(jù)可以轉(zhuǎn)化為生成式 AI 助手。我們與合作伙伴生態(tài)系統(tǒng)一起創(chuàng)建的這些容器化 AI 微服務(wù)，是各行業(yè)企業(yè)成為 AI 公司的基石?！?/strong>
NIM 推理微服務(wù)將部署時間從幾周縮短至幾分鐘
NIM 微服務(wù)提供基于 NVIDIA 推理軟件的預(yù)構(gòu)建容器，包括 Triton 推理服務(wù)器 和 TensorRT-LLM，使開發(fā)者能夠?qū)⒉渴饡r間從幾周縮短至幾分鐘。
它們?yōu)檎Z言、語音和藥物發(fā)現(xiàn)等領(lǐng)域提供行業(yè)標(biāo)準(zhǔn) API，使開發(fā)者能夠使用安全托管在自己的基礎(chǔ)設(shè)施中的專有數(shù)據(jù)，來快速構(gòu)建 AI 應(yīng)用。這些應(yīng)用可按需擴(kuò)展，從而為在 NVIDIA 加速計算平臺上運行生產(chǎn)級生成式 AI 提供靈活性和性能。
面向 RAG、數(shù)據(jù)處理、護(hù)欄、HPC 的 CUDA-X 微服務(wù)
CUDA-X 微服務(wù)為數(shù)據(jù)準(zhǔn)備、定制和訓(xùn)練提供端到端的構(gòu)建模塊，助力各行各業(yè)加快開發(fā)生產(chǎn)級 AI。
為了加快 AI 采用，企業(yè)可以使用 CUDA-X 微服務(wù)，包括用于定制語音和翻譯 AI 的 NVIDIA Riva、用于路由優(yōu)化的 NVIDIA cuOpt，以及用于高分辨率氣候和天氣模擬的 NVIDIA Earth-2。
生態(tài)系統(tǒng)通過生成式 AI 微服務(wù)賦能企業(yè)平臺
除了領(lǐng)先的應(yīng)用提供商外，NVIDIA 生態(tài)系統(tǒng)中的數(shù)據(jù)、基礎(chǔ)設(shè)施和計算平臺提供商也在使用 NVIDIA 微服務(wù)，為企業(yè)帶來生成式 AI。
包括 Box、Cloudera、Cohesity、Datastax、Dropbox 和 NetApp 在內(nèi)的頂級數(shù)據(jù)平臺提供商正在使用 NVIDIA 微服務(wù)，幫助客戶優(yōu)化 RAG 管道，并將專有數(shù)據(jù)集成到生成式 AI 應(yīng)用中。Snowflake 正在使用 NeMo Retriever，充分利用企業(yè)數(shù)據(jù)來構(gòu)建 AI 應(yīng)用。
可用性
開發(fā)者可以在 ai.nvidia.com 免費試用 NVIDIA 微服務(wù)。企業(yè)則可以在 NVIDIA 認(rèn)證系統(tǒng)和領(lǐng)先的云平臺上使用 NVIDIA AI Enterprise 5.0 部署生產(chǎn)級 NIM 微服務(wù)。
審核編輯：劉清
-
NVIDIA
+關(guān)注
關(guān)注
14文章
5696瀏覽量
110142 -
GPU芯片
+關(guān)注
關(guān)注
1文章
307瀏覽量
6562 -
生成式AI
+關(guān)注
關(guān)注
0文章
538瀏覽量
1135
原文標(biāo)題：GTC24 | NVIDIA 推出生成式 AI 微服務(wù)，供開發(fā)者在 CUDA GPU 系統(tǒng)中創(chuàng)建部署生成式 AI 助手
文章出處：【微信號：NVIDIA_China，微信公眾號：NVIDIA英偉達(dá)】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
[完結(jié)15章]Java轉(zhuǎn) AI高薪領(lǐng)域必備-從0到1打通生產(chǎn)級AI Agent開發(fā)
Java轉(zhuǎn) AI高薪領(lǐng)域必備 從0到1打通生產(chǎn)級AI Agent開發(fā) 教程資料
Vibe Coding AI全棧開發(fā)實戰(zhàn)
嵌入式AI開發(fā)必看：杜絕幻覺，才是工業(yè)級IDE的核心底氣
AI輔助編程設(shè)計之道：從Spec到Code工程實踐
還在手動拼接 AI 代碼？你的 IDE 早就該升級了
富士通入選2025年Gartner生成式AI工程新興市場象限領(lǐng)導(dǎo)者
不只有AI協(xié)作編程（Vibe Coding）：生成式系統(tǒng)級芯片（GenSoC）將如何把生成式設(shè)計推向硬件層面
智能體化AI和生成式AI的區(qū)別
超過200萬開發(fā)者加入NVIDIA機(jī)器人技術(shù)生態(tài)
評論