NVIDIA 通過(guò)全新 Omniverse 庫(kù)、Cosmos 物理 AI 模型及 AI 計(jì)算基礎(chǔ)設(shè)施，為機(jī)器人領(lǐng)域開(kāi)啟新篇章

·全新 NVIDIA Omniverse NuRec 3D Gaussian Splatting（3DGS）庫(kù)支持大規(guī)模世界重建
·全新 NVIDIA Cosmos 模型支持世界生成與空間推理
·全新 NVIDIA RTX PRO Blackwell 服務(wù)器和 NVIDIA DGX Cloud 讓開(kāi)發(fā)者能夠在任何地方運(yùn)行需求嚴(yán)苛的仿真
·物理 AI 領(lǐng)先者 Amazon Devices & Services、Boston Dynamics、Figure AI 和 Hexagon 采用仿真和合成數(shù)據(jù)生成技術(shù)

廠商供圖

SIGGRAPH——2025 年 8 月11日 ——NVIDIA 宣布推出全新 NVIDIA Omniverse? 庫(kù)和 NVIDIA Cosmos? 世界基礎(chǔ)模型 (WFM)，加速機(jī)器人解決方案的開(kāi)發(fā)和部署。

這些庫(kù)和模型由全新 NVIDIA RTX PRO? 服務(wù)器和 NVIDIA DGX? Cloud提供支持，可幫助開(kāi)發(fā)者在任何地方開(kāi)發(fā)物理精確的數(shù)字孿生，在仿真中捕捉和重建現(xiàn)實(shí)世界，生成用于訓(xùn)練物理 AI模型的合成數(shù)據(jù)，并構(gòu)建理解物理世界的 AI 智能體。

NVIDIA Omniverse 和仿真技術(shù)副總裁 Rev Lebaredian 表示：“計(jì)算機(jī)圖形與 AI 的融合，從根本上改變著機(jī)器人。通過(guò)將 AI 推理與物理精準(zhǔn)的可擴(kuò)展仿真相結(jié)合，我們正幫助開(kāi)發(fā)者打造未來(lái)的機(jī)器人和智能汽車，這將為各行業(yè)帶來(lái)價(jià)值數(shù)萬(wàn)億美元的改變?！?br />
全新 NVIDIA Omniverse 庫(kù)助力世界構(gòu)建應(yīng)用

全新 NVIDIA Omniverse 軟件開(kāi)發(fā)套件 (SDK) 和庫(kù)現(xiàn)已推出，可用于構(gòu)建和部署工業(yè) AI和機(jī)器人開(kāi)發(fā)仿真應(yīng)用。

●全新 Omniverse SDK推出了 MuJoCo (MJCF) 與通用場(chǎng)景描述 (OpenUSD)之間的數(shù)據(jù)互操作性，幫助超過(guò) 250,000 名 MJCF 機(jī)器人學(xué)習(xí)開(kāi)發(fā)者無(wú)縫地模擬各平臺(tái)的機(jī)器人。
●全新 Omniverse NuRec 庫(kù)和 AI 模型引入了 Omniverse RTX 光線追蹤 3D Gaussian Splatting（3DGS）技術(shù)，這種渲染技術(shù)可幫助開(kāi)發(fā)者利用傳感器數(shù)據(jù)，在 3D 中截取、重建和模擬現(xiàn)實(shí)世界。
●NVIDIA Isaac Sim? 5.0和 NVIDIA Isaac Lab 2.2開(kāi)源機(jī)器人仿真和學(xué)習(xí)框架現(xiàn)已在 GitHub 上提供。Isaac Sim現(xiàn)在包括 NuRec 神經(jīng)渲染和基于 OpenUSD 的全新機(jī)器人及傳感器模式，幫助機(jī)器人開(kāi)發(fā)者縮小仿真與現(xiàn)實(shí)之間的差距。

Omniverse NuRec 渲染現(xiàn)已集成到超過(guò) 15 萬(wàn)名開(kāi)發(fā)者使用的領(lǐng)先開(kāi)源模擬器 CARLA中。 智能汽車(AV) 工具鏈領(lǐng)先者 Foretellix正在集成 NuRec, NVIDIA Omniverse Sensor RTX? 和 Cosmos Transfer，以增強(qiáng)其可擴(kuò)展的合成數(shù)據(jù)生成能力，提供物理精準(zhǔn)的場(chǎng)景。 Voxel51的視覺(jué)和多模態(tài) AI 數(shù)據(jù)引擎 FiftyOne 支持 NuRec，幫助簡(jiǎn)化重建的數(shù)據(jù)準(zhǔn)備工作。 FiftyOne 的客戶包括福特和保時(shí)捷等。

Boston Dynamics、Figure AI、Hexagon、RAI Institute、Lightwheel 和 Skild AI 正在采用 Omniverse 庫(kù)、Isaac Sim 和 Isaac Lab，加速其 AI 機(jī)器人開(kāi)發(fā)。 Amazon Devices & Services 正在使用它們來(lái)支持新的制造解決方案。

Cosmos 推動(dòng)機(jī)器人世界生成進(jìn)步

Cosmos WFM 下載量超過(guò) 200 萬(wàn)次，可幫助開(kāi)發(fā)者通過(guò)文本、圖像和視頻提示大規(guī)模生成各種用于訓(xùn)練機(jī)器人的數(shù)據(jù)。

NVIDIA 在 SIGGRAPH 大會(huì)上宣布的新模型在合成數(shù)據(jù)生成速度、模型精度、語(yǔ)言支持和控制方面取得了重大進(jìn)步：

●Cosmos Transfer-2即將發(fā)布，它簡(jiǎn)化了提示并能從地面實(shí)況 3D 仿真場(chǎng)景或空間控制輸入（如深度、分割、邊緣和高清地圖）中，快速生成逼真的合成數(shù)據(jù)。
●Cosmos Transfer 的精簡(jiǎn)版本將 70 個(gè)步驟的蒸餾過(guò)程簡(jiǎn)化為一個(gè)步驟，開(kāi)發(fā)者能夠以前所未有的速度在 NVIDIA RTX PRO 服務(wù)器上運(yùn)行模型。

Lightwheel、Moon Surgical 和 Skild AI 正在利用 Cosmos Transfer 大規(guī)模模擬各種條件，加速物理 AI 訓(xùn)練。

Cosmos Reason 突破對(duì)世界的理解

自 OpenAI 的 CLIP 模型推出以來(lái)，視覺(jué)語(yǔ)言模型(VLM) 改變了物體和模式識(shí)別等計(jì)算機(jī)視覺(jué)任務(wù)。但是，它們尚未能夠解決多步驟任務(wù)，也無(wú)法處理模糊或新穎的體驗(yàn)。

NVIDIA Cosmos Reason是一款面向物理 AI 和機(jī)器人開(kāi)發(fā)的全新開(kāi)源、可定制的 70 億參數(shù)推理 VLM，可讓機(jī)器人和視覺(jué) AI 智能體像人類一樣推理，利用先驗(yàn)知識(shí)、物理理解和常識(shí)，理解現(xiàn)實(shí)世界并付諸行動(dòng)。

Cosmos Reason 可用于機(jī)器人開(kāi)發(fā)和物理 AI 應(yīng)用，包括：

●數(shù)據(jù)管理與注釋，幫助開(kāi)發(fā)者自動(dòng)對(duì)海量、多樣化的訓(xùn)練數(shù)據(jù)集進(jìn)行高質(zhì)量管理與注釋。
●機(jī)器人規(guī)劃和推理，在機(jī)器人視覺(jué)語(yǔ)言行為 (VLA) 模型中，充當(dāng)有意識(shí)、有條理決策的大腦。Cosmos Reason 讓機(jī)器人能夠解讀環(huán)境，并在收到復(fù)雜指令時(shí)，將其分解為任務(wù)，并運(yùn)用常識(shí)執(zhí)行這些任務(wù)，即使是在不熟悉的環(huán)境中。
●視頻分析 AI 智能體基于可用于視頻搜索和總結(jié)的 NVIDIA Blueprint 構(gòu)建，能夠從海量視頻數(shù)據(jù)中提取有價(jià)值的洞察并進(jìn)行根本原因分析。

NVIDIA 的機(jī)器人和 NVIDIA DRIVE? 團(tuán)隊(duì)正在使用 Cosmos Reason 進(jìn)行數(shù)據(jù)管理和篩選、注釋和 VLA 后訓(xùn)練。Uber 正使用它為輔助駕駛訓(xùn)練數(shù)據(jù)添加注釋和字幕。

Magna正在其城市配送平臺(tái)（City Delivery platform）中使用 Cosmos Reason 進(jìn)行開(kāi)發(fā)。該平臺(tái)是一種完全自主、低成本的即時(shí)配送解決方案，旨在幫助車輛更快地適應(yīng)新城市。Cosmos Reason 為車輛的長(zhǎng)期軌跡規(guī)劃器增加了對(duì)世界的理解能力。VAST Data、Milestone Systems 和 Linker Vision正在采用 Cosmos Reason 實(shí)現(xiàn)城市和工業(yè)環(huán)境的自動(dòng)化交通監(jiān)控，提高安全性，并提升視覺(jué)檢查能力。

全新 NVIDIA AI 基礎(chǔ)設(shè)施為任何地方的機(jī)器人開(kāi)發(fā)工作負(fù)載提供支持

為幫助開(kāi)發(fā)者充分利用這些先進(jìn)技術(shù)和軟件庫(kù)，NVIDIA 宣布推出專為極高要求工作負(fù)載而設(shè)計(jì)的 AI 基礎(chǔ)設(shè)施。

●NVIDIA RTX PRO Blackwell 服務(wù)器為訓(xùn)練、合成數(shù)據(jù)生成、機(jī)器人學(xué)習(xí)和仿真等所有機(jī)器人開(kāi)發(fā)工作負(fù)載提供統(tǒng)一架構(gòu)。
●NVIDIA DGX Cloud現(xiàn)已在 Microsoft Azure Marketplace上提供，為 Omniverse 開(kāi)發(fā)者提供一個(gè)完全托管的平臺(tái)，簡(jiǎn)化從云端大規(guī)模流式傳輸基于 OpenUSD 和 NVIDIA RTX? 的應(yīng)用，從而最大限度地減少基礎(chǔ)設(shè)施編排和管理。Accenture 和 Hexagon 是首批采用該平臺(tái)的行業(yè)領(lǐng)先者。

加速開(kāi)發(fā)者生態(tài)系統(tǒng)

為了幫助機(jī)器人開(kāi)發(fā)者和物理 AI 開(kāi)發(fā)者推動(dòng) 3D 和仿真技術(shù)的采用，NVIDIA 還宣布：

●OpenUSD 課程和認(rèn)證：滿足對(duì)通用場(chǎng)景描述專業(yè)知識(shí)的需求，由 OpenUSD 聯(lián)盟成員 Adobe、Amazon Robotics、Ansys（Synopsys 旗下）、Autodesk、Pixar、PTC、Rockwell Automation、SideFX、Siemens、TCS 和 Trimble 以及 Hexagon 等行業(yè)領(lǐng)先者的支持。
●與 Lightwheel 開(kāi)源協(xié)作，將機(jī)器人策略訓(xùn)練和評(píng)估框架集成到 NVIDIA Isaac Lab 中，具備并行強(qiáng)化學(xué)習(xí)訓(xùn)練功能，以及機(jī)器人操作和運(yùn)動(dòng)的基準(zhǔn)測(cè)試和仿真就緒資產(chǎn)。