本文是洞悉 Omniverse 系列文章。“洞悉 Omniverse” 重點(diǎn)介紹開發(fā)者、3D 從業(yè)者與企業(yè)如何使用 OpenUSD 和 NVIDIA Omniverse 的最新進(jìn)展深入改變他們的工作流。

AI 與 OpenUSD 通過實(shí)現(xiàn)以仿真為中心的開發(fā)策略，推動(dòng)安全、可擴(kuò)展的智能汽車開發(fā)。

仿真駕駛環(huán)境使工程師能夠在無數(shù)真實(shí)和邊際場(chǎng)景中安全、高效地訓(xùn)練、測(cè)試和驗(yàn)證智能汽車，而且沒有物理測(cè)試的風(fēng)險(xiǎn)和成本。

這些仿真環(huán)境可通過兩種方式生成：對(duì)智能汽車車隊(duì)采集的現(xiàn)實(shí)世界數(shù)據(jù)進(jìn)行神經(jīng)重建或使用世界基礎(chǔ)模型（WFM，一種理解物理學(xué)與現(xiàn)實(shí)世界屬性的神經(jīng)網(wǎng)絡(luò)），尤其是 WFM 可用于生成提高輔助駕駛仿真效果的合成數(shù)據(jù)集。

Cosmos Predict-2、Cosmos Transfer-1 NVIDIA NIM 微服務(wù)預(yù)覽版、Cosmos Reason 等關(guān)鍵創(chuàng)新技術(shù)正在以空前的規(guī)模提升智能汽車開發(fā)者生成合成數(shù)據(jù)、構(gòu)建逼真仿真環(huán)境和驗(yàn)證安全系統(tǒng)的能力。

通用場(chǎng)景描述（OpenUSD）作為物理 AI 應(yīng)用的統(tǒng)一數(shù)據(jù)框架和標(biāo)準(zhǔn)，實(shí)現(xiàn)了仿真資產(chǎn)在整條開發(fā)管線中的無縫集成與互操作性。OpenUSD 所帶來的標(biāo)準(zhǔn)化在確保 3D 管線的可擴(kuò)展性方面起到了關(guān)鍵作用。

通過NVIDIA Omniverse（一個(gè)用于構(gòu)建基于 OpenUSD 的物理 AI 應(yīng)用的應(yīng)用編程接口、軟件開發(fā)套件和服務(wù)平臺(tái)），開發(fā)者可使用 WFM 和神經(jīng)重建技術(shù)進(jìn)行世界級(jí)規(guī)模的仿真。

首批使用 Cosmos 模型的企業(yè)包括 Foretellix、Mcity、Oxa、Parallel Domain、Plus AI、Uber 等領(lǐng)先的智能汽車企業(yè)。

為可擴(kuò)展、逼真的仿真建立基礎(chǔ)

NVIDIA 最新 WFM ——Cosmos Predict-2可根據(jù)文本、圖像、視頻等各種模態(tài)的輸入預(yù)測(cè)未來世界狀態(tài)，以此生成高質(zhì)量的合成數(shù)據(jù)。該技術(shù)對(duì)于創(chuàng)建時(shí)間一致的逼真場(chǎng)景至關(guān)重要，這些場(chǎng)景能夠加速智能汽車和機(jī)器人的訓(xùn)練與驗(yàn)證。

此外，Cosmos Transfer（一個(gè)為現(xiàn)有場(chǎng)景添加天氣、光照和地形變化的控制模型）即將向 CARLA（一款領(lǐng)先的開源輔助駕駛模擬器）上的 15 萬名開發(fā)者開放，大幅擴(kuò)展智能汽車開發(fā)者社區(qū)對(duì)先進(jìn) AI 模擬工具的訪問渠道。

開發(fā)者可以開始使用 NVIDIA 物理 AI 數(shù)據(jù)集將合成數(shù)據(jù)集成到自身管線中。最新版本包含使用 Cosmos 生成的 4 萬個(gè)片段。

適用于輔助駕駛模擬的Omniverse Blueprint在此基礎(chǔ)上提供了一個(gè) API 驅(qū)動(dòng)的標(biāo)準(zhǔn)化工作流程，用于構(gòu)建豐富的數(shù)字孿生、回放現(xiàn)實(shí)傳感器數(shù)據(jù)和生成閉環(huán)測(cè)試所需的新 ground-truth 數(shù)據(jù)。

該藍(lán)圖使用了OpenUSD的分層堆疊和組合架構(gòu)，使開發(fā)者能夠開展異步協(xié)作并無損修改場(chǎng)景，通過創(chuàng)建可重復(fù)使用的模塊化場(chǎng)景變體，高效生成各種天氣條件、交通模式和邊界情況。

提高未來智能汽車的安全性

為提高輔助駕駛系統(tǒng)的運(yùn)行安全性，NVIDIA 在今年早些時(shí)候推出了 NVIDIA Halos —— 一個(gè)將 NVIDIA 的汽車硬件、軟件安全解決方案與其智能汽車安全領(lǐng)域前沿的 AI 研究相結(jié)合的綜合安全系統(tǒng)。

新的 Cosmos 模型——Cosmos Predict-2、Cosmos Transfer-1 NIM 和 Cosmos Reason——為 Halos 系統(tǒng)帶來了更多安全增強(qiáng)功能，使開發(fā)者能夠創(chuàng)建多樣化、可控且逼真的場(chǎng)景用于訓(xùn)練和驗(yàn)證輔助駕駛系統(tǒng)。

這些模型基于包括駕駛數(shù)據(jù)在內(nèi)的海量多模態(tài)數(shù)據(jù)集訓(xùn)練而成，大大增加了模擬的廣度和深度，實(shí)現(xiàn)了對(duì)罕見及安全關(guān)鍵事件的全面覆蓋，同時(shí)還支持針對(duì)特定輔助駕駛?cè)蝿?wù)的定制化后訓(xùn)練。

在 CVPR 2025 上，NVIDIA 憑借在推動(dòng)端到端輔助駕駛流水線方面的領(lǐng)先優(yōu)勢(shì)而被評(píng)為輔助駕駛國際挑戰(zhàn)賽“端到端輔助駕駛”賽道的優(yōu)勝者。NVIDIA 在此次挑戰(zhàn)賽上利用 OpenUSD 的強(qiáng)大元數(shù)據(jù)和互操作性，在半反應(yīng)堆仿真中根據(jù)多傳感器數(shù)據(jù)生成駕駛軌跡，實(shí)現(xiàn)了領(lǐng)先的安全性與合規(guī)性。