全新 NVIDIA 安全框架與技術(shù)正在推進(jìn)開發(fā)者構(gòu)建安全物理 AI 的方式。

本文是洞悉 Omniverse 系列文章?！岸聪?Omniverse”重點介紹開發(fā)者、3D 從業(yè)者與企業(yè)如何使用 OpenUSD 和 NVIDIA Omniverse 的最新進(jìn)展深入改變他們的工作流。

物理 AI 正從研究實驗室走向現(xiàn)實世界，為智能機(jī)器人和智能汽車 (如無人駕駛出租車) 提供支持，這些系統(tǒng)必須在不可預(yù)測的環(huán)境中可靠地感知、推理和行動。

為了安全地擴(kuò)展這些系統(tǒng)，開發(fā)者需要基于 OpenUSD 這一通用基礎(chǔ)架構(gòu)，將現(xiàn)實世界數(shù)據(jù)、高保真仿真和強(qiáng)大的 AI 模型連接起來的工作流。

最新發(fā)布的 OpenUSD 核心規(guī)范 1.0 (OpenUSD，即通用場景描述) 定義了標(biāo)準(zhǔn)數(shù)據(jù)類型、文件格式和組合行為，為開發(fā)者在擴(kuò)展自動化系統(tǒng)時提供可預(yù)測、可互操作的 USD 管線。

借助 OpenUSD，NVIDIA Omniverse 庫結(jié)合了 NVIDIA RTX 渲染、物理仿真和高效的運行時，能夠創(chuàng)建精準(zhǔn)反映現(xiàn)實環(huán)境的數(shù)字孿生以及仿真就緒 (SimReady) 資產(chǎn)，用于合成數(shù)據(jù)生成與測試。

NVIDIA Cosmos 世界基礎(chǔ)模型可在這些仿真之上運行，增強(qiáng)數(shù)據(jù)多樣性，從同一場景生成新的天氣、光照和地形條件，讓團(tuán)隊能夠安全地覆蓋罕見且具有挑戰(zhàn)性的極端案例。

此外，合成數(shù)據(jù)生成、多模態(tài)數(shù)據(jù)集和 SimReady 工作流程的進(jìn)步，正在與 NVIDIA Halos 綜合安全系統(tǒng)相融合，共同為下一代輔助駕駛系統(tǒng)的部署構(gòu)建一條基于標(biāo)準(zhǔn)的路徑，使部署過程更安全、更快捷、成本效益更高。

構(gòu)建安全物理 AI 的基礎(chǔ)

開放標(biāo)準(zhǔn)與 SimReady 資產(chǎn)

OpenUSD 核心規(guī)范 1.0 建立了支撐 SimReady 資產(chǎn)的標(biāo)準(zhǔn)數(shù)據(jù)模型和行為，使開發(fā)者能夠在 OpenUSD 上構(gòu)建適用于 AI 工廠和機(jī)器人的可互操作的仿真管線。

基于這一基礎(chǔ)，SimReady 3D 資產(chǎn)可在不同工具和團(tuán)隊之間復(fù)用，并直接加載到 NVIDIA Isaac Sim 中，USDPhysics 碰撞器、剛體動力學(xué)和基于組合弧的變體讓團(tuán)隊能夠在虛擬設(shè)施中測試機(jī)器人，對實際操作進(jìn)行逼真的模擬。

開源學(xué)習(xí)

Learn OpenUSD 課程現(xiàn)已開源并在 GitHub 上提供，允許貢獻(xiàn)者針對不同受眾、語言及應(yīng)用場景進(jìn)行模板、練習(xí)和內(nèi)容的本地化與適配。這為教育工作者提供了現(xiàn)成的基礎(chǔ)框架，幫助新團(tuán)隊快速融入基于 OpenUSD 的仿真工作流。

生成式世界作為安全倍增器

Gaussian splatting 是一種利用可編輯 3D 元素快速高保真渲染環(huán)境的技術(shù)，結(jié)合世界模型，加速安全機(jī)器人測試和驗證的仿真管線。

在 SIGGRAPH Asia 上，NVIDIA 研究團(tuán)隊推出了 Play4D，這是一種流式工作流，可通過 4D Gaussian splatting 實現(xiàn)動態(tài)場景的精準(zhǔn)渲染，提高逼真度。

空間智能公司 World Labs 正使用其 Marble 生成式世界模型，結(jié)合 NVIDIA Isaac Sim 和 Omniverse NuRec，使研究人員能夠僅在數(shù)小時內(nèi)，而非數(shù)周，將文本提示和示例圖像轉(zhuǎn)換為基于高斯的、物理就緒的逼真 3D 環(huán)境。

這些世界隨后可用于物理 AI 的訓(xùn)練、測試以及仿真到現(xiàn)實的遷移。這種高保真仿真工作流程擴(kuò)展了機(jī)器人可練習(xí)的場景范圍，同時將實驗安全地保持在仿真中。

光輪智能幫助團(tuán)隊通過 SimReady 資產(chǎn)擴(kuò)展機(jī)器人訓(xùn)練

借助 OpenUSD，光輪智能的 SimReady 資產(chǎn)庫包含通用場景描述層，能夠更加便捷地構(gòu)建高保真機(jī)器人數(shù)字孿生。SimReady 資產(chǎn)嵌入了精確的幾何、材質(zhì)和驗證的物理屬性，可直接加載到 NVIDIA Isaac Sim 和 Isaac Lab 中進(jìn)行機(jī)器人訓(xùn)練，使機(jī)器人在學(xué)習(xí)過程中體驗真實的接觸、動力學(xué)和傳感器反饋。

安全的端到端輔助駕駛

端到端輔助駕駛安全正借助新研究、開放框架和檢查服務(wù)的結(jié)合取得快速進(jìn)展，可推動安全驗證變得更嚴(yán)謹(jǐn)且可擴(kuò)展。

NVIDIA 研究人員與哈佛大學(xué)和斯坦福大學(xué)的伙伴最近推出了 Sim2Val 框架，該框架能夠通過統(tǒng)計學(xué)方法融合真實道路與仿真測試結(jié)果，在驗證無人駕駛出租車及智能汽車于少見且關(guān)鍵的安全場景中能否安全運行的同時，顯著減少開發(fā)者對昂貴的物理里程的依賴。

這些創(chuàng)新還包括新的開源 NVIDIA Omniverse NuRec Fixer，這是一個基于 Cosmos 的模型，訓(xùn)練于輔助駕駛數(shù)據(jù)，能去除神經(jīng)重建中的偽影，生成更高質(zhì)量的 SimReady 資產(chǎn)。

為使這些進(jìn)展符合嚴(yán)格的全球標(biāo)準(zhǔn)，獲得美國國家標(biāo)準(zhǔn)學(xué)會國家認(rèn)可委員會 (ANAB) 認(rèn)證的 NVIDIA Halos AI 系統(tǒng)檢測實驗室，正通過 Halos 認(rèn)證計劃，為無人駕駛出租車車隊、輔助駕駛堆棧、傳感器和制造商平臺中的 Halos 組件提供公正的檢測和認(rèn)證服務(wù)。

輔助駕駛生態(tài)系統(tǒng)領(lǐng)導(dǎo)者推動物理 AI 安全落地

Bosch、Nuro 和 Wayve 是首批參與 NVIDIA Halos AI 系統(tǒng)檢測實驗室的企業(yè)，該實驗室旨在加速無人駕駛出租車車隊的安全大規(guī)模部署。生產(chǎn)輔助駕駛、工業(yè)自動化和醫(yī)療應(yīng)用傳感器系統(tǒng)的 Onsemi 最近成為首個通過 NVIDIA Halos AI 系統(tǒng)檢測實驗室檢查的公司。

開源仿真平臺 CARLA 集成了 NVIDIA NuRec 和 Cosmos Transfer，能夠生成重建駕駛場景和多樣化場景變化;Voxel51 的 FiftyOne 引擎與 Cosmos Dataset Search、NuRec 和 Cosmos Transfer 連接，幫助團(tuán)隊在輔助駕駛流水線中對多模態(tài)數(shù)據(jù)集進(jìn)行整理、標(biāo)注與評估。

密歇根大學(xué)的 Mcity 正利用 Omniverse 庫和技術(shù)增強(qiáng)其 32 英畝輔助駕駛測試設(shè)施的數(shù)字孿生。團(tuán)隊正在集成 NVIDIA 輔助駕駛仿真藍(lán)圖和 Omniverse Sensor RTX API，以創(chuàng)建基于物理的攝像頭、激光雷達(dá)、雷達(dá)和超聲波傳感器模型。

通過將真實傳感器記錄與高保真仿真數(shù)據(jù)對齊，并開放共享相關(guān)數(shù)據(jù)資產(chǎn)，Mcity 能夠在車輛上路前安全、可重復(fù)地測試少見且危險的駕駛場景。