由 NVIDIA Cosmos 3 驅(qū)動的全新物理 AI 智能體技能，可幫助研究人員加速面向輔助駕駛系統(tǒng)開發(fā)的數(shù)據(jù)生成、仿真、策略訓(xùn)練和評估。

在 CVPR 上，NVIDIA 推出了全新物理 AI 智能體技能，助力研究人員和開發(fā)者加快智能汽車、機器人以及視覺 AI 系統(tǒng)的開發(fā)進程。

推動輔助駕駛研究，超越已記錄的行駛里程：借助 NVIDIA 輔助駕駛的相關(guān)技能，研究人員和開發(fā)者可以讓 AI 智能體根據(jù)車隊數(shù)據(jù)自動執(zhí)行場景重建工作流，并生成合成場景。神經(jīng)重建技能可以幫助 AI 智能體將車隊收集的數(shù)據(jù)轉(zhuǎn)換為可編輯的 3D 場景，用于仿真和合成數(shù)據(jù)生成；同時，NVIDIA Omniverse NuRec、InstantNuRec、Harmonizer 以及 HiGS 加速渲染器等技術(shù)，有助于加速重建過程、提高場景真實度并生成新視圖。NVIDIA AlpaGym 是一個開源的閉環(huán)強化學(xué)習(xí)框架，它通過將策略執(zhí)行、高保真仿真與智能體技能連接起來，從而幫助研究人員完成從環(huán)境搭建、策略執(zhí)行到評估的全流程。NVIDIA 還推出了強大的開放駕駛基礎(chǔ)模型NVIDIA Alpamayo 2 Super以推進自動駕駛研究。

推動面向現(xiàn)實世界的視覺 AI 系統(tǒng)發(fā)展：全新的 NVIDIA Metropolis 的新技能正在幫助研究人員和開發(fā)者利用 AI 智能體生成包括異常情況的合成視覺場景，增強數(shù)據(jù)，并支持偽標(biāo)注。這些技能受益于 Cosmos 3 的混合 Transformer 架構(gòu)，該架構(gòu)使用推理 Transformer 來分析觀測結(jié)果，并將指令輸入到生成模塊，從而幫助擴展基于物理的虛擬世界。

借助智能體就緒的仿真工作流擴展機器人學(xué)習(xí)：借助 NVIDIA 機器人開發(fā)技能，研究人員可以讓 AI 智能體自動執(zhí)行場景準(zhǔn)備、仿真和機器人學(xué)習(xí)等各階段最常見的開發(fā)步驟，這背后依托于 NVIDIA Omniverse 庫、Isaac Sim 以及 Isaac Lab 框架。在醫(yī)療健康機器人領(lǐng)域，Cosmos-H-Surgical-Simulator 通過生成逼真的手術(shù)機器人數(shù)據(jù)進行策略訓(xùn)練和評估，以此推進研究發(fā)展。

NVIDIA 正在通過用于訓(xùn)練、微調(diào)和評估的數(shù)據(jù)集，進一步擴展物理 AI 背后的研究基礎(chǔ)設(shè)施。NVIDIA 物理 AI 數(shù)據(jù)集在 Hugging Face 的下載量已超 1500 萬次，而 NVIDIA Isaac GR00T X Embodiment Sim 已成為下載量最高的機器人數(shù)據(jù)集之一。新發(fā)布的數(shù)據(jù)集包括 GRAIL（包括約 50 小時的人形機器人交互數(shù)據(jù)），以及六個用于在機器人、物理、數(shù)字人、輔助駕駛、倉庫安全以及空間推理等領(lǐng)域訓(xùn)練 Cosmos 3 的合成視頻數(shù)據(jù)集。