AI 與圖形學在神經(jīng)渲染、3D 生成和世界仿真方面的研究突破，正在推動機器人、自動駕駛汽車和內(nèi)容創(chuàng)作的發(fā)展。

物理 AI 是現(xiàn)代機器人、自動駕駛汽車和智能空間背后的引擎，它融合了神經(jīng)圖形學、合成數(shù)據(jù)生成、基于物理的仿真、強化學習以及 AI 推理等多種技術。作為一個全球性團隊，NVIDIA 研究中心在近 20 年的時間里，持續(xù)推動著如今正走向融合的 AI 與圖形學領域的發(fā)展。

NVIDIA 研究中心的負責人在溫哥華舉行的 SIGGRAPH 上發(fā)表特別演講，重點介紹助力物理 AI 與空間 AI 發(fā)展的圖形學及仿真創(chuàng)新成果。SIGGRAPH 是全球領先的計算機圖形大會，活動將持續(xù)至當?shù)貢r間 8 月 14 日（周四）。

NVIDIA AI 研究副總裁 Sanja Fidler 表示：“AI 正在提升我們的仿真能力，而我們的仿真技術也在推動 AI 系統(tǒng)的發(fā)展。這兩個領域之間存在著真實且強大的協(xié)同效應，這種深度聯(lián)動非常罕見?！?/p>

在 SIGGRAPH 大會上，NVIDIA 發(fā)布多款用于物理 AI 的全新軟件庫，包括用于大規(guī)模場景重建的NVIDIA Omniverse NuRec 3D Gaussian Splatting 庫、用于視覺 AI 的NVIDIA Metropolis平臺的更新，以及NVIDIA Cosmos和NVIDIA Nemotron推理模型。Cosmos Reason是一款面向物理 AI 的全新推理視覺語言模型，可使機器人和視覺 AI 智能體利用先驗知識、物理規(guī)律理解和常識實現(xiàn)類似人類的推理能力。

這其中很多創(chuàng)新研究都是 NVIDIA 研究中心全球團隊的突破性成果，團隊在本次展會上發(fā)表了十多篇關于神經(jīng)渲染、實時路徑追蹤、合成數(shù)據(jù)生成和強化學習等領域的前沿論文，這些功能將可為下一代物理 AI 工具提供支持。

物理 AI 如何將圖形、AI 和機器人開發(fā)相結(jié)合

物理 AI 開發(fā)首先要構(gòu)建高保真、符合物理規(guī)律的 3D 環(huán)境。如果沒有這些逼真的虛擬環(huán)境，開發(fā)者就無法在仿真環(huán)境中有效訓練人形機器人等先進物理 AI 系統(tǒng)，因其在虛擬訓練中學習的技能無法有效擴展到現(xiàn)實世界。

想象一下這些場景，一臺農(nóng)業(yè)機器人能夠精確施加力道來采摘桃子，而不造成磕傷，或者一個制造機器人在毫米級精度要求的設備上精準組裝微型電子元件。

NVIDIA 研究副總裁 Ming-Yu Liu 表示：“物理 AI 需要一個觸感真實的虛擬環(huán)境，一個讓機器人能通過試錯安全學習的并行宇宙。為構(gòu)建這樣的虛擬世界，我們需要五大核心技術：實時渲染、計算機視覺、物理運動仿真、2D 及 3D 生成式 AI，以及 AI 推理能力。這些正是 NVIDIA 研究中心近二十年來潛心鉆研的領域。”

NVIDIA 在光線追蹤和實時計算機圖形領域擁有深厚積淀，從 2006 年創(chuàng)立開始，這些突破性研究在實現(xiàn)物理 AI 仿真方面發(fā)揮著關鍵作用。當前，大量渲染工作也由 AI 模型完成，這一技術被被稱為神經(jīng)渲染。

NVIDIA 圖形研究副總裁兼實時圖形研究小組負責人 Aaron Lefohn 表示：“我們的核心渲染研究推動了用于訓練高級物理 AI 的逼真虛擬世界的構(gòu)建，同樣 AI 也反過來幫助我們將圖像轉(zhuǎn)化為 3D 世界。我們現(xiàn)在已經(jīng)能夠?qū)⑷魏稳硕伎梢越佑|到的媒體形式，也就是照片和視頻，快速重建為虛擬 3D 環(huán)境?！?/p>

神經(jīng)重建和渲染技術借助 AI，處理從現(xiàn)實攝像頭或其他傳感器中捕獲的數(shù)據(jù)，來生成逼真的 3D 場景表達。

這項在正向渲染（將 3D 轉(zhuǎn)換為 2D）和反向渲染（將 2D 轉(zhuǎn)換為 3D）方面的基礎性研究，融合了多年來在物理運動仿真領域的研究與產(chǎn)品創(chuàng)新，其中包括 Fidler Spatial Intelligence Lab 的成果。該實驗室發(fā)布了視頻位姿引擎 ViPE——這是一款與 Dynamic Vision Lab 及 NVIDIA Isaac 團隊合作開發(fā)的視頻 3D 幾何標注流程，能夠根據(jù)業(yè)余錄制內(nèi)容、行車記錄儀內(nèi)容或電影鏡頭，估算攝像頭運動并生成詳細的深度圖。

在生成式 AI 領域，Ming-Yu Liu的深度想象研究小組作為 NVIDIA 研究中心的先驅(qū)力量，開創(chuàng)了計算機視覺、Transformer 模型和視覺生成式 AI 模型，使物理 AI 系統(tǒng)能夠理解和預測世界的未來狀態(tài)，例如汽車闖紅燈時的潛在事故場景或水杯過于接近桌子邊緣時導致的墜落軌跡。

這些技術突破為 NVIDIA Cosmos 奠定了基礎，該平臺于今年早些時候推出，通過整合世界基礎模型、后訓練庫以及加速數(shù)據(jù)處理和工作流來加速物理 AI 的開發(fā)。

NVIDIA 研究中心亮相 SIGGRAPH 大會

NVIDIA 研究人員在 SIGGRAPH 大會上展示了在仿真、AI 驅(qū)動的渲染和 3D 內(nèi)容生成領域的技術突破，在創(chuàng)建虛擬世界、機器人開發(fā)和自動駕駛汽車訓練方面具有應用潛力。

一篇論文討論了從 2D 圖像或視頻中重建具有物理感知的 3D 幾何體的挑戰(zhàn)。雖然許多模型可以根據(jù)視頻片段評估 3D 對象，但生成的 3D 形態(tài)通常缺乏結(jié)構(gòu)穩(wěn)定性。即使其視覺匹配度與真實物體高度接近，仍可能出現(xiàn)比例輕微失衡或缺少細節(jié)，從而影響其物理真實感。

例如，基于 2D 影像構(gòu)建的 3D 椅子模型，在放入物理精度準確的仿真環(huán)境中時，可能會發(fā)生結(jié)構(gòu)坍塌，其根源在于 AI 模型是對 3D 結(jié)構(gòu)進行視覺估計，而非基于真實測量數(shù)據(jù)。本文提出的方法通過確保生成的 3D 形狀符合真實物理規(guī)律，來避免出現(xiàn)該問題，并為物理 AI 訓練創(chuàng)建虛擬世界提供支持。

右側(cè)：靜止狀態(tài)。左側(cè)：仿真狀態(tài)。顏色顯示了仿真幾何結(jié)構(gòu)中的應力分布。視頻中出現(xiàn)的抖動是由于在優(yōu)化過程的每次迭代中施加了隨機擾動所致。

另一篇論文介紹了一種能夠通過物理精度準確的動作賦予仿真角色真實動態(tài)的技術。研究人員將運動生成器與物理驅(qū)動的追蹤控制器相結(jié)合，為復雜的動作（例如跑酷者的特技）生成逼真的合成數(shù)據(jù)。

這些數(shù)據(jù)有助于開發(fā)虛擬角色，或訓練現(xiàn)實世界中的人形機器人掌握靈活的運動技能——這類技能在現(xiàn)實訓練數(shù)據(jù)中非常罕見。這將拓展機器人能夠完成的物理行為的范圍，使其能夠執(zhí)行諸如穿越復雜地形以支持應急響應等任務。

其他論文探討了光線和材質(zhì)仿真的復雜性。

大會中，通過一個項目展示了藝術家如何創(chuàng)建 AI 助手來增強材質(zhì)細節(jié)。它利用擴散模型和基于物理效果的可微分渲染器，使創(chuàng)作者能夠在 3D 模型基礎上便捷修改材質(zhì)紋理貼圖，進而僅通過文本提示來創(chuàng)建更豐富、更逼真的虛擬世界。

該團隊展示了如何利用該模型來快速添加逼真的物體細節(jié)，比如風化或老化跡象，而通常來說，使用傳統(tǒng)渲染方法創(chuàng)建此類細節(jié)非常耗時。這些物體可批量填充虛擬環(huán)境，服務于游戲等創(chuàng)意場景，也可用于物理仿真應用，例如在仿真器中訓練機器人和自動駕駛汽車。

在光照仿真領域，另一篇 SIGGRAPH 論文通過引入一個穩(wěn)健的可微分可見性查詢機制，來解決可微分渲染中的挑戰(zhàn)，顯著提升了從影像與視頻數(shù)據(jù)重建 3D 幾何結(jié)構(gòu)的效率與精度。

可微分渲染器能夠基于圖像和視頻重建 3D 場景。NVIDIA 研究人員將可微分渲染器與生成的基礎模型相結(jié)合，來創(chuàng)建 3D 內(nèi)容創(chuàng)作的 AI 助手。

這篇論文展現(xiàn)了 NVIDIA 研究中心的前沿突破：它將正向渲染和反向渲染結(jié)合起來，從虛擬世界中快速提取參數(shù)，這些參數(shù)對于基于合成數(shù)據(jù)集來訓練高精度物理 AI 模型至關重要。