DRIVE Sim 中的神經(jīng)重建引擎（Neural Reconstruction Engine，NRE）可以將錄制的真實(shí)駕駛數(shù)據(jù)轉(zhuǎn)化為自動(dòng)駕駛仿真。

自動(dòng)駕駛汽車仿真面臨著兩項(xiàng)挑戰(zhàn)：一是生成細(xì)節(jié)豐富、高度逼真的仿真世界，來(lái)讓 AI 駕駛員“信以為真”，二是生成規(guī)模足夠大的仿真，以涵蓋 AI 駕駛員所需的充分訓(xùn)練和測(cè)試。

為應(yīng)對(duì)這些挑戰(zhàn)，來(lái)自 NVIDIA 的研究人員創(chuàng)建了一項(xiàng)全新的 AI 工具，可以直接基于真實(shí)世界數(shù)據(jù)來(lái)構(gòu)建仿真。NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛在 GTC 主題演講中介紹了該項(xiàng)技術(shù)突破。

神經(jīng)重建引擎

神經(jīng)重建引擎（NRE）是NVIDIA DRIVE Sim仿真平臺(tái)上的一個(gè)全新 AI 工具集，它能夠使用多個(gè) AI 網(wǎng)絡(luò)，可以將傳感器采集到或者以其他形式被記錄保存下來(lái)的真實(shí)場(chǎng)景數(shù)據(jù)轉(zhuǎn)化為仿真。

這個(gè)工作流運(yùn)用 AI 技術(shù)來(lái)自動(dòng)提取仿真所需的關(guān)鍵部分，包括環(huán)境、3D 資產(chǎn)和場(chǎng)景，然后將這些內(nèi)容重構(gòu)成仿真場(chǎng)景。這些場(chǎng)景既具備數(shù)據(jù)記錄的真實(shí)性，又能夠進(jìn)行全面的反饋，而且可以按需操控。相反，如果通過(guò)人工方式來(lái)實(shí)現(xiàn)相同細(xì)節(jié)和多樣性水平的場(chǎng)景，不但成本高、耗時(shí)長(zhǎng)，且無(wú)法擴(kuò)展。

環(huán)境和資產(chǎn)

要進(jìn)行仿真，就需要可操作的環(huán)境。該 AI 工作流能夠把現(xiàn)實(shí)世界中的 2D 視頻數(shù)據(jù)轉(zhuǎn)換成可以加載到 DRIVE Sim 中的動(dòng)態(tài) 3D 數(shù)字孿生環(huán)境。

使用 AI 基于駕駛數(shù)據(jù)記錄生成 3D 模擬環(huán)境

DRIVE Sim 的 AI 工作流采用類似的流程來(lái)重構(gòu)其他 3D 資產(chǎn)。工程師可以使用這些資產(chǎn)來(lái)重構(gòu)當(dāng)前的場(chǎng)景，或?qū)⑺鼈兎湃氲礁蟮馁Y產(chǎn)庫(kù)中，用于以后其他的仿真。

使用資產(chǎn)采集工作流是持續(xù)拓展 DRIVE Sim 素材庫(kù)，并確保其與現(xiàn)實(shí)世界中的多樣性和分布相匹配的關(guān)鍵。

可以從真實(shí)世界數(shù)據(jù)中獲取資產(chǎn)，將其變成 3D 物體，并在其他場(chǎng)景中重復(fù)使用。比如，這里的拖車在左邊的場(chǎng)景中重構(gòu)后，被用于右邊所顯示的另一個(gè)仿真場(chǎng)景

場(chǎng)景

本文中的場(chǎng)景，是指在添加了資產(chǎn)的環(huán)境中進(jìn)行仿真時(shí)所發(fā)生的事件。

神經(jīng)重建引擎會(huì)將 AI 行為分配給場(chǎng)景中的人物，因此當(dāng)其面對(duì)原始事件時(shí)，他/她的行為與在現(xiàn)實(shí)中實(shí)際駕駛時(shí)的行為完全一致。此外，由于仿真中的人物具有 AI 行為模型，因此他們可以對(duì)自動(dòng)駕駛汽車或其他場(chǎng)景元素的變化做出響應(yīng)和反饋。

此外，由于這些場(chǎng)景都是在仿真世界中發(fā)生的，開(kāi)發(fā)人員可對(duì)其進(jìn)行進(jìn)一步的操作，如，加入新的場(chǎng)景，或者改變事件的時(shí)間和地點(diǎn)。開(kāi)發(fā)人員甚至可以加入新的合成或真實(shí)元素，使場(chǎng)景變得更具挑戰(zhàn)性，例如在下面的場(chǎng)景中加入一個(gè)追著球的孩子。

合成物體可以與真實(shí)世界場(chǎng)景的融合

與 DRIVE Sim 相集成

當(dāng)環(huán)境、資產(chǎn)和場(chǎng)景被提取出來(lái)后，可在 DRIVE Sim 上進(jìn)行重組，創(chuàng)建出所記錄場(chǎng)景的 3D 模擬，或者通過(guò)與其他資產(chǎn)混合來(lái)創(chuàng)建一個(gè)全新的場(chǎng)景。

DRIVE Sim 為開(kāi)發(fā)者提供了調(diào)整動(dòng)態(tài)和靜態(tài)物體、車輛路徑以及車輛傳感器位置、方向和參數(shù)的工具。

DRIVE Sim 中的相同場(chǎng)景也會(huì)被用于生成預(yù)標(biāo)記的合成數(shù)據(jù)，以便訓(xùn)練感知系統(tǒng)。與此同時(shí)，隨機(jī)化原則也被應(yīng)用在重建的場(chǎng)景之上，從而增加訓(xùn)練數(shù)據(jù)的多樣性?；谡鎸?shí)世界數(shù)據(jù)構(gòu)建場(chǎng)景，大大縮小了仿真與真實(shí)世界的差距。

可以使用合成資產(chǎn)增強(qiáng)重構(gòu)的場(chǎng)景，并使用這些場(chǎng)景生成用于訓(xùn)練自動(dòng)駕駛汽車感知系統(tǒng)的真值數(shù)據(jù)

仿真格式混合與匹配功能將為自動(dòng)駕駛汽車的大規(guī)模測(cè)試和驗(yàn)證帶來(lái)巨大的便利，工程師們可以在一個(gè)反應(yīng)靈敏、精準(zhǔn)匹配其需求的世界中操作各種事件。

作為 NVIDIA 研究團(tuán)隊(duì)的工作成果，神經(jīng)重建引擎將被集成到 DRIVE Sim 的未來(lái)版本中。這項(xiàng)突破將使開(kāi)發(fā)人員能夠在同一個(gè)云平臺(tái)上充分運(yùn)用基于物理學(xué)、神經(jīng)驅(qū)動(dòng)的仿真。

正如之前提到的，在仿真中重建真實(shí)駕駛場(chǎng)景并從中生成真實(shí)的數(shù)據(jù)是一個(gè)費(fèi)時(shí)費(fèi)力的過(guò)程。這需要技術(shù)經(jīng)驗(yàn)豐富的工程師和藝術(shù)家，但即便如此，也很難做到。目前，NVIDIA 已實(shí)施兩種基于 AI 的方法來(lái)無(wú)縫執(zhí)行此過(guò)程：虛擬重建和神經(jīng)重建。第一種方法復(fù)制真實(shí)場(chǎng)景，作為完全合成的 3D 場(chǎng)景，第二種方法就是本文介紹的 NRE，使用神經(jīng)仿真增強(qiáng)真實(shí)的傳感器數(shù)據(jù)。

這些新方法由 NVIDIA 在渲染、圖形和 AI 方面的專業(yè)知識(shí)所驅(qū)動(dòng)。

作為一個(gè)模塊化平臺(tái)，DRIVE Sim 在確定性仿真的基礎(chǔ)上支持這些功能。它提供車輛動(dòng)態(tài)、基于 AI 的交通模型、場(chǎng)景工具和全面的 SDK，以構(gòu)建所需的任何工具。

借助 NRE，開(kāi)發(fā)人員可以輕松地從現(xiàn)實(shí)世界遷移到虛擬世界，從而加快自動(dòng)駕駛的開(kāi)發(fā)和部署。

審核編輯：湯梓紅