數(shù)據(jù)是 AI 系統(tǒng)的生命線，AI 系統(tǒng)依靠可靠的數(shù)據(jù)集進(jìn)行學(xué)習(xí)并做出預(yù)測或決策。具體而言，對于感知 AI 模型而言，數(shù)據(jù)需要能夠反映真實環(huán)境以及適用于一系列場景，這一點非常重要。這包括通常難以搜集數(shù)據(jù)的邊緣用例，如街道交通、工廠的裝配生產(chǎn)線等。

借助真實世界的數(shù)據(jù)以及合成數(shù)據(jù)（SDG），AI 和機(jī)器學(xué)習(xí)（ML）工程師可以引導(dǎo)和加速計算機(jī)視覺模型的訓(xùn)練。SDG 能夠生成大量不同的訓(xùn)練數(shù)據(jù)集，以應(yīng)對視覺檢測、機(jī)器人和自動駕駛等領(lǐng)域大量不同用例的需求。

最新更新NVIDIA Omniverse Replicator是NVIDIA Omniverse的核心擴(kuò)展，是一個基于通用場景描述（OpenUSD）的平臺，開發(fā)人員可以構(gòu)建比以往任何時候都更強大的合成數(shù)據(jù)生成工作流。其新功能亮點包括：

借助基于 YAML 的低代碼配置器，為 AI 開發(fā)者釋放合成數(shù)據(jù)的強大功能。

通過異步渲染擴(kuò)展整個渲染過程，將傳感器模擬與渲染任務(wù)分解。

借助基于事件的條件觸發(fā)器，在數(shù)據(jù)生成過程中實現(xiàn)更高的靈活性。

借助 Omniverse Replicator，開發(fā)者能夠構(gòu)建用于訓(xùn)練計算機(jī)視覺模型的數(shù)據(jù)工廠。此外，Replicator 具有高度可定制性和可擴(kuò)展性，因此能夠適應(yīng)許多計算機(jī)視覺工作流程。

Replicator 已集成到NVIDIA Isaac Sim機(jī)器人和NVIDIA DRIVE Sim。在 ROSCon 2023 上，NVIDIA 宣布對 NVIDIA Isaac 機(jī)器人平臺進(jìn)行重大更新，以簡化基于 AI 的高性能機(jī)器人應(yīng)用的構(gòu)建和測試。

簡化的定制解決方案

以前 Replicator 擴(kuò)展程序的限制要求開發(fā)者編寫大量代碼行，以生成用于模型訓(xùn)練的數(shù)據(jù)。不熟悉 3D 內(nèi)容生成的 AI 和 ML 工程師缺乏生成數(shù)據(jù)的有效方法。

現(xiàn)在，開發(fā)者無需為預(yù)先存在的場景編寫大量代碼行，而是可以使用基于 YAML 的描述性文件，使用語法（例如光線、環(huán)境、位置）簡單地描述要更改的參數(shù)。這種方法可以更輕松地將 SDG 參數(shù)作為模型創(chuàng)建和性能沿襲的一部分進(jìn)行跟蹤，從而為真正以數(shù)據(jù)為中心的模型開發(fā)方法提供支持。

此外，開發(fā)者可以通過使用 YAML 文件和 Replicator 在 Omniverse Farm 上運行 NVIDIA OVX system。用戶可以輕松共享和分發(fā)代碼 recipe，以創(chuàng)建同一文件的新版本，并創(chuàng)建用于數(shù)據(jù)生成的自動化工作流。

視頻 1：學(xué)習(xí)基于 YAML 的簡單工作流程，通過隨機(jī)化倉庫中常見物體的位置來生成訓(xùn)練數(shù)據(jù)

使用異步渲染擴(kuò)展合成數(shù)據(jù)生成

SDG 的世界仿真、傳感器仿真和渲染任務(wù)通常作為緊密集成的同步應(yīng)用程序?qū)嵤＿@限制了在不影響性能的情況下模擬傳感器以不同速率運行的靈活性。

異步渲染在彼此之間異步運行傳感器的模擬和渲染，使用戶能夠更好地控制整個過程。這使得開發(fā)者能夠使用多個 GPU 大規(guī)模渲染合成數(shù)據(jù)，從而提高吞吐量。

借助基于事件的觸發(fā)器，

為 SDG 提供出色的靈活性

在 Replicator 中，觸發(fā)器指定特定節(jié)點（例如 Randomizer 或 Writer）的激活時間。系統(tǒng)支持幀內(nèi)觸發(fā)器在每一幀中激活節(jié)點，以及準(zhǔn)時觸發(fā)器，以設(shè)置的時間間隔激活節(jié)點。

最新的 Replicator 版本還引入了條件觸發(fā)器，可根據(jù)特定事件或條件激活節(jié)點。開發(fā)者現(xiàn)在可以通過自己的函數(shù)建立自定義邏輯，從而對 Randomizer 和 Writer 提供更精細(xì)的控制。

使用新版 NVIDIA Isaac Sim 的機(jī)器人專家可以使用此功能針對特定事件啟動自主移動機(jī)器人（AMR）的運動。這為控制 SDG 的生成時間和方式提供了可靠的方法，具體取決于模擬事件。

開始使用 Omniverse Replicator

進(jìn)行開發(fā)

這些只是 Omniverse Replicator 1.10 中用于提升 SDG 流程的部分新功能。如需了解其他功能（包括材質(zhì)支持、后渲染增強以及 2D 和 3D 散點節(jié)點增強），請參閱 Replicator 文檔。

審核編輯：劉清