“域隨機(jī)化的目的是在訓(xùn)練時(shí)提供足夠的模擬可變性，以便在測試時(shí)模型能夠推廣到真實(shí)世界的數(shù)據(jù)?！?- Tobin 等人，用于將深度神經(jīng)網(wǎng)絡(luò)從模擬轉(zhuǎn)移到現(xiàn)實(shí)世界的域隨機(jī)化，2017 年

Nvidia Replicator 使我們能夠執(zhí)行域隨機(jī)化。Replicator 是 Omniverse 系列中的一個(gè)模塊，它提供工具和工作流程來為各種計(jì)算機(jī)視覺和非視覺任務(wù)生成數(shù)據(jù)。Replicator 是一種高度互操作的工具，可與 40 多個(gè)不同垂直領(lǐng)域的建模/渲染應(yīng)用程序集成。由于 Pixar 的通用場景描述 (USD)，無縫集成成為可能，它作為 Blender、3DMax、Maya、Revit、C4D 等各種應(yīng)用程序的協(xié)議，與 Nvidia Replicator 一起工作。

以數(shù)據(jù)為中心的工作流程

傳統(tǒng)的機(jī)器學(xué)習(xí)工作流程往往以模型為中心，通過迭代改進(jìn)算法設(shè)計(jì)等更多地關(guān)注模型的開發(fā)。在這個(gè)項(xiàng)目中，我們選擇了以數(shù)據(jù)為中心的方法，我們固定模型并迭代提高生成的質(zhì)量數(shù)據(jù)集。這種方法更加穩(wěn)健，因?yàn)槲覀冎牢覀兊哪Ｐ团c數(shù)據(jù)集一樣好。因此，該方法系統(tǒng)地改變了 AI 任務(wù)的數(shù)據(jù)集性能。它的核心是從數(shù)據(jù)而非模型的角度考慮機(jī)器學(xué)習(xí)。

數(shù)據(jù)生成和模型構(gòu)建工作流程

?

硬件和驅(qū)動(dòng)程序設(shè)置

Nvidia Omniverse Replicator 是一個(gè)計(jì)算密集型應(yīng)用程序，需要中等大小的 GPU 和不錯(cuò)的 RAM。我的硬件設(shè)置包括 32GB RAM、1TB 存儲(chǔ)空間和 8GB GPU 以及 Intel i9 處理器。

?

?

?

?

1 / 2 ?硬件規(guī)格

?

該應(yīng)用程序可以在 Windows 和 Linux 操作系統(tǒng)上運(yùn)行。對于這個(gè)實(shí)驗(yàn)，我們使用了 Ubuntu 20.04 LTS 發(fā)行版，因?yàn)閺?2022 年 11 月起 Nvidia Omniverse 不再支持 Ubuntu 18.04。此外，我們選擇了合適的 Nvidia 驅(qū)動(dòng)程序 v510.108.03 并將其安裝在 Linux 機(jī)器上。

?

?

?

?

1 / 2 ?軟件規(guī)格

?

實(shí)驗(yàn)設(shè)置和數(shù)據(jù)生成

實(shí)驗(yàn)環(huán)境由可移動(dòng)和不可移動(dòng)的物體（動(dòng)態(tài)和靜態(tài)定位物體）組成。不可移動(dòng)的物體由燈、一張桌子和兩個(gè)相機(jī)組成。同時(shí)，可移動(dòng)的物體是餐具，即勺子、叉子和刀子。我們將使用域隨機(jī)化來改變一些可移動(dòng)和不可移動(dòng)物體的屬性。包括對象和場景的資產(chǎn)在 Replicator 中表示為 USD。

實(shí)驗(yàn)裝置

?

Omniverse Replicator 中的每個(gè)對象都以美元表示。可以使用 Nvidia Omniverse 的 CAD Importer 擴(kuò)展將具有不同擴(kuò)展名（例如 obj、fbx 和 glif）的 3D 模型文件導(dǎo)入 Replicator。該擴(kuò)展程序?qū)?3D 文件轉(zhuǎn)換為美元。我們通過指定資產(chǎn)路徑將我們的資產(chǎn)（桌子、刀、勺子和叉子）導(dǎo)入到模擬器中。

?

?

?

?

1 / 2 ?閃電設(shè)置

?

閃電在數(shù)據(jù)生成中起著至關(guān)重要的作用。Nvidia 復(fù)制器中有不同的內(nèi)置照明類型。我們選擇兩個(gè)矩形燈和一個(gè)圓頂燈，因?yàn)樗鼈優(yōu)槲覀兲峁┝烁玫恼彰鬟x項(xiàng)和生成逼真圖像的能力。矩形燈模擬面板產(chǎn)生的光，圓頂燈讓您動(dòng)態(tài)照亮整個(gè)場景。我們隨機(jī)化了一些光參數(shù)，例如溫度和強(qiáng)度，并且這兩個(gè)參數(shù)都是從正態(tài)分布中采樣的。此外，比例參數(shù)是從均勻分布中采樣的，同時(shí)保持燈光的旋轉(zhuǎn)和位置固定。

# Lightning setup for Rectangular light and Dome light 

def rect_lights(num=2):
    lights = rep.create.light(
    light_type="rect",
    temperature=rep.distribution.normal(6500, 500),
    intensity=rep.distribution.normal(0, 5000),
    position=(-131,150,-134),
    rotation=(-90,0,0),
    scale=rep.distribution.uniform(50, 100),
    count=num
    )
    return lights.node

def dome_lights(num=1):
    lights = rep.create.light(
    light_type="dome",
    temperature=rep.distribution.normal(6500, 500),
    intensity=rep.distribution.normal(0, 1000),
    position=(0,0,0),
    rotation=(270,0,0),
    count=num
    )
return lights.node

我們固定位置和旋轉(zhuǎn)，選擇桌面材料，選擇額外的桃花心木材料，并在數(shù)據(jù)生成過程中交替使用材料。

# Import and position the table object

def table():
    table = rep.create.from_usd(TABLE_USD, semantics=[('class', 'table')])

    with table:
        rep.modify.pose(
            position=(-135.39745, 0, -140.25696),
            rotation=(0,-90,-90),
        )
    return table

為了進(jìn)一步提高我們數(shù)據(jù)集的質(zhì)量，我們選擇了兩個(gè)不同分辨率的攝像機(jī)，我們將它們戰(zhàn)略性地放置在場景中的不同位置。此外，我們在不同版本的數(shù)據(jù)生成過程中改變了攝像機(jī)的位置。

# Multiple setup cameras and attach it to render products
camera1 = rep.create.camera(focus_distance,focal_length,position,rotation...)
camera2 = rep.create.camera(focus_distance,focal_length2,position,rotation...)

# Will render 1024x1024 images and 512x512 images
render_product  = rep.create.render_product(camera1, (1024, 1024))
render_product2  = rep.create.render_product(camera2, (512, 512))

最后，對于可移動(dòng)的物體，包括刀、勺子和叉子，我們確保這些物體只能在桌子的邊界內(nèi)平移。所以我們選擇了一個(gè)邊界位置，在這個(gè)位置上，對象會(huì)隨著桌子平移和旋轉(zhuǎn)。我們從均勻分布中采樣位置和旋轉(zhuǎn)，同時(shí)將每次迭代生成的可移動(dòng)對象的數(shù)量保持為五個(gè)。

# Define randomizer function for CULTERY assets.

def cutlery_props(size=5):
    instances = rep.randomizer.instantiate(rep.utils.get_usd_files(knife), size=size, mode='point_instance')
    with instances:
        rep.modify.pose(
            position=rep.distribution.uniform((-212, 76.2, -187), (-62.)),
            rotation=rep.distribution.uniform((-90,-180, 0), (-90, 180, 0)),
             )
    return instances.node

此時(shí)此刻，我們已經(jīng)實(shí)例化了場景中的所有對象。我們現(xiàn)在可以運(yùn)行隨機(jī)化器在每個(gè)合成生成周期生成 50 張圖像。

# Register randomization
with rep.trigger.on_frame(num_frames=50):
    rep.randomizer.table()
    rep.randomizer.rect_lights(1)
    rep.randomizer.dome_lights(1)
    rep.randomizer.cutlery_props(5)

# Run the simulation graph
rep.orchestrator.run()

為確保生成逼真的圖像，我們切換到 RTX 交互（路徑追蹤）模式，該模式提供高保真渲染。

數(shù)據(jù)分發(fā)和模型構(gòu)建

不同項(xiàng)目的數(shù)據(jù)分布

?

遵循以數(shù)據(jù)為中心的理念，我們生成了三個(gè)版本的數(shù)據(jù)集。第一個(gè)版本V1由垂直于相機(jī)位置的生成圖像組成，而V2表示在桃花心木桌面上與相機(jī)位置成 60 度角生成的圖像。V3包含垂直于相機(jī)位置的圖像，同時(shí)餐具懸掛在空間中。

V1 - 垂直于物體

?

V2 - 與物體成角度

?

V3 - 垂直于物體和懸浮在空間中的物體。

?

?

?

?

?

1 / 2 ?生成的數(shù)據(jù)集

?

Edge Impulse：數(shù)據(jù)標(biāo)注與模型構(gòu)建

?

?

?

?

1 / 2 ?帶邊緣脈沖的數(shù)據(jù)注釋

?

我們將生成的圖像上傳到 Edge Impulse Studio，我們在其中將數(shù)據(jù)集注釋為不同的類。我們仔細(xì)注釋了每個(gè)數(shù)據(jù)集版本，并使用Yolov5對象檢測模型進(jìn)行了訓(xùn)練。在確定為320之前，我們嘗試了 320、512 和 1024 像素的幾種輸入尺寸。Edge Impulse 為模型提供了一個(gè)出色的版本控制系統(tǒng)，使我們能夠跟蹤不同數(shù)據(jù)集版本和超參數(shù)的模型性能。

?

?

?

?

1 / 2 ?建筑模型

?

用真實(shí)物體測試物體檢測模型

我們使用 Edge Impulse CLI 工具通過在本地下載、構(gòu)建和運(yùn)行模型來評估模型的準(zhǔn)確性。相機(jī)的位置在實(shí)驗(yàn)過程中保持固定。下面的片段顯示經(jīng)過訓(xùn)練的模型不能很好地泛化到真實(shí)世界的對象。因此，我們需要通過使用 V2 數(shù)據(jù)集上傳、注釋和訓(xùn)練模型來改進(jìn)模型。

當(dāng)使用 V2 數(shù)據(jù)集訓(xùn)練時(shí)，我們觀察到模型性能有所提高。該模型可以清楚地識別各種物體，盡管當(dāng)我們改變物體的方向時(shí)模型失敗了。因此，我們使用剩余的 V3 數(shù)據(jù)集訓(xùn)練模型以緩解這些問題并增加其他超參數(shù)，例如從 500 到 2000 的紀(jì)元。我們還測試了我們的對象檢測器在具有不同背景紋理的真實(shí)對象上的性能，模型表現(xiàn)良好在這些條件下。

在對各種超參數(shù)進(jìn)行多次迭代之后，我們得到了一個(gè)可以很好地概括不同方向的模型。

解決 ML 問題的以數(shù)據(jù)為中心的方法背后的核心思想是圍繞模型的故障點(diǎn)創(chuàng)建更多數(shù)據(jù)。我們通過迭代改進(jìn)數(shù)據(jù)生成來改進(jìn)模型，特別是在模型之前失敗的區(qū)域。

結(jié)論

在這項(xiàng)工作中，我們了解了域隨機(jī)化方法如何幫助為對象檢測任務(wù)生成高質(zhì)量和泛化良好的數(shù)據(jù)集。我們還展示了以數(shù)據(jù)為中心的機(jī)器學(xué)習(xí)工作流程在提高模型性能方面的有效性。雖然這項(xiàng)工作僅限于視覺問題，但我們可以將域隨機(jī)化擴(kuò)展到其他傳感器，如激光雷達(dá)、加速度計(jì)和超聲波傳感器。

參考

• Edge Impulse 項(xiàng)目
• 復(fù)制器簡介
• 美元簡介
• 特斯拉人工智能日
• 用于傳輸深度神經(jīng)網(wǎng)絡(luò)的域隨機(jī)化
• 了解 SIM-TO-REAL 傳輸?shù)挠螂S機(jī)化