人類的手是數(shù)百萬年進化過程中最了不起的成果之一。我們能夠拿起各種物體并將它們作為工具使用，這是我們與其他動物的最大區(qū)別之一，這也使我們能夠改變周圍的世界。

要想讓機器人在人類的日常生活中工作，機器人必須能夠與我們的工具和周圍的環(huán)境進行靈巧的互動。如果沒有這種能力，它們就只能繼續(xù)留在工廠、倉庫等專門的領(lǐng)域發(fā)揮作用。

雖然有腿的機器人只需要一段時間就可以學會如何行走，但實踐證明有手的機器人控制起來的難度要大得多。帶有手指的機器人手有更多的關(guān)節(jié)，它們的運動必須經(jīng)過特定的協(xié)調(diào)后才能完成指定的任務。傳統(tǒng)的機器人控制方法需要預先對抓取和運動進行精確的編程，因此無法實現(xiàn)人類認為理所當然的那種“普通”精細運動控制技能。

解決這些問題的方法之一是采用深度強化學習（RL）技術(shù)訓練一個控制機器人關(guān)節(jié)的神經(jīng)網(wǎng)絡。通過深度強化學習，機器人能夠從試驗和錯誤中學習，并在成功完成指定任務后得到獎勵。然而學習這種技術(shù)可能需要數(shù)百萬甚至數(shù)十億樣本，因此它幾乎不可能直接應用于現(xiàn)實中的機器人。

DeXtreme 將模擬環(huán)境中的靈巧操作轉(zhuǎn)移到現(xiàn)實世界

模擬的應用

NVIDIA 的 Isaac 機器人模擬器能夠創(chuàng)造一個用于訓練機器人的模擬空間，這個空間的運行速度比現(xiàn)實世界快 1 萬多倍，但是遵守物理法則。

從事 DeXtreme 項目的 NVIDIA 研究者們，利用 RL 機器人訓練模擬器 Isaac Gym 教機器人手如何將一個立方體擺放到指定的目標位置和方向或姿態(tài)。神經(jīng)網(wǎng)絡大腦可以在模擬中學會這一操作之后，再被移植到現(xiàn)實世界中控制機器人。

之前，只有 OpenAI 的研究者們展示過一次類似的工作。不過，他們的工作需要一個更復雜、更昂貴的機器人手，一個帶有精確運動控制傳感器的立方體，而且需要使用由數(shù)百臺計算機組成的超級計算集群進行訓練。

靈巧性訓練的大眾化

為了使世界各地的研究者都能夠復制我們的實驗，DeXtreme 項目選擇了盡可能簡單、便宜的硬件。機器人本身是一臺 Allegro Hand，其成本只有其他一些機器人的 1/10，它有四根手指并且沒有可以移動的手腕。我們使用現(xiàn)成的 RGB 攝像頭作為追蹤立方體的“眼睛”，這樣就可以在不使用特殊硬件的情況下根據(jù)需要輕松移動立方體。立方體是 3D 打印的，每個面都有貼紙。

一個簡單、可負擔的現(xiàn)成系統(tǒng)是實現(xiàn)可復制性的關(guān)鍵。DeXtreme 使用的是三個 RGB 攝像頭、一個 3D 打印的立方體和一個高性價比的機器人手，所以大家也應該可以輕松嘗試。

DeXtreme 使用 Isaac Gym 進行訓練，該模擬器可提供一個用于強化學習的端到端 GPU 加速模擬環(huán)境。NVIDIA PhysX 在 GPU 上模擬出場景。在深度學習控制策略網(wǎng)絡的訓練過程中，結(jié)果會保留在 GPU 內(nèi)存中。因此，這項訓練可以在一臺 Omniverse OVX 服務器上進行。在這個系統(tǒng)上訓練一個好的策略大約需要 32 小時，相當于一個機器人在現(xiàn)實世界中 42 年的經(jīng)驗。

由于不需要單獨的 CPU 集群進行模擬，因此在目前的云租賃價格下，訓練所產(chǎn)生的計算成本降低了 10-200 倍。使用 Isaac Gym 訓練模型大大減少了訓練的時間和成本。

感知和合成數(shù)據(jù)

為了讓機器人知道它所持的立方體的位置和方向，需要為機器人加上一個感知系統(tǒng)。為了控制成本并為將來操控其他物體留出余地，DeXtreme使用了三個現(xiàn)成的攝像頭和一個可以解釋立方體姿態(tài)的神經(jīng)網(wǎng)絡。

該網(wǎng)絡通過使用 Omniverse Replicator 生成的約 500 萬幀合成數(shù)據(jù)訓練而成，沒有使用任何真實的圖像。它學習了如何在具有挑戰(zhàn)性的真實環(huán)境中執(zhí)行任務。為了使訓練更加有效，我們使用了一種叫做域隨機化的技術(shù)來改變照明和攝像機的位置，同時使用數(shù)據(jù)增強技術(shù)添加隨機裁剪、旋轉(zhuǎn)和背景。

DeXtreme NVIDIA Omniverse Replicator 合成數(shù)據(jù)通過隨機改變背景、照明和攝像機角度來訓練一個強大的感知網(wǎng)絡

DeXtreme 姿態(tài)估計系統(tǒng)非?？煽?，即便是在目標物體被部分遮擋或者圖像有明顯運動模糊的情況下也能準確感知到姿態(tài)。

現(xiàn)實世界中的機器人訓練依然困難重重

使用模擬的主要原因之一是直接在現(xiàn)實世界中訓練機器人會產(chǎn)生各種難題。例如機器人硬件在過度使用后容易損壞、實驗的迭代周期和周轉(zhuǎn)時間可能很長等。

除了模擬之外，機器人還必須解決所有現(xiàn)實中的機械和物理學問題

我們在實驗中經(jīng)常發(fā)現(xiàn)在長期使用后需要對機械手進行修理，例如擰緊松動的螺絲、更換帶狀電纜、在進行 10-15 次試驗后需要讓機械手休息并等待它冷卻等。在模擬中，我們是在一個不會損壞的機器人上進行訓練，所以能夠避開許多這樣的問題，同時還能獲得學習高難度任務所需的大量數(shù)據(jù)。而且模擬的運行速度比實時訓練快得多，所以迭代周期大幅縮短。

在模擬環(huán)境中訓練的最大問題是需要縮小模擬和現(xiàn)實世界之間的差距。為了解決這個問題，DeXtreme 對模擬器中設置的物理屬性使用了域隨機化，可一次在超過十萬個模擬環(huán)境中大規(guī)模地改變物體的質(zhì)量、摩擦水平和其他屬性。

隨機化所帶來的好處之一是讓我們可以使用各種不常見的場景組合來訓練人工智能，這能保證機器人在現(xiàn)實世界執(zhí)行任務時的穩(wěn)健性。例如，我們在現(xiàn)實機器人上的大部分實驗都是在由于電路板上的連接松動而導致拇指輕微失靈的情況下進行的。盡管如此，我們還是對這些策略能夠從模擬可靠地轉(zhuǎn)移到現(xiàn)實世界而感到驚訝。

經(jīng)過超過 32 小時的強化學習，DeXtreme 機器人能夠在根據(jù)指定目標旋轉(zhuǎn)立方體的任務中反復取得成功

從模擬到現(xiàn)實

未來機器人操作領(lǐng)域的突破將催生出新一批不僅限于傳統(tǒng)工業(yè)用途的機器人應用。DeXtreme 項目所傳達的核心信息是：模擬可以成為訓練復雜機器人系統(tǒng)的一個非常有效的工具，包括需要不斷接觸環(huán)境中的物體的機器人系統(tǒng)。我們使用成本相對較低的硬件來證明這一點是為了鼓勵大家使用我們的模擬工具并在此基礎(chǔ)上繼續(xù)努力。

關(guān)于 DeXtreme 項目的更多細節(jié)，請查看論文并訪問項目網(wǎng)頁：https://dextreme.org/