NVIDIA的研究人員開發(fā)了第一個可以教機器人僅通過觀察人類的行為來完成任務(wù)的深度學(xué)習(xí)系統(tǒng)。該方法利用合成數(shù)據(jù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，是第一次在機器人上使用以圖像為中心的域隨機化方法。

來自NVIDIA的研究人員開發(fā)了一個基于深度學(xué)習(xí)的系統(tǒng)，該系統(tǒng)可以教機器人僅通過觀察人類的行為來完成任務(wù)。該方法旨在加強人與機器人之間的交流，同時進一步研究如何使人類無縫地與機器人一起工作。這是第一個這樣的系統(tǒng)，研究由Stan Birchfield和Jonathan Tremblay領(lǐng)導(dǎo)。

“要想讓機器人在現(xiàn)實世界中執(zhí)行有用的任務(wù)，必須要能很容易地將任務(wù)傳達給機器人。這包括預(yù)期的結(jié)果以及任何關(guān)于達到該結(jié)果的最佳方法的提示?！毖芯咳藛T在他們的研究報告中指出?！巴ㄟ^演示，用戶可以將任務(wù)傳達給機器人，并向機器人提供如何以最佳的方式執(zhí)行任務(wù)的線索?！?/p>

研究人員使用NVIDIA TITAN X GPU訓(xùn)練了一系列神經(jīng)網(wǎng)絡(luò)來執(zhí)行與感知、程序生成和程序執(zhí)行相關(guān)的任務(wù)。結(jié)果顯示，機器人能夠通過觀察現(xiàn)實世界的單個演示來學(xué)習(xí)任務(wù)。

該方法的工作方式：一個攝像機被用來捕獲場景的實時視頻流，并且通過兩個神經(jīng)網(wǎng)絡(luò)實時地對場景中對象的位置和關(guān)系進行推斷。由此產(chǎn)生的知覺被輸入到另一個網(wǎng)絡(luò)中，該網(wǎng)絡(luò)生成一個解釋如何重建這些感知的計劃。 最后，一個執(zhí)行網(wǎng)絡(luò)讀取該計劃并為機器人生成動作，同時考慮到當(dāng)前場景的狀態(tài)，以確保對外部干擾的穩(wěn)健性。

一旦機器人得到一個任務(wù)，它就會生成一個人類可讀取的關(guān)于重新執(zhí)行該任務(wù)所需步驟的描述。該描述讓用戶能夠在機器人執(zhí)行之前快速識別和糾正機器人對人類演示的解釋中的問題。

實現(xiàn)這種能力的關(guān)鍵是利用合成數(shù)據(jù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。目前訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法需要大量有標(biāo)記的訓(xùn)練數(shù)據(jù)，這對這類系統(tǒng)來說是一個瓶頸。通過合成數(shù)據(jù)生成，不用太費力就可以生成幾乎無限的標(biāo)記訓(xùn)練數(shù)據(jù)。

這也是第一次在機器人上使用以圖像為中心的域隨機化方法。域隨機化（domain randomization）是一種產(chǎn)生大量多樣性的合成數(shù)據(jù)的技術(shù)，然后愚弄感知網(wǎng)絡(luò)將真實世界的數(shù)據(jù)看作是其訓(xùn)練數(shù)據(jù)的另一種變體。研究人員選擇以圖像為中心的方式處理數(shù)據(jù)，以確保網(wǎng)絡(luò)不依賴于攝像機或環(huán)境。

研究人員說：“如描述所示，這個感知網(wǎng)絡(luò)適用于任何固態(tài)的現(xiàn)實世界物體，這些物體可以通過其3D邊界立方體（bounding cuboid）來模擬?！薄氨M管訓(xùn)練過程中從未觀察到真實的圖像，但感知網(wǎng)絡(luò)能夠在真實圖像中可靠地檢測到物體的bounding cuboid，即使在有嚴重的遮擋的情況下也是如此。”

在他們的演示中，研究團隊用幾個彩色積木和一輛玩具汽車訓(xùn)練目標(biāo)檢測器。系統(tǒng)被教授“塊”（blocks）的物理關(guān)系，不管這些“塊”是堆疊在一起還是彼此相鄰放置。

在上面的演示視頻中，人類操作員向機器人展示了一組立方塊。系統(tǒng)然后推斷一個適當(dāng)?shù)某绦虿凑_的順序?qū)⒘⒎綁K正確地放置好。因為它在執(zhí)行過程中會考慮當(dāng)前世界的狀態(tài)，因此系統(tǒng)能夠?qū)崟r地從錯誤中恢復(fù)過來。

研究人員將在本周于澳大利亞布里斯班舉行的機器人與自動化國際會議（ICRA）上發(fā)表他們的研究論文和工作。

該團隊表示，他們將繼續(xù)探索使用合成訓(xùn)練數(shù)據(jù)進行機器人操縱，以將他們的方法擴展到其他場景。