摘要：前幾天我們剛剛介紹了加州大學(xué)伯克利分校PieterAbbeel教授領(lǐng)導(dǎo)伯克利機(jī)器人學(xué)習(xí)實(shí)驗(yàn)室（UCBerkeley'sRobotLearningLab）開發(fā)的會疊衣服的家務(wù)向機(jī)器人BLUE，今天伯克利人工智能實(shí)驗(yàn)室（BAIR）這邊也帶來了一項(xiàng)新的機(jī)器人科研成果——教會機(jī)器人使用工具完成任務(wù)。這篇論文的作者之一是知名青年機(jī)器學(xué)習(xí)研究員、谷歌大腦研究科學(xué)家ChelseaFinn，她目前正在BAIR做博士后。AI科技評論把論文成果的介紹博客編譯如下。

一個(gè)有難度的目標(biāo)：學(xué)習(xí)使用工具

在許多動物身上，使用工具的能力都來自于觀察學(xué)習(xí)和動手嘗試兩者的共同作用。比如，大猩猩可以通過觀察自己已經(jīng)掌握了技能的同伴學(xué)會如何用樹枝從白蟻窩里“釣”白蟻吃，人類也觀察到卷尾猴能夠把樹枝作為掃和撥的工具，把較遠(yuǎn)的食物弄到他們身邊。有人也許會提出這只不過是猴子們依葫蘆畫瓢，但這篇論文的作者們認(rèn)為使用工具的能力顯然體現(xiàn)了更為高級的智慧。

大猩猩釣白蟻

在這項(xiàng)新研究中作者們探索的問題是：我們能否讓機(jī)器人也擁有相似的使用工具的能力——通過觀察和自己動手實(shí)驗(yàn)學(xué)會使用工具。

在執(zhí)行復(fù)雜的多物體控制任務(wù)時(shí)，有一項(xiàng)必須的要素是理解物理層面的因果關(guān)系，所以預(yù)測不同的物體之間會如何相互作用就非常關(guān)鍵。在之前的視覺深度強(qiáng)化學(xué)習(xí)研究中，作者們已經(jīng)探究了如何在機(jī)器人與世界的無監(jiān)督交互過程中學(xué)習(xí)包含因果關(guān)系的視覺預(yù)測模型。在學(xué)習(xí)到這樣的模型之后，機(jī)器人就可以開始規(guī)劃并完成一系列簡單的任務(wù)，包括疊衣服、整理物品。不過，如果考慮到使用工具的任務(wù)中更為復(fù)雜的物理交互，比如用掃帚把塵土掃進(jìn)簸箕里，非指向性的動手實(shí)驗(yàn)就不夠了。

因此，考慮到動物們是如何學(xué)習(xí)的，作者們設(shè)計(jì)了一個(gè)新的算法，它可以讓機(jī)器人通過類似的模仿、互動的范式學(xué)習(xí)如何使用工具。具體來說作者們展示了，借助一組演示數(shù)據(jù)以及無監(jiān)督的動手實(shí)驗(yàn)，機(jī)器人可以學(xué)會把新的物體作為工具使用，甚至可以在傳統(tǒng)工具缺失的情況下靈活使用現(xiàn)有的工具完成任務(wù)。更進(jìn)一步地，根據(jù)任務(wù)要求的不同，作者們的方法還讓機(jī)器人有能力決定是否使用當(dāng)前給定的工具。

作者們提出的方法讓機(jī)器人有能力學(xué)習(xí)如何把不同的物體當(dāng)作工具以完成用戶給定的任務(wù)（第一行圖中用黃色箭頭標(biāo)出）。任務(wù)中并沒有指定機(jī)器人必須使用給定的工具，但機(jī)器人決定使用它們。

在指導(dǎo)中學(xué)習(xí)視覺預(yù)測

從演示中學(xué)習(xí)

首先，作者們需要使用一個(gè)演示動作數(shù)據(jù)集，其中展示了各種不同的工具是如何使用的。由于最終的目標(biāo)是希望學(xué)習(xí)到一個(gè)具有多種多樣的工具使用能力的模型，作者們采集的演示動作數(shù)據(jù)也就包含了多種不同的工具和多種不同的任務(wù)。對于每一個(gè)演示，作者們都讓機(jī)器人自己的攝像頭錄制了圖像序列和動作指令。

幾個(gè)引導(dǎo)運(yùn)動的例子

通過這些數(shù)據(jù)，作者們得到了一個(gè)模型，它可以提出把當(dāng)前場景內(nèi)存在的物體作為工具的運(yùn)動序列。并且，為了能夠從演示中捕捉更為豐富的行為，這個(gè)模型的輸出形式是不同動作序列的分布。

為視覺預(yù)測模型的學(xué)習(xí)收集無監(jiān)督數(shù)據(jù)

由于作者們希望機(jī)器人的行為不要局限于演示數(shù)據(jù)中出現(xiàn)的那些動作，并最終泛化到新的物體和新的情境中，他們就還需要很多不同的數(shù)據(jù)。最理想的來源當(dāng)然是由機(jī)器人自己采集，而且是通過大規(guī)?？赏卣沟姆绞健１热?，作者們希望機(jī)器人能夠理解抓取姿態(tài)不好之類的小錯(cuò)誤對后續(xù)的動作會有什么影響，所以他們就讓機(jī)器人從現(xiàn)有的經(jīng)驗(yàn)基礎(chǔ)上繼續(xù)動手實(shí)驗(yàn)、繼續(xù)收集更多的數(shù)據(jù)。

具體來說，論文作者們設(shè)計(jì)了兩種不同的數(shù)據(jù)自動采集方式：一種方式是執(zhí)行隨機(jī)的動作序列，另一種是從上一節(jié)中提到的動作序列提出模型中采樣。后一種方式中，機(jī)器人可以把工具拿起來然后在空間中隨機(jī)移動它。對于學(xué)習(xí)多物體的交互方式來說，在這一環(huán)節(jié)中學(xué)習(xí)到的經(jīng)驗(yàn)非常重要。

根據(jù)日常物體和工具進(jìn)行無監(jiān)督交互學(xué)習(xí)

最終，作者們使用的數(shù)據(jù)集一共由這幾部分構(gòu)成：專家演示、機(jī)器人使用多種不同工具的無監(jiān)督實(shí)驗(yàn)、以及BAIR機(jī)器人交互數(shù)據(jù)集中的數(shù)據(jù)。作者們用這些數(shù)據(jù)訓(xùn)練了一個(gè)動態(tài)模型。模型的實(shí)現(xiàn)方式是循環(huán)卷積神經(jīng)網(wǎng)絡(luò)，它在每個(gè)時(shí)間步驟的輸入是前一副圖像和一個(gè)動作，輸出是一副生成的圖像。

在指導(dǎo)中學(xué)習(xí)規(guī)劃

在測試時(shí)，機(jī)器人可以使用模仿學(xué)習(xí)訓(xùn)練的模型來指導(dǎo)規(guī)劃過程，然后用預(yù)測模型來覺得哪些動作可以讓它完成目前的任務(wù)。

新任務(wù)的創(chuàng)建需要用戶給定關(guān)鍵點(diǎn)的移動。比如下圖中，我們希望機(jī)器人把地上的垃圾掃到簸箕中，就在圖中選中垃圾的中心點(diǎn)，然后畫出希望的最終位置。用這種方式指定任務(wù)并不會告訴機(jī)器人如何使用工具，在有多種工具可以選的環(huán)境下甚至都沒有指明要用哪一種工具，機(jī)器人需要自己思考并規(guī)劃。

作者們使用了一個(gè)簡單的基于采樣的規(guī)劃過程，它會使用動作提議模型和圖像預(yù)測模型的輸出，并讓機(jī)器人有能力用多種不同的工具和物品完成多種不同的任務(wù)。具體來說，動作序列最初是從隨機(jī)采樣的，然后，根據(jù)圖像預(yù)測模型可以預(yù)測出每一種動作序列規(guī)劃的結(jié)果。

同一個(gè)初始場景中，針對不同動作序列的預(yù)測結(jié)果

通過選出當(dāng)前最佳的規(guī)劃并根據(jù)它生成一個(gè)分布，系統(tǒng)可以進(jìn)行反復(fù)的迭代采樣，在當(dāng)前最佳的規(guī)劃的基礎(chǔ)上一直優(yōu)化改進(jìn)，最后在機(jī)器人上執(zhí)行。

系統(tǒng)運(yùn)行框圖

實(shí)驗(yàn)

作者們對這種方法進(jìn)行了實(shí)驗(yàn)，讓它使用新的工具執(zhí)行用戶設(shè)定的目標(biāo)。

從左到右：初始場景和任務(wù)目標(biāo)；根據(jù)最佳運(yùn)動規(guī)劃的預(yù)測結(jié)果；機(jī)器人的實(shí)際執(zhí)行結(jié)果

在前面提到過的清掃任務(wù)中，機(jī)器人可以抓起附近的掃帚，高效地完成任務(wù)。

在另一個(gè)場景中，雖然機(jī)器人從未見過海綿，但它能夠思考如何用它把盤子中的碎渣掃走。

在下面的例子中，作者們設(shè)定只允許機(jī)器人在綠色陰影范圍內(nèi)移動，目標(biāo)是把藍(lán)色圓柱體向自己的方向移動。顯然，這個(gè)任務(wù)的關(guān)鍵就是機(jī)器人想到了如何使用L型的木塊把圓柱體鉤過來。

以及，即便只給機(jī)器人提供礦泉水瓶之類的日常物體，它也能推理出如何把它作為工具完成任務(wù)。

最后，在最好不使用工具的環(huán)境中，機(jī)器人也會選擇直接用自己的夾鉗完成任務(wù)。

左：任務(wù)目標(biāo)是把兩個(gè)物體都移向左邊，機(jī)器人選擇用工具高效地完成；右：任務(wù)目標(biāo)只需移動一個(gè)物體，機(jī)器人用自己的夾鉗把它移過去

除了這些例子之外，論文中的量化實(shí)驗(yàn)結(jié)果表明他們的方法比單獨(dú)使用從演示學(xué)習(xí)有更好的泛化通用性，也比單獨(dú)從經(jīng)驗(yàn)學(xué)習(xí)有更強(qiáng)的完成任務(wù)能力。

關(guān)于其他機(jī)器人使用工具研究的對比討論

論文《ARelationalApproachtoTool-UseLearninginRobots》（www.roboticsproceedings.org/rss14/p44.pdf）研究了如何在任務(wù)和運(yùn)動規(guī)劃框架下通過邏輯編程和已知模型控制工具。然而，基于邏輯的系統(tǒng)和基于解析模型的系統(tǒng)都容易受到建模誤差的影響，這會在測試執(zhí)行時(shí)累積并影響表現(xiàn)。

其它的研究中把工具看作了面向任務(wù)的抓取動作控制（ieeexplore.ieee.org/document/769），并根據(jù)規(guī)劃（cs.stanford.edu/people/asaxena/papers/deepmpc_rss2015.pdf）或者策略學(xué)習(xí)（arxiv.org/abs/1806.09266）來使用工具。這些方法都限制了涉及到工具的運(yùn)用的范圍，而這篇論文中的方法不論場景中有沒有工具都可以完成運(yùn)動規(guī)劃。

也有一些別的方法（ieeexplore.ieee.org/document/1570580，cs.stanford.edu/people/asaxena/papers/deepmpc_rss2015.pdf）提出在使用工具中學(xué)習(xí)動態(tài)模型。然而，這些方法需要額外使用手工設(shè)計(jì)的感知流水線，或者完全忽略感知，這篇論文中的方法就可以直接從原始圖像像素中學(xué)習(xí)物體間的交互。

結(jié)論

會出現(xiàn)從未見過的物體的多樣、復(fù)雜任務(wù)是機(jī)器人領(lǐng)域正在嘗試攻克的問題。為了研究這個(gè)問題，這篇論文的作者們研究了需要把物體作為工具的多種任務(wù)。作者們提出了結(jié)合模仿學(xué)習(xí)和自我監(jiān)督交互學(xué)習(xí)的新方法，并展示了這種方法可以讓機(jī)器人完成復(fù)雜的多物體交互任務(wù)，其中可以含有多種多樣的物體，甚至可以在新的環(huán)境中靈活運(yùn)用物體作為工具。作者們希望這項(xiàng)研究展示了讓機(jī)器人同時(shí)變得更通用和更能干的新方法，以便未來機(jī)器人可以在日常生活環(huán)境中執(zhí)行有用的任務(wù)。