瑞士蘇黎世機器人系統(tǒng)實驗室為他們的ANYmal機器狗開發(fā)了新的訓(xùn)練方法，利用強化學(xué)習(xí)，機器人學(xué)習(xí)的速度提升了1000倍，動作靈活性和速度都大幅增強，而且任踢不倒，或者在哪里跌倒就在哪里站起。

一提到機器狗，大家可能首先想到的是波士頓動力的SpotMini。

這只黃色小狗會跑會跳，還會上下樓梯，隨音樂熱舞，崎嶇地面行走如履平地，甚至還會幫“兄弟”開門，簡直成精了！難怪每回波士頓動力放出新視頻都會搶盡眼球。

波士頓動力的SpotMini會開門

不過這次，搶占眼球的是一只“在哪里跌倒就在哪里站起來”的黑色機器狗。這只機器狗來自瑞士蘇黎世機器人系統(tǒng)實驗室，相關(guān)論文周三發(fā)表在Science Robotics雜志上。

ANYmal機器狗

要知道，先進的機器人是很昂貴的，要教它們學(xué)會一項任務(wù)非常耗時。來自瑞士蘇黎世機器人系統(tǒng)實驗室的一個研究小組稱，他們找到一種方法，通過適當?shù)?a href="http://m.sdkjxy.cn/analog/" target="_blank">模擬，可以訓(xùn)練他們的機器人快速學(xué)習(xí)。

任踢不倒

摔了個狗啃泥，但沒關(guān)系，翻個身就能起來

在論文中，他們描述了一種系統(tǒng)，這種系統(tǒng)可以訓(xùn)練機器人以比以往任何時候都要快的速度移動，同時仍然能夠抵抗試圖將其撞倒的企圖。如果它真的被撞倒了，它甚至可以通過自身的力量重新站起來。

ANYmal跑過房間

這臺機器狗名為ANYmal，最初是由位于蘇黎世聯(lián)邦理工學(xué)院(ETH Zurich)機器人系統(tǒng)實驗室的研究人員開發(fā)的，后來成為2016年成立的ANYbotics公司的一部分，開始商業(yè)化。

ANYmal可用于搜救任務(wù)，例如火災(zāi)搜救

不像現(xiàn)在的許多四足機器人，ANYmal有防水能力，是專門為穿越不太理想的環(huán)境而設(shè)計的，比如森林、工業(yè)場所和雪地。根據(jù)ANYbotics的說法，這款機器人已經(jīng)可以在現(xiàn)實世界中用于人類無法到達的危險地區(qū)，包括搜救任務(wù)。它去年甚至出現(xiàn)在最近一集《X檔案》里，扮演一個攻擊機器人。

利用強化學(xué)習(xí)，訓(xùn)練速度提升1000倍

雖然在沒有人類輸入的情況下，四條腿的機器人比兩條腿的機器人在模仿真實生物的靈活性和協(xié)調(diào)性方面要領(lǐng)先得多，但仍有很大的改進空間。

機器人專家已經(jīng)轉(zhuǎn)向的一個潛在的解決方案是一種稱為強化學(xué)習(xí)的機器學(xué)習(xí)形式。這種方法可以讓機器人通過反復(fù)試驗來訓(xùn)練自己，找到執(zhí)行任務(wù)的最佳方式，比如走路。

簡而言之，強化學(xué)習(xí)可以讓機器人幾乎像能動物一樣“思考”和學(xué)習(xí)，具有自己的內(nèi)在邏輯。

然而，在一個有腿的、真實的機器人身上使用強化學(xué)習(xí)并不容易，因為它們本身和它們的運動都非常復(fù)雜。因此，目前為止，科學(xué)家們主要依靠計算機模擬機器人學(xué)習(xí)。但是，該研究論文的第一作者、蘇黎世聯(lián)邦理工學(xué)院機器人系統(tǒng)實驗室的科學(xué)家Jemin Hwangbo說，使用這些模擬數(shù)據(jù)來訓(xùn)練ANYmal這樣的真實機器人也很困難。

利用模擬數(shù)據(jù)訓(xùn)練

他說：“為復(fù)雜的腿式系統(tǒng)開發(fā)控制策略是極具挑戰(zhàn)性的。機器人面臨的情況數(shù)不勝數(shù)，幾乎不可能設(shè)計出能涵蓋所有情況的控制邏輯。”

在這篇新論文中，Hwangbo和他的團隊寫道，他們開發(fā)出一種神經(jīng)網(wǎng)絡(luò)，使他們能夠更好、更容易地將仿真數(shù)據(jù)轉(zhuǎn)換到機器人上。讓機器人利用模擬數(shù)據(jù)學(xué)習(xí)的速度比在現(xiàn)實世界學(xué)習(xí)快了近1000倍。

研究人員讓模擬機器狗自己訓(xùn)練了11個小時，然后將結(jié)果下載到物理機器人上。測試表明，該方法運行良好，改進版的ANYmal機器狗更加靈活，速度也更快。

研究小組還表示，他們能夠降低類似系統(tǒng)所需的計算力，只需要一臺普通PC就能執(zhí)行模擬。

上面的視頻展示了這一研究的最終結(jié)果，看起來確實令人印象深刻，也有點可怕。

使用模擬數(shù)據(jù)訓(xùn)練的ANYmal跑得更快，更節(jié)能，比它以往的最快跑步速度快了25%，同時也能更好地按照指令以一定的速度移動。

雖然它原本已經(jīng)是相當強壯的機器人，但在研究人員盡力將其踢翻的過程中，新的訓(xùn)練仍然使它能夠保持直立。

它甚至可以從跌倒中翻身站起，研究人員稱，在類似復(fù)雜度的四足機器人上從未能做到這一點。

ANYmal機器狗的不同落體配置

從各種方向跌倒，ANYmal都能翻身站起

Hwango說，他們的新訓(xùn)練技術(shù)不是僅適用于ANYmal。他們認為該技術(shù)可以幫助任何四足機器人更好地站立。但要訓(xùn)練機器人在各種各樣的環(huán)境下都能如此敏捷，仍有很多工作要做。

他說：“這篇論文提出的方法只針對平坦的地形。為了穿越崎嶇不平、非結(jié)構(gòu)化的地形，我們需要使用視覺傳感器和適當?shù)恼邅硖幚磉@些信息。我們正在朝這個方向努力，希望不久能提出一個更全面的解決辦法?！?/p>

與此前的ANYmal機器人控制器相比，新的訓(xùn)練方法在使用更少的扭矩和功率的情況下，能使ANYmal行走更加精確。