此文是根據(jù)北京大學(xué)工學(xué)院謝廣明教授于2019年5月在浙江寧波余姚舉行的第六屆中國(guó)機(jī)器人峰會(huì)上的《一種基于強(qiáng)化學(xué)習(xí)與計(jì)算流體力學(xué)結(jié)合的機(jī)器魚(yú)運(yùn)動(dòng)控制方法》報(bào)告錄音整理摘編部分而成，

以賽促研，挖掘有特點(diǎn)并結(jié)合實(shí)際的項(xiàng)目

海洋夢(mèng)是中國(guó)夢(mèng)的重要組成部分，而建設(shè)海洋強(qiáng)國(guó)越來(lái)越受到重視。謝廣明指出了水下機(jī)器人的研究方向，他認(rèn)為，要對(duì)單體上的水下智能仿生機(jī)器人進(jìn)行研究，研發(fā)各種各樣的魚(yú)、海豚等兩棲的仿生機(jī)器人，通過(guò)控制其它方面來(lái)提升性能；另一方面，要通過(guò)感知通信、關(guān)鍵技術(shù)編隊(duì)協(xié)作運(yùn)輸?shù)燃夹g(shù)，使一群機(jī)器人共同完成任務(wù)，變成產(chǎn)業(yè)化提供服務(wù)。

此外，謝廣明還表示要以水中機(jī)器人為主體展開(kāi)各項(xiàng)競(jìng)賽活動(dòng)，通過(guò)比賽吸引更多的國(guó)內(nèi)外高校一起促進(jìn)技術(shù)的進(jìn)步，不光是被動(dòng)地參與比賽，而是真的主動(dòng)提出一些有特點(diǎn)、又跟實(shí)際發(fā)展相結(jié)合的項(xiàng)目。據(jù)謝廣明介紹，他們最初設(shè)計(jì)比賽項(xiàng)目都偏科研類，逐漸由純學(xué)術(shù)的比賽走向跟實(shí)際應(yīng)用結(jié)合。并希望通過(guò)各種比賽聯(lián)盟，成為一個(gè)競(jìng)賽、教學(xué)、科研、產(chǎn)業(yè)化的平臺(tái)，將來(lái)也會(huì)吸引一些企業(yè)進(jìn)入，形成紐帶作用，提升水平發(fā)展，形成共贏的局面。

仿真訓(xùn)練困難重重

水下機(jī)器人發(fā)展很難，看上去空間好像很遠(yuǎn)，但實(shí)際上難度很大，它的通信和能源不好定位。謝廣明指出，有些項(xiàng)目用大型機(jī)器人不好操作，需要開(kāi)發(fā)小型仿生機(jī)器人，但這種機(jī)器魚(yú)以及控制等方面仍存在很多問(wèn)題，比如模型難建立、難以做得精巧。因此，用深度強(qiáng)化學(xué)習(xí)來(lái)提高機(jī)器人的自主性、智能性或許成為解題思路。但深度強(qiáng)化學(xué)習(xí)同樣存在問(wèn)題，它的迭代周期非常長(zhǎng)，需要長(zhǎng)期訓(xùn)練。

仿真訓(xùn)練也得到了大家的關(guān)注，但是仿真和實(shí)際的距離還是很大，仿真中訓(xùn)練的效果直接用到機(jī)器人上，會(huì)不會(huì)產(chǎn)生成像效果？謝廣明認(rèn)為這之間還是有一定距離。機(jī)器魚(yú)有柔性，如何仿真才能夠跟實(shí)際更接近呢？這也不好弄。如果用流體仿真，比陸地仿真更復(fù)雜，代價(jià)更大，就面臨更多的困難。

強(qiáng)化學(xué)習(xí)與計(jì)算流體力學(xué)結(jié)合攻破難關(guān)

面對(duì)這么多難題，應(yīng)該如何運(yùn)用呢？謝廣明表示，經(jīng)過(guò)一段時(shí)間的初步嘗試后，他們形成了基于深度強(qiáng)化學(xué)習(xí)的代理模型，確定程度后，再置于CFD的精細(xì)仿真環(huán)境中，調(diào)整參數(shù)，最終取得實(shí)際效果。然后將代理模型和精確仿真之間進(jìn)行切換，形成訓(xùn)練系統(tǒng)。在這個(gè)過(guò)程中，謝廣明及其團(tuán)隊(duì)發(fā)現(xiàn)用傳統(tǒng)控制實(shí)現(xiàn)不了讓機(jī)器魚(yú)走期望的軌道。

于是，他們開(kāi)始使用預(yù)先設(shè)定的直線進(jìn)行模擬訓(xùn)練，再用曲線進(jìn)行CFD測(cè)試，最后再真實(shí)環(huán)境中進(jìn)行測(cè)試。目前已實(shí)現(xiàn)用DRL方法來(lái)控制仿生機(jī)器人魚(yú)的運(yùn)動(dòng)，并結(jié)合實(shí)際實(shí)驗(yàn)數(shù)據(jù)和計(jì)算流體力學(xué)（CFD），提出了自切換模擬系統(tǒng)，實(shí)現(xiàn)了從模擬到現(xiàn)實(shí)的策略遷移，只有在直線上訓(xùn)練，機(jī)器人才能在現(xiàn)實(shí)世界中追蹤任何不超過(guò)其運(yùn)動(dòng)能力的曲線。謝廣明表示，未來(lái)將設(shè)計(jì)更復(fù)雜的任務(wù)來(lái)形成連續(xù)化，進(jìn)行抗干擾研究、節(jié)能研究、多機(jī)器人協(xié)作研究等多方面的研究，使機(jī)器人能完成更復(fù)雜的任務(wù)。