本文是ICLR2019入選論文《AD-VAT: An Asymmetric Dueling mechanism for learning Visual Active Tracking》的深入解讀。該論文由北京大學(xué)數(shù)字視頻編解碼技術(shù)國(guó)家工程實(shí)驗(yàn)室博士生鐘方威、嚴(yán)汀沄在王亦洲老師和騰訊AI Lab研究員孫鵬、羅文寒的指導(dǎo)下合作完成。該研究也入選了2018騰訊AI Lab犀牛鳥專項(xiàng)研究計(jì)劃。

什么是主動(dòng)視覺(jué)跟蹤？

主動(dòng)視覺(jué)跟蹤（Visual Active Tracking）是指智能體根據(jù)視覺(jué)觀測(cè)信息主動(dòng)控制相機(jī)的移動(dòng)，從而實(shí)現(xiàn)對(duì)目標(biāo)物體的跟蹤（與目標(biāo)保持特定距離）。主動(dòng)視覺(jué)跟蹤在很多真實(shí)機(jī)器人任務(wù)中都有需求，如用無(wú)人機(jī)跟拍目標(biāo)拍攝視頻，智能跟隨旅行箱等。要實(shí)現(xiàn)主動(dòng)視覺(jué)跟蹤，智能體需要執(zhí)行一系列的子任務(wù)，如目標(biāo)識(shí)別、定位、運(yùn)動(dòng)估計(jì)和相機(jī)控制等。

然而，傳統(tǒng)的視覺(jué)跟蹤方法的研究?jī)H僅專注于從連續(xù)幀中提取出關(guān)于目標(biāo)的2D包圍框，而沒(méi)有考慮如何主動(dòng)控制相機(jī)移動(dòng)。因此，相比于這種“被動(dòng)”跟蹤，主動(dòng)視覺(jué)跟蹤更有實(shí)際應(yīng)用價(jià)值，但也帶來(lái)了諸多挑戰(zhàn)。

左圖：一個(gè)機(jī)器人主動(dòng)跟隨目標(biāo)移動(dòng)（圖片來(lái)自網(wǎng)絡(luò)）

右圖：對(duì)比基于強(qiáng)化學(xué)習(xí)的端到端主動(dòng)跟蹤和傳統(tǒng)的跟蹤方法[1]

深度強(qiáng)化學(xué)習(xí)方法有前景，但仍有局限性

在前期的工作[1][2]中，作者提出了一種用深度強(qiáng)化學(xué)習(xí)訓(xùn)練端到端的網(wǎng)絡(luò)來(lái)完成主動(dòng)視覺(jué)跟蹤的方法，不僅節(jié)省了額外人工調(diào)試控制器的精力，而且取得了不錯(cuò)的效果，甚至能夠直接遷移到簡(jiǎn)單的真實(shí)場(chǎng)景中工作。

然而，這種基于深度強(qiáng)化學(xué)習(xí)訓(xùn)練的跟蹤器的性能一定程度上仍然受限于訓(xùn)練的方法。因?yàn)樯疃葟?qiáng)化學(xué)習(xí)需要通過(guò)大量試錯(cuò)來(lái)進(jìn)行學(xué)習(xí)，而直接讓機(jī)器人在真實(shí)世界中試錯(cuò)的代價(jià)是高昂的。一種常用的解決方案是使用虛擬環(huán)境進(jìn)行訓(xùn)練，但這種方法最大的問(wèn)題是如何克服虛擬和現(xiàn)實(shí)之間的差異，使得模型能夠部署到真實(shí)應(yīng)用當(dāng)中。雖然已經(jīng)有一些方法嘗試去解決這個(gè)問(wèn)題，如構(gòu)建大規(guī)模的高逼真虛擬環(huán)境用于視覺(jué)導(dǎo)航的訓(xùn)練，將各個(gè)因素（表面紋理/光照條件等）隨機(jī)化擴(kuò)增環(huán)境的多樣性。

對(duì)于主動(dòng)視覺(jué)跟蹤的訓(xùn)練問(wèn)題，不僅僅前背景物體外觀的多樣性，目標(biāo)運(yùn)動(dòng)軌跡的復(fù)雜程度也將直接影響跟蹤器的泛化能力。可以考慮一種極端的情況：如果訓(xùn)練時(shí)目標(biāo)只往前走，那么跟蹤器自然不會(huì)學(xué)會(huì)適應(yīng)其它的運(yùn)動(dòng)軌跡，如急轉(zhuǎn)彎。但對(duì)目標(biāo)的動(dòng)作、軌跡等因素也進(jìn)行精細(xì)建模將會(huì)是代價(jià)高昂的且無(wú)法完全模擬所有真實(shí)情況。

讓目標(biāo)與跟蹤器“斗起來(lái)”

因此，作者提出了一種基于對(duì)抗博弈的強(qiáng)化學(xué)習(xí)框架用于主動(dòng)視覺(jué)跟蹤的訓(xùn)練，稱之為AD-VAT（Asymmetric Dueling mechanism for learning Visual Active Tracking）。

在這個(gè)訓(xùn)練機(jī)制中，跟蹤器和目標(biāo)物體被視作一對(duì)正在“決斗”的對(duì)手（見(jiàn)下圖），也就是跟蹤器要盡量跟隨目標(biāo)，而目標(biāo)要想辦法脫離跟蹤。這種競(jìng)爭(zhēng)機(jī)制，使得他們?cè)谙嗷ヌ魬?zhàn)對(duì)方的同時(shí)相互促進(jìn)共同提升。

當(dāng)目標(biāo)在探索逃跑策略時(shí)，會(huì)產(chǎn)生大量多種多樣的運(yùn)動(dòng)軌跡，并且這些軌跡往往會(huì)是當(dāng)前跟蹤器仍不擅長(zhǎng)的。

在這種有對(duì)抗性的目標(biāo)的驅(qū)動(dòng)下，跟蹤器的弱點(diǎn)將更快地暴露隨之進(jìn)行強(qiáng)化學(xué)習(xí)，最終使得其魯棒性得到顯著提升。

在訓(xùn)練過(guò)程中，因?yàn)楦櫰骱湍繕?biāo)的能力都是從零開(kāi)始同步增長(zhǎng)的，所以他們?cè)诿總€(gè)訓(xùn)練階段都能夠遇到一個(gè)能力相當(dāng)?shù)膶?duì)手與之競(jìng)爭(zhēng)，這就自然得構(gòu)成了從易到難的課程，使得學(xué)習(xí)過(guò)程更加高效。

然而，直接構(gòu)造成零和游戲進(jìn)行對(duì)抗訓(xùn)練是十分不穩(wěn)定且難以收斂的。

AD-VAT概覽

如何讓對(duì)抗更加高效且穩(wěn)定？

為解決訓(xùn)練的問(wèn)題，作者提出了兩個(gè)改進(jìn)方法：不完全零和的獎(jiǎng)賞函數(shù)（partial zero-sum reward）和用于目標(biāo)的跟蹤可知模型（tracker-aware model）。

不完全零和獎(jiǎng)賞是一種混合的獎(jiǎng)賞結(jié)構(gòu)，僅鼓勵(lì)跟蹤器和目標(biāo)在一定相對(duì)范圍內(nèi)進(jìn)行零和博弈，當(dāng)目標(biāo)到達(dá)一定距離外時(shí)給予其額外的懲罰，此時(shí)將不再是零和博弈，因此稱之為不完全零和獎(jiǎng)賞。

這么設(shè)計(jì)獎(jiǎng)賞函數(shù)是為了避免一個(gè)現(xiàn)象，當(dāng)目標(biāo)快速遠(yuǎn)離跟蹤器時(shí)，跟蹤器將不能觀察到目標(biāo)，以至于訓(xùn)練過(guò)程變得低效甚至不穩(wěn)定。

上式為跟蹤器的獎(jiǎng)賞函數(shù)，沿用了[1]中的設(shè)計(jì)思想，懲罰項(xiàng)由期望位置與目標(biāo)之間的距離所決定。

上式為目標(biāo)的獎(jiǎng)賞函數(shù)，在觀測(cè)范圍內(nèi)，目標(biāo)與跟蹤器進(jìn)行零和博弈，即獎(jiǎng)賞函數(shù)為跟蹤器的獎(jiǎng)賞直接取負(fù)。在觀測(cè)范圍外，將在原來(lái)的基礎(chǔ)上得到一個(gè)額外的懲罰項(xiàng)，懲罰項(xiàng)的取值取決于目標(biāo)與跟蹤器的觀測(cè)邊界的距離。

跟蹤可知模型是為了讓目標(biāo)能夠針對(duì)跟蹤策略學(xué)會(huì)更優(yōu)的對(duì)抗策略，所謂“知己知彼，百戰(zhàn)不殆”。具體的，除了其自身的視覺(jué)觀測(cè)外，還額外獲得了跟蹤器的觀測(cè)和動(dòng)作輸出作為模型的輸入。

為了更好地學(xué)習(xí)關(guān)于跟蹤器的特征表示，作者還引入了一個(gè)輔助任務(wù)：預(yù)測(cè)跟蹤器的即時(shí)獎(jiǎng)賞值。

基于以上改進(jìn)，“決斗（Dueling）”雙方在觀測(cè)信息、獎(jiǎng)賞函數(shù)、目標(biāo)任務(wù)上將具備不對(duì)稱性（Asymmetric），因此將這種對(duì)抗機(jī)制稱之為“非對(duì)稱決斗（Asymmetric Dueling）”。

實(shí)驗(yàn)環(huán)境

作者在多種不同的2D和3D環(huán)境開(kāi)展了實(shí)驗(yàn)以更進(jìn)一步驗(yàn)證該方法的有效性。2D環(huán)境是一個(gè)簡(jiǎn)單的矩陣地圖，用不同的數(shù)值分別表示障礙物、目標(biāo)、跟蹤器等元素。

作者設(shè)計(jì)了兩種規(guī)則生成地圖中的障礙物分布（Block, Maze）。作者設(shè)計(jì)了兩種基于規(guī)則的目標(biāo)運(yùn)動(dòng)模型作為基準(zhǔn)：漫步者（Rambler）和導(dǎo)航者（Navigator）。

漫步者是隨機(jī)從選擇動(dòng)作和持續(xù)的時(shí)間，生成的軌跡往往在一個(gè)局域范圍內(nèi)移動(dòng)（見(jiàn)Block-Ram中的黃色軌跡）。

導(dǎo)航者則是從地圖中隨機(jī)采樣目標(biāo)點(diǎn)，然后沿著最短路徑到達(dá)目標(biāo)，因此導(dǎo)航者將探索更大范圍（見(jiàn)Block-Nav中的黃色軌跡）。

將這些不同種的地圖和目標(biāo)依次組合，構(gòu)成了不同的訓(xùn)練和測(cè)試環(huán)境。作者只用其中的一種地圖（Block）用作訓(xùn)練，然后在所有可能的組合環(huán)境中測(cè)試，從而證明模型的泛化能力。

3D環(huán)境是基于UE4和UnrealCV[3]構(gòu)建的虛擬環(huán)境。作者只用一個(gè)采取域隨機(jī)技術(shù)（環(huán)境中物體表面紋理、光照條件都可以進(jìn)行隨機(jī)設(shè)置）的房間（DR Room, Domain Randomized Room）進(jìn)行訓(xùn)練，然后在三個(gè)不同場(chǎng)景的近真實(shí)場(chǎng)景中測(cè)試模型的性能。

實(shí)驗(yàn)結(jié)果

在2D環(huán)境中，作者首先驗(yàn)證了AD-VAT相比基準(zhǔn)方法能夠帶來(lái)有效提升，同時(shí)進(jìn)行了消融實(shí)驗(yàn)來(lái)證明兩個(gè)改進(jìn)方法的有效性。

左圖為AD-VAT（藍(lán)線）和基準(zhǔn)方法在2D環(huán)境中的訓(xùn)練曲線，可見(jiàn)AD-VAT能夠讓跟蹤器學(xué)得更快更好。右圖為消融實(shí)驗(yàn)的結(jié)果，對(duì)比刪減不同模塊后的學(xué)習(xí)曲線，作者提出的兩個(gè)改進(jìn)方法能夠使對(duì)抗強(qiáng)化學(xué)習(xí)的訓(xùn)練更高效。

作者在3D環(huán)境中的實(shí)驗(yàn)更進(jìn)一步證明該方法的有效性和實(shí)用性。

在訓(xùn)練過(guò)程中，作者觀測(cè)到了一個(gè)有趣的現(xiàn)象，目標(biāo)會(huì)更傾向于跑到背景與其自身紋理接近的區(qū)域，以達(dá)到一種“隱身”的效果來(lái)迷惑跟蹤器。而跟蹤器在被不斷“難倒”后，最終學(xué)會(huì)了適應(yīng)這些情況。

作者對(duì)比了由AD-VAT和兩種基準(zhǔn)方法訓(xùn)練的跟蹤器在不同場(chǎng)景中的平均累計(jì)獎(jiǎng)賞（左圖）和平均跟蹤長(zhǎng)度（右圖）。

其中，雪鄉(xiāng)（Snow Village）和地下停車場(chǎng)（Parking Lot）是兩個(gè)十分有挑戰(zhàn)性的環(huán)境，每個(gè)模型的性能都有不同程度的下降，但該論文提出的模型取得了更好的結(jié)果，說(shuō)明了AD-VAT跟蹤器對(duì)復(fù)雜場(chǎng)景的適應(yīng)能力更強(qiáng)。

雪鄉(xiāng)主要的挑戰(zhàn)在于地面崎嶇不平，且相機(jī)會(huì)被下落的雪花、逆光的光暈等因素干擾導(dǎo)致目標(biāo)被遮擋：

左圖為跟蹤器第一人稱視角，右圖為第三人稱視角

停車場(chǎng)中光線分布不均勻（亮暗變化劇烈），且目標(biāo)可能被立柱遮擋：

左圖為跟蹤器第一人稱視角，右圖為第三人稱視角