近日，Science子刊發(fā)表文章，來自Facebook、加州伯克利分校和德克薩斯奧斯汀大學(xué)的研究人員通過強(qiáng)化學(xué)習(xí)解決了“如何讓智能體獲取信息性的視覺觀察”的問題。具體來說就是，AI智能體對(duì)新環(huán)境“瞥上幾眼”，就能快速推斷整個(gè)新環(huán)境的情況。AI的能力越來越接近人類了。

又接近了人類一步。

當(dāng)我們給計(jì)算機(jī)視覺系統(tǒng)輸入一張照片時(shí)，它們可以很容易捕獲照片中的信息。但是，自主捕獲信息對(duì)于計(jì)算機(jī)視覺系統(tǒng)還是非常困難的。

簡(jiǎn)單來說就是，當(dāng)我們?nèi)祟惪吹较聢D左、中兩個(gè)不同方向的獎(jiǎng)杯時(shí)，就有可能推測(cè)出第三個(gè)方向上獎(jiǎng)杯的樣子。

但對(duì)于計(jì)算機(jī)視覺系統(tǒng)或者AI智能體來說，這種能力的實(shí)現(xiàn)是較為困難的。

近日，Science子刊(Sience Robotics)封面發(fā)表了一篇文章，便對(duì)這項(xiàng)任務(wù)做了深入研究，并讓智能體的視覺系統(tǒng)取得了突破性進(jìn)展。不得不感嘆AI離人類的距離又拉近了一段！

來自Facebook、加州伯克利分校和德克薩斯奧斯汀大學(xué)的研究人員通過強(qiáng)化學(xué)習(xí)解決了“如何讓智能體獲取信息性的視覺觀察”的問題。具體來說就是，AI智能體對(duì)新環(huán)境“瞥上幾眼”，就能快速推斷整個(gè)新環(huán)境的情況。

如上圖所示，AI智能體快速對(duì)新環(huán)境不同方向拍攝快照并作為輸入，通過總計(jì)不超過20%場(chǎng)景內(nèi)容的照片即可推測(cè)整個(gè)場(chǎng)景內(nèi)容！

“輕輕一瞥”，新場(chǎng)景即刻再現(xiàn)！

對(duì)于一個(gè)智能體，環(huán)境的各個(gè)視圖只提供所有相關(guān)信息的一小部分。

例如，一個(gè)智能體如果看到前面的電視屏幕，它可能不知道電視是在客廳還是臥室；智能體從側(cè)面觀察一個(gè)杯子，可能要從上面看才能知道杯子里面是什么。

這項(xiàng)研究的目標(biāo)是學(xué)習(xí)一種控制智能體的攝像機(jī)運(yùn)動(dòng)策略，這樣它就可以有效地探索新的環(huán)境和對(duì)象。

為此，研究人員制定了一個(gè)基于主動(dòng)觀察完成的無監(jiān)督學(xué)習(xí)目標(biāo)。它的主要思想是支持一系列的攝像機(jī)運(yùn)動(dòng)，這些運(yùn)動(dòng)能使智能體周圍看不見的部分更容易預(yù)測(cè)。其輸出是一個(gè)查找策略，用于在新環(huán)境中收集新圖像。

主動(dòng)完成觀測(cè)任務(wù)面臨三大挑戰(zhàn)：

首先，為了很好地預(yù)測(cè)未觀察到的視圖，智能體必須學(xué)會(huì)從很少的視圖理解3D關(guān)系。經(jīng)典的幾何解在這些條件下很難求解；

其次，智能行動(dòng)選擇是這項(xiàng)任務(wù)的關(guān)鍵。鑒于過去的一系列觀察結(jié)果，系統(tǒng)必須根據(jù)可能提供最多信息的新觀點(diǎn)采取行動(dòng)，即，確定哪些視圖最能改進(jìn)其完整視圖網(wǎng)格的模型。

強(qiáng)調(diào)系統(tǒng)將面對(duì)在訓(xùn)練期間從未遇到的對(duì)象和場(chǎng)景，但仍然必須智能地選擇下一步看起來有價(jià)值的地方。

作為這些挑戰(zhàn)的核心解決方案，研究人員提出了一種用于主動(dòng)觀測(cè)完成的RL方法，如下圖所示。

我們的RL方法使用遞歸神經(jīng)網(wǎng)絡(luò)來聚合一系列視圖中的信息; 隨機(jī)神經(jīng)網(wǎng)絡(luò)使用聚合狀態(tài)和當(dāng)前觀察來選擇一系列有用的相機(jī)運(yùn)動(dòng)。智能體根據(jù)其對(duì)未觀察到的視圖的預(yù)測(cè)而獲得獎(jiǎng)勵(lì)。因此，它學(xué)會(huì)了一種策略來智能地選擇動(dòng)作(攝像機(jī)動(dòng)作)，以最大限度地提高預(yù)測(cè)的質(zhì)量。

在訓(xùn)練期間，完整的viewgrid是已知的，因此允許智能體“自我監(jiān)督”其策略學(xué)習(xí)，這意味著它學(xué)習(xí)時(shí)不需要任何人類提供的標(biāo)簽。

該模型判斷了像素空間中viewgrid重構(gòu)的質(zhì)量，從而保持通用性：整個(gè)場(chǎng)景(或3D對(duì)象)的所有像素都包含了所有對(duì)任何任務(wù)都可能有用的視覺信息。

因此，該方法避免使用任何中間語(yǔ)義表示，而采用尋求對(duì)許多任務(wù)有用的通用信息的學(xué)習(xí)策略。也就是說，研究人員所提出的方法很容易適應(yīng)更專業(yè)的環(huán)境。例如，如果目標(biāo)任務(wù)只需要語(yǔ)義分割標(biāo)簽，那么預(yù)測(cè)可以放在對(duì)象標(biāo)簽的空間中。

RL方法往往存在勘探階段成本高和部分狀態(tài)可觀測(cè)性差的問題。特別是，一個(gè)活躍的視覺智能體必須完全基于第一人稱視圖中有限的可用信息進(jìn)行一系列的操作。最有效的視點(diǎn)軌跡隱藏在許多平庸的視點(diǎn)軌跡中，阻礙了智能體在復(fù)雜的狀態(tài)-動(dòng)作空間中的探索。

為了解決這一挑戰(zhàn)，作為這項(xiàng)工作的第二個(gè)主要技術(shù)貢獻(xiàn)，引入了“sidekick策略學(xué)習(xí)”。

sidekick方法引入了獎(jiǎng)勵(lì)塑造和演示，利用訓(xùn)練期間的完全可觀察性來預(yù)先計(jì)算每個(gè)候選快照的信息內(nèi)容。然后，助手引導(dǎo)智能體訪問環(huán)境中的信息熱點(diǎn)或樣本中信息豐富的軌跡，同時(shí)考慮到在測(cè)試過程中可觀察性只是部分的事實(shí)。通過這樣做，助手們可以加快對(duì)實(shí)際智能體的訓(xùn)練，提高整體表現(xiàn)。

實(shí)驗(yàn)結(jié)果

數(shù)據(jù)集

為了基準(zhǔn)和重現(xiàn)性，研究人員在兩個(gè)廣泛使用的數(shù)據(jù)集上評(píng)估了提出的方法。

SUN360 dataset for scenes

SUN360擁有26個(gè)不同類別的球形全景。數(shù)據(jù)集包括6174個(gè)訓(xùn)練、1013個(gè)驗(yàn)證和1805個(gè)測(cè)試示例。viewgrid有32×32像素分辨率的2D圖像。

ModelNet dataset for objects

對(duì)于此數(shù)據(jù)集，智能體操縱3D對(duì)象以完成從所有查看方向看到的對(duì)象的視圖。viewgrid構(gòu)成了一個(gè)隱式的基于圖像的三維形狀模型。ModelNet有兩個(gè)計(jì)算機(jī)輔助設(shè)計(jì)(CAD)模型子集：ModelNet-40(40個(gè)類別)和ModelNet-10 (ModelNet-40的10個(gè)類別子集)。不包括ModelNet-10類，ModelNet-40包含6085個(gè)訓(xùn)練、327個(gè)驗(yàn)證和1310個(gè)測(cè)試示例。ModelNet-10包含3991個(gè)訓(xùn)練、181個(gè)驗(yàn)證和727個(gè)測(cè)試示例。viewgrid有32×32分辨率的2D圖像。

基線

研究人員測(cè)試了主動(dòng)完成方法，使用/不使用sidekick策略學(xué)習(xí)(分別是lookaround和lookaround+spl)與各種基線進(jìn)行比較：

one-view是用T = 1訓(xùn)練的方法。該基線沒有進(jìn)行信息聚合或動(dòng)作選擇。

rnd-actions與研究人員的方法相同，只是動(dòng)作選擇模塊被所有可能動(dòng)作池中隨機(jī)選擇的動(dòng)作所取代。

large-actions選擇最大允許動(dòng)作。 這測(cè)試了遠(yuǎn)距離觀點(diǎn)是否足夠豐富。

peek-saliency使用一個(gè)流行的saliency度量，在每個(gè)時(shí)間步長(zhǎng)移動(dòng)到可觸及的最顯著的視圖。

不同智能體行為下的場(chǎng)景和對(duì)象完成精度

(A)隨著獲得更多的一瞥，兩個(gè)數(shù)據(jù)集上的像素級(jí)MSE錯(cuò)誤隨時(shí)間的變化。(B)所有T次瞥見后，兩個(gè)數(shù)據(jù)集的平均/對(duì)抗性MSE誤差×1000(↓越低越好)和相對(duì)于單視圖模型(↑越高越好)的相應(yīng)改進(jìn)(%)。

SUN360(左)和ModelNet(右)的活動(dòng)觀測(cè)完成情況

對(duì)于每個(gè)示例，左邊的第一行顯示了ground-truth viewgrid;左邊的后續(xù)行顯示了t = 0,1，t?1 = 3時(shí)的重構(gòu)，以及像素方向的MSE錯(cuò)誤(×1000)和代理當(dāng)前的快照(用紅色標(biāo)記)。在右側(cè)，每個(gè)時(shí)間步長(zhǎng)所采樣的智能體觀察角度顯示在觀察球上。重建質(zhì)量隨著時(shí)間的推移而提高，因?yàn)樗梢钥焖俚丶?xì)化場(chǎng)景結(jié)構(gòu)和對(duì)象形狀。

T = 6“瞥見”后的三個(gè)重建例子

適用于SUN360和ModelNet的多種環(huán)境的ground-truth 360全景圖或viewgrid以及最終的GAN-refined重建