無(wú)論是在擁擠的人行道上行走，還是在社區(qū)足球聯(lián)賽中射門(mén)進(jìn)球，人類(lèi)都會(huì)下意識(shí)地利用感知—?jiǎng)幼餮h(huán)（perception-action loop）做幾乎所有的事情。感知—?jiǎng)幼餮h(huán)可以使我們?cè)谝粋€(gè)連續(xù)的實(shí)時(shí)循環(huán)中使用感官輸入做出正確的動(dòng)作，其也是 “自治系統(tǒng)” 的核心。

但當(dāng)前一代的機(jī)器人等 “自治系統(tǒng)” 在直接根據(jù)視覺(jué)數(shù)據(jù)做出正確決策方面仍遠(yuǎn)遠(yuǎn)不及人類(lèi)，其依然受到難以收集大量真實(shí)世界數(shù)據(jù)的限制。此外，雖然我們能輕易生成大量模擬數(shù)據(jù)，但這類(lèi)數(shù)據(jù)在現(xiàn)實(shí)生活的各種場(chǎng)景中，通常不能催生安全的行為。

如何讓機(jī)器人具有如人類(lèi)一般的 “自治” 能力？一項(xiàng)來(lái)自微軟研究人員的研究，讓我們看到了巨大的可能性。

研究人員向我們描述了這樣一種機(jī)器學(xué)習(xí)系統(tǒng)：它可以幫助機(jī)器人直接從相機(jī)圖像中推理出正確的動(dòng)作。以無(wú)人機(jī)為例，無(wú)人機(jī)可以通過(guò)模擬學(xué)習(xí)完成特定路線的導(dǎo)航。

通過(guò)模擬訓(xùn)練，機(jī)器人可以學(xué)會(huì)獨(dú)立觀察現(xiàn)實(shí)世界中的環(huán)境和條件（包括看不見(jiàn)的情況），然后作出正確決策，這使得機(jī)器人非常適合用于搜索和救援任務(wù)。研究人員認(rèn)為，在不久的將來(lái)，這種機(jī)器學(xué)習(xí)系統(tǒng)可以幫助機(jī)器人更快地識(shí)別出需要幫助的人。

受人類(lèi)大腦的啟發(fā)，該系統(tǒng)將視覺(jué)信息直接映射到正確的控制動(dòng)作上，也就是說(shuō)，將視頻幀的高維序列轉(zhuǎn)換為代表真實(shí)世界狀態(tài)的低維形態(tài)。根據(jù)研究人員的說(shuō)法，這種方法使模型更容易解釋和調(diào)試。

圖 | 系統(tǒng)框架通過(guò)模擬學(xué)習(xí)使用多個(gè)數(shù)據(jù)模態(tài)的低維狀態(tài)表征

研究人員在微軟官網(wǎng)上的一篇博客文章中寫(xiě)道：“我們希望可以借助這個(gè)系統(tǒng)使得當(dāng)前技術(shù)更加接近人類(lèi)應(yīng)對(duì)環(huán)境提示、適應(yīng)困難條件和自主操作的能力。我們有興趣去探索要建立一個(gè)達(dá)到人類(lèi)水平的自主系統(tǒng)需要做些什么。”

無(wú)人機(jī)實(shí)驗(yàn)

在機(jī)器學(xué)習(xí)系統(tǒng)框架內(nèi)，研究人員將感知組件（即理解所看到的東西）與控制策略（根據(jù)看到的東西決定做什么）分開(kāi)?！巴ㄟ^(guò)將 ‘感知—行動(dòng)循環(huán)’ 分為兩個(gè)模塊，并將多種數(shù)據(jù)模式納入感知訓(xùn)練階段，我們可以避免網(wǎng)絡(luò)過(guò)度擬合傳入數(shù)據(jù)的非相關(guān)特征。比如，盡管用于模擬和物理實(shí)驗(yàn)中的門(mén)的大小相同，但它們的寬度、顏色，甚至內(nèi)在的相機(jī)參數(shù)卻不一樣?！?一位研究人員說(shuō)。

該團(tuán)隊(duì)將機(jī)器學(xué)習(xí)框架應(yīng)用在一個(gè)帶有前置攝像頭的小型四軸飛行器上，在只使用來(lái)自相機(jī)的圖像的情況下，試圖通過(guò)為無(wú)人機(jī)傳授一種 AI 策略，從而使其完成特定路線的導(dǎo)航。

研究人員使用一個(gè)名為 AirSim 的高保真模擬器在模擬環(huán)境下訓(xùn)練 AI，然后將其部署到現(xiàn)實(shí)世界的無(wú)人機(jī)上。其中，一個(gè)關(guān)鍵挑戰(zhàn)是模型必須對(duì)模擬和現(xiàn)實(shí)世界之間的差異（如光照、紋理）具有魯棒性（指控制系統(tǒng)在一定結(jié)構(gòu) / 大小的參數(shù)攝動(dòng)下維持其它某些性能的特性）。為此，研究人員使用了一個(gè)名為跨模態(tài)變量自動(dòng)編碼器（CM-VAE）的框架，來(lái)生成緊密彌合模擬與現(xiàn)實(shí)差距的表征，從而避免對(duì)無(wú)關(guān)數(shù)據(jù)的過(guò)度擬合。

在無(wú)人機(jī)實(shí)驗(yàn)中，一種數(shù)據(jù)模態(tài)考慮了原始無(wú)標(biāo)簽傳感器輸入（FPV 圖像），而另一種數(shù)據(jù)模態(tài)描述了與當(dāng)前任務(wù)直接相關(guān)的狀態(tài)信息，后者對(duì)應(yīng)于無(wú)人機(jī)坐標(biāo)框架中定義的下一個(gè)門(mén)的相對(duì)姿勢(shì)。研究人員通過(guò)擴(kuò)展 CM-VAE 框架，得到了一種低維的潛在環(huán)境表征。該框架為每個(gè)數(shù)據(jù)模態(tài)使用一個(gè)編碼器 -?解碼器對(duì)（encoder-decoder pair），同時(shí)壓縮與單個(gè)潛在空間之間的所有輸入和輸出（圖 b）。該系統(tǒng)將有標(biāo)記和無(wú)標(biāo)記的數(shù)據(jù)模式自然地納入潛在變量的訓(xùn)練過(guò)程，然后使用模仿學(xué)習(xí)訓(xùn)練一種深度控制策略，將潛在變量映射到無(wú)人機(jī)的速度命令中（圖 a）。

圖 | a. 控制系統(tǒng)架構(gòu)。來(lái)自無(wú)人機(jī)的視頻的輸入圖像被編碼到一種潛在的環(huán)境表征中。一個(gè)控制策略作用于低維嵌入，以輸出所需的機(jī)器人控制命令。b. 跨模態(tài) VAE 架構(gòu)。每個(gè)數(shù)據(jù)樣本被編碼成單獨(dú)的潛在空間中，這個(gè)潛在空間可以被解碼成圖像，或者轉(zhuǎn)換成另一種數(shù)據(jù)模態(tài)，比如門(mén)相對(duì)于無(wú)人機(jī)的姿態(tài)。

該系統(tǒng)的感知模塊將輸入圖像壓縮到上述的低維表示中，從 27,648 個(gè)變量下降到可以描述它的最基本的 10 個(gè)變量。解碼后的圖像提供了無(wú)人機(jī)可以看到的前方情況的描述，包括所有可能的門(mén)的大小和位置，以及其它不同的背景信息。

圖 | 由跨模態(tài)表示生成的虛化圖像的可視化，解碼后的圖像直接捕捉到門(mén)對(duì)應(yīng)的背景信息

研究人員在 45 米長(zhǎng)的帶有門(mén)的 S 形軌道和 40 米長(zhǎng)的帶有不同門(mén)的圓形軌道上，分別測(cè)試了這個(gè)系統(tǒng)的能力。他們表示，使用 CM-VAE 的效果明顯優(yōu)于直接編碼下一位置的端到端 AI 策略，即使背景存在 “強(qiáng)烈” 的視覺(jué)干擾，無(wú)人機(jī)還是通過(guò)使用跨模態(tài)感知模塊成功完成了任務(wù)。

圖 | 45 米長(zhǎng)的 S 形軌道和 40 米長(zhǎng)的圓形軌道

研究人員表示，這些結(jié)果顯示了該系統(tǒng)在現(xiàn)實(shí)世界應(yīng)用的 “巨大潛力”。比如，盡管存在年齡、體型、性別和種族差異，該系統(tǒng)可能幫助自主搜索和救援機(jī)器人更好地識(shí)別人類(lèi)，從而讓機(jī)器人有更好的機(jī)會(huì)識(shí)別和找回需要幫助的人。

不完美的實(shí)驗(yàn)

盡管無(wú)人機(jī)的實(shí)驗(yàn)結(jié)果著實(shí)令人興奮。但研究人員表示，他們?cè)趯?shí)驗(yàn)中遇到了一個(gè)意想不到的結(jié)果，即將未標(biāo)記的真實(shí)世界數(shù)據(jù)與標(biāo)記的模擬數(shù)據(jù)結(jié)合起來(lái)訓(xùn)練表征模型，并沒(méi)有提高整體性能，只使用模擬數(shù)據(jù)效果更好。

對(duì)此，他們認(rèn)為，未來(lái)工作的一個(gè)有趣的方向是使用對(duì)抗性技術(shù)來(lái)降低由模擬和真實(shí)圖像編碼的相似場(chǎng)景之間的潛在空間距離，這將降低訓(xùn)練和測(cè)試階段數(shù)據(jù)分布的差異。此外，研究人員設(shè)想擴(kuò)展使用無(wú)標(biāo)簽數(shù)據(jù)進(jìn)行策略學(xué)習(xí)的方法。比如，除了圖像之外，是否可以結(jié)合不同的數(shù)據(jù)模式（激光測(cè)量、甚至聲音）來(lái)學(xué)習(xí)如何對(duì)環(huán)境進(jìn)行表征。

盡管還存在一些問(wèn)題，但無(wú)人機(jī)實(shí)驗(yàn)的成功證明了這種方法具有應(yīng)用于其他真實(shí)機(jī)器人任務(wù)的巨大潛力，其他機(jī)器人同樣需要類(lèi)似的能力來(lái)實(shí)現(xiàn)實(shí)時(shí)解釋輸入，并在確保安全操作的同時(shí)做出正確決策。
責(zé)任編輯；zl