如果你在初來乍到的城市里迷了路，身邊又沒有地圖或者手機(jī)導(dǎo)航，你可能會(huì)自然而然地向其他人問路。

這件在你看來順理成章的事情對(duì)于人工智能來說卻是一個(gè)大難關(guān)。

AI不能獨(dú)立地徹底理解人類的自然語(yǔ)言，自然也聽不懂使用自然語(yǔ)言的指路，對(duì)于虛擬助手而言，僅僅能夠?qū)θ祟愄岢龅膯栴}做出簡(jiǎn)單的回應(yīng)，這遠(yuǎn)遠(yuǎn)達(dá)不到要求。

Facebook的人工智能研究室（FAIR）正在試圖突破這一難關(guān)。

要讓人工智能系統(tǒng)理解人類語(yǔ)言，方法之一就是把語(yǔ)言和特定環(huán)境聯(lián)系起來，以更加自然的方式來訓(xùn)練這些系統(tǒng)。就像嬰兒最先學(xué)會(huì)說的是他們能看到摸到的東西一樣，這種方式也被稱為具體的人工智能，更偏向于在真實(shí)環(huán)境中學(xué)習(xí)，而不是通過大量的文本數(shù)據(jù)進(jìn)行訓(xùn)練。

FAIR的研究人員把這一新的研究課題稱為Talk the Walk。在這個(gè)研究課題中，一對(duì)AI智能體相互交流，共同完成導(dǎo)航到指定位置的任務(wù)。

但是他們不是將AI智能體置于一個(gè)簡(jiǎn)單的類似于游戲的環(huán)境中，而是設(shè)計(jì)了一個(gè)機(jī)器人游客，向它展示紐約街區(qū)真實(shí)的全景照片，讓它模擬一位迷路的游客來問路。另一個(gè)只記錄下周圍街區(qū)二維地圖的機(jī)器人作為指路人，輸出自然語(yǔ)言，來幫助“游客”找到它的目的地。

通過一種新型的被稱為MASC (Masked Attention for Spatial Convolution) 的注意力機(jī)制，讓導(dǎo)航機(jī)器人專注于地圖上正確的地方。這種方式使得在測(cè)試集上導(dǎo)航的準(zhǔn)確率提高了一倍。

Facebook表示，這項(xiàng)工作的目標(biāo)是要提高學(xué)術(shù)界對(duì)于交流、感知和行動(dòng)如何影響基礎(chǔ)語(yǔ)言學(xué)習(xí)問題的理解，同時(shí)也為把自然語(yǔ)言作為一種人機(jī)交互方式提供了壓力測(cè)試。

FAIR也將發(fā)布Talk the Walk的基線和數(shù)據(jù)集。他們認(rèn)為開源這項(xiàng)工作可以為其他研究人員提供一個(gè)測(cè)試他們自己的具體AI系統(tǒng)的框架，特別是在對(duì)話方面。

AI將如何扮演游客和導(dǎo)游？

為了為他們的系統(tǒng)提供學(xué)習(xí)和演示基礎(chǔ)語(yǔ)言的環(huán)境，F(xiàn)AIR研究人員使用全景攝像頭分別拍攝了紐約市五個(gè)街區(qū)的部分街道，包括曼哈頓的Hell’s Kitchen、East Village、Financial District、Upper East Side以及布魯克林的Williamsburg。

選定的這些區(qū)域都具有統(tǒng)一的、網(wǎng)格狀的布局，同時(shí)為實(shí)驗(yàn)中的每一對(duì)AI智能體雙方分別提供了一半的第一人稱環(huán)境視角。

另一方面，AI“導(dǎo)游”只能獲取帶有通用地標(biāo)的2D俯視地圖，例如“餐廳”和“酒店”?！皩?dǎo)游”和“游客”都不能和對(duì)方共享自己的視圖，因此，必須要溝通才能導(dǎo)航到指定位置。

當(dāng)導(dǎo)游預(yù)測(cè)游客已經(jīng)到達(dá)目標(biāo)位置時(shí)，就意味著本次實(shí)驗(yàn)的結(jié)束。如果預(yù)測(cè)正確，則導(dǎo)航過程被標(biāo)記為成功；失敗的預(yù)測(cè)則被標(biāo)記為不正確。實(shí)驗(yàn)不限制移動(dòng)或交流的次數(shù)。

在真實(shí)環(huán)境中學(xué)習(xí)對(duì)于這一領(lǐng)域來說是全新的，對(duì)環(huán)境的完全仿真可能會(huì)是未來的方向。

FAIR研究人員還創(chuàng)建了智能體之間的自然語(yǔ)言互動(dòng)，收集了來自人類玩家的真實(shí)互動(dòng)數(shù)據(jù)，例如“一直走到下一個(gè)街區(qū)，然后右轉(zhuǎn)進(jìn)入餐廳”，而不是專門為機(jī)器人生成的、經(jīng)過仔細(xì)措辭的信息。

這些人類參與者也和機(jī)器人一起被分配了導(dǎo)游和游客的角色，具有相同的共享導(dǎo)航目標(biāo)和信息約束（第一人稱視角或俯視地圖）。

強(qiáng)調(diào)使用真實(shí)環(huán)境和現(xiàn)實(shí)生活語(yǔ)言使整體問題更加困難。與實(shí)際城市街區(qū)的全景圖像相比，模擬的環(huán)境一般不會(huì)那么混亂，而且更具有可預(yù)測(cè)性。一系列精心編寫的回復(fù)也不太可能捕捉到在人與人真實(shí)對(duì)話中那種微妙的、不精確的和混亂的信息傳遞。

但是提高任務(wù)難度可以使其結(jié)果更具相關(guān)性。為了能夠有效地與人類進(jìn)行交互，未來的AI系統(tǒng)需要理解在復(fù)雜環(huán)境中的文本和超出有限的預(yù)定短語(yǔ)列表的語(yǔ)言。

探索自然和人造交流

盡管自然語(yǔ)言交流是這項(xiàng)研究的主要焦點(diǎn)，但FAIR團(tuán)隊(duì)還設(shè)計(jì)了兩種額外的“緊急通信”設(shè)定，在其中智能體使用不同的通信協(xié)議而不是模仿人類語(yǔ)言。

第一個(gè)設(shè)定是，智能體通過連續(xù)向量進(jìn)行通信，這意味著它們將原始數(shù)據(jù)相互傳輸。例如，這些連續(xù)的向量包括游客正在看到的和做的事情的表示，這能夠幫助基于地圖的導(dǎo)游來定位他們的同伴。

第二個(gè)緊急通信設(shè)定采用了完全不同的方法，研究人員稱之為人造語(yǔ)言。在這種情況下的交流比自然語(yǔ)言簡(jiǎn)單得多，使用的是一組非常有限的離散符號(hào)來傳達(dá)信息。

通過為機(jī)器人提供以最簡(jiǎn)單的形式進(jìn)行通信的選項(xiàng)，從而能夠?qū)崿F(xiàn)快速而精確的互動(dòng)，這也讓我們能更好地了解到自然語(yǔ)言的魅力。

當(dāng)使用這兩種緊急協(xié)議而不是自然語(yǔ)言時(shí)，AI游客和導(dǎo)游都會(huì)表現(xiàn)得更好。這對(duì)于研究人員來說并不奇怪，因?yàn)锳I使用的自然語(yǔ)言沒有得到明確的信息交換。

緊密聯(lián)系A(chǔ)I與其應(yīng)用環(huán)境

將這些研究結(jié)果以及FAIR的研究放在適當(dāng)?shù)谋尘爸蟹浅Ｖ匾篢alk the Walk不是自然語(yǔ)言和合成交互之間的競(jìng)爭(zhēng)，而是試圖為創(chuàng)建能夠和人類有效交互的機(jī)器這一最終目標(biāo)，提供一個(gè)清晰而可衡量的結(jié)果。

為了證明語(yǔ)言基礎(chǔ)的價(jià)值，研究人員創(chuàng)建了MASC，一種新型的注意力機(jī)制，使得導(dǎo)游根據(jù)游客提供的俯視地圖的信息，可以預(yù)測(cè)其位置。

注意力機(jī)制通常用于深度學(xué)習(xí)，以允許系統(tǒng)集中處理某些任務(wù)，類似于人們將注意力集中的狀態(tài)。

MASC根據(jù)游客的狀態(tài)轉(zhuǎn)換（例如向左，向右移動(dòng)，從俯視角度，向上和向下移動(dòng)）識(shí)別地標(biāo)嵌入（例如，“餐館”，“酒吧”等），并將其表示為地圖嵌入的2D卷積。該空間掩膜基于對(duì)游客可能行進(jìn)的追蹤來預(yù)測(cè)游客當(dāng)前的位置。

MASC具有廣泛的有效性。它提高了所有通信協(xié)議、自然語(yǔ)言和緊急通信方法的本地化性能。

通過將旅游系統(tǒng)的話語(yǔ)與導(dǎo)航系統(tǒng)的地圖相關(guān)聯(lián)，MASC的準(zhǔn)確性有了大幅改進(jìn)，是基于合成通信的系統(tǒng)準(zhǔn)確度的兩倍以上。

人工智能代理經(jīng)過培訓(xùn)可以生成自己的自然語(yǔ)言信息，在使用這些自然語(yǔ)言的任務(wù)中也有更好的表現(xiàn)。用自動(dòng)生成的自然語(yǔ)言，而不是簡(jiǎn)單地使用從人類玩家的互動(dòng)中提取的文字例子，可以明確溝通任務(wù)內(nèi)容。

不相關(guān)的閑聊通常是自然語(yǔ)言交互的優(yōu)勢(shì)，但對(duì)于基于通信交流的任務(wù)并非有利，因?yàn)殚e聊會(huì)帶來性能的不穩(wěn)定。

例如，一個(gè)人類參與者在看到兩家咖啡店和一家鄰近的Chipotle后，發(fā)出了信息：“天吶，如果我來紐約，這就是我要去的地方！”，其他玩家對(duì)此發(fā)出“這是天堂??！”的回應(yīng)。通過微調(diào)和AI代理來生成僅與任務(wù)相關(guān)的自然語(yǔ)言，由此產(chǎn)生的交互就避免了這些閑聊的分歧和干擾。

最后，這項(xiàng)研究表明，使用自然語(yǔ)言的人類比使用合成通信的AI代理人在本地化方面更糟糕。和Talk the Walk得出的其他人機(jī)性能間的比較一樣，這是一個(gè)重要的結(jié)果，它有助于為進(jìn)一步研究與開發(fā)依賴自然語(yǔ)言的AI系統(tǒng)相關(guān)的挑戰(zhàn)建立基線和可能的機(jī)會(huì)。

未來的系統(tǒng)能否利用自然語(yǔ)言的多功能性，同時(shí)避免人們溝通方式固有的模糊性和低效率？或者對(duì)話是否施加了無(wú)法規(guī)避的限制？作為基礎(chǔ)研究，這項(xiàng)研究提出了這些問題，而對(duì)它們的回答還有待進(jìn)一步的研究。