視覺(jué)-語(yǔ)言導(dǎo)航任務(wù)（Vision-Language Navigation， VLN）是指在陌生環(huán)境中，無(wú)人系統(tǒng)依據(jù)語(yǔ)言指示和觀測(cè)圖像之間的跨模態(tài)匹配信息，進(jìn)行自主智能路徑導(dǎo)航的方法。不同于前進(jìn)、后退等簡(jiǎn)單操控指令，VLN采用類(lèi)似人人交互的語(yǔ)言指示，比如“走出右側(cè)大門(mén)，穿過(guò)臥室和客廳，在綠色地毯上的餐桌旁停下”。VLN是一種新型的跨模態(tài)智能人機(jī)交互方法，能夠極大地提升無(wú)人系統(tǒng)的自主能力，能夠?yàn)闊o(wú)人系統(tǒng)走向?qū)嵱锰峁╆P(guān)鍵技術(shù)支撐。

序列到序列（Sequence to Sequence， Seq2Seq）模型是VLN最常見(jiàn)的模型之一。Seq2Seq首先對(duì)語(yǔ)言指令進(jìn)行序列編碼，再根據(jù)逐步觀測(cè)的視覺(jué)圖像，進(jìn)行序列移動(dòng)方向預(yù)測(cè)解碼，從而實(shí)現(xiàn)智能導(dǎo)航。最新的研究表明：在解碼時(shí)，利用Beam-Search進(jìn)行多條路徑探索，通過(guò)路徑評(píng)價(jià)函數(shù)獲得最優(yōu)導(dǎo)航路徑，可以獲得更好的導(dǎo)航精度。但現(xiàn)有工作使用的路徑評(píng)價(jià)函數(shù)是由局部方向選擇算子組合構(gòu)建的，在全局多條路徑對(duì)比上能力不足，可能會(huì)出現(xiàn)嚴(yán)重偏差，如圖1。

圖1 VLN分?jǐn)?shù)偏差問(wèn)題示例

為了解決該問(wèn)題，軍事科學(xué)院國(guó)防科技創(chuàng)新研究院智能人機(jī)交互團(tuán)隊(duì)設(shè)計(jì)了新型全局路徑評(píng)估函數(shù)，提出了一種全局對(duì)比訓(xùn)練的策略，大幅提升了VLN的導(dǎo)航精度。相關(guān)論文《Vision-Language Navigation with Beam-Constrained Global Normalization》已被國(guó)際知名期刊 IEEE Transactions on Neural Networks and Learning Systems錄用；該論文在提交時(shí)，算法性能在公開(kāi)VLN數(shù)據(jù)集R2R（Room-to-Room）上排名第一。

榜單地址：https://eval.ai/web/challenges/challenge-page/97/leaderboard/270

主要工作與貢獻(xiàn)該論文提出了一種基于全局對(duì)比訓(xùn)練的視覺(jué)-語(yǔ)言導(dǎo)航方法，可以對(duì)候選路徑進(jìn)行跨模態(tài)全局匹配評(píng)估。不同于傳統(tǒng)方法，該論文主要聚集在如何利用正確路徑和錯(cuò)誤路徑進(jìn)行對(duì)比訓(xùn)練，獲得較優(yōu)的全局語(yǔ)言-路徑匹配評(píng)估函數(shù)，有效提升VLN的導(dǎo)航精度。論文算法框架可以分為兩個(gè)部分：（1）Baseline：Seq2Seq模型，基于局部訓(xùn)練的序列動(dòng)作預(yù)測(cè)，用于訓(xùn)練語(yǔ)言-路徑匹配的局部評(píng)估函數(shù)；（2）全局對(duì)比訓(xùn)練模型：基于全局對(duì)比訓(xùn)練的全局評(píng)估函數(shù)。在測(cè)試時(shí)，將局部評(píng)估函數(shù)和全局評(píng)估函數(shù)進(jìn)行結(jié)合，實(shí)現(xiàn)高精度的導(dǎo)航路徑預(yù)測(cè)，如圖2所示。

圖2 基于全局對(duì)比訓(xùn)練的VLN框架

A Baseline 如圖2所示，該論文選擇Seq2Seq模型作為Baseline，首先將語(yǔ)言信息進(jìn)行編碼，再基于視覺(jué)信息進(jìn)行動(dòng)作預(yù)測(cè)解碼。語(yǔ)言編碼：利用LSTM對(duì)輸入的自然語(yǔ)言文本進(jìn)行編碼，獲得文本指令的特征向量。視覺(jué)編碼：利用ResNet-152對(duì)觀測(cè)圖像進(jìn)行特征提取，結(jié)合運(yùn)動(dòng)方向特征進(jìn)行視覺(jué)編碼。動(dòng)作預(yù)測(cè)：采用Seq2Seq模型進(jìn)行動(dòng)作解碼，獲得序列導(dǎo)航動(dòng)作。進(jìn)度監(jiān)視器：作為一項(xiàng)必不可少的輔助推理任務(wù)，進(jìn)度監(jiān)視器可以提供來(lái)自環(huán)境的額外訓(xùn)練信息。訓(xùn)練：局部對(duì)比訓(xùn)練，只考慮當(dāng)前環(huán)境及下一步動(dòng)作。局部評(píng)估函數(shù)：通過(guò)將局部方向選擇概率值累加，獲得整個(gè)路徑與描述語(yǔ)言的匹配度。B 基于Beam-Search的全局對(duì)比訓(xùn)練策略

Baseline將一個(gè)路徑的匹配度計(jì)算分解為單步方向選擇得分累加，由于單步方向得分是單獨(dú)計(jì)算的，沒(méi)有明確涵蓋全局信息，因此將Baseline評(píng)估函數(shù)稱(chēng)為局部評(píng)估函數(shù)。由于局部評(píng)估函數(shù)沒(méi)有從全局視角考慮路徑和語(yǔ)言的匹配度，所以局部得分累加的方式容易出現(xiàn)匹配錯(cuò)誤，為了緩解這一問(wèn)題，本文提出了明確的全局匹配評(píng)估函數(shù)，并設(shè)計(jì)了全局訓(xùn)練策略進(jìn)行優(yōu)化訓(xùn)練，從而獲得高效的全局匹配評(píng)估函數(shù)。

具體來(lái)說(shuō)，本文訓(xùn)練了一個(gè)全局評(píng)估子模型，主要用來(lái)進(jìn)行路徑-語(yǔ)言全局匹配評(píng)估，從而使得不同路徑的評(píng)估得分更加具有可比性。

圖3 深度多模態(tài)相似性模塊和speaker模塊示意圖

DMSM模塊：計(jì)算語(yǔ)言的整體描述特征與路徑視覺(jué)的整體描述特征之間的距離；距離越近，則路徑和語(yǔ)言越匹配。Speaker模塊：根據(jù)路徑反向生成指令語(yǔ)言的概率，是VLN的逆命題，可以反映全局路徑和語(yǔ)言的匹配度。全局對(duì)比訓(xùn)練：在訓(xùn)練時(shí)，利用Beam-Search搜索出多條正確路徑和多條錯(cuò)誤路徑，設(shè)計(jì)對(duì)比損失函數(shù)，使得正確路徑得分高于錯(cuò)誤路徑，可以有效地對(duì)全局評(píng)估模塊DMSM和Speaker模塊進(jìn)行訓(xùn)練。全局評(píng)估函數(shù)：在測(cè)試時(shí)，對(duì)于任意一對(duì)路徑和語(yǔ)言，分別利用DMSM和Speaker模塊對(duì)二者之間的匹配度進(jìn)行計(jì)算，通過(guò)線(xiàn)性疊加，可以獲得該路徑的全局評(píng)估得分。

實(shí)驗(yàn)結(jié)果算法的測(cè)試是在VLN公開(kāi)數(shù)據(jù)集上進(jìn)行的。本文對(duì)比了多個(gè)現(xiàn)有經(jīng)典VLN算法，實(shí)驗(yàn)結(jié)果表明，本文提出的算法導(dǎo)航精度比Baseline高出13%，顯著度較高；在同期VLN算法的導(dǎo)航精度最高，證明了本文算法的有效性。

總結(jié)與展望本研究提出了一種 VLN 全局對(duì)比訓(xùn)練方法，用于緩解現(xiàn)有局部評(píng)估函數(shù)在全局路徑-語(yǔ)言匹配評(píng)估方面的不足。該方法核心要點(diǎn)是如何從錯(cuò)誤路徑/負(fù)樣本中學(xué)到有用的信息，這是現(xiàn)有其他VLN算法關(guān)注較少的地方，也是本文的落腳點(diǎn)，實(shí)驗(yàn)結(jié)果表明了本文方法的有效性。

最近，通過(guò)視覺(jué)-語(yǔ)言跨模態(tài)預(yù)訓(xùn)練模型在VLN中性能表現(xiàn)優(yōu)越，比如VLN BERT，相對(duì)于傳統(tǒng)LSTM模型，預(yù)訓(xùn)練能夠獲得更多的先驗(yàn)知識(shí)，能夠?yàn)閂LN提供更魯棒的基礎(chǔ)框架，本文未來(lái)工作將在VLN BERT等預(yù)訓(xùn)練模型的基礎(chǔ)上，進(jìn)一步利用全局對(duì)比訓(xùn)練方法，實(shí)現(xiàn)更高效的VLN算法。

原文標(biāo)題：VLN： 基于全局對(duì)比訓(xùn)練的視覺(jué)-語(yǔ)言導(dǎo)航方法

文章出處：【微信公眾號(hào)：深度學(xué)習(xí)自然語(yǔ)言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。