道路環(huán)境感知對移動機器人導(dǎo)航的重要性

本文重點介紹道路環(huán)境感知對移動機器人導(dǎo)航的重要性以及相關(guān)技術(shù)。

01 ? 道路三維幾何模型構(gòu)建

首先，三維幾何模型背后的機理是多視圖幾何學(xué)，多視圖幾何學(xué)是指想要得到對應(yīng)模型的三維幾何架構(gòu)，則必須要用相機在兩個不同的位置進行拍照。如圖1，可以通過利用兩個相機在不同位置拍照的方式，去得到三維幾何模型；同樣，也可以利用單個相機不斷的移動，然后不斷的進行三維的重建。

主要原理是：利用左相機平面和右相機平面去計算R、T。通常做slam的時候，先需要對圖像中的對應(yīng)點進行匹配，然后利用至少八個對應(yīng)點去利用SVD來求解出外參矩陣，再利用這個外參矩陣進行分解得到R、T，得到兩個相機的相對位姿之后，就可以得到對應(yīng)三維點的坐標(biāo)。

圖1 深度估計

對于雙目來講，需要先對圖像的平面進行一定的變換，因為如果是剛剛的方法，在做特征點匹配的時候，往往是一個二維匹配的問題，計算量是比較大。

因此對于雙目相機需要變換為圖2中紅色的平面，將對極點拉到無限遠之后，對應(yīng)點的匹配則變成了一維搜索問題，即從左相機選擇一個點，然后要在右相機去選擇對應(yīng)點的時候，只需要在同一行上進行搜索。

利用雙目去做深度估計的好處在于通過相機標(biāo)定可以得到固定的baseline，之后，進行一維搜索可以節(jié)省大量的計算量，得到稠密的視差圖，從而對應(yīng)得到稠密的深度圖，最后得到稠密的三維點位。

圖2 立體匹配

隨著深度學(xué)習(xí)的發(fā)展，現(xiàn)在有很多網(wǎng)絡(luò)是基于一些深度學(xué)習(xí)的網(wǎng)絡(luò)去得到視差圖，但現(xiàn)在深度學(xué)習(xí)的方法大多是基于數(shù)據(jù)驅(qū)動。數(shù)據(jù)驅(qū)動存在一個很大問題是有時并不知道ground-truth是多少。

當(dāng)然現(xiàn)在是可以利用Lidar進行同步，之后把雷達點云投到雙目相機上，然后利用深度進行反推視差。這種方案雖然可以得到真值，但它的真值受限于相機和激光雷達標(biāo)定的精度。

基于此，探索了很多自監(jiān)督方式，從而設(shè)計了PVStereo結(jié)構(gòu)，如圖3所示。

圖3 PVStereo結(jié)構(gòu)

可以看到是利用了不同層級的圖像進行一個傳統(tǒng)方法的匹配，當(dāng)時假設(shè)是對應(yīng)圖像點的視差可靠，那不管是它對應(yīng)的不同的pyramid都是可靠的，這跟深度學(xué)習(xí)的假設(shè)是一致的。然后，利用傳統(tǒng)的pyramid voting可以得到一個相對比較準(zhǔn)確，但比較稀疏一點的視差圖。?

受到了KT數(shù)據(jù)集的啟發(fā)，在想能夠用一些稀疏的真值去訓(xùn)練出來一個比較好的網(wǎng)絡(luò)，所以利用傳統(tǒng)方法去猜測視差的真值，避免了利用真值去訓(xùn)練網(wǎng)絡(luò)的過程。

基于循環(huán)神經(jīng)網(wǎng)絡(luò)的方法提出了OptStereo網(wǎng)絡(luò)，如圖4所示。首先構(gòu)建多尺度成本量，然后采用循環(huán)單元迭代更新高分辨率的視差估計。這不僅可以避免從粗到細范式中的誤差累積問題，而且由于其簡單而高效，因此可以在準(zhǔn)確性和效率之間實現(xiàn)很大的權(quán)衡。

實驗結(jié)果相對來說還是比較魯棒的，但是像一些場景會出現(xiàn)離群值。

圖4 視差圖生成

既然ground-truth比較難獲得，一種方法是利用傳統(tǒng)方法去猜一些真值來作為假的ground-truth，然后去訓(xùn)練網(wǎng)絡(luò)；另外一種方式是基于無監(jiān)督的方式進行訓(xùn)練。于是基于之前的工作，提出了CoT-Stereo，如圖5所示。

利用兩個不同的網(wǎng)絡(luò)，一個network a和network b，這兩個網(wǎng)絡(luò)類似于去模擬了兩個學(xué)生，且初始化不同，但網(wǎng)絡(luò)結(jié)構(gòu)完全相同。在初始化時， network a和network b掌握了不同的知識，然后a再把自己認為對的知識分享給b，b也同理分享給a。通過這樣的方式不斷的去進行互相的學(xué)習(xí)和進化。

圖5 CoT-Stereo架構(gòu)

無監(jiān)督雙目估計的結(jié)果也同許多方法進行了比較，雖然ground-truth結(jié)果無法與全監(jiān)督的方法做媲美，但是該網(wǎng)絡(luò)整體的influence time和對應(yīng)的L平衡比較好，如圖6所示。

圖6 實驗結(jié)果

如何利用深度或視差變成法向量信息？在做一些感知任務(wù)時，發(fā)現(xiàn)有的時候深度并不是一個非常好用的信息，而如果用RGB-D信息進行訓(xùn)練的時候，則存在另外的問題。那如果使用法向量信息，不管近還是遠，最后給到的信息都是差不多，且法向量信息，對于很多任務(wù)是有一些額外的輔助。

調(diào)研發(fā)現(xiàn)并沒有太多的工作或是幾乎沒有工作去研究如何把深度圖或視差圖快速的變成法向量信息，于是這里研究了此類工作，初衷在于能夠在幾乎不占用任何計算資源的情況下，進行深度到法向量的translation，大概框架如圖7所示。

圖7 Three-Filters-to-Normal框架

可以看到這是最基本的一個透視變換過程，即把一個3D坐標(biāo)利用相機的內(nèi)參，可以變成一個圖像坐標(biāo)。如果已知局部點滿足平面特性方程，可以很驚奇的發(fā)現(xiàn)，如果把這兩個方程聯(lián)立，就可以得到Z分之一這樣的公式表達。

通過一系列的計算后，可以看到1/V對u方向的偏導(dǎo)在圖像處理領(lǐng)域很容易處理，1/V對應(yīng)視差，但跟視差是差一個倍數(shù)，因此，若對1/V求偏導(dǎo)，就是對視差圖進行卷積。所以，其實法向量估計的方法不需要像傳統(tǒng)方法一樣，將深度圖轉(zhuǎn)化為三維點云，再進行KNN，再進行局部平面擬合，這個過程非常復(fù)雜。但這個方法可以很簡單的通過已知Z或是已知深度圖或視差圖轉(zhuǎn)化得到法向量。

利用這個方法去做了一系列的相關(guān)實驗，結(jié)果如圖8所示。和當(dāng)時最主流的方法進行了比較，發(fā)現(xiàn)本文方法在速度和精度的平衡非常好，雖然精度可能稍微差一些，但是已經(jīng)超越了幾乎大多數(shù)的方法，速度使用C++帶單核CPU可以達到260Hz，如果是CUDA則可以達到21kHz，對應(yīng)圖像分辨率為640 乘480。

圖8 實驗結(jié)果

在得到上述信息后，要進行場景解析，目前比較主流的方法是語義分割，目標(biāo)檢測和實例分割。對于場景理解，尤其是語義分割及一些傳統(tǒng)方法是基于RGB信息進行處理。

這里主要關(guān)注的是RGB-X，即如何對RGB加depth或normal進行特征提取。主要應(yīng)用關(guān)注于可行有序檢測，即開車時看到的可行區(qū)域，目前是提出了如圖9所示的框架。

圖9 網(wǎng)絡(luò)結(jié)構(gòu)

這里是利用雙路結(jié)構(gòu)分別進行特征提取，其中一路是從RGB信息去提取特征，另外一路是從deepth或者normals去提取特征，如果是depth則需要轉(zhuǎn)化為normal。然后，可以把這兩個不同信息的特征進行融合，最后得到一個更好的特征，既包含了RGB信息中的紋理特性，又包含deepth圖像中的幾何特性。最后，通過connection去得到更好的語義分割結(jié)果圖。

針對上述的版本進行一些改進，如圖10所示。由于網(wǎng)絡(luò)的融合結(jié)構(gòu)比較復(fù)雜，所以有進一步提升的空間，所以這里做了這樣的工作：首先，利用深監(jiān)督的方式在不同的通道添加一些約束，然后再去學(xué)習(xí)，這樣可以解決梯度爆炸的問題。其次，由于之前網(wǎng)絡(luò)收斂過快，這里設(shè)計了一套新的SNE+算法，效果比SNE要更好。

圖10 改進網(wǎng)絡(luò)結(jié)構(gòu)

前面一直是基于特征層級的融合，這里也研究了一些數(shù)據(jù)層級的融合。如何通過多個視角和單ground-truth去提升性能，這里是提出了如圖11所示的網(wǎng)絡(luò)結(jié)構(gòu)。

主要是基于平面的單應(yīng)性，單應(yīng)性是對應(yīng)點可以通過四對點進行單應(yīng)矩陣估計，并且若已知單應(yīng)矩陣和left-right的圖像，可以通過ground-truth變成另外一個圖像的視角?？梢钥吹竭@里對應(yīng)給定一個 reference image，給定一個targetimage，然后通過對應(yīng)點去估計出對應(yīng)的homegra-marix，然后可以直接把target image變成generated image。

generateimage看起來跟對應(yīng)的reference image很像，但存在一個問題是它只是在道路區(qū)域看起來很像，但其實在網(wǎng)絡(luò)訓(xùn)練時兩個圖像會共用了一套ground-truth，因為在非路面區(qū)域存在一些偏差，所以最后讓網(wǎng)絡(luò)學(xué)出來，能夠更好的識別路面。

圖11 多視角分割網(wǎng)絡(luò)

02 ? 道路質(zhì)量檢測

地面移動機器人可以顯著改善人們的舒適度和生活質(zhì)量。在移動機器人的所有視覺環(huán)境感知任務(wù)中，可駕駛區(qū)域和道路的聯(lián)合檢測像素級的異常是一個關(guān)鍵問題。準(zhǔn)確高效的可行駛區(qū)域和道路異常檢測可以有助于避免此類車輛發(fā)生事故。然而，現(xiàn)有的基準(zhǔn)測試大多是為自動駕駛汽車設(shè)計的，地面移動機器人缺乏基準(zhǔn)，而道路狀況會影響到駕駛的舒適性和安全性。

基于這些問題，研究如何去評估道路的質(zhì)量，另外最早的時候是交通和土木的人在關(guān)注的事情，因為他們做道路評估，更多是為了去修補道路或是道路養(yǎng)護。最早期數(shù)據(jù)采集是用一些雷達車去進行，價格昂貴，隨意在想能否用比較低成本的方式去做道路數(shù)據(jù)采集。

這里設(shè)計了一套實驗設(shè)備和網(wǎng)絡(luò)框架如圖12所示，網(wǎng)絡(luò)輸入left frame和right frame，主要經(jīng)過三個流程，第一個是 perspective transformation，第二個是SDM，最后一個是global finement。

圖12 實驗設(shè)備及網(wǎng)絡(luò)

第一步是最有意思的一個創(chuàng)新，因為很直觀的傳統(tǒng)印象是：如果用雙目進行三維重建，baseline越大，效果應(yīng)該越好，精度越高。但存在一個問題是baseline越大的時候，盲區(qū)越大，并且這兩個圖像的視角差異會越大。進行相關(guān)研究發(fā)現(xiàn)，有時角度雖然大了，但從理論上來講，會得到一個更好的三維幾何模型，但導(dǎo)致匹配的效果可能會下降，所以，將左圖變換成右圖的樣子，進而實現(xiàn)處理，從而在速度和精度方面實現(xiàn)更好的視差估計。

在駕駛場景的時候，經(jīng)常會看到道路的視差是漸變的，但障礙物的差異保持不變。因此，在算法中首先估計如圖13中最下面一行的差異，然后使用三個相鄰像素從底部向頂部傳播搜索范圍，再進行迭代估計差異，最后視差圖的可視化結(jié)果如圖14所示。

圖13 視差變化

圖14 可視化結(jié)果

后面也基于一些網(wǎng)絡(luò)去做圖像分割，比如單模態(tài)網(wǎng)絡(luò)或是一些數(shù)據(jù)融合的網(wǎng)絡(luò)操作。如圖15所示，基于圖神經(jīng)網(wǎng)絡(luò)，設(shè)計了一些新的框架。這個框架并沒有像圖神經(jīng)網(wǎng)絡(luò)一樣去設(shè)計一套新的圖網(wǎng)絡(luò)，而是結(jié)合圖網(wǎng)絡(luò)去進行一些公式推導(dǎo)，發(fā)現(xiàn)圖網(wǎng)絡(luò)對于一些語義分割的情況，并不需要復(fù)雜的一些情況，只需要修改參數(shù)和變量，就可以去進行一些操作。

圖15 網(wǎng)絡(luò)框架

這個網(wǎng)絡(luò)可以放入任何一個CNN架構(gòu)去提升性能，簡而言之，提取特征之后，對特征進行細化，之后把舊特征和新特征拼接在一起再重新輸入進去。與當(dāng)時幾個主流的網(wǎng)絡(luò)進行了驗證，發(fā)現(xiàn)加入這個模塊后都能夠去提升分割的性能，如圖16所示。

然后，也做了一些實驗去驗證它不光能夠去應(yīng)用這種特殊道路場景的識別的任務(wù)，而且能夠去應(yīng)用在廣義的無人駕駛的語義分割或者室內(nèi)的場景理解的語義分割的一些任務(wù)當(dāng)中。