Simultaneous Localization And Mapping（同時(shí)建圖與定位）

可以分為四大部分：initialization， tracking， local mapping， global optimization

視覺SLAM主要涉及的知識

多視角幾何：投影幾何，相機(jī)模型

圖像處理：特征提取，特征點(diǎn)跟蹤

優(yōu)化算法：非線性優(yōu)化算法（Levenberg-Marquardt法）

INITIALIZATION

一般將第一張圖像進(jìn)入系統(tǒng)時(shí)的相機(jī)位姿作為V-SLAM系統(tǒng)的參考坐標(biāo)系

選取之后輸入的某張圖像計(jì)算和第一張圖像匹配角點(diǎn)并三角化獲取深度，生成候選的初始化MAP

重投影計(jì)算誤差，如果誤差太大則重新選取圖像

直到誤差小于閾值，進(jìn)行一次優(yōu)化，得到初始化MAP

TRACKING

計(jì)算當(dāng)前圖像和之前相近圖像的關(guān)系（特征點(diǎn)匹配，光流法，邊緣跟蹤等等）

根據(jù)計(jì)算出的關(guān)系，通過相應(yīng)算法估計(jì)當(dāng)前相機(jī)的大概位置

其中“直接法”將前面兩部合并為一步來執(zhí)行

LOCAL MAPPING

可以采取滑動窗口的方式或者挑選某些關(guān)鍵幀來建立局部地圖

當(dāng)某一幀圖像根據(jù)策略算法選為關(guān)鍵幀后，添加到局部地圖的關(guān)鍵幀隊(duì)列中

管理局部地圖中存在的點(diǎn)云

進(jìn)行局部的Bundle Adjustment（BA）

最后進(jìn)行關(guān)鍵幀的管理

GLOBAL OPTIMIZATION

利用BOW挑選出候選回環(huán)幀

對候選回環(huán)幀進(jìn)行驗(yàn)證，確保是正確的回環(huán)

根據(jù)回環(huán)幀計(jì)算累積漂移誤差

最后進(jìn)行全局優(yōu)化

語義SLAM

為什么要語義？

對環(huán)境的魯棒性（動態(tài)環(huán)境）

獲取地圖的先驗(yàn)信息，得到更高精度（添加語義約束）

更好地回環(huán)檢測

人機(jī)交互（如CAD制圖）

傳統(tǒng)回環(huán)檢測

目前比較主流的回環(huán)檢測方法一般都依賴于BoW（bag of visual words）方法

開源庫：DBoW2： https://github.com/dorian3d/DBoW2（當(dāng)然還有DBoW3，fbow）

連續(xù)幀匹配DLoopDetector：https://github.com/dorian3d/DLoopDetector

ORB-SLAM，VINS等都使用了DBoW2

其他檢索方式還有LSH（Locality-Sensitive Hashing）以及

LLC（Locality-constrained Linear Coding）

語義能夠給SLAM系統(tǒng)帶來的好處

支持中長期的tracking

環(huán)境適應(yīng)性更強(qiáng)（魯棒性）

潛在的人機(jī)交互特性

語義SLAM系統(tǒng)和傳統(tǒng)SLAM系統(tǒng)對比

由于我們 人類見過大量的圖像，形成了一種天生的直覺，對大部分場景都有一個直觀的距離感 （空間感），它可以幫助我們判斷圖像中物體的遠(yuǎn)近關(guān)系。

1.平移之后才能計(jì)算深度

2.無法確定真實(shí)尺度

原因是通過單張圖像無法確定深度。

深度相機(jī)（稱RGB-D相機(jī)）最大的特點(diǎn)是可以通過紅外結(jié)構(gòu)光或Time-of-Flight（ToF） 原理，像激光傳感器那樣，通過主動向物體發(fā)射光并接收返回的光，測出物體與相機(jī)之間的距離。這部分是通過物理的測量手段來解決的，所以不需要大量的算力。

ToF

基本原理是通過連續(xù)發(fā)射光脈沖（一般為不可見光）到被觀測物體上，然后用傳感器接收從物體返回的光，通過探測光脈沖的飛行（往返）時(shí)間來得到目標(biāo)物距離。

結(jié)構(gòu)光

結(jié)構(gòu)光測距是用一個光源（常用是紅外）將一定的圖案投射到物體上，再用攝像頭收集變形后的圖案進(jìn)行深度計(jì)算。

這種方法比純雙目匹配好的地方在于，參考圖像不是獲取的，而是經(jīng)過專門設(shè)計(jì)的圖案 ，因此特征點(diǎn)是已知的，而且更容易從測試圖像中提取。結(jié)構(gòu)光采用三角視差測距，基線（光源與鏡頭光心的距離）越長精度越高。由于是主動光，無法在室外使用。

不論是一般結(jié)構(gòu)光還是散斑結(jié)構(gòu)光，缺點(diǎn)是它所使用的激光器發(fā)出的編碼光斑容易被太陽光淹沒掉， 工作距離短，室外陽光下不工作。

結(jié)構(gòu)光方案中的激光器壽命較短，難以滿足7x24小時(shí)的長時(shí)間工作要求，其長時(shí)間連續(xù)工作很容易損壞。而因?yàn)閱文跨R頭和激光器需要進(jìn)行精確的標(biāo)定，一旦損壞，替換激光器時(shí)重新進(jìn)行兩者的標(biāo)定是非常困難的，所以往往導(dǎo)致整個模塊都要一起被換掉。

現(xiàn)在多數(shù) RGB-D 相機(jī)還存在測量范圍窄、噪聲大、視野小、易受日光干擾、無法測量透射材質(zhì)等諸多問題，在 SLAM 方面，主要用于室內(nèi)，室外則較難應(yīng)用。

立體視覺

雙目相機(jī) 的距離估計(jì)是比較左右眼的圖像獲得的，并不依賴其他傳感設(shè)備，所以它既可以應(yīng)用在室內(nèi)，亦可應(yīng)用于室外。

雙目立體視覺是純視覺的方法，需要逐像素計(jì)算匹配；同時(shí)，為了保證匹配結(jié)果比較魯棒，算法中會增加大量的錯誤剔除策略，因此對算法要求較高，計(jì)算量較大。

VSLAM（Mono）

優(yōu)勢：成本低、搭建簡單

劣勢：

1） 需要專門初始化

2） 尺度問題

在單張圖片里，無法確定一個物體的真實(shí)大小。它可能是一個很大但很遠(yuǎn)的物體，也可能是一個很近很小的物體。

3） 深度計(jì)算存在缺陷

a. 3D假圖問題

b. 機(jī)器學(xué)習(xí)的樣本問題

VSLAM（Stereo）

優(yōu)勢：

1） 不需要專門初始化

2） 能夠計(jì)算深度

3） 能夠用于室內(nèi)和室外

劣勢：

1） 標(biāo)定較為復(fù)雜

2） 視差計(jì)算比較耗資源，需要GPU/FPGA 或 專門的ASIC芯片 協(xié)助。

責(zé)任編輯：lq6