1、傳感器

無人車視覺傳感器：超聲波雷達(dá)（倒車）、毫米波雷達(dá)、LiDAR與攝像頭。

激光雷達(dá)精度，速度高（厘米級(jí)），成本高；毫米波雷達(dá)可適應(yīng)惡劣天氣

2、KITTI數(shù)據(jù)集

（1）Stereo/Optical Flow數(shù)據(jù)集：兩個(gè)攝像頭

（2）視覺里程測量數(shù)據(jù)集

（3）三維物體檢測數(shù)據(jù)集

（4）物體追蹤數(shù)據(jù)集

（5）路面與車道檢測數(shù)據(jù)集

3、計(jì)算機(jī)視覺能解決的問題：

（1）物體的識(shí)別與跟蹤：識(shí)別（深度學(xué)習(xí)）：行人、行駛空間、地標(biāo)、紅綠燈、其他車輛；跟蹤：Optical Flow運(yùn)動(dòng)預(yù)測算法

（2）車輛的定位（基于拓?fù)渑c地標(biāo)的算法，基于幾何的視覺里程計(jì)算法）

4、Optical Flow和立體視覺

Optical Flow：圖片序列或視頻中像素級(jí)的密集對(duì)應(yīng)關(guān)系，例如在每個(gè)像素上估算一個(gè)二維的偏移矢量，得到的Optical Flow以二維的矢量場表示。---基于單個(gè)攝像頭在連續(xù)時(shí)刻的圖像。

立體視覺：從兩個(gè)或更多的視覺得到的圖像中建立對(duì)應(yīng)關(guān)系。---基于多個(gè)攝像頭在同一時(shí)刻的圖片。

進(jìn)展：Siamese神經(jīng)網(wǎng)絡(luò)

5、物體的識(shí)別與追蹤

實(shí)時(shí)地識(shí)別與追蹤多個(gè)運(yùn)動(dòng)目標(biāo)（車輛，行人）。

基于深度學(xué)習(xí)的物體識(shí)別：輸出有噪聲，如物體識(shí)別不穩(wěn)定，物體被遮擋，物體短暫誤識(shí)別。

進(jìn)展：基于馬爾科夫決策過程（MDP）的MOT算法：基于有噪聲的識(shí)別結(jié)果獲得魯棒的物體運(yùn)動(dòng)軌跡。

6、視覺里程計(jì)算法

（1）基于拓?fù)渑c地標(biāo)的算法：把所有的地標(biāo)組成一個(gè)拓?fù)鋱D，當(dāng)無人車監(jiān)測到某個(gè)地標(biāo)時(shí)，可以大致推斷自身的位置。

條件：建立精準(zhǔn)的拓?fù)鋱D，比如將每個(gè)路口的標(biāo)志物做出地標(biāo)。

（2）基于幾何的視覺里程計(jì)算法：無需預(yù)先建立精準(zhǔn)的拓?fù)鋱D，分成單目和雙目兩種。

單目：無法推算出觀察到的物體的大小，需要假設(shè)物體的初步大小，或結(jié)合其他傳感器（如陀螺儀）進(jìn)行準(zhǔn)確的定位。

雙目：通過左右圖的三角測量法計(jì)算出特征點(diǎn)的深度，然后從深度信息推算出物體的大小。

編輯：jq