人類駕駛與自主駕駛在對交通環(huán)境的理解方式上有著明顯差別。首先，人主要通過視覺來理解交通場景，而機(jī)器感知需要融合多種異構(gòu)的傳感信息才能保證行車安全。其次，一個熟練的駕駛員可以輕松適應(yīng)各種動態(tài)交通環(huán)境，但現(xiàn)有的機(jī)器感知系統(tǒng)卻會經(jīng)常輸出有噪聲的感知結(jié)果，而自主駕駛要求感知結(jié)果近乎100%準(zhǔn)確。

本文提出了一種用于無人車交通環(huán)境感知的視覺主導(dǎo)的多傳感器融合計算框架，通過幾何和語義約束融合來自相機(jī)、激光雷達(dá)（LIDAR）及地理信息系統(tǒng)（GIS）的信息，為無人車提供高精度的自主定位和準(zhǔn)確魯棒的障礙物感知，并進(jìn)一步討論了已成功集成到上述框架內(nèi)的魯棒的視覺算法，主要包括從訓(xùn)練數(shù)據(jù)收集、傳感器數(shù)據(jù)處理、低級特征提取到障礙物識別和環(huán)境地圖創(chuàng)建等多個層次的視覺算法。所提出的框架里已用于自主研發(fā)的無人車，并在各種真實(shí)城區(qū)環(huán)境中進(jìn)行了長達(dá)八年的實(shí)地測試，實(shí)驗(yàn)結(jié)果驗(yàn)證了視覺主導(dǎo)的多傳感融合感知框架的魯棒性和高效性。