簡(jiǎn)單來(lái)說(shuō)，基于雙目立體視覺(jué)的測(cè)距類(lèi)似人類(lèi)的雙眼，和基于TOF、結(jié)構(gòu)光原理的測(cè)距不同，它不對(duì)外主動(dòng)投射光源，完全依靠拍攝的兩張圖片（ RGB 或者灰度圖）來(lái)計(jì)算距離。

在正文開(kāi)始之前，我們先厘清單目和雙目的測(cè)距原理有哪些區(qū)別。

? 單目測(cè)距原理

單目是先通過(guò)圖像匹配進(jìn)行目標(biāo)識(shí)別（各種車(chē)型、行人、物體等），再通過(guò)目標(biāo)在圖像中的大小去估算目標(biāo)距離。這就要求在估算距離之前首先對(duì)目標(biāo)進(jìn)行準(zhǔn)確識(shí)別，是汽車(chē)還是行人，是貨車(chē)、SUV還是小轎車(chē)。準(zhǔn)確識(shí)別是準(zhǔn)確估算距離的第一步。要做到這一點(diǎn)，就需要建立并不斷維護(hù)一個(gè)龐大的樣本特征數(shù)據(jù)庫(kù)，保證這個(gè)數(shù)據(jù)庫(kù)包含待識(shí)別目標(biāo)的全部特征數(shù)據(jù)。比如在一些特殊地區(qū)，為了專(zhuān)門(mén)檢測(cè)大型動(dòng)物，必須先行建立大型動(dòng)物的數(shù)據(jù)庫(kù)；而對(duì)于另外某些區(qū)域存在一些非常規(guī)車(chē)型，也要先將這些車(chē)型的特征數(shù)據(jù)加入到數(shù)據(jù)庫(kù)中。如果缺乏待識(shí)別目標(biāo)的特征數(shù)據(jù)，就會(huì)導(dǎo)致系統(tǒng)無(wú)法對(duì)這些車(chē)型、物體、障礙物進(jìn)行識(shí)別，從而也就無(wú)法準(zhǔn)確估算這些目標(biāo)的距離。

? 單/雙目方案的優(yōu)點(diǎn)與難點(diǎn)

從上面的介紹，單目系統(tǒng)的優(yōu)勢(shì)在于成本較低，對(duì)計(jì)算資源的要求不高，系統(tǒng)結(jié)構(gòu)相對(duì)簡(jiǎn)單；缺點(diǎn)是：

（1）需要不斷更新和維護(hù)一個(gè)龐大的樣本數(shù)據(jù)庫(kù)，才能保證系統(tǒng)達(dá)到較高的識(shí)別率；

（2）無(wú)法對(duì)非標(biāo)準(zhǔn)障礙物進(jìn)行判斷；

（3）距離并非真正意義上的測(cè)量，準(zhǔn)確度較低。

? 雙目檢測(cè)原理

通過(guò)對(duì)兩幅圖像視差的計(jì)算，直接對(duì)前方景物（圖像所拍攝到的范圍）進(jìn)行距離測(cè)量，而無(wú)需判斷前方出現(xiàn)的是什么類(lèi)型的障礙物。所以對(duì)于任何類(lèi)型的障礙物，都能根據(jù)距離信息的變化，進(jìn)行必要的預(yù)警或制動(dòng)。雙目攝像頭的原理與人眼相似。人眼能夠感知物體的遠(yuǎn)近，是由于兩只眼睛對(duì)同一個(gè)物體呈現(xiàn)的圖像存在差異，也稱(chēng)“視差”。物體距離越遠(yuǎn)，視差越?。环粗?，視差越大。視差的大小對(duì)應(yīng)著物體與眼睛之間距離的遠(yuǎn)近，這也是3D電影能夠使人有立體層次感知的原因。

上圖中的人和椰子樹(shù)，人在前，椰子樹(shù)在后，最下方是雙目相機(jī)中的成像。其中，右側(cè)相機(jī)成像中人在樹(shù)的左側(cè)，左側(cè)相機(jī)成像中人在樹(shù)的右側(cè)，這是因?yàn)殡p目的角度不一樣。再通過(guò)對(duì)比兩幅圖像就可以知道人眼觀察樹(shù)的時(shí)候視差小，而觀察人時(shí)視差大。因?yàn)闃?shù)的距離遠(yuǎn)，人的距離近。這就是雙目三角測(cè)距的原理。雙目系統(tǒng)對(duì)目標(biāo)物體距離感知是一種絕對(duì)的測(cè)量，而非估算。

? 理想雙目相機(jī)成像模型

根據(jù)三角形相似定律：

根據(jù)上述推導(dǎo)，要求得空間點(diǎn)P離相機(jī)的距離（深度）z，必須知道：

1、相機(jī)焦距f，左右相機(jī)基線b（可以通過(guò)先驗(yàn)信息或者相機(jī)標(biāo)定得到）。

2、視差 ：，即左相機(jī)像素點(diǎn)(xl, yl)和右相機(jī)中對(duì)應(yīng)點(diǎn)(xr, yr)的關(guān)系，這是雙目視覺(jué)的核心問(wèn)題。

重點(diǎn)來(lái)看一下視差（disparity），視差是同一個(gè)空間點(diǎn)在兩個(gè)相機(jī)成像中對(duì)應(yīng)的x坐標(biāo)的差值，它可以通過(guò)編碼成灰度圖來(lái)反映出距離的遠(yuǎn)近，離鏡頭越近的灰度越亮；

? 極線約束

對(duì)于左圖中的一個(gè)像素點(diǎn)，如何確定該點(diǎn)在右圖中的位置？需要在整個(gè)圖像中地毯式搜索嗎？當(dāng)然不用，此時(shí)需要用到極線約束。

如上圖所示。O1，O2是兩個(gè)相機(jī)，P是空間中的一個(gè)點(diǎn)，P和兩個(gè)相機(jī)中心點(diǎn)O1、O2形成了三維空間中的一個(gè)平面PO1O2，稱(chēng)為極平面（Epipolar plane）。極平面和兩幅圖像相交于兩條直線，這兩條直線稱(chēng)為極線(Epipolar line)。

P在相機(jī)O1中的成像點(diǎn)是P1，在相機(jī)O2中的成像點(diǎn)是P2，但是P的位置是未知的。我們的目標(biāo)是：對(duì)于左圖的P1點(diǎn)，尋找它在右圖中的對(duì)應(yīng)點(diǎn)P2，這樣就能確定P點(diǎn)的空間位置。

極線約束（Epipolar Constraint）是指當(dāng)空間點(diǎn)在兩幅圖像上分別成像時(shí)，已知左圖投影點(diǎn)p1，那么對(duì)應(yīng)右圖投影點(diǎn)p2一定在相對(duì)于p1的極線上，這樣可以極大的縮小匹配范圍。即P2一定在對(duì)應(yīng)極線上，所以只需要沿著極線搜索便可以找到P1的對(duì)應(yīng)點(diǎn)P2。

? 非理性情況

上面是兩相機(jī)共面且光軸平行，參數(shù)相同的理想情況，當(dāng)相機(jī)O1，O2不是在同一直線上怎么辦呢？事實(shí)上，這種情況非常常見(jiàn)，因?yàn)橛行﹫?chǎng)景下兩個(gè)相機(jī)需要獨(dú)立固定，很難保證光心完全水平，即使固定在同一個(gè)基板上也會(huì)由于裝配的原因?qū)е鹿庑牟煌耆?，如下圖所示：兩個(gè)相機(jī)的極線不平行，并且不共面。

這種情況下拍攝的兩張左右圖片，如下圖所示。左圖中三個(gè)十字標(biāo)志的點(diǎn)，右圖中對(duì)應(yīng)的極線是右圖中的三條白色直線，也就是對(duì)應(yīng)的搜索區(qū)域。我們看到這三條直線并不是水平的，如果進(jìn)行逐點(diǎn)搜索效率非常低。

? 圖像矯正技術(shù)

圖像矯正是通過(guò)分別對(duì)兩張圖片用單應(yīng)性矩陣（homography matrix）變換得到，目的是把兩個(gè)不同方向的圖像平面（下圖中灰色平面）重新投影到同一個(gè)平面且光軸互相平行（下圖中黃色平面），這樣轉(zhuǎn)化為理想情況的模型。

圖像校正示意圖

經(jīng)過(guò)圖像矯正后，左圖中的像素點(diǎn)只需要沿著水平的極線方向搜索對(duì)應(yīng)點(diǎn)就可以了。從下圖中我們可以看到三個(gè)點(diǎn)對(duì)應(yīng)的視差（紅色雙箭頭線段）是不同的，越遠(yuǎn)的物體視差越小，越近的物體視差越大。

圖像校正后的結(jié)果。紅色雙箭頭線段是對(duì)應(yīng)點(diǎn)的視差

上面的主要工作是在極線上尋找匹配點(diǎn)，但是由于要保證兩個(gè)相機(jī)參數(shù)完全一致是不現(xiàn)實(shí)的，并且外界光照變化和視角不同的影響，使得單個(gè)像素點(diǎn)魯棒性很差。所以匹配工作是一項(xiàng)很重要的事情，這也關(guān)系著雙目視覺(jué)測(cè)距的準(zhǔn)確性。

? 雙目視覺(jué)的工作流程

相機(jī)鏡頭畸變校正原理及方法，之前介紹過(guò)，這個(gè)基本是通用的，可以用張正友校準(zhǔn)法。

? 雙目測(cè)距的優(yōu)點(diǎn)與難點(diǎn)

從上面的介紹看出，雙目系統(tǒng)優(yōu)勢(shì)：

（1）成本比單目系統(tǒng)要高，但尚處于可接受范圍內(nèi)，并且與激光雷達(dá)等方案相比成本較低；

（2）沒(méi)有識(shí)別率的限制，因?yàn)閺脑砩蠠o(wú)需先進(jìn)行識(shí)別再進(jìn)行測(cè)算，而是對(duì)所有障礙物直接進(jìn)行測(cè)量；

（3）直接利用視差計(jì)算距離，精度比單目高；

（4）無(wú)需維護(hù)樣本數(shù)據(jù)庫(kù)，因?yàn)閷?duì)于雙目沒(méi)有樣本的概念。

? 雙目系統(tǒng)的難點(diǎn)

（1）計(jì)算量非常大，對(duì)計(jì)算單元的性能要求非常高，這使得雙目系統(tǒng)的產(chǎn)品化、小型化的難度較大。所以在芯片或FPGA上解決雙目的計(jì)算問(wèn)題難度比較大。國(guó)際上使用雙目的研究機(jī)構(gòu)或廠商，絕大多數(shù)是使用服務(wù)器進(jìn)行圖像處理與計(jì)算，也有部分將算法進(jìn)行簡(jiǎn)化后，使用FPGA進(jìn)行處理。

（2）雙目的配準(zhǔn)效果，直接影響到測(cè)距的準(zhǔn)確性。

a. 對(duì)環(huán)境光照非常敏感。雙目立體視覺(jué)法依賴(lài)環(huán)境中的自然光線采集圖像，而由于光照角度變化、光照強(qiáng)度變化等環(huán)境因素的影響，拍攝的兩張圖片亮度差別會(huì)比較大，這會(huì)對(duì)匹配算法提出很大的挑戰(zhàn)。

b. 不適用于單調(diào)缺乏紋理的場(chǎng)景。由于雙目立體視覺(jué)法根據(jù)視覺(jué)特征進(jìn)行圖像匹配，所以對(duì)于缺乏視覺(jué)特征的場(chǎng)景（如天空、白墻、沙漠等）會(huì)出現(xiàn)匹配困難，導(dǎo)致匹配誤差較大甚至匹配失敗。

c. 計(jì)算復(fù)雜度高。該方法需要逐像素匹配；又因?yàn)樯鲜龆喾N因素的影響，為保證匹配結(jié)果的魯棒性，需要在算法中增加大量的錯(cuò)誤剔除策略，因此對(duì)算法要求較高，想要實(shí)現(xiàn)可靠商用難度大，計(jì)算量較大。

d. 相機(jī)基線限制了測(cè)量范圍。測(cè)量范圍和基線（兩個(gè)攝像頭間距）關(guān)系很大：基線越大，測(cè)量范圍越遠(yuǎn)；基線越小，測(cè)量范圍越近。所以基線在一定程度上限制了該深度相機(jī)的測(cè)量范圍。

審核編輯：郭婷