引言

相信很多小伙伴們通過(guò)之前攝像頭的基礎(chǔ)知識(shí)講解，已經(jīng)對(duì)車(chē)載攝像頭有一定的了解，攝像頭兩大主要功能是定位和感知，我們通過(guò)不同的軟硬件來(lái)實(shí)現(xiàn)前向碰撞預(yù)警、行人探測(cè)與防撞預(yù)警、車(chē)道保持與危險(xiǎn)預(yù)警、車(chē)道偏離預(yù)警、交通標(biāo)志識(shí)別等功能，那么攝像頭在我們現(xiàn)有汽車(chē)上這些輔助駕駛功能是如何實(shí)現(xiàn)的呢？本期小編整理了一些視覺(jué)傳感器相關(guān)技術(shù)方面的資料，讓我們一起來(lái)探究一下吧。

01視覺(jué)感知概述

目前自動(dòng)駕駛的視覺(jué)感知算法，業(yè)內(nèi)一般分成傳統(tǒng)視覺(jué)算法和深度學(xué)習(xí)算法，兩者既有著關(guān)聯(lián)，也有著不同點(diǎn)。本期小編通過(guò)傳統(tǒng)視覺(jué)感知的幾個(gè)關(guān)鍵步驟來(lái)為大家講解，我們下期再聊關(guān)于深度學(xué)習(xí)方面的視覺(jué)感知算法。

02標(biāo)定及特征提取

一、標(biāo)定

標(biāo)定，是為了幫助攝像頭最終成像時(shí)獲得清晰圖像或通過(guò)攝像頭獲得物體大小、測(cè)量距離結(jié)果準(zhǔn)確度所作的軟硬件校準(zhǔn)及相應(yīng)算法調(diào)試的過(guò)程。標(biāo)定的精度及算法的穩(wěn)定性將直接影響攝像頭的準(zhǔn)確性。

根據(jù)攝像頭自身產(chǎn)品因素和外部安裝因素，自身內(nèi)部標(biāo)定簡(jiǎn)稱(chēng)內(nèi)參，外部安裝的標(biāo)定簡(jiǎn)稱(chēng)外參。

1 內(nèi)參

攝像可以用來(lái)標(biāo)定的自身參數(shù)稱(chēng)為內(nèi)參。內(nèi)參的參數(shù)一般包含鏡頭畸變，焦距，像素尺寸寬，像素尺寸高，中心點(diǎn)坐標(biāo)寬，中心點(diǎn)坐標(biāo)高，圖片尺寸。下面我們就來(lái)探究一下關(guān)鍵的內(nèi)參值：鏡頭畸變、光心以及焦距。

鏡頭畸變

我們所熟知的攝像頭鏡頭是由幾片透鏡組成的光學(xué)儀器，但是由于透鏡的固有特性（凸透鏡匯聚光線、凹透鏡發(fā)散光線）會(huì)導(dǎo)致相機(jī)成像存在著透視失真，透視失真也被統(tǒng)稱(chēng)為鏡頭畸變。因?yàn)檫@種鏡頭畸變是物理層面無(wú)法消除的，只能改善，所以就需要對(duì)鏡頭畸變進(jìn)行校準(zhǔn)標(biāo)定。

鏡頭畸變根據(jù)成像效果又分為徑向畸變和切向畸變。

徑向畸變，被攝物體在經(jīng)過(guò)光學(xué)系統(tǒng)成像時(shí)，會(huì)造成圖像點(diǎn)從主點(diǎn)開(kāi)始沿著徑向線發(fā)生位移，如下圖所示：

切向畸變，由于裝配方面的誤差，相機(jī)傳感器（CMOS或CCD）與光學(xué)鏡頭之間并非完全平行，因此成像存在切向畸變，但在成像方面通常沒(méi)有徑向畸變那么嚴(yán)重。

光心，是位于透鏡主軸上中央的一個(gè)特殊點(diǎn)，凡是通過(guò)該點(diǎn)的光，其傳播方向不變。通過(guò)標(biāo)定光心的真實(shí)位置，才能計(jì)算出攝像頭的焦點(diǎn)和焦距所在的準(zhǔn)確位置。

焦距，也稱(chēng)為焦長(zhǎng)，以相機(jī)為例，焦距是從鏡片光心到底片、CCD或CMOS等成像平面的距離。當(dāng)對(duì)同一距離遠(yuǎn)的同一個(gè)被攝目標(biāo)拍攝時(shí)，鏡頭焦距長(zhǎng)的所成的像大，鏡頭焦距短的所成的像小。標(biāo)定焦距后的準(zhǔn)確度將決定相機(jī)最終成像的清晰度和成像大小。

2 外參

外參標(biāo)定，是攝像頭將自身的位置坐標(biāo)與被觀測(cè)物體的現(xiàn)實(shí)世界坐標(biāo)系之間建立相對(duì)位置關(guān)系。攝像頭不僅需要上述的內(nèi)部標(biāo)定，也需要在安裝到汽車(chē)內(nèi)后進(jìn)行外部軟硬件聯(lián)動(dòng)調(diào)試，以確保攝像頭的成像效果和物體位置測(cè)量距離的準(zhǔn)確度。

二、傳統(tǒng)圖像特征提取

眾所周知，計(jì)算機(jī)是不認(rèn)識(shí)圖像的，只認(rèn)識(shí)數(shù)字0和1。為了使計(jì)算機(jī)能夠“理解”圖像，從而具有真正意義上的“視覺(jué)”，于是我們通過(guò)從圖像中提取有用的數(shù)據(jù)或信息，得到圖像的“非圖像表示或描述”，如數(shù)值、向量和符號(hào)等，這一過(guò)程就是特征提取，而提取出來(lái)的這些“非圖像表示或描述”就是特征。

有了這些數(shù)值或向量形式的特征，再通過(guò)建立特征庫(kù)，我們就可以通過(guò)訓(xùn)練過(guò)程教會(huì)計(jì)算機(jī)如何懂得這些特征，從而使計(jì)算機(jī)具有識(shí)別圖像的本領(lǐng)。

上述的特征提取一般包括點(diǎn)、線，圖像分割，光流，機(jī)器學(xué)習(xí)特征，SVM行人車(chē)輛識(shí)別等要素提取。

看起來(lái)挺簡(jiǎn)單的原理，其實(shí)是個(gè)十分復(fù)雜的過(guò)程，小編曾在《攝像頭基礎(chǔ)介紹》里面舉過(guò)一個(gè)例子，比如說(shuō)我們打開(kāi)搜索網(wǎng)站搜索“桌子”，會(huì)發(fā)現(xiàn)有很多種的樣子。

雖然桌子樣式有很多，但是它也是由點(diǎn)、線、面組成的。計(jì)算機(jī)為了更好的識(shí)別出物體是什么，還會(huì)將圖片上相同顏色區(qū)域進(jìn)行圖像分割，再配合光流變化和機(jī)器學(xué)習(xí)得到的特征要素等，計(jì)算機(jī)就能識(shí)別出圖片上的物體是桌子而不是椅子。

目前圖像特征的提取主要有兩種方法：傳統(tǒng)圖像特征提取方法和深度學(xué)習(xí)方法。

傳統(tǒng)的特征提取方法：基于圖像本身的特征進(jìn)行提??；

深度學(xué)習(xí)方法：基于樣本自動(dòng)訓(xùn)練出區(qū)分圖像的特征分類(lèi)器；

傳統(tǒng)的圖像特征提取一般分為三個(gè)步驟：預(yù)處理、特征提取、特征處理；然后在利用機(jī)器學(xué)習(xí)等方法對(duì)特征進(jìn)行分類(lèi)等操作。

預(yù)處理：預(yù)處理的目的主要是排除干擾因素，突出特征信息；主要的方法有：

圖片標(biāo)準(zhǔn)化：調(diào)整圖片尺寸；

圖片歸一化：調(diào)整圖片重心為0；

特征提?。豪锰厥獾奶卣髯涌臻g，完成對(duì)圖像的特征提取。涉及算法主要有：Harris、SIFT、SURF、LBF、HOG、DPM；

特征處理：主要目的是為了排除信息量小的特征，減少計(jì)算量等。常見(jiàn)的特征處理方法是降維，常見(jiàn)的降維方法有：主成分分析、奇異值分解、線性判別分析；

實(shí)話(huà)說(shuō)，小編看到這么多的傳統(tǒng)圖像特征提取算法真的是非常佩服工程師們的技術(shù)能力。那么下面小編抽取了一些常用的特征提取算法為大家簡(jiǎn)單講解個(gè)概要：

Harris算法是一種角點(diǎn)特征描述子；角點(diǎn)對(duì)應(yīng)于物體圖像關(guān)鍵的局部結(jié)構(gòu)特征，通過(guò)鄰近像素點(diǎn)灰度差值概念，從而判斷是否為角點(diǎn)、邊緣、平滑區(qū)域。例如：道路的十字路口等。

SIFT算法尺度不變特征變換（Scale invarialt feature transform）是基于物體上的一些局部外觀的興趣點(diǎn)，該算法與影像的旋轉(zhuǎn)、尺度大小縮放、亮度變化無(wú)關(guān)；對(duì)視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性；基于這些特性，SIFT算法在龐大的特征數(shù)據(jù)庫(kù)中，很容易辨識(shí)出物體而且鮮有誤認(rèn)。使用SIFT特征描述對(duì)于部分物體遮蔽的偵測(cè)率也相當(dāng)高，甚至只需要3個(gè)以上的SIFT物體特征就足以計(jì)算出位置與方位。

SURF算法（Speeded Up Robust Features）直譯為：加速版的具有魯棒特性的特征算法，該算法對(duì)經(jīng)典的尺度不變特征變換算法（SIFT算法）進(jìn)行了改進(jìn)，以更高效的方式改進(jìn)了特征提取和描述的方式。SURF算法采用了Haar特征以及積分圖像的概念，這大大的加速了程序的運(yùn)行時(shí)間，需要硬件或者專(zhuān)門(mén)的圖像處理器進(jìn)行加速。SURF算法一般應(yīng)用于計(jì)算機(jī)視覺(jué)中的物體識(shí)別、圖像拼接、圖像配準(zhǔn)以及3D重建中。

HOG算法（Histogram of Oriented Gradient） 方向梯度直方圖，是通過(guò)計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來(lái)構(gòu)成特征提取的算法。Hog特征結(jié)合SVM（Surpport Vector Machine）分類(lèi)器特別適合于做圖像中的行人檢測(cè)。

DPM算法（Deformable Parts Model）是一個(gè)目標(biāo)檢測(cè)算法，已成為眾多分類(lèi)器、分割、人體姿態(tài)和行為分類(lèi)的重要部分。DPM可以看做是HOG算法的擴(kuò)展，大體思路與HOG一致。先計(jì)算梯度方向直方圖，然后用SVM訓(xùn)練得到物體的梯度模型（Model）。有了這樣的模板就可以直接用來(lái)分類(lèi)了，簡(jiǎn)單理解就是模型和目標(biāo)匹配。DPM只是在模型上做了很多改進(jìn)工作。

03常見(jiàn)視覺(jué)算法

VSLAM定位，SLAM（SimultaneousLocalization andMapping）是同步定位與地圖構(gòu)建，是指根據(jù)傳感器的信息，一邊計(jì)算自身位置，一邊構(gòu)建環(huán)境地圖的過(guò)程，解決在未知環(huán)境下運(yùn)動(dòng)時(shí)的定位與地圖構(gòu)建問(wèn)題。VSLAM（VisualSLAM算法）則更為高級(jí)，是基于camera圖像做SLAM的算法，即視覺(jué)的定位與建圖，中文也叫視覺(jué)SLAM，相當(dāng)于裝上眼睛，通過(guò)眼睛來(lái)完成定位和掃描，更加精準(zhǔn)和迅速。

Sfm（Structurefrom Motion）是一種從運(yùn)動(dòng)中實(shí)現(xiàn)3D重建。也就是從時(shí)間系列的2D圖像中推算3D信息。用于自動(dòng)駕駛環(huán)境稠密點(diǎn)云重建。

MVS（Multi-viewstereo，多視重建），立體視覺(jué)法將多個(gè)相機(jī)設(shè)置于視點(diǎn)，或用單目相機(jī)在多個(gè)不同的視點(diǎn)拍攝圖像以增加穩(wěn)健性，通常使用環(huán)視攝像頭來(lái)重建稠密點(diǎn)云。

VADAR（視覺(jué)點(diǎn)云，是SFM和MVS統(tǒng)稱(chēng)），通過(guò)VADAR得到和Lidar同樣的點(diǎn)云，可以做更多的檢測(cè)和分割功能。目前特斯拉和mobileyeQ5均使用多個(gè)攝像頭拍攝的2D圖像進(jìn)行深度學(xué)習(xí)處理，生成3D模型，從而為自動(dòng)駕駛決策提供所需的環(huán)境信息。說(shuō)得簡(jiǎn)單一點(diǎn)，就是依靠算法和芯片的強(qiáng)大計(jì)算量，將多個(gè)攝像頭輸出的2D畫(huà)面“升級(jí)”為3D畫(huà)面實(shí)現(xiàn)自動(dòng)駕駛。

結(jié)語(yǔ)：

相信通過(guò)上述傳統(tǒng)攝像頭算法的介紹，大家也深深的感受到了單目攝像頭視覺(jué)傳感器要幫助我們行車(chē)更加安全、便捷，不是一個(gè)容易的事情。需要通過(guò)工程師們對(duì)攝像頭硬件的標(biāo)定，各種特征點(diǎn)提取軟件算法，還有芯片、視覺(jué)方面的硬件匹配等。傳統(tǒng)單目攝像頭視覺(jué)算法已經(jīng)如此的繁瑣，那么深度學(xué)習(xí)算法又是怎樣實(shí)現(xiàn)的呢？帶著這些問(wèn)題，下期小編繼續(xù)為大家整理深度學(xué)習(xí)視覺(jué)算法相關(guān)技術(shù)資料，敬請(qǐng)期待吧！

原文標(biāo)題：新·知丨自動(dòng)駕駛傳感器那點(diǎn)事之 攝像頭傳統(tǒng)視覺(jué)技術(shù)

文章出處：【微信公眾號(hào)：四維圖新NavInfo】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq