文章：Online Camera-to-ground Calibration for Autonomous Driving

作者：Binbin Li, Xinyu Du, Yao Hu, Hao Yu, and Wende Zhang

相機與地面的在線標(biāo)定是一般指實時生成相機與道路平面之間的非剛體變換，現(xiàn)有的解決方案常常利用靜態(tài)標(biāo)定，在面對輪胎氣壓變化、車輛載重體積變化和道路表面多樣性等環(huán)境變化時存在問題。其他在線解決方案利用道路元素或圖像中重疊視圖之間的光度一致性，這需要在道路上連續(xù)檢測特定目標(biāo)或借助多個攝像頭來進行標(biāo)定。在這項工作中提出了一種在線的單目相機與地面標(biāo)定解決方案，不需要在行駛過程中使用任何特定目標(biāo)。通過輪速里程計進行粗到精的地面特征提取，并通過基于滑動窗口的因子圖優(yōu)化來估計相機與地面的標(biāo)定參數(shù)。考慮到駕駛過程中相機與地面之間的非剛性變換，我們提供了衡量標(biāo)定性能的指標(biāo)和停止標(biāo)準(zhǔn)，以發(fā)布我們滿意的標(biāo)定結(jié)果。使用真實的數(shù)據(jù)進行的廣泛實驗表明該算法有效，并且優(yōu)于現(xiàn)有的技術(shù)。

介紹

現(xiàn)代車輛配備了各種攝像頭，以獲取與周圍環(huán)境相關(guān)的豐富語義信息，并將特征統(tǒng)一在共享的鳥瞰圖中，以支持可解釋的運動規(guī)劃任務(wù)。相機與地面的標(biāo)定在確定相機坐標(biāo)和地面坐標(biāo)之間的特征位置的幾何變換方面起著關(guān)鍵作用。它有助于消除相機的透視畸變，提供鳥瞰圖表示空間，并且便于估算安裝在車輛上的相機與地面上位置之間的距離，這在先進駕駛輔助系統(tǒng)（ADAS）和自動駕駛系統(tǒng)中被廣泛應(yīng)用。 在過去的幾十年中，已經(jīng)提出了許多相機與地面的標(biāo)定方法。這些方法通?？梢苑譃閮深悾?（1）靜態(tài)標(biāo)定； （2）行駛過程中的在線標(biāo)定。 第一類方法通常使用諸如棋盤格或手動標(biāo)注的地面物體等各種模式，事先計算相機與地面之間的變換關(guān)系。然而，由于車輛在道路上行駛時，由于輪胎氣壓變化、車輛載荷變化、道路表面多樣性和部件振動，此類變換是非剛性的。相機與地面的標(biāo)定應(yīng)在行駛過程中進行多次，以調(diào)整幾何投影的變化。例如，由周圍視圖魚眼相機捕獲的圖像在圖1(a)中，靜態(tài)標(biāo)定在圖1(b)中會導(dǎo)致BEV圖像不準(zhǔn)確。在線標(biāo)定可以減小變換誤差，確保適當(dāng)?shù)靥幚硗队白兓?，并生成圖1(c)中對齊良好的BEV圖像。

第二類現(xiàn)有方法應(yīng)用在線標(biāo)定，這需要從道路上提取出特定的幾何形狀，例如單目相機的消失點和周圍視圖相機提取的車道標(biāo)線，或者多個相機之間重疊區(qū)域的光度一致性，以輔助標(biāo)定調(diào)整。然而，在各種行駛環(huán)境中很難保持這些要求。在這種情況下，需要在使用單個攝像頭連續(xù)圖像的情況下進行相機與地面的標(biāo)定，而不依賴于任何特定的標(biāo)定目標(biāo)。

主要內(nèi)容

本文采用了一種從粗到精的方法，在車輛行駛在道路上時，通過因子圖優(yōu)化獲取地面特征并優(yōu)化相機到地面的標(biāo)定參數(shù)，而無需使用任何特定的標(biāo)定目標(biāo)。利用圖像中水平線分離地面和非地面區(qū)域，通過輪式測程法預(yù)測地面特征的位置，并使用基于幾何的方法驗證地面特征。對三角測量的地面特征進行平面擬合，以獲取地面的法向量和相機到地面的高度，并通過因子圖優(yōu)化進一步改進這些參數(shù)，以確定相機到地面的變換關(guān)系?？紤]到在駕駛過程中相機到地面的非剛性變換，還提出了度量標(biāo)定性能的指標(biāo)和停止準(zhǔn)則，以確保標(biāo)定質(zhì)量。 圖2展示了我們的系統(tǒng)框圖。主要包含以下模塊：首先利用運動學(xué)自車模型恢復(fù)圖像關(guān)鍵幀之間的相對運動，以便進行相機姿態(tài)估計和地面點三角測量；其次從關(guān)鍵幀中提取粗糙的地面特征，通過車輛運動進行特征預(yù)測，并進一步進行優(yōu)化地面特征驗證過程；然后進行地面平面擬合，獲取地面法向量和相機到地面的高度；然后通過因子圖優(yōu)化來細(xì)化相機姿態(tài)和相機到地面的變換參數(shù)，并提出了一個停止標(biāo)定準(zhǔn)則，確定何時發(fā)布相機到地面的標(biāo)定結(jié)果。

圖2. 系統(tǒng)框架 A. 通過輪速里程計測量的相機運動? 利用CAN總線系統(tǒng)提供的連續(xù)車輪里程讀數(shù)估計車輛隨時間的姿態(tài)變化，并確定相機關(guān)鍵幀之間的相對運動，以恢復(fù)單目相機系統(tǒng)的尺度因子。具體公式推導(dǎo)查看原文。 B. 連續(xù)關(guān)鍵幀的地面提取? 地面特征（即車輛所行駛的道路表面上的特征）在相機與地面標(biāo)定中起著重要作用。在城市/郊區(qū)環(huán)境中，大多數(shù)地面特征位于具有相似紋理的混凝土或瀝青道路表面上，這些特征很難提取和匹配。提出了一種新穎的粗到細(xì)的地面特征提取架構(gòu)，用于穩(wěn)健的相機與地面標(biāo)定，首先，我們引入地平線提取方法，通過車輛運動預(yù)測地面特征的位置，以便進行特征匹配。然后，我們利用幾何方法來驗證地面特征，并進行地面平面擬合，以獲得地面法線向量和相機中心到地面的高度。在進行標(biāo)定時，選擇以穩(wěn)定速度行駛時的關(guān)鍵幀，這樣可以在不同的圖像幀之間獲得較小的相機姿態(tài)變化，有利于標(biāo)定過程的穩(wěn)定性，關(guān)鍵幀是指在時間序列中選擇的一幀圖像，通常表示為時間間隔的起點。從選擇的關(guān)鍵幀開始，通過KLT稀疏光流算法提取圖像中的角點特征，并進行跟蹤。然后通過水平線分割圖像，可以篩選位于水平線以下的特征點來選擇地面特征，并利用車輛的運動信息進一步預(yù)測地面特征在下一個關(guān)鍵幀中的位置，這樣，我們可以有效地提取和跟蹤地面特征，為后續(xù)的相機到地面標(biāo)定和場景理解提供重要的信息。

圖3. 通過車輛運動進行特征預(yù)測，這里，Ok是關(guān)鍵幀Ik的相機中心。 圖4. 粗糙的地面特征提取，對于每個特征，通過車輛運動預(yù)測其在下一個關(guān)鍵幀中的位置（a）。因此，與沒有任何預(yù)測的KLT跟蹤器中的特征相比，在（b）中我們有更多的、質(zhì)量更高的匹配特征對。進一步在（d）中從（b）中均勻采樣/選擇特征以進行計算優(yōu)化。這里，紅色線段的端點表示關(guān)鍵幀Ik和Ik+1之間的匹配特征，綠色線是地平線。 C. 跨關(guān)鍵幀地面優(yōu)化 采用基于滑動窗口的因子圖優(yōu)化方法來優(yōu)化相機姿態(tài)、地面法向量和相機中心到地面的高度。通過使用單應(yīng)性變換矩陣，可以將當(dāng)前關(guān)鍵幀的特征點投影到上一關(guān)鍵幀的圖像中。然后，我們通過最小化重投影誤差來優(yōu)化相機姿態(tài)和地面參數(shù)，以確保在上一關(guān)鍵幀中的特征點與當(dāng)前關(guān)鍵幀中的投影點之間的一致性。具體來說，我們首先計算從當(dāng)前關(guān)鍵幀到上一關(guān)鍵幀的相機姿態(tài)變換。然后，根據(jù)相機姿態(tài)變換將當(dāng)前關(guān)鍵幀的特征點投影到上一關(guān)鍵幀的圖像平面上。接下來，我們計算投影點與上一關(guān)鍵幀中的特征點之間的重投影誤差，并將其作為優(yōu)化問題的目標(biāo)函數(shù)。通過最小化這個目標(biāo)函數(shù)，我們可以同時調(diào)整相機姿態(tài)、地面法向量和相機中心到地面的高度，從而得到更準(zhǔn)確的地面參數(shù)。通過這種跨關(guān)鍵幀的地面優(yōu)化方法，可以更好地優(yōu)化相機姿態(tài)和地面參數(shù)，提高相機到地面的標(biāo)定精度，并為后續(xù)的路徑規(guī)劃和場景感知任務(wù)提供更準(zhǔn)確的地面信息。

實驗

在各種駕駛場景下使用乘用車實現(xiàn)了我們的算法并進行了大量實驗，車輛安裝了由四個向下朝向的魚眼攝像機組成的全景攝像系統(tǒng)（參見圖1（a）中的示例），這些攝像機與車輪編碼器數(shù)據(jù)同步。攝像機的幀率為33 Hz，圖像分辨率調(diào)整為812×540。我們收集了來自不同區(qū)域的長序列連續(xù)數(shù)據(jù)，以分析我們算法的效率和魯棒性（參見表I）。這些數(shù)據(jù)涵蓋了從平坦的鋪裝地面（FPG）到城市、郊區(qū)和農(nóng)村等不同天氣、光照和駕駛條件下的公共道路，F(xiàn)PG數(shù)據(jù)來自極其平坦的瀝青路面，用于驗證我們動態(tài)標(biāo)定的基準(zhǔn)性能。表I的最后一列表示車輛行駛而不是停車的時間百分比。 圖6 我們的方法在具有挑戰(zhàn)性的駕駛場景中表現(xiàn)良好，圖中的標(biāo)簽與表格I從上到下對應(yīng)。

將我們的方法與現(xiàn)有的最先進方法進行比較，從而定性地檢驗性能，包括Liu等人[23]、OECS[24]和ROECS[25]在我們的數(shù)據(jù)集上的性能。首先比較了在FPG數(shù)據(jù)上的標(biāo)定性能，并在表II中總結(jié)了結(jié)果。與我們的對手一樣，我們的方法在車輛行駛在FPG上時能夠生成連續(xù)穩(wěn)定的相機到地面的標(biāo)定。因此，我們顯示了與地面真實（GT）標(biāo)定的歐拉角差的平均值，并評估絕對變化量δr、δp和δy。這里，δr、δp和δy分別表示滾轉(zhuǎn)角、俯仰角和偏航角的變化量。表II中的δh列是相機中心到地面的高度位移。在表II中，即使在圖像上沒有可辨別紋理的混凝土路面上，我們的在線方法也取得了更好的性能。例如，我們的方法在俯仰角、偏航角和高度估計方面分別獲得了顯著的絕對增益，分別為44.4%、50.0%和71.2%。

為了展示我們提出的方法的優(yōu)越性，我們在圖7中呈現(xiàn)了（11）和（12）的誤差直方圖。在圖7中獲得了不同區(qū)間的誤差差異，作為我們相對于最先進工作的性能提升的總和。我們的方法在不同水平下具有相對較小的特征轉(zhuǎn)移誤差f，并且誤差保持在0.83像素以內(nèi)，這在不同數(shù)據(jù)序列中保持一致。我們的方法在郊區(qū)數(shù)據(jù)上獲得了最低的性能增益44.2%，在城市數(shù)據(jù)上獲得了最高的性能增益67.6%。在從城市到農(nóng)村地區(qū)的公共道路駕駛數(shù)據(jù)中，與最先進方法相比，我們的方法在誤差p方面表現(xiàn)更好。誤差p在0.75像素以內(nèi)變化，并且90.9%的誤差在0.67像素以內(nèi)。在考慮平坦道路條件的情況下，性能提高了12.7%，在郊區(qū)數(shù)據(jù)中獲得了最高得分，而在FPG數(shù)據(jù)中獲得了最低得分，為1.59%。?

圖7. 表I中數(shù)據(jù)序列的性能直方圖。水平軸的值對應(yīng)于（11）和（12）中的誤差，垂直軸是概率密度。請放大查看詳細(xì)信息。 圖8展示了在車輛以高速直行時不同方法生成的鳥瞰圖像的視覺結(jié)果。我們的方法不依賴于不同攝像頭之間的重疊區(qū)域或特定物體，獲得了較小的特征殘差誤差，并生成了更好對齊的鳥瞰圖像，原因如下： （1）直行車道標(biāo)線與車輛行駛方向平行， （2）攝像頭之間的車道標(biāo)線互相重疊， （3）道路上的混凝土裂縫在相鄰攝像頭鳥瞰圖像的重疊區(qū)域上連接在一起。

圖8. 在行駛過程中城市I數(shù)據(jù)的示例結(jié)果。我們展示了(a)我們的結(jié)果，(b)ROECS [25]，(c)OECS [24]和(d)Liu等人的結(jié)果。

總結(jié)

我們提出了一種在線相機到地面無目標(biāo)標(biāo)定方法，用于在行駛過程中生成相機坐標(biāo)與地面坐標(biāo)之間的非剛體變換。采用了一種新穎的粗到精的架構(gòu)來選擇地面特征，并通過基于幾何的方法進行驗證。對三角化的地面特征進行平面擬合，以獲得地面法向量和相機到地面的高度，然后通過滑動窗口的因子圖優(yōu)化對其進行優(yōu)化。通過旋轉(zhuǎn)平均確定相機到地面的變換，并提供停止標(biāo)準(zhǔn)來廣播滿足標(biāo)定結(jié)果的情況。使用從不同天氣和駕駛條件下收集的真實數(shù)據(jù)對我們的算法進行了廣泛測試，結(jié)果顯示我們的方法是有效的，并且優(yōu)于最先進的技術(shù)。在未來，我們將減少因子圖優(yōu)化的運行時間復(fù)雜度，并進行可觀測性分析，以識別幫助丟棄不需要用于標(biāo)定計算的姿態(tài)和地面特征的退化場景。 —END—

編輯：黃飛