本篇文章為大家介紹一種新穎且經(jīng)濟高效的重建方案，利用預(yù)先建立的激光雷達地圖作為固定約束，有效解決了單目相機重建中存在的尺度問題。

作者：

Chunge Bai , Ruijie Fu and Xiang Gao

先進的單目相機重建技術(shù)主要依賴于運動恢復(fù)結(jié)構(gòu)（Structure from Motion，SfM）方案。然而這些方法通常產(chǎn)生的重建結(jié)果缺乏關(guān)鍵的尺度信息，隨著時間的推移，圖像的累積導(dǎo)致不可避免的漂移問題。相比之下，基于激光雷達掃描幀的地圖方法在大規(guī)模城市場景重建中很受歡迎，因為它們具有精確的距離測量能力，這在基于視覺的方法中基本上是缺失的。研究人員嘗試利用同時進行的激光雷達和相機測量來追求在地圖結(jié)果中實現(xiàn)精確的尺度和顏色細節(jié)。然而這些結(jié)果受外參校準和時間同步精度的影響。本文提出了一種新穎且經(jīng)濟高效的重建方案，利用預(yù)先建立的激光雷達地圖作為固定約束，有效解決了單目相機重建中存在的尺度問題。據(jù)我們所知，我們的方法是第一個將圖像配準到點云地圖上而無需同步捕獲相機和激光雷達數(shù)據(jù)的方法，使我們能夠在各種感興趣的區(qū)域重建更多細節(jié)。為了促進這一領(lǐng)域的進一步研究，我們發(fā)布了Colmap-PCD，這是一個利用Colmap算法的開源工具，可以實現(xiàn)對圖像到點云地圖的精確細致的配準。

主要貢獻

實現(xiàn)圖像與其重建對象之間的精確2D-3D對應(yīng)關(guān)系對于準確的圖像定位至關(guān)重要，一種有前景的方法涉及在圖像和激光雷達平面之間建立對應(yīng)關(guān)系，激光雷達平面可以被視為來自激光雷達點云地圖的重建對象的替代3D特征。為此，我們選擇使用Colmap，這是一個基于經(jīng)典的運動恢復(fù)結(jié)構(gòu)（Structure-from-Motion，SfM）方案的穩(wěn)健軟件工具。在此基礎(chǔ)上通過將預(yù)先建立的激光雷達地圖作為固定約束納入因子圖優(yōu)化過程中，來增強管線。這個包含有助于確保圖像的重建尺度與激光雷達地圖的尺度密切匹配，從而增強了注冊過程的準確性。我們的方法使用自行收集的數(shù)據(jù)集進行評估，結(jié)果清晰地展示了其在標準Colmap方法上的卓越性能。更具體地說，我們的方法產(chǎn)生了一個帶有準確尺度的重建結(jié)果，超出了原始Colmap的能力范圍?？傮w而言，本文提出了三個重要貢獻：

1）引入Colmap-PCD，一種圖像到點云配準方案，通過使用激光雷達地圖優(yōu)化圖像定位。它產(chǎn)生具有準確尺度信息的精確定位和重建結(jié)果，無需同步激光雷達和相機數(shù)據(jù)收集。

2）通過對自行收集的數(shù)據(jù)集進行全面測試，展示了Colmap-PCD的有效性。

內(nèi)容概述

Colmap簡要概述

對應(yīng)點搜索：對應(yīng)搜索過程包括特征提取和特征匹配，通過識別跨越各種輸入圖像的匹配2D特征點來確定潛在的場景重疊。為增強圖像匹配的可靠性，Colmap通過在不同的轉(zhuǎn)換條件下計算內(nèi)點數(shù)來選擇最可信的變換模型。?

初始化：選擇一個適當?shù)膱D像對進行初始重建，確保它與多個圖像共享足夠的共同觀測。然后，利用三角測量生成初始的3D重建點集。?

選擇并配準下一張圖像：選擇一張與當前模型具有更多共同可見點并具有更均勻分布模式的圖像作為下一張要配準的圖像。通過PnP將圖像配準到模型。?

三角化測量：對新圖像執(zhí)行三角測量，將新場景集成到現(xiàn)有的3D結(jié)構(gòu)中。由于噪聲，Colmap將單個3D點的特征軌跡視為一組測量，可以進行配對。使用直接線性變換（DLT）方法計算配對測量的3D點，通過RANSAC進行遞歸采樣和調(diào)整采樣區(qū)域，獲得可靠的三角測量結(jié)果。?

增量捆集調(diào)整：在每次三角測量后，進行局部捆集調(diào)整（BA）以調(diào)整新配準圖像和其他共享更多共同觀測的已配準圖像的參數(shù)和3D點位置。?

全局捆集調(diào)整：執(zhí)行全局捆集調(diào)整以計算所有已配準圖像的最佳3D模型和參數(shù)。為節(jié)省時間，與先前的全局優(yōu)化相比，當模型的體積增長到一定程度時將進行全局捆集調(diào)整（BA）。

Colmap-PCD算法

Colmap-PCD通過將從視覺圖像中重建的3D點與從LiDAR點云地圖中提取的平面匹配，旨在同時最小化重投影誤差和3D點與關(guān)聯(lián)LiDAR平面之間的距離。整個流程如圖2所示。

圖2：Colmap-PCD的流程，藍色框中的過程屬于原始Colmap，紅色框中的過程是與LiDAR相關(guān)的過程

投影

? 將LiDAR點云投影到已知的相機成像平面In。

??劃分LiDAR點云為固定大小的體素，通過四條線形成四邊形金字塔。

? 通過遍歷體素中的LiDAR點，將其從世界坐標系轉(zhuǎn)換到相機坐標系，并投影到成像平面。

圖3：將LiDAR點投影到相機成像平面的四棱錐中，四棱錐的頂點代表相機中心。

點到平面關(guān)聯(lián)

? 將3D點與LiDAR點關(guān)聯(lián)，使其盡可能與所屬的LiDAR平面匹配。

? 使用深度投影和最近鄰搜索兩種方法進行點對平面關(guān)聯(lián)。

? 在深度投影中，通過計算角度選擇最小的LiDAR點作為相應(yīng)的LiDAR點。

? 最近鄰搜索方法用于所有點對平面關(guān)聯(lián)過程。

初始化

? 初始化圖像需要大致已知的相機位姿。

? 初始圖像和其位姿手動設(shè)置，位姿不需要精確。

? 通過投影獲取初始2D特征點的相應(yīng)LiDAR點，建立初始3D模型。

? 隨著圖像數(shù)量增加，初始3D模型逐漸收斂到正確狀態(tài)。

捆集調(diào)整

? 有增量束調(diào)整、批量束調(diào)整和整體地圖束調(diào)整三種類型。

? 在新圖像的三角測量后，執(zhí)行增量BA減輕累積誤差。

? 執(zhí)行批處理BA以節(jié)省時間，構(gòu)建包含相機位姿和3D點的3D模型。

? 整體地圖BA用于進一步優(yōu)化整個模型，將2D特征、圖像位姿、3D點和LiDAR點添加到因子圖中進行優(yōu)化。

圖：用于捆集調(diào)整的因子圖

基于已知位姿的增量重建

如果通過一些傳感器（如GPS）的測量已經(jīng)知道了大致相機位姿，可以使用已知位姿開始增量重建。

實驗

驗證了Colmap-PCD的有效性和尺度準確性。我們在校園收集了三個數(shù)據(jù)集，如圖7所示。每個數(shù)據(jù)集都有一個預(yù)建的LiDAR點云地圖、450張圖像和相應(yīng)的相機內(nèi)參。

圖: 自行采集的點云地圖

定位結(jié)果

圖顯示了Colmap-PCD和原始Colmap的重建結(jié)果。左圖和中圖顯示了Colmap-PCD的重建結(jié)果。左圖包括LiDAR地圖和3D重建點，而中圖只顯示了3D重建點。右圖顯示了Colmap的重建結(jié)果，包括LiDAR地圖和3D重建點。紅色的金字塔表示相機位姿。顯然，重建結(jié)果幾乎與LiDAR生成的地圖完美對齊，表明LiDAR點云地圖在圖像定位過程中提供了積極的約束。然而，原始Colmap的建圖尺度與實際環(huán)境顯著不同。

圖: Colmap-PCD和Colmap的重建結(jié)果

顯示了從圖像反投影到LiDAR點云的結(jié)果，顯然非常準確。該結(jié)果表明Colmap-PCD能夠?qū)崿F(xiàn)對圖像定位所需的精度。?

LiDAR點對圖像定位的影響

第一個實驗考察了可以用于改善姿態(tài)估計過程的LiDAR平面數(shù)量。通過點對平面關(guān)聯(lián)搜索平面。如圖所示，x軸表示解決的圖像位姿數(shù)量，y軸表示在單次迭代中利用的LiDAR平面計數(shù)。紫色線表示通過投影實現(xiàn)LiDAR平面與3D點之間的匹配，黃色線表示通過最近鄰搜索和投影成功關(guān)聯(lián)的LiDAR平面的總計數(shù)。可以觀察到大量LiDAR平面有助于圖像定位。

圖：增量捆集調(diào)整中使用的平面數(shù)量（室內(nèi)，室外1，室外2）

第二個實驗展示了每次局部束調(diào)整前后的點對平面距離的趨勢。如圖所示，距離在每次迭代后收斂到最小值，表明3D點能夠與點云地圖中的適當位置很好地對齊。

圖：3D點與相應(yīng)LiDAR平面之間的距離（室內(nèi)，室外1，室外2）

重投影誤差分析?

這個實驗展示了重投影誤差的變化。如圖12所示，紫色線表示平均重投影誤差，而黃色區(qū)域描繪了重投影誤差協(xié)方差的分布。

圖: 重投影誤差（室內(nèi)，室外1，室外2）

我們拍攝了靠近LiDAR地圖原點的第一張圖像，因此初始位置和方向被設(shè)置為0。如表I所示，初始圖像的最終定位結(jié)果表明，隨著圖像數(shù)量的增加，即使提供了相對較大的初始位置誤差，初始圖像的位姿也能逐漸收斂到正確的結(jié)果。

總結(jié)

本文介紹了一種方案通過將異步獲取的圖像與LiDAR點云對準，以獲得具有準確比例的定位結(jié)果。通過對自行收集的數(shù)據(jù)集進行實驗，該方法在圖像累積方面表現(xiàn)出一定的有效性和穩(wěn)定性。此外該方案允許在重建區(qū)域進行靈活的細節(jié)級調(diào)整，使其適用于協(xié)作式大規(guī)模場景重建。總的來說，我們的算法為圖像定位和大規(guī)模場景重建任務(wù)做出了貢獻，為該領(lǐng)域未來的研究提供了有價值的見解。

審核編輯：黃飛

?