作者：Jianhao Jiao, Hexiang Wei, Tianshuai Hu, Xiangcheng Hu, Yilong Zhu, Zhijian He, Jin Wu, Jingwen Yu, Xupeng Xie, Huaiyang Huang, Ruoyu Geng, Lujia Wang, Ming Liu

引言

近年來(lái)，多傳感器融合算法發(fā)展迅猛，不同傳感器可以相互補(bǔ)充，通過(guò)融合提高系統(tǒng)的感知能力。但受限于標(biāo)定成本和時(shí)間同步問(wèn)題，多傳感器數(shù)據(jù)集卻不多。在2022 IROS論文"FusionPortable: A Multi-Sensor Campus-Scene Dataset for Evaluation of Localization and Mapping Accuracy on Diverse Platforms"中，作者提出了一個(gè)包含RGB相機(jī)、事件相機(jī)、IMU、激光雷達(dá)以及RTK-GPS的多傳感器融合數(shù)據(jù)集。此外，文章中包含了大量的傳感器標(biāo)定方法和建立數(shù)據(jù)集所需要考慮的方方面面，進(jìn)行傳感器和數(shù)據(jù)集標(biāo)定工作的小伙伴一定不要錯(cuò)過(guò)。

2. 摘要

結(jié)合多個(gè)傳感器使機(jī)器人能夠最大限度地感知環(huán)境，并增強(qiáng)其對(duì)外部干擾的魯棒性，對(duì)機(jī)器人導(dǎo)航至關(guān)重要。本文提出了FusionPortable基準(zhǔn)，這是一個(gè)完整的多傳感器數(shù)據(jù)集，具有一組不同的移動(dòng)機(jī)器人序列。本文有三個(gè)貢獻(xiàn)。我們首先推出一款便攜式多功能多傳感器套件，提供豐富的傳感器測(cè)量：10Hz激光雷達(dá)點(diǎn)云、20Hz RGB幀圖像、來(lái)自事件相機(jī)的高速率和異步事件、來(lái)自IMU的200Hz慣性讀數(shù)和10Hz GPS信號(hào)。傳感器在硬件中已經(jīng)暫時(shí)同步。這個(gè)設(shè)備是輕量級(jí)的、獨(dú)立的，并且支持移動(dòng)機(jī)器人的即插即用。其次，我們通過(guò)利用多個(gè)機(jī)器人平臺(tái)進(jìn)行數(shù)據(jù)收集，通過(guò)收集覆蓋校園內(nèi)各種環(huán)境的17個(gè)序列來(lái)構(gòu)建數(shù)據(jù)集。一些序列對(duì)現(xiàn)有的SLAM算法提出了挑戰(zhàn)。第三，我們?yōu)榻怦疃ㄎ缓徒▓D性能評(píng)估提供了基礎(chǔ)事實(shí)。我們還評(píng)估了最先進(jìn)的SLAM方法，并確定了它們的局限性。由原始傳感器測(cè)量值、地面實(shí)況、校準(zhǔn)數(shù)據(jù)和評(píng)估算法組成的數(shù)據(jù)集將被發(fā)布。

3. 算法分析

如圖1所示是作者使用的多傳感器設(shè)備，包括帶有萬(wàn)向節(jié)穩(wěn)定器的手持手柄，四足機(jī)器人，以及阿波羅自主車(chē)輛，可以發(fā)現(xiàn)所應(yīng)用的平臺(tái)包含了各個(gè)場(chǎng)景和應(yīng)用。表1所示是該數(shù)據(jù)集與其他數(shù)據(jù)集在采集平臺(tái)、室內(nèi)外環(huán)境、傳感器設(shè)備以及軌跡/地圖采集方式的對(duì)比。可以看出，該多傳感器數(shù)據(jù)集有三個(gè)明顯優(yōu)點(diǎn)：(1) 大量高精傳感器的融合；(2) 包括腿式機(jī)器人在內(nèi)的三個(gè)不同平臺(tái)上的數(shù)據(jù)收集；(3) 用于算法評(píng)估的地面實(shí)況軌跡和3D地圖。

(a) 傳感器裝備的CAD模型 (b) 萬(wàn)向穩(wěn)定器 (c) 四足機(jī)器人 (d) 阿波羅自動(dòng)小車(chē)

圖1 多傳感器設(shè)備和數(shù)據(jù)收集平臺(tái)

作者將其稱(chēng)為FusionPortable基準(zhǔn)，他們工作的主要貢獻(xiàn)如下：

(1) 制造了便攜式和多功能的多傳感器設(shè)備：左右兩側(cè)安裝兩個(gè)RGB相機(jī)，內(nèi)部安裝一個(gè)高頻高精度IMU，頂部位置安裝一個(gè)RTK-GPS，并將新型事件相機(jī)和高分辨率3D激光雷達(dá)集成。為減小動(dòng)態(tài)偏差，所有傳感器都安裝在相同的剛性鋁合金部件上。完整的設(shè)備有自己的時(shí)鐘同步單元、處理器和電池，并且尺寸、重量和可擴(kuò)展性較好。

(2) 作者將傳感器安裝在各種平臺(tái)上，并在HKUST科技大學(xué)校園內(nèi)的各種結(jié)構(gòu)化或半結(jié)構(gòu)化環(huán)境進(jìn)行測(cè)試，包括實(shí)驗(yàn)室、花園、食堂、走廊、自動(dòng)扶梯和室外道路。此外，收集的序列呈現(xiàn)了由外部光線、移動(dòng)物體和場(chǎng)景紋理引起的幾種環(huán)境變化。這些問(wèn)題對(duì)SLAM算法都是挑戰(zhàn)。

(3) 作者還提供了大多數(shù)室內(nèi)場(chǎng)景的真實(shí)地圖，并對(duì)幾個(gè)最先進(jìn)的SOTA SLAM系統(tǒng)進(jìn)行基準(zhǔn)測(cè)試，包括兩個(gè)基于視覺(jué)的方法和四個(gè)基于激光雷達(dá)的方法。

表1 FusionPortable與之前數(shù)據(jù)集在數(shù)據(jù)采集平臺(tái)、環(huán)境、傳感器類(lèi)型和地面實(shí)況方法方面的比較

3.1 傳感器配置

如表2所示是作者所使用傳感器的特性，具體來(lái)說(shuō)作者使用Intel NUC來(lái)運(yùn)行傳感器驅(qū)動(dòng)程序，附加傳感器消息的時(shí)間戳，并將消息記錄到Ubuntu系統(tǒng)上的ROS包中。該電腦使用i7處理器、1TB固態(tài)硬盤(pán)和64GB DDR4內(nèi)存。下面分別介紹具體傳感器的特性：

(1) 3D激光雷達(dá)：使用OS1-128激光雷達(dá)，內(nèi)部同步IMU輸出100Hz線性加速度和角速度，它還輸出深度圖像、信號(hào)圖像和周?chē)沫h(huán)境圖像。

(2) RGB相機(jī)：兩個(gè)FILR BFS-U3-31S4C全局快門(mén)彩色相機(jī)安裝在系統(tǒng)的兩側(cè)，直接面向前方。它們由外部觸發(fā)器同步，并以20 fps的速度捕捉高分辨率圖像。曝光時(shí)間被設(shè)置為固定值，以最小化相對(duì)延遲，圖像的時(shí)間戳的平均差異低于1毫秒。

表2 各個(gè)傳感器及其特點(diǎn)

(3) 事件相機(jī)：兩個(gè)事件相機(jī)具有高時(shí)間分辨率、高動(dòng)態(tài)范圍、低功耗等優(yōu)點(diǎn)。相機(jī)具有346x260分辨率和內(nèi)部高速I(mǎi)MU輸出。事件相機(jī)使用從左相機(jī)(主相機(jī))產(chǎn)生的觸發(fā)信號(hào)進(jìn)行同步，以便通過(guò)外部導(dǎo)線向右(從相機(jī))發(fā)送同步脈沖。為了抑制激光雷達(dá)的激光，兩個(gè)相機(jī)都配備了額外的紅外濾光片。對(duì)于室內(nèi)序列，手動(dòng)設(shè)置和固定APS曝光。對(duì)于室外序列，使用自動(dòng)曝光來(lái)避免曝光過(guò)度或曝光不足。

(4) 慣性測(cè)量單元(IMU)：一個(gè)戰(zhàn)術(shù)級(jí)的STIM300慣性測(cè)量單元被嚴(yán)格安裝在激光雷達(dá)下方，作為系統(tǒng)的主要慣性傳感器。它具有高更新速率(200Hz)和低噪聲和漂移測(cè)量，其偏置不穩(wěn)定性在0.3°/h左右。

(5) 全球定位系統(tǒng)(GPS)：在激光雷達(dá)頂部額外安裝了ZED-F9P RTK-GPS設(shè)備。在室外場(chǎng)景中，GPS被激活并提供精確的緯度、經(jīng)度和高度讀數(shù)。但是由于建筑物的遮擋，它有時(shí)會(huì)變得不穩(wěn)定。

3.2 傳感器校準(zhǔn)

作者預(yù)先仔細(xì)校準(zhǔn)單個(gè)傳感器的固有特性、外部特性以及傳感器之間的總時(shí)間延遲，并將STIM300 IMU的坐標(biāo)系定義為體坐標(biāo)系。

(1) 時(shí)鐘同步：作者使用FPGA產(chǎn)生外部信號(hào)觸發(fā)來(lái)同步所有傳感器的時(shí)鐘，這可以保證以最小的延遲跨多個(gè)傳感器收集數(shù)據(jù)。FPGA從GPS接收每秒脈沖(PPS)信號(hào)，并分別向IMU、相機(jī)和激光雷達(dá)發(fā)送200、20、10Hz信號(hào)。FPGA使用其內(nèi)部時(shí)鐘，以啟用GPS缺失場(chǎng)景中的時(shí)間同步。

(2) 相機(jī)校準(zhǔn)：RGB相機(jī)和事件相機(jī)使用Matlab校準(zhǔn)工具箱進(jìn)行估計(jì)，其中使用了針孔攝像機(jī)和徑向-切向失真模型。作者將傳感器套件移動(dòng)到棋盤(pán)前，以收集一系列圖像。同時(shí)均勻地采樣圖像作為校準(zhǔn)數(shù)據(jù)，并手動(dòng)移除具有高重投影誤差的異常值。

(3) 相機(jī)-IMU外部校準(zhǔn)：IMU的內(nèi)部使用Allen推導(dǎo)工具箱進(jìn)行校準(zhǔn)，該工具箱可估算相機(jī)和加速度計(jì)測(cè)量的噪聲密度和隨機(jī)游走。之后，通過(guò)Kalibr獲得相機(jī)相對(duì)于IMU的空間和時(shí)間參數(shù)。整體系統(tǒng)包括4個(gè)IMU：激光雷達(dá)中的STIM300、ICM20948和DAVIS346事件相機(jī)中的兩個(gè)MPU6050。因此，作者校準(zhǔn)這些IMU的固有特性，并估計(jì)這些傳感器對(duì)的固有特性:STIM300、RGB相機(jī)、STIM300、事件相機(jī)、左MPU6050、左DAVIS346和右MPU6050、右DAVIS346。

(4) 相機(jī)-激光雷達(dá)外部校準(zhǔn)：作者使用棋盤(pán)進(jìn)行相機(jī)-激光雷達(dá)外部校準(zhǔn)，從點(diǎn)云和圖像中提取棋盤(pán)的外角，通過(guò)最小化所有對(duì)應(yīng)角點(diǎn)的距離進(jìn)行優(yōu)化。

3.3 數(shù)據(jù)集描述

作者在進(jìn)行數(shù)據(jù)采集時(shí)主要考慮以下幾個(gè)方面，并對(duì)不同場(chǎng)景建立不同的序列。表3總結(jié)了每個(gè)序列的關(guān)鍵特征，圖2顯示了其中的幾個(gè)場(chǎng)景圖片，圖3顯示了樣本傳感器數(shù)據(jù)。

(1) 位置：環(huán)境位置分為室內(nèi)和室外，GPS信號(hào)在室外環(huán)境中有時(shí)不穩(wěn)定。

(2) 結(jié)構(gòu)：結(jié)構(gòu)化環(huán)境主要可以用幾何圖元來(lái)解釋(如辦公室或建筑物)，而半結(jié)構(gòu)化環(huán)境既有幾何元素又有復(fù)雜元素，如樹(shù)木和雜物。狹窄走廊等場(chǎng)景是結(jié)構(gòu)化的。

(3) 照明條件：相機(jī)對(duì)外部照明條件很敏感，弱光和強(qiáng)光都可能對(duì)視覺(jué)處理算法提出挑戰(zhàn)。

(4) 外觀：紋理豐富的場(chǎng)景有助于視覺(jué)算法提取穩(wěn)定的特征(例如點(diǎn)和線)，而無(wú)紋理的場(chǎng)景可能會(huì)對(duì)性能產(chǎn)生負(fù)面影響。

(5) 運(yùn)動(dòng)模式：可以執(zhí)行慢速、正常和快速運(yùn)動(dòng)。關(guān)于安裝的平臺(tái)，手持設(shè)備執(zhí)行任意的6-DoF和跳躍運(yùn)動(dòng)，四足機(jī)器人主要執(zhí)行平面但不平穩(wěn)的運(yùn)動(dòng)，而車(chē)輛可以以恒定的速度進(jìn)行平面運(yùn)動(dòng)。

(6) 對(duì)象運(yùn)動(dòng)：在動(dòng)態(tài)環(huán)境中，當(dāng)數(shù)據(jù)被捕獲時(shí)，幾個(gè)元素在運(yùn)動(dòng)。數(shù)據(jù)采集的時(shí)間越長(zhǎng)，元素的變形就越大(例如行人或汽車(chē))。相比之下，在靜態(tài)環(huán)境中移動(dòng)對(duì)象很少。

表3 每個(gè)序列的一些統(tǒng)計(jì)和特征

圖2 多個(gè)序列位置的場(chǎng)景圖像

圖3 傳感器測(cè)量樣本

(a)-(d):由RGB相機(jī)捕獲的圖像 (e)-(f):由積極事件(紅色)和消極事件(藍(lán)色)增強(qiáng)的圖像 (h)-(i):激光雷達(dá)的3D點(diǎn)云，網(wǎng)格大小為10m

3.4 真值

數(shù)據(jù)集中大多數(shù)序列為算法評(píng)估提供真值。在幾個(gè)室內(nèi)場(chǎng)景中，也提供了周?chē)h(huán)境的真實(shí)地圖。軌跡真值生成詳細(xì)說(shuō)明如下：

(1) 真值地圖：在中小型環(huán)境中，作者使用 Leica BLK360激光掃描儀從多個(gè)位置記錄該結(jié)構(gòu)的高分辨率彩色3D稠密地圖，精確度為毫米。圖4顯示了三個(gè)例子。

(2) 真值姿態(tài)：在動(dòng)作捕捉室，作者使用OptiTrack系統(tǒng)以120Hz的頻率測(cè)量反射球中心的姿態(tài)，精度為毫米。OptiTrack直接與同一臺(tái)電腦連接，以記錄姿勢(shì)，最大限度地減少時(shí)間延遲。從球的中心到傳感器裝置的主體框架的外力通過(guò)手眼校準(zhǔn)方法解決。在地面實(shí)況地圖覆蓋的中等規(guī)模環(huán)境中，采用基于NDT的6-DoF定位來(lái)估計(jì)激光雷達(dá)在先前地圖中的姿態(tài)，作為軌跡真值。在室外環(huán)境中，將RTK GPS信號(hào)與激光雷達(dá)慣性測(cè)量融合，以獲得基于LIO-SAM的精確軌跡。

圖4 運(yùn)動(dòng)捕捉房間、走廊和建筑場(chǎng)景顏色的真實(shí)點(diǎn)云

3.5 數(shù)據(jù)格式和后處理

整體數(shù)據(jù)在ROS環(huán)境中收集的，作者提供ROS包和單獨(dú)的數(shù)據(jù)文件：

(1) env.bag是從數(shù)據(jù)收集過(guò)程中獲得的原始rosbag，可以使用ROS工具對(duì)其進(jìn)行解析。

(2) env ref.bag是改進(jìn)的rosbag，其中傳感器數(shù)據(jù)進(jìn)行了后處理。

(3) data/存儲(chǔ)來(lái)自env.bag的單個(gè)傳感器數(shù)據(jù)。每個(gè)數(shù)據(jù)都有其時(shí)間戳，可以從timetamps.txt中檢索到。

(4) data/遵循KITTI格式。

具體來(lái)說(shuō)，有三個(gè)步驟來(lái)進(jìn)行后處理：

(1) 缺失的測(cè)量值被線性插值；

(2) 通過(guò)手眼標(biāo)定結(jié)果將運(yùn)動(dòng)捕捉系統(tǒng)提供的姿態(tài)轉(zhuǎn)換到自身框架；

(3) 事件包在1000 Hz左右重新發(fā)布，用于一些基于事件的算法。

4. 實(shí)驗(yàn)

作者使用它們開(kāi)發(fā)的數(shù)據(jù)集來(lái)測(cè)試SOTA SLAM系統(tǒng)，評(píng)估了幾個(gè)具有不同傳感器組合和方法的開(kāi)源系統(tǒng)：VINS-Fusion (IMU+雙目)，ESVO (事件相機(jī))，A-LOAM (激光雷達(dá))，LIO-Mapping (IMU+激光雷達(dá))，LIO-SAM (IMU+激光雷達(dá))，以及FAST-LIO2 (IMU+激光雷達(dá))，表4所示是定量的定位結(jié)果對(duì)比，圖5是一些定性對(duì)比實(shí)驗(yàn)。

表4 定位精度對(duì)比

圖5 不同算法軌跡的定性對(duì)比

其中，"LC"表示使用了閉環(huán)模塊，"x"表示算法無(wú)法完成序列。ESVO因?yàn)椴荒芡瓿伤行蛄?，所以沒(méi)有展示結(jié)果。VINS-Fusion和Fast-LIO2因?yàn)椴荒芎芎玫猛瓿沙跏蓟?，在某些情況下會(huì)失敗。沒(méi)有IMU的幫助，A-LOAM無(wú)法處理不平穩(wěn)和快速的運(yùn)動(dòng)，因此在兩個(gè)MCR序列和四足機(jī)器人的所有序列上表現(xiàn)不佳。雖然FAST-LIO2有時(shí)在幾個(gè)序列上具有不可靠的結(jié)果。令人驚訝的是，LIO-SAM在所有基于四足機(jī)器人的序列中表現(xiàn)良好，甚至在大旋轉(zhuǎn)和快速運(yùn)動(dòng)中也是如此。因?yàn)榈图y理?xiàng)l件，走廊序列對(duì)所有的方法都是一種挑戰(zhàn)。

此外，作者還評(píng)估了A-LOAM和LIO-SAM在走廊和花園序列中的建圖質(zhì)量。如圖6所示，平均距離分別為0.938米和0.597米。尤其是走廊建圖過(guò)程中，A-LOAM的地圖在z軸上漂移較大.

圖6 對(duì)(a) A-LOAM和(b) LIO-SAM建圖精度的評(píng)估

5. 結(jié)論

在2022 IROS論文"FusionPortable: A Multi-Sensor Campus-Scene Dataset for Evaluation of Localization and Mapping Accuracy on Diverse Platforms"中，作者介紹了FusionPortable基準(zhǔn)，這是一個(gè)來(lái)自各種平臺(tái)上不同校園場(chǎng)景的多傳感器數(shù)據(jù)集。作者首先介紹了他們獨(dú)立的、即插即用的多傳感器裝置，這些設(shè)備大大提高了移動(dòng)機(jī)器人的感知能力。在介紹完數(shù)據(jù)集的配置、校準(zhǔn)以及各項(xiàng)參數(shù)以后，作者在其上運(yùn)行了當(dāng)前的SOTA SLAM算法。此外，作者提出，他們計(jì)劃將這個(gè)數(shù)據(jù)集擴(kuò)展到校園規(guī)模的環(huán)境之外。

審核編輯：郭婷