作者：Jianhao Jiao, Hexiang Wei, Tianshuai Hu, Xiangcheng Hu, Yilong Zhu, Zhijian He, Jin Wu, Jingwen Yu, Xupeng Xie, Huaiyang Huang, Ruoyu Geng, Lujia Wang, Ming Liu

引言

近年來，多傳感器融合算法發展迅猛，不同傳感器可以相互補充，通過融合提高系統的感知能力。但受限于標定成本和時間同步問題，多傳感器數據集卻不多。在2022 IROS論文"FusionPortable: A Multi-Sensor Campus-Scene Dataset for Evaluation of Localization and Mapping Accuracy on Diverse Platforms"中，作者提出了一個包含RGB相機、事件相機、IMU、激光雷達以及RTK-GPS的多傳感器融合數據集。此外，文章中包含了大量的傳感器標定方法和建立數據集所需要考慮的方方面面，進行傳感器和數據集標定工作的小伙伴一定不要錯過。

2. 摘要

結合多個傳感器使機器人能夠最大限度地感知環境，并增強其對外部干擾的魯棒性，對機器人導航至關重要。本文提出了FusionPortable基準，這是一個完整的多傳感器數據集，具有一組不同的移動機器人序列。本文有三個貢獻。我們首先推出一款便攜式多功能多傳感器套件，提供豐富的傳感器測量：10Hz激光雷達點云、20Hz RGB幀圖像、來自事件相機的高速率和異步事件、來自IMU的200Hz慣性讀數和10Hz GPS信號。傳感器在硬件中已經暫時同步。這個設備是輕量級的、獨立的，并且支持移動機器人的即插即用。其次，我們通過利用多個機器人平臺進行數據收集，通過收集覆蓋校園內各種環境的17個序列來構建數據集。一些序列對現有的SLAM算法提出了挑戰。第三，我們為解耦定位和建圖性能評估提供了基礎事實。我們還評估了最先進的SLAM方法，并確定了它們的局限性。由原始傳感器測量值、地面實況、校準數據和評估算法組成的數據集將被發布。

3. 算法分析

如圖1所示是作者使用的多傳感器設備，包括帶有萬向節穩定器的手持手柄，四足機器人，以及阿波羅自主車輛，可以發現所應用的平臺包含了各個場景和應用。表1所示是該數據集與其他數據集在采集平臺、室內外環境、傳感器設備以及軌跡/地圖采集方式的對比。可以看出，該多傳感器數據集有三個明顯優點：(1) 大量高精傳感器的融合；(2) 包括腿式機器人在內的三個不同平臺上的數據收集；(3) 用于算法評估的地面實況軌跡和3D地圖。

(a) 傳感器裝備的CAD模型 (b) 萬向穩定器 (c) 四足機器人 (d) 阿波羅自動小車

圖1 多傳感器設備和數據收集平臺

作者將其稱為FusionPortable基準，他們工作的主要貢獻如下：

(1) 制造了便攜式和多功能的多傳感器設備：左右兩側安裝兩個RGB相機，內部安裝一個高頻高精度IMU，頂部位置安裝一個RTK-GPS，并將新型事件相機和高分辨率3D激光雷達集成。為減小動態偏差，所有傳感器都安裝在相同的剛性鋁合金部件上。完整的設備有自己的時鐘同步單元、處理器和電池，并且尺寸、重量和可擴展性較好。

(2) 作者將傳感器安裝在各種平臺上，并在HKUST科技大學校園內的各種結構化或半結構化環境進行測試，包括實驗室、花園、食堂、走廊、自動扶梯和室外道路。此外，收集的序列呈現了由外部光線、移動物體和場景紋理引起的幾種環境變化。這些問題對SLAM算法都是挑戰。

(3) 作者還提供了大多數室內場景的真實地圖，并對幾個最先進的SOTA SLAM系統進行基準測試，包括兩個基于視覺的方法和四個基于激光雷達的方法。

表1 FusionPortable與之前數據集在數據采集平臺、環境、傳感器類型和地面實況方法方面的比較

3.1 傳感器配置

如表2所示是作者所使用傳感器的特性，具體來說作者使用Intel NUC來運行傳感器驅動程序，附加傳感器消息的時間戳，并將消息記錄到Ubuntu系統上的ROS包中。該電腦使用i7處理器、1TB固態硬盤和64GB DDR4內存。下面分別介紹具體傳感器的特性：

(1) 3D激光雷達：使用OS1-128激光雷達，內部同步IMU輸出100Hz線性加速度和角速度，它還輸出深度圖像、信號圖像和周圍的環境圖像。

(2) RGB相機：兩個FILR BFS-U3-31S4C全局快門彩色相機安裝在系統的兩側，直接面向前方。它們由外部觸發器同步，并以20 fps的速度捕捉高分辨率圖像。曝光時間被設置為固定值，以最小化相對延遲，圖像的時間戳的平均差異低于1毫秒。

表2 各個傳感器及其特點

(3) 事件相機：兩個事件相機具有高時間分辨率、高動態范圍、低功耗等優點。相機具有346x260分辨率和內部高速IMU輸出。事件相機使用從左相機(主相機)產生的觸發信號進行同步，以便通過外部導線向右(從相機)發送同步脈沖。為了抑制激光雷達的激光，兩個相機都配備了額外的紅外濾光片。對于室內序列，手動設置和固定APS曝光。對于室外序列，使用自動曝光來避免曝光過度或曝光不足。

(4) 慣性測量單元(IMU)：一個戰術級的STIM300慣性測量單元被嚴格安裝在激光雷達下方，作為系統的主要慣性傳感器。它具有高更新速率(200Hz)和低噪聲和漂移測量，其偏置不穩定性在0.3°/h左右。

(5) 全球定位系統(GPS)：在激光雷達頂部額外安裝了ZED-F9P RTK-GPS設備。在室外場景中，GPS被激活并提供精確的緯度、經度和高度讀數。但是由于建筑物的遮擋，它有時會變得不穩定。

3.2 傳感器校準

作者預先仔細校準單個傳感器的固有特性、外部特性以及傳感器之間的總時間延遲，并將STIM300 IMU的坐標系定義為體坐標系。

(1) 時鐘同步：作者使用FPGA產生外部信號觸發來同步所有傳感器的時鐘，這可以保證以最小的延遲跨多個傳感器收集數據。FPGA從GPS接收每秒脈沖(PPS)信號，并分別向IMU、相機和激光雷達發送200、20、10Hz信號。FPGA使用其內部時鐘，以啟用GPS缺失場景中的時間同步。

(2) 相機校準：RGB相機和事件相機使用Matlab校準工具箱進行估計，其中使用了針孔攝像機和徑向-切向失真模型。作者將傳感器套件移動到棋盤前，以收集一系列圖像。同時均勻地采樣圖像作為校準數據，并手動移除具有高重投影誤差的異常值。

(3) 相機-IMU外部校準：IMU的內部使用Allen推導工具箱進行校準，該工具箱可估算相機和加速度計測量的噪聲密度和隨機游走。之后，通過Kalibr獲得相機相對于IMU的空間和時間參數。整體系統包括4個IMU：激光雷達中的STIM300、ICM20948和DAVIS346事件相機中的兩個MPU6050。因此，作者校準這些IMU的固有特性，并估計這些傳感器對的固有特性:STIM300、RGB相機、STIM300、事件相機、左MPU6050、左DAVIS346和右MPU6050、右DAVIS346。

(4) 相機-激光雷達外部校準：作者使用棋盤進行相機-激光雷達外部校準，從點云和圖像中提取棋盤的外角，通過最小化所有對應角點的距離進行優化。

3.3 數據集描述

作者在進行數據采集時主要考慮以下幾個方面，并對不同場景建立不同的序列。表3總結了每個序列的關鍵特征，圖2顯示了其中的幾個場景圖片，圖3顯示了樣本傳感器數據。

(1) 位置：環境位置分為室內和室外，GPS信號在室外環境中有時不穩定。

(2) 結構：結構化環境主要可以用幾何圖元來解釋(如辦公室或建筑物)，而半結構化環境既有幾何元素又有復雜元素，如樹木和雜物。狹窄走廊等場景是結構化的。

(3) 照明條件：相機對外部照明條件很敏感，弱光和強光都可能對視覺處理算法提出挑戰。

(4) 外觀：紋理豐富的場景有助于視覺算法提取穩定的特征(例如點和線)，而無紋理的場景可能會對性能產生負面影響。

(5) 運動模式：可以執行慢速、正常和快速運動。關于安裝的平臺，手持設備執行任意的6-DoF和跳躍運動，四足機器人主要執行平面但不平穩的運動，而車輛可以以恒定的速度進行平面運動。

(6) 對象運動：在動態環境中，當數據被捕獲時，幾個元素在運動。數據采集的時間越長，元素的變形就越大(例如行人或汽車)。相比之下，在靜態環境中移動對象很少。

表3 每個序列的一些統計和特征

圖2 多個序列位置的場景圖像

圖3 傳感器測量樣本

(a)-(d):由RGB相機捕獲的圖像 (e)-(f):由積極事件(紅色)和消極事件(藍色)增強的圖像 (h)-(i):激光雷達的3D點云，網格大小為10m

3.4 真值

數據集中大多數序列為算法評估提供真值。在幾個室內場景中，也提供了周圍環境的真實地圖。軌跡真值生成詳細說明如下：

(1) 真值地圖：在中小型環境中，作者使用 Leica BLK360激光掃描儀從多個位置記錄該結構的高分辨率彩色3D稠密地圖，精確度為毫米。圖4顯示了三個例子。

(2) 真值姿態：在動作捕捉室，作者使用OptiTrack系統以120Hz的頻率測量反射球中心的姿態，精度為毫米。OptiTrack直接與同一臺電腦連接，以記錄姿勢，最大限度地減少時間延遲。從球的中心到傳感器裝置的主體框架的外力通過手眼校準方法解決。在地面實況地圖覆蓋的中等規模環境中，采用基于NDT的6-DoF定位來估計激光雷達在先前地圖中的姿態，作為軌跡真值。在室外環境中，將RTK GPS信號與激光雷達慣性測量融合，以獲得基于LIO-SAM的精確軌跡。

圖4 運動捕捉房間、走廊和建筑場景顏色的真實點云

3.5 數據格式和后處理

整體數據在ROS環境中收集的，作者提供ROS包和單獨的數據文件：

(1) env.bag是從數據收集過程中獲得的原始rosbag，可以使用ROS工具對其進行解析。

(2) env ref.bag是改進的rosbag，其中傳感器數據進行了后處理。

(3) data/存儲來自env.bag的單個傳感器數據。每個數據都有其時間戳，可以從timetamps.txt中檢索到。

(4) data/遵循KITTI格式。

具體來說，有三個步驟來進行后處理：

(1) 缺失的測量值被線性插值；

(2) 通過手眼標定結果將運動捕捉系統提供的姿態轉換到自身框架；

(3) 事件包在1000 Hz左右重新發布，用于一些基于事件的算法。

4. 實驗

作者使用它們開發的數據集來測試SOTA SLAM系統，評估了幾個具有不同傳感器組合和方法的開源系統：VINS-Fusion (IMU+雙目)，ESVO (事件相機)，A-LOAM (激光雷達)，LIO-Mapping (IMU+激光雷達)，LIO-SAM (IMU+激光雷達)，以及FAST-LIO2 (IMU+激光雷達)，表4所示是定量的定位結果對比，圖5是一些定性對比實驗。

表4 定位精度對比

圖5 不同算法軌跡的定性對比

其中，"LC"表示使用了閉環模塊，"x"表示算法無法完成序列。ESVO因為不能完成所有序列，所以沒有展示結果。VINS-Fusion和Fast-LIO2因為不能很好得完成初始化，在某些情況下會失敗。沒有IMU的幫助，A-LOAM無法處理不平穩和快速的運動，因此在兩個MCR序列和四足機器人的所有序列上表現不佳。雖然FAST-LIO2有時在幾個序列上具有不可靠的結果。令人驚訝的是，LIO-SAM在所有基于四足機器人的序列中表現良好，甚至在大旋轉和快速運動中也是如此。因為低紋理條件，走廊序列對所有的方法都是一種挑戰。

此外，作者還評估了A-LOAM和LIO-SAM在走廊和花園序列中的建圖質量。如圖6所示，平均距離分別為0.938米和0.597米。尤其是走廊建圖過程中，A-LOAM的地圖在z軸上漂移較大.

圖6 對(a) A-LOAM和(b) LIO-SAM建圖精度的評估

5. 結論

在2022 IROS論文"FusionPortable: A Multi-Sensor Campus-Scene Dataset for Evaluation of Localization and Mapping Accuracy on Diverse Platforms"中，作者介紹了FusionPortable基準，這是一個來自各種平臺上不同校園場景的多傳感器數據集。作者首先介紹了他們獨立的、即插即用的多傳感器裝置，這些設備大大提高了移動機器人的感知能力。在介紹完數據集的配置、校準以及各項參數以后，作者在其上運行了當前的SOTA SLAM算法。此外，作者提出，他們計劃將這個數據集擴展到校園規模的環境之外。

審核編輯：郭婷