概述

將多種傳感器和深度學(xué)習(xí)集成到SLAM系統(tǒng)中是當(dāng)前研究的重要領(lǐng)域。Maplab 2.0提供了一個(gè)更加通用的開(kāi)源平臺(tái)，最初的Maplab用于創(chuàng)建和管理視覺(jué)慣性地圖。Maplab 2.0集成了多種新模態(tài)，例如 LiDAR、GPS、車(chē)輪編碼器、語(yǔ)義對(duì)象等。除此之外，還提供了易于集成外部組件的接口，例如添加不同視覺(jué)特征或閉環(huán)約束。這些功能使新平臺(tái)非常適合作為基于深度學(xué)習(xí)的特征點(diǎn)檢測(cè)和閉環(huán)的研究工具。

由于加入了子地圖管理功能，在線協(xié)作 SLAM可以在 Maplab 2.0中使用，支持多個(gè)機(jī)器人在線構(gòu)建、優(yōu)化和協(xié)同定位。這是通過(guò)一個(gè)集中式服務(wù)器節(jié)點(diǎn)實(shí)現(xiàn)的，該節(jié)點(diǎn)聚合來(lái)自多個(gè)機(jī)器人的數(shù)據(jù)，并且可以將協(xié)作構(gòu)建的地圖回傳給機(jī)器人以提高性能。文末附文章和源碼鏈接。

圖1 Maplab2.0：一個(gè)靈活且通用的多機(jī)器人和多模態(tài)SLAM框架。可以集成多個(gè)機(jī)器人（彩色線）、視覺(jué)地圖點(diǎn)（彩色點(diǎn)）和 LiDAR掃描（黑色點(diǎn)）。

主要功能

（1）開(kāi)源的、多模態(tài)和多機(jī)器人SLAM框架，與其他現(xiàn)有方法相比，該框架允許集成和融合大量不同的數(shù)據(jù)。

（2）一個(gè)在線協(xié)作建圖系統(tǒng)，它利用子地圖和中央服務(wù)器來(lái)合并和分發(fā)全局一致的、特征豐富的地圖。

（3）為自定義特征點(diǎn)、場(chǎng)景描述符和閉環(huán)集成接口。實(shí)驗(yàn)展示了它們?cè)诨谡Z(yǔ)義對(duì)象的閉環(huán)實(shí)驗(yàn)中的靈活性。

廣泛的實(shí)驗(yàn)表明Maplab2.0的定位精度可以與基準(zhǔn)測(cè)試中的最新技術(shù)相媲美。系統(tǒng)框架如圖2所示。

圖 2：maplab 2.0框架及其三個(gè)主要組件的概述，即建圖節(jié)點(diǎn)、集中式服務(wù)器和離線控制臺(tái)。

在圖2中，建圖節(jié)點(diǎn)在每個(gè)機(jī)器人上運(yùn)行，并將傳感器數(shù)據(jù)收集到子地圖中，這些子地圖被傳遞到集中式服務(wù)器，將它們合并成全局一致的地圖。然后，可以在稍后階段使用離線控制臺(tái)提供的工具對(duì)該地圖進(jìn)行細(xì)化或與其他地圖合并。

Maplab 2.0

A. 地圖結(jié)構(gòu)

我們將地圖表示為一個(gè)或多個(gè)任務(wù)的集合，其中每個(gè)任務(wù)都基于單個(gè)連續(xù)的建圖線程。地圖的底層結(jié)構(gòu)是一個(gè)由頂點(diǎn)和邊組成的因子圖，其中包含所有機(jī)器人信息和不同任務(wù)的測(cè)量值。機(jī)器人在某個(gè)時(shí)間點(diǎn)t的狀態(tài)被參數(shù)化為一個(gè)頂點(diǎn)（姿態(tài)、速度、IMU偏置）。地標(biāo)也表示為圖中的頂點(diǎn)，其狀態(tài)定義為3D位置。3D地標(biāo)可以用作環(huán)境中具有3D位置的任何事物的基礎(chǔ)表示，例如，視覺(jué)地標(biāo)、3D 地標(biāo)，語(yǔ)義對(duì)象。

1） 約束：頂點(diǎn)通過(guò)不同類(lèi)型的邊連接，這些邊基于觀測(cè)（例如，關(guān)鍵點(diǎn)、 imu測(cè)量和閉環(huán)）對(duì)其狀態(tài)變量施加約束。IMU邊包含連接頂點(diǎn)之間的預(yù)積分，因此僅連接時(shí)間順序的頂點(diǎn)。相對(duì)位姿約束邊在兩個(gè)頂點(diǎn)之間施加剛性6 DoF變換，并用于表示相對(duì)運(yùn)動(dòng)（即里程計(jì)）或跨越較大時(shí)間間隔或任務(wù)的閉環(huán)。為觀測(cè)分配協(xié)方差以量化測(cè)量噪聲，通常將其設(shè)置為預(yù)定義的常數(shù)值。我們認(rèn)為閉環(huán)邊是相對(duì)位姿約束邊的特例。為了提高魯棒性并考慮異常值，可以將閉環(huán)邊緣作為可切換約束。如果某些邊與其他約束沖突太多，則優(yōu)化器可以從圖中丟棄這些邊。最后，邊將地圖點(diǎn)連接到觀察到的姿態(tài)，并根據(jù)估計(jì)和觀察到的地標(biāo)位置之間計(jì)算殘差。

在優(yōu)化過(guò)程中，約束也可以直接施加在所選頂點(diǎn)的內(nèi)部狀態(tài)上。例如，絕對(duì)約束以給定的不確定性在頂點(diǎn)上約束全局3D位置，允許我們整合GPS 測(cè)量或絕對(duì)基準(zhǔn)地標(biāo)觀察。

2） 地標(biāo)： 在Maplab 2.0 中，增加了同時(shí)將任意數(shù)量的不同類(lèi)型的要素包含到地圖中的功能。既可以使用ORB特征/LK光流跟蹤，也可以自己提供軌跡信息。此外，擴(kuò)展了匹配器以支持浮點(diǎn)描述符，能夠使用最新開(kāi)發(fā)的描述符實(shí)現(xiàn)閉環(huán)。浮點(diǎn)描述符使用近似最近鄰（FLANN）的快速庫(kù)進(jìn)行匹配。

Maplab 2.0還可以用3D觀測(cè)處理地標(biāo)。來(lái)自RGB-D 相機(jī)的視覺(jué)特征具有相關(guān)深度，或者來(lái)自直接在3D點(diǎn)云中檢測(cè)特征。顯著的區(qū)別是這些地標(biāo)不是使用多視圖幾何來(lái)三角化的。類(lèi)似地，誤差項(xiàng)不是基于重投影誤差，而是基于觀察到的3D位置與地標(biāo)的3D位置之間的歐氏距離。

B. 建圖節(jié)點(diǎn)

建圖節(jié)點(diǎn)在每個(gè)機(jī)器人上運(yùn)行，并使用外部輸入源和原始傳感器數(shù)據(jù)以多模態(tài)因子圖的形式創(chuàng)建地圖。在地圖構(gòu)建期間使用6 DoF里程計(jì)輸入來(lái)初始化底層因子圖的機(jī)器人姿勢(shì)頂點(diǎn)。映射節(jié)點(diǎn)與里程計(jì)方法無(wú)關(guān)，因此可以在各種機(jī)器人和傳感器設(shè)置中輕松使用。Maplab 2.0可以在運(yùn)行時(shí)合并任意數(shù)量3D地圖點(diǎn)。此外，可以無(wú)縫添加相對(duì)約束（例如里程計(jì)或外部閉環(huán)）和絕對(duì)6 DoF約束（例如GPS）。

C. 地圖服務(wù)器

地圖服務(wù)器支持協(xié)作和在線建圖。作為獲勝團(tuán)隊(duì) （CERBERUS） 多機(jī)器人測(cè)繪系統(tǒng)的一部分，該方法已成功部署在DARPA地下挑戰(zhàn)賽中。服務(wù)器節(jié)點(diǎn)可以在專用機(jī)器上運(yùn)行，也可以在機(jī)器人上運(yùn)行。建圖節(jié)點(diǎn)將它們的地圖以規(guī)則的間隔劃分為塊，稱為子圖。子圖立即傳輸?shù)降貓D服務(wù)器，并連接到先前從同一機(jī)器人傳輸?shù)南鄳?yīng)子圖。通過(guò)在拆分時(shí)將每個(gè)子圖的最后一個(gè)頂點(diǎn)復(fù)制到下一個(gè)子圖中來(lái)完成的。這避免了特征軌跡的不連續(xù)性。并行地，服務(wù)器通過(guò)閉環(huán)檢測(cè)將來(lái)自不同機(jī)器人的地圖到全局一致的地圖。

1）子圖預(yù)處理：傳入的子圖不直接合并，而是先單獨(dú)處理，以保證局部精度。其中包括局部地圖優(yōu)化、特征質(zhì)量評(píng)估和地圖內(nèi)閉環(huán)。

2）多機(jī)器人處理：地圖服務(wù)器持續(xù)在全局多機(jī)器人地圖上運(yùn)行并執(zhí)行可配置操作（閉環(huán)、特征質(zhì)量評(píng)估、捆綁調(diào)整、可視化、絕對(duì)約束異常值拒絕等）。

實(shí)驗(yàn)

A. 驗(yàn)證和比較

我們使用 HILTI SLAM Challenge 2021數(shù)據(jù)集提出的框架與最先進(jìn)的方法進(jìn)行比較。對(duì)于maplab 2.0，我們可以使用數(shù)據(jù)集中提供的五個(gè)攝像頭、ADIS IMU 和 OS0-64 LiDAR。我們使用三種不同的里程計(jì)展示Maplab 2.0的三個(gè)用例：ROVIO 、OKVIS和 FASTLIO2。除了標(biāo)準(zhǔn)的BRISK描述符外，我們還使用外部接口包括SuperPoint和SIFT。

表 1顯示了與其他SLAM 基線（LVI-SAM、ORB-SLAM3、RTAB-Map 和maplab1.0）的性能。Maplab 2.0 是唯一能夠使用所有五個(gè)相機(jī)進(jìn)行環(huán)路閉合的方法。在所有視覺(jué)的方法中，顯著優(yōu)于基線。所有方法計(jì)時(shí)在Intel i7-8700和Nvidia RTX 2080 GPU的機(jī)器上。

表1：絕對(duì)位置誤差 （APE）RMSE比較。SP + B代表SuperPoint和BRISK視覺(jué)特征。圖標(biāo)代表使用的傳感器：?jiǎn)文俊⒍鄶z像頭、LiDAR 和 IMU

B. 大規(guī)模多機(jī)器人多會(huì)話建圖

使用帶有五個(gè)攝像頭的手持設(shè)備和一個(gè)Ouster OS0-128 記錄了23 次個(gè)人跑步，其中包含大約10 公里的兩個(gè)多小時(shí)的數(shù)據(jù)以及多個(gè)室內(nèi)-室外過(guò)渡。每次運(yùn)行都使用OKVIS里程計(jì)。圖3展示了多機(jī)器人地圖。

定量評(píng)估我們?cè)诠睧uRoC基準(zhǔn)上測(cè)試多機(jī)器人服務(wù)器。使用建圖服務(wù)器、ROVIO在多機(jī)器人實(shí)驗(yàn)中同時(shí)運(yùn)行所有11個(gè)序列。實(shí)現(xiàn)了0.043 m的平均RMSE，并行地圖服務(wù)器只需要3分27秒即可完成所有操作。

圖3包含23次建圖運(yùn)行的全局多機(jī)器人地圖的可視化建圖結(jié)果

C.基于語(yǔ)義的地圖

本節(jié)通過(guò)使用語(yǔ)義信息擴(kuò)充地圖并說(shuō)明其在現(xiàn)實(shí)場(chǎng)景中的潛在應(yīng)用。使用Mask R-CNN 在圖像中檢測(cè)語(yǔ)義對(duì)象，對(duì)于每次檢測(cè)，我們使用NetVLAD提取掩碼實(shí)例分割的描述符。所有檢測(cè)到的對(duì)象都使用Deep SORT進(jìn)行跟蹤，語(yǔ)義對(duì)象也是3D 地標(biāo)，但具類(lèi)標(biāo)簽，可用于語(yǔ)義環(huán)路閉合檢測(cè)。

我們使用 RGB 慣性傳感器在具有多個(gè)對(duì)象的辦公環(huán)境中收集了室內(nèi)數(shù)據(jù)集。我們兩次觀察帶有物體的辦公桌，同時(shí)留出一些時(shí)間來(lái)累積漂移（見(jiàn)圖4a和4c）。圖4b 顯示了語(yǔ)義地標(biāo)集群和檢測(cè)到的回環(huán)候選。將語(yǔ)義對(duì)象的閉環(huán)邊添加到全因子圖后，漂移顯著減少，改進(jìn)后的圖如圖4c 所示。

（a）（b）

（c）

圖4：語(yǔ)義建圖

文章鏈接：https://arxiv.org/abs/2212.00654

代碼鏈接：https://github.com/ethz-asl/maplab

審核編輯 ：李倩