摘要

? 大家好，今天為大家?guī)淼奈恼率?Multi-modal Semantic SLAM for Complex Dynamic Environments 同時定位和建圖（SLAM）是許多現(xiàn)實世界機(jī)器人應(yīng)用中最重要的技術(shù)之一。靜態(tài)環(huán)境的假設(shè)在大多數(shù) SLAM 算法中很常見，但是對于大多數(shù)應(yīng)用程序來說并非如此。最近關(guān)于語義 SLAM 的工作旨在通過執(zhí)行基于圖像的分割來理解環(huán)境中的對象并從場景上下文中區(qū)分動態(tài)信息。然而，分割結(jié)果往往不完善或不完整，這會降低映射的質(zhì)量和定位的準(zhǔn)確性。在本文中，我們提出了一個強大的多模態(tài)語義框架來解決復(fù)雜和高度動態(tài)環(huán)境中的 SLAM 問題。我們建議學(xué)習(xí)更強大的對象特征表示，并將三思而后行的機(jī)制部署到主干網(wǎng)絡(luò)，從而為我們的基線實例分割模型帶來更好的識別結(jié)果。此外，將純幾何聚類和視覺語義信息相結(jié)合，以減少由于小尺度物體、遮擋和運動模糊造成的分割誤差的影響。已經(jīng)進(jìn)行了徹底的實驗來評估所提出方法的性能。結(jié)果表明，我們的方法可以在識別缺陷和運動模糊下精確識別動態(tài)對象。此外，所提出的 SLAM 框架能夠以超過 10 Hz 的處理速率有效地構(gòu)建靜態(tài)密集地圖，這可以在許多實際應(yīng)用中實現(xiàn)。訓(xùn)練數(shù)據(jù)和建議的方法都是開源的。?

主要工作與貢獻(xiàn)

? 1. 本文提出了一個魯棒且快速的多模態(tài)語義 SLAM 框架，旨在解決復(fù)雜和動態(tài)環(huán)境中的 SLAM 問題。具體來說，將僅幾何聚類和視覺語義信息相結(jié)合，以減少由于小尺度對象、遮擋和運動模糊導(dǎo)致的分割誤差的影響。 2. 本文提出學(xué)習(xí)更強大的對象特征表示，并將三思機(jī)制部署到主干網(wǎng)絡(luò)，從而為基線實例分割模型帶來更好的識別結(jié)果。 3. 對所提出的方法進(jìn)行了全面的評估。結(jié)果表明，本文的方法能夠提供可靠的定位和語義密集的地圖

算法流程

? 圖 2 是框架的概述。它主要由四個模塊組成，分別是實例分割模塊、多模態(tài)融合模塊、定位模塊和全局優(yōu)化與映射模塊。 1.實例分割和語義學(xué)習(xí) 使用2D實例分割網(wǎng)絡(luò)，一張圖像的實例分割結(jié)果： C代表類別，M是物體的掩碼信息，n代表當(dāng)前圖像中存在物體數(shù)量。 圖像在空間上被分成 N × N 個網(wǎng)格單元。如果一個對象的中心落入一個網(wǎng)格單元，該網(wǎng)格單元負(fù)責(zé)分別預(yù)測類別分支Bc和掩碼分支P m 中對象的語義類別Cij和語義掩碼Mij： λ 是類的數(shù)量。φ 是網(wǎng)格單元的總數(shù)。 為了滿足實時性的要求：采用SOLOv2 的輕量級版本，但精度較低，可實現(xiàn)實時實例分割。 為了提高分割精度：實施了多種方法來在骨干網(wǎng)絡(luò)中構(gòu)建更有效和更健壯的特征表示鑒別器。 輸出是每個動態(tài)對象的像素級實例掩碼，以及它們對應(yīng)的邊界框和類類型。為了更好地將動態(tài)信息集成到 SLAM 算法中，輸出二進(jìn)制掩碼被轉(zhuǎn)換為包含場景中所有像素級實例掩碼的單個圖像。蒙版落在其上的像素被認(rèn)為是“動態(tài)狀態(tài)”，否則被認(rèn)為是“靜態(tài)”。然后將二進(jìn)制掩碼應(yīng)用于語義融合模塊以生成 3D 動態(tài)掩碼。 2.多模態(tài)融合 1.移動模糊補償： 目前實例分割的性能已經(jīng)是不錯的，但是移動的物體會出現(xiàn)物體識別不完整 導(dǎo)致物體的邊界不明確 最終影響定位精度。因此，本文首先實現(xiàn)形態(tài)膨脹，將 2D 像素級掩模圖像與結(jié)構(gòu)元素進(jìn)行卷積，以逐漸擴(kuò)展動態(tài)對象的區(qū)域邊界。形態(tài)膨脹結(jié)果標(biāo)志著動態(tài)對象周圍的模糊邊界。我們將動態(tài)對象及其邊界作為動態(tài)信息，將在多模態(tài)融合部分進(jìn)一步細(xì)化。 2.幾何聚類和語義融合： 通過歐幾里得空間的連通性分析進(jìn)行補償也在本文的工作中實現(xiàn)。實例分割網(wǎng)絡(luò)在大多數(shù)實際情況下都具有出色的識別能力，但是由于區(qū)域之間的模糊像素，運動模糊限制了分割性能，導(dǎo)致了不希望的分割錯誤。因此，將點云聚類結(jié)果和分割結(jié)果結(jié)合起來，以更好地細(xì)化動態(tài)對象。特別是，對幾何信息進(jìn)行連通性分析，并與基于視覺的分割結(jié)果合并。 為了提高工作效率，首先將 3D 點云縮小以減少數(shù)據(jù)規(guī)模，并將其用作點云聚類的輸入。然后將實例分割結(jié)果投影到點云坐標(biāo)上，對每個點進(jìn)行標(biāo)注。當(dāng)大多數(shù)點（90％）是動態(tài)標(biāo)記點時，點云簇將被視為動態(tài)簇。當(dāng)靜態(tài)點靠近動態(tài)點簇時，它會被重新標(biāo)記為動態(tài)標(biāo)簽。并且當(dāng)附近沒有動態(tài)點聚類時，動態(tài)點將被重新標(biāo)記。 3.定位與位姿估計 1.特征提?。?/strong> 多模態(tài)動態(tài)分割后，點云分為動態(tài)點云PD和靜態(tài)點云PS。基于原先之前的工作，靜態(tài)點云隨后用于定位和建圖模塊。與現(xiàn)有的 SLAM 方法（如 LOAM ）相比，原先之前的工作中提出的框架能夠支持 30 Hz 的實時性能，速度要快幾倍。與 ORB-SLAM2和 VINS-MONO 等視覺 SLAM 相比，它還可以抵抗光照變化。對于每個靜態(tài)點 pk ∈ PS ，可以在歐幾里得空間中通過半徑搜索來搜索其附近的靜態(tài)點集 Sk。讓 |S|是集合 S 的基數(shù)，因此局部平滑度定義為： 邊緣特征由 σk 大的點定義，平面特征由 σk 小的點定義。 2.數(shù)據(jù)關(guān)聯(lián)： 通過最小化點到邊緣和點到平面的距離來計算最終的機(jī)器人位姿。對于邊緣特征點 pE ∈ PE ，可以通過 p^E = T·pE 將其轉(zhuǎn)換為局部地圖坐標(biāo)，其中 T ∈ SE(3) 是當(dāng)前位姿。從局部邊緣特征圖中搜索 2 個最近的邊緣特征 p 1 E 和 p 2 E，點到邊緣殘差定義： 類似地，給定一個平面特征點 pL ∈ PL 及其變換點 p^L = T·pL，我們可以從局部平面圖中搜索 3 個最近點 。點到平面殘差定義為： 3.位姿估計： 通過最小化點到平面和點到邊緣殘差的總和來計算最終的機(jī)器人位姿： 4.特征地圖更新和關(guān)鍵幀選擇： 一旦位姿優(yōu)化解決，特征點將被更新到局部地圖和平面地圖當(dāng)中。這些點將被用于一下幀的數(shù)據(jù)關(guān)聯(lián)。當(dāng)平移或者旋轉(zhuǎn)的值大于閾值時候，該幀將被選作關(guān)鍵幀。 4.全局地圖構(gòu)建 全局語義地圖由靜態(tài)地圖和動態(tài)地圖構(gòu)成。視覺信息用于構(gòu)建測色密集靜態(tài)地圖。視覺信息能夠反投影3D點到圖像平面。為防止內(nèi)存溢出的問題采用3d is here: Point cloud library (pcl)。