按：自動駕駛車輛需要準(zhǔn)確地感知和理解周圍環(huán)境，相比于二維的視覺感知，三維視覺感知提供了更多的信息和更準(zhǔn)確的空間建模能力。而點云配準(zhǔn)是三維視覺感知中的一項基本問題，在自動駕駛中的地圖、定位等方面有著重要作用。基于特征匹配的配準(zhǔn)算法是點云配準(zhǔn)領(lǐng)域的核心框架之一，其主要基于特征相似度求解匹配點對，并結(jié)合魯棒匹配算法得到最終的配準(zhǔn)結(jié)果，該框架更能夠適應(yīng)自動駕駛場景，但大規(guī)模且復(fù)雜的點云場景也對點云配準(zhǔn)算法的效率和準(zhǔn)確性提出了更高的要求。基于該問題，作者提出了一種由稀疏到稠密的匹配網(wǎng)絡(luò)SDMNet，實現(xiàn)了配準(zhǔn)精度和效率的良好平衡。在KITTIOdometry、NuScenes和Apollo-SouthBay數(shù)據(jù)集上都達到了目前的最優(yōu)性能，且達到了和稀疏匹配算法相當(dāng)?shù)挠嬎阈省?/p>

摘要：點云配準(zhǔn)是三維視覺領(lǐng)域的基礎(chǔ)問題之一，其目標(biāo)為基于給定的兩幀點云估計其相對位姿變換。以前的基于學(xué)習(xí)的激光雷達點云配準(zhǔn)方法可以分為兩種方案：稀疏匹配（Sparse-to-Sparse）和稠密匹配（Dense-to-Dense）。然而，對于大規(guī)模室外LiDAR點云，解決密集點對應(yīng)關(guān)系非常耗時，而稀疏關(guān)鍵點匹配容易受到關(guān)鍵點檢測誤差的影響。基于以上考慮，我們提出了SDMNet，一種新的針對大規(guī)模室外點云配準(zhǔn)的稀疏對稠密的關(guān)鍵點匹配網(wǎng)絡(luò)。本文將特征匹配分為兩個階段，即稀疏匹配與局部稠密匹配。在稀疏匹配階段，從源點云中采樣一組稀疏點，然后使用軟匹配網(wǎng)絡(luò)和魯棒的離群值過濾模塊將它們與密集目標(biāo)點云進行匹配。此外，本文采用了一種新的基于最優(yōu)傳輸?shù)泥徲蚱ヅ淠K，增強特征的鄰域一致性，顯著提高了性能。在局部稠密匹配階段，通過在高置信度稀疏對應(yīng)點對的局部空間鄰域中執(zhí)行點的匹配來高效地獲取密集對應(yīng)關(guān)系。本文在三個大規(guī)模室外激光雷達點云數(shù)據(jù)集上進行了大量實驗證明，本文所提出的SDMNet以高效率達到了最高精度。

Ⅰ引言

點云配準(zhǔn)旨在估計最佳的剛性變換，以使兩個點云對齊。作為三維計算機視覺中的基本任務(wù)，點云配準(zhǔn)已在各種實際應(yīng)用中使用，包括自動駕駛[1]、智能機器人[2]、虛擬現(xiàn)實[3]等。隨著深度學(xué)習(xí)的發(fā)展，基于學(xué)習(xí)的方法在點云配準(zhǔn)方面取得了顯著的性能。早期的基于端到端的估計位姿變換的方法[4][5]主要集中在物體級點云上，并對兩個點云的分布和對應(yīng)關(guān)系做出了很強的假設(shè)，這對于具有復(fù)雜分布的大規(guī)模點云缺乏可擴展性。近期對大規(guī)模激光雷達點云的基于學(xué)習(xí)的配準(zhǔn)方法遵循著由特征提取、魯棒的特征匹配的框架，可以分為兩類：稠密匹配和稀疏匹配。如圖1(a)所示，稠密匹配方法[6][7]首先利用預(yù)先計算的描述符構(gòu)建潛在的密集對應(yīng)關(guān)系，然后利用異常值排除方法排除錯誤的對應(yīng)關(guān)系。然而，針對大規(guī)模點云，解決稠密的匹配關(guān)系是相當(dāng)消耗時間的為了解決計算問題，如圖1(b)，稀疏點云的匹配方法首先檢測關(guān)鍵點，然后僅在稀疏點云中執(zhí)行配準(zhǔn)。然而，關(guān)鍵點檢測并不總是完美的。有限的關(guān)鍵點重復(fù)特征導(dǎo)致一個點有很大的風(fēng)險丟失其在另一幀中的匹配點。此外，關(guān)鍵點檢測錯誤也會導(dǎo)致已經(jīng)匹配好的關(guān)鍵點產(chǎn)生有害的偏離，降低配準(zhǔn)的精度。

圖1 點云配準(zhǔn)的不同匹配方案。綠線：正確點對對應(yīng)關(guān)系。紅線：異常值對應(yīng)關(guān)系。我們使用藍色和黃色的點表示使用的源點和目標(biāo)點，使用淺藍色和淺黃色的點表示某種方案中未使用的點。

為了處理上述的問題，我們提出了SDMNet，一種新的由稀疏到密集的針對大規(guī)模室外點云的配準(zhǔn)方法。稀疏到稠密匹配方案如圖1(c)所示。具體而言，我們將配準(zhǔn)問題分為兩個階段，即稀疏匹配階段和局部稠密匹配階段。在稀疏匹配階段，給定要對齊的源點云和目標(biāo)點云、。我們首先使用最遠點采樣（FPS）[9]算法從中采樣一組稀疏點。然后我們設(shè)計了一個軟匹配網(wǎng)絡(luò)，為采樣的源點預(yù)測虛擬對應(yīng)的目標(biāo)點，其中引入了空間一致性特征以提高可靠性。此外，我們設(shè)計了一種新的損失函數(shù)概率距離損失（Probabilistic distance loss），用于對軟匹配網(wǎng)絡(luò)進行額外的監(jiān)督。然后，我們采用了基于學(xué)習(xí)的SCNonlocal [7]與PointCN [10]相結(jié)合的模型對離群的稀疏的匹配關(guān)系中進行剔除。為了增強鄰域一致性，我們使用了一種新的鄰域匹配模塊，利用基于最優(yōu)傳輸?shù)姆椒ㄟM行局部鄰域匹配，顯著提高了性能。在局部稠密匹配階段，我們在高置信度稀疏對應(yīng)點的局部空間鄰域中進行點匹配。例如，給定兩個稀疏對應(yīng)點和，我們只在這兩個點的鄰域點中搜索稠密對應(yīng)關(guān)系，這比在全局空間中進行稠密匹配更高效。此外，鄰域?qū)?yīng)關(guān)系可以直接從前面的鄰域匹配模塊中獲得，從而進一步降低了成本。我們使用簡單的OA-Net [11]模塊進行稠密對應(yīng)關(guān)系過濾。

與稀疏對稀疏匹配方案相比，通過保持目標(biāo)點云的密度，我們減小了源點失去對應(yīng)點的風(fēng)險，并避免了由于關(guān)鍵點檢測錯誤引起的性能下降。與稠密匹配方案相比，我們將特征匹配建模為一個兩階段的過程，避免了在兩個密集點集之間進行昂貴的計算。此外，在稀疏匹配階段，候選的點對匹配關(guān)系的數(shù)量相對較小，我們可以利用更強大的策略提高稀疏匹配的魯棒性而不引入大量的計算負(fù)擔(dān)，且在稀疏匹配階段的鄰域匹配模塊的匹配結(jié)果可以在局部密集匹配階段中重新使用，避免了重復(fù)計算，進一步提高了效率。為了評估所提出的SDMNet方法，我們在三個大規(guī)模的室外LiDAR點云數(shù)據(jù)集上進行了廣泛的實驗，分別是KITTI里程計數(shù)據(jù)集[12]、NuScenes數(shù)據(jù)集[13]和Apollo-SouthBay數(shù)據(jù)集[14]。實驗結(jié)果表明，所提出的方法在高效率的同時實現(xiàn)了最先進的性能。我們也評估了該方法在室內(nèi)點云配準(zhǔn)數(shù)據(jù)集上的表現(xiàn)結(jié)果（如3Dmatch數(shù)據(jù)集），結(jié)果同樣表明我們的方法有卓越的性能。

作為總結(jié)，我們的主要貢獻如下：

1、我們針對激光雷達的點云配準(zhǔn)提出了一種新的由稀疏到稠密的匹配模式，避免了關(guān)鍵點檢測造成的性能下降和稠密匹配中高的計算開銷。 2、我們設(shè)計了一種基于最優(yōu)傳輸算法的新型鄰域匹配模塊，將鄰域一致性集成到匹配流程中，進一步提高了配準(zhǔn)性能。 3、在三個大規(guī)模室外LiDAR點云數(shù)據(jù)集上進行的廣泛實驗證明了所提出的SDMNet方法具有高精度和高效率。 Ⅱ相關(guān)工作

傳統(tǒng)的點云配準(zhǔn)方法可以分為局部和全局方法。局部方法中迭代最近點（Iterative Closest Point，ICP）[15]及其變種[16]，[17]，[18]是點云配準(zhǔn)中最常用的方法。盡管ICP具有高準(zhǔn)確性和高效率，但它需要初始轉(zhuǎn)換以避免陷入局部最小值。正態(tài)分布變換（Normal Distribution Transform，NDT）是另一類局部配準(zhǔn)方法[19]，[20]，它將源點云表示為帶有正態(tài)分布的網(wǎng)格單元，然后將目標(biāo)點云與其進行匹配。與基于ICP的方法相比，NDT對初始轉(zhuǎn)換的敏感性較低，但它也面臨局部最優(yōu)的問題。在全局方法中，如分支定界（Branch-and-Bound，BnB）[21]，[22]和半定規(guī)劃（Semi-Definite Programming，SDP）[23]，[24]，[25]被用于實現(xiàn)全局配準(zhǔn)。然而，這些方法通常耗時較長，因此不能應(yīng)用于實時應(yīng)用。基于特征匹配的方法對于全局點云配準(zhǔn)非常有效。點云的經(jīng)典局部特征[26]，[27]，[28]通常使用局部幾何屬性提取，這在Guo[29]等人的綜述中已經(jīng)詳細介紹。隨機采樣一致性（Random Sample Consensus，RANSAC）[30]及其變種[31]，[32]，[33]被廣泛用于從特征空間中排除異常值，并獲得初始候選對應(yīng)關(guān)系。然而，在異常值比例較低的情況下，RANSAC需要大量迭代才能達到最優(yōu)解，這導(dǎo)致效率較低。

基于學(xué)習(xí)的點云配準(zhǔn)可以分為兩種方案，即端到端配準(zhǔn)和基于特征匹配的配準(zhǔn)。端到端的配準(zhǔn)在單次前向傳遞中進行特征提取和位姿估計。例如，PointNetLK [5]將PointNet [34]與Lucas和Kanade算法 [35]結(jié)合起來進行配準(zhǔn)。Deep Closest Point (DCP) [4]使用帶有軟指針的Transformer架構(gòu)來預(yù)測軟對應(yīng)關(guān)系。特征度量配準(zhǔn)（Feature-metric Registration，F(xiàn)MR）[36]通過最小化全局特征投影誤差來對齊兩個點云。IDAM [37]提出了一種迭代的距離感知相似性矩陣卷積模塊，并結(jié)合了兩階段點云消除（下采樣）技術(shù)，實現(xiàn)了高效準(zhǔn)確的配準(zhǔn)。然而，端到端方法對兩個點云的分布和對應(yīng)關(guān)系做出了很強的假設(shè)，因此在大規(guī)模復(fù)雜場景中無法達到預(yù)期的結(jié)果。

基于特征匹配的方法首先利用預(yù)先計算的特征構(gòu)建點對應(yīng)關(guān)系，然后應(yīng)用基于學(xué)習(xí)的異常值剔除模塊進行對應(yīng)關(guān)系過濾[6][7][8][39][40]，41]。隨著深度學(xué)習(xí)的快速發(fā)展，出現(xiàn)了許多基于學(xué)習(xí)的局部點云特征[42][43][44][45][46]。其中，F(xiàn)CGF是最常用的基于學(xué)習(xí)的特征之一，它利用基于3D稀疏卷積的ResUNet架構(gòu)來提取特征[42][47]。Deep Global Registration (DGR) [6]提出使用6D稀疏卷積網(wǎng)絡(luò)來過濾預(yù)先計算的點對應(yīng)關(guān)系。DGR在室內(nèi)點云配準(zhǔn)問題中取得了出色的性能。PointDSC [7]將深度空間一致性引入到配準(zhǔn)流程中，進一步提高了性能。然而，這些方法主要針對室內(nèi)點云設(shè)計。盡管這些方法可以遷移到室外LiDAR點云，但由于稠密匹配方案面臨著高計算復(fù)雜性問題。DeepVCP [40]是專門為LiDAR點云配準(zhǔn)設(shè)計的，然而只能實現(xiàn)局部配準(zhǔn)，因為對應(yīng)關(guān)系是在局部空間中進行搜索的。最近，Lu等人[8]提出了一種名為HRegNet的分層網(wǎng)絡(luò)，用于室外LiDAR點云配準(zhǔn)，該方法在準(zhǔn)確性和效率方面優(yōu)于先前的方法，但稀疏關(guān)鍵點匹配方案容易受到關(guān)鍵點檢測誤差的影響。

Ⅲ本文方法

3.1 整體架構(gòu)

網(wǎng)絡(luò)的整體架構(gòu)如圖2，輸入網(wǎng)絡(luò)的為源點云與目標(biāo)點云、。我們首先使用共享的特征提取器提取特征。然后從中利用最遠點采樣算法采樣個稀疏點，確保他們空間上分布均勻。在稀疏匹配階段，我們將采樣的稀疏點與密集目標(biāo)點云進行匹配，構(gòu)建一組稀疏對應(yīng)關(guān)系。然后，在局部密集匹配階段，我們不是對兩個密集點云進行匹配，而是僅匹配高置信度稀疏對應(yīng)點的局部鄰域點，以實現(xiàn)細粒度的配準(zhǔn)結(jié)果。接下來，我們將詳細描述稀疏匹配階段和局部密集匹配階段。

圖2：SDMNet整體架構(gòu)

3.2 稀疏匹配階段

稀疏匹配階段的目標(biāo)是生成可靠和準(zhǔn)確的稀疏對應(yīng)關(guān)系。給定個稀疏點，我們首先使用軟匹配網(wǎng)絡(luò)從中預(yù)測個虛擬的對應(yīng)點。然后，我們引入鄰域匹配模塊，為每個對應(yīng)關(guān)系獲取鄰域一致性特征，這也將成為后續(xù)稀疏對應(yīng)關(guān)系篩選模塊的輸入之一。

3.2.1 軟匹配網(wǎng)絡(luò)

我們采用了一種軟匹配策略去生成虛擬點，這種策略受到HregNet[8]的啟發(fā)。此外，我們將匹配特征的空間一致性考慮在內(nèi)，改善虛擬生成點的可靠性。具體的，針對確定的，我們在中搜索個特征空間中的近鄰點參與軟匹配。為了提高空間一致性，我們針對選擇其空間最近鄰點及其在點云中的特征空間中的個近鄰點。計算與之間的距離及其對應(yīng)的個近鄰點之間的距離，形成一個的矩陣。上述的計算過程可以通過下式表示：

基于上述，我們進一步產(chǎn)生了距離相異性矩陣，即對中的每個元素減去對應(yīng)的。直觀的看，編碼了匹配關(guān)系中的空間一致性。考慮到離群的匹配關(guān)系對應(yīng)的分布的隨機性，對于一對匹配點，當(dāng)其近鄰存在與之在空間上具有一致性，那么這就有很大可能是一對正確的匹配點。因此，我們利用表示的空間相似度特征。

我們將采樣的源點和其候選的對應(yīng)點的坐標(biāo)、高維特征以及空間一致特征拼接起來，作為共享多層感知機（Shared-MLP）[34]的輸入。然后使用最大值池化層（maxpool）以及softmax函數(shù)來預(yù)測每個候選點的軟匹配權(quán)重。同時，該權(quán)重表示該點是正確對應(yīng)的可能性。最終的虛擬對應(yīng)點及其特征可以通過候選點及其特征按照軟匹配權(quán)重的加權(quán)和來計算。為了訓(xùn)練軟匹配網(wǎng)絡(luò)，我們受被用于關(guān)鍵點檢測[48]的概率倒角損失的啟發(fā)設(shè)計了一種新穎的概率距離損失，本文將在第3.4節(jié)詳細描述該損失。

3.2.2 鄰域匹配

我們采用了一種基于最優(yōu)傳輸?shù)泥徲蚱ヅ淠K生成一個特征來編碼兩個局部鄰域的鄰域一致性。如圖3所示，為每對匹配點，分別搜索其鄰域的個點形成兩個點簇，每個點簇有個點，每個點含義維度的特征，然后基于最優(yōu)傳輸算法對齊其鄰域特征。最優(yōu)傳輸算法是一種優(yōu)化算法，其通過最小化傳輸?shù)拇鷥r矩陣[51]得到最優(yōu)匹配結(jié)果。在這里，我們使用離散版本的最優(yōu)輸運模型，其中源分布和目標(biāo)分布都是離散的。我們首先使用特征空間中簡單的點對點的歐氏距離構(gòu)建一個成本矩陣。可以表示從第個源鄰近點到第個目標(biāo)鄰近點的運輸成本。源分布和目標(biāo)分布都初始化為均勻分布，表示每個鄰近點的重要性相等。形式上，設(shè)，，其中表示所有元素為的維向量。這里的最優(yōu)輸運問題可以表示為下式：

其中是解決的最優(yōu)輸運計劃，表示Frobenius內(nèi)積。本文采用了IPOT算法[53]實現(xiàn)了高精度、高效率的最優(yōu)傳輸優(yōu)化。得到后將特征通過將特征對齊。于對齊后的鄰域特征進行拼接從而得到兩個對應(yīng)鄰域的共同特征。將該特征送入共享的MLP中，通過最大值池化后得到鄰域一致性特征。該特征將融入后續(xù)的匹配框架中，進一步提高了特征匹配的精度。

圖3 鄰域匹配模塊的架構(gòu)。給定兩個局部鄰域中的點形成的點簇，通過解決一個最優(yōu)傳輸問題來計算軟分配矩陣，以對齊兩組特征。

3.2.3稀疏對應(yīng)關(guān)系的過濾

我們采用了使用PointCN的SCNonlocal模塊來執(zhí)行稀疏對應(yīng)關(guān)系的過濾。SCNonlocal模塊在[7]中被提出，它引入了空間一致性以實現(xiàn)可靠的匹配點預(yù)測。給定相匹配的點組：、。假設(shè)是一對匹配的點，SCNonlocal模塊首先計算一個矩陣來表示這一組關(guān)鍵點之間的空間一致性，如下式：

其中，是一個控制對不同距離敏感度的參數(shù)。給定潛在對應(yīng)集合的輸入特征圖，我們采用三個線性投影層來生成query：、鍵：和值：的。基于和之間的點積，計算特征相似性矩陣。然后，更新后的特征可以表示為

為了獲取全局的上下文信息，我們在SCNonlocal模塊之后進一步應(yīng)用了一個簡單的PointCN模塊。PointCN是一種高效的基于學(xué)習(xí)的異常值排除方法，它僅由輕量級的多層感知機（MLP）和上下文歸一化層（CN）組成。緊隨其后的是Sigmoid函數(shù)，用于預(yù)測每個稀疏對應(yīng)關(guān)系的置信度分?jǐn)?shù)。稀疏對應(yīng)關(guān)系過濾的過程可以形式上表示為下式：

其中表示Sigmoid函數(shù)。對應(yīng)關(guān)系的輸入特征由3D坐標(biāo)和來自之前鄰域匹配模塊的鄰域一致性特征拼接組成。由于稀疏采樣點數(shù)量較少，我們可以在稀疏匹配階段引入復(fù)雜的操作，如鄰域匹配模塊和軟匹配網(wǎng)絡(luò)，以提高稀疏對應(yīng)關(guān)系的魯棒性和準(zhǔn)確性，同時實現(xiàn)高效的點云配準(zhǔn)。

3.3 局部稠密匹配

我們在局部鄰域中進行局部稠密匹配以獲得稠密的相互匹配的點對。通過將稠密匹配問題分解為多個小的局部稠密匹配問題是高效的。此外，考慮到鄰域匹配模塊可以輸出兩個局部鄰域之間的軟分配矩陣，可以直接獲得局部稠密點云之間的對應(yīng)關(guān)系，進一步節(jié)省計算成本。我們將高置信度稀疏點對的近鄰點簡單地組合成一個密集對應(yīng)關(guān)系的集合。然后采用Order-Aware Network (OA-Net) [11]來進行密集對應(yīng)關(guān)系的過濾。OA-Net是一種有效的基于學(xué)習(xí)的異常值排除方法，基于PointCN構(gòu)建，并引入DiffPool [54]和DiffUnpool層構(gòu)建分層結(jié)構(gòu)，以捕捉局部上下文信息。我們將點云的3D坐標(biāo)及其特征和對應(yīng)的稀疏置信度拼接，將其作為OA-Net的輸入，輸出是密集對應(yīng)關(guān)系的置信度。

最后，最優(yōu)剛性變換通過類似于weighted kabsch algorithm[55]的算法進行估計，如下式：

對上述過程的效率進行分析，在經(jīng)過體素下采樣后，在KITTI數(shù)據(jù)集中源點云和目標(biāo)點云中的點數(shù)分別為。本文將采樣點的數(shù)量為設(shè)為，鄰域點的數(shù)量為設(shè)為，構(gòu)建對應(yīng)關(guān)系的計算量大約為，而在密集對密集匹配方法中為（是特征維度，對于廣泛使用的FCGF [42]，）。因此，與密集對密集匹配方法相比，所提出的方法可以節(jié)省約10倍的計算量。

3.4 損失函數(shù)

本算法的損失函數(shù)由三部分組成，旋轉(zhuǎn)與平移損失用于下游配準(zhǔn)任務(wù)的訓(xùn)練，見式（7）。分類損失用于對匹配點對的置信度的學(xué)習(xí)進行監(jiān)督，該損失函數(shù)見式（8），其中為置信度，取決于匹配點之間匹配程度，當(dāng)高度匹配時為1，否則為0，BCE即計算二元交叉熵?fù)p失。本文提出的一種新的損失為概率距離損失，旨在為軟匹配網(wǎng)絡(luò)提供額外的監(jiān)督信息，該損失函數(shù)見式（9），最小化式中的第二項傾向于減小高置信度對應(yīng)點之間的距離，并同時減小具有較大距離的對應(yīng)關(guān)系的置信度。第一項是為了避免在優(yōu)化第二項時降低所有對應(yīng)關(guān)系的置信度。從而引導(dǎo)軟匹配網(wǎng)絡(luò)更好地學(xué)習(xí)稀疏對應(yīng)關(guān)系之間的距離和置信度。

Ⅳ實驗 4.1 數(shù)據(jù)集

我們在三個大規(guī)模室外LiDAR點云數(shù)據(jù)集上進行了實驗，分別是KITTI里程計數(shù)據(jù)集[12]、NuScenes數(shù)據(jù)集[13]和Apollo-SouthBay數(shù)據(jù)集[14]。對于KITTI數(shù)據(jù)集和NuScenes數(shù)據(jù)集，我們使用[8]中提供的點云配對數(shù)據(jù)進行所提出方法的訓(xùn)練、驗證和測試。Apollo-SouthBay數(shù)據(jù)集是一個包含多種場景的大規(guī)模數(shù)據(jù)集。此數(shù)據(jù)集最初是用于車輛定位[14]，姿態(tài)經(jīng)過精心微調(diào)，適合用于點云配準(zhǔn)的評估。Apollo-SouthBay數(shù)據(jù)集提供了官方的訓(xùn)練和測試數(shù)據(jù)集劃分。我們按照[8]的方法，將當(dāng)前幀與之后的第10幀作為一對點云進行配準(zhǔn)。我們還隨機抽取了訓(xùn)練數(shù)據(jù)的20%作為驗證集。

4.2 評估指標(biāo)

我們采用相對平移誤差（RTE）與相對旋轉(zhuǎn)誤差（RRE）作為我們的評價指標(biāo)，如下式

其中表示矩陣的跡。我們還計算了配準(zhǔn)召回率（registration recall），它定義為成功配準(zhǔn)的比例（即RTE和RRE在預(yù)定義的閾值內(nèi)）。按照[8]的方法，我們計算了平均RTE和RRE以及標(biāo)準(zhǔn)差。此外，只有成功配準(zhǔn)的配對被包括在此計算中。在所有實驗中，平移與旋轉(zhuǎn)的成功的閾值設(shè)置為2米和5度。此外，我們也計算了了所有配對的平均RTE和RRE，以進行更全面的比較。

4.3 實驗結(jié)果

按照[8]的方法，我們將提出的方法與6種代表性的傳統(tǒng)配準(zhǔn)方法進行比較，包括點對點和點對面的ICP（ICP（P2P）和ICP（P2Pl））[15]、Go-ICP [21]、Fast Global Registration (FGR) [58]、RANSAC [30]（使用FCGF [42]作為特征）以及使用FCGF估計的對應(yīng)關(guān)系的TEASER [25]。此外，我們將SDMNet與5種基于學(xué)習(xí)的方法在KITTI數(shù)據(jù)集和NuScenes數(shù)據(jù)集上進行了比較，其中包括兩種對象級別的配準(zhǔn)方法（Deep Closest Point (DCP) [4]和IDAM [37]），兩種室內(nèi)點云配準(zhǔn)方法（Feature-metric registration (FMR) [36]和Deep Global Registration (DGR) [6]），以及最先進的LiDAR點云配準(zhǔn)網(wǎng)絡(luò)HRegNet [8]。

圖4為召回率隨不同的RRE與RTE閾值的變化情況，可以看出本文的模型SDMNet在極小的閾值下就能得到很高的成功率，且在任何閾值下的成功率均達到了最優(yōu)。表1展示了不同配準(zhǔn)算法在KITTI與NuScenes數(shù)據(jù)集上的性能。可見，與之前的最優(yōu)算法HRegNet相比，SDMNet在KITTI數(shù)據(jù)集上實現(xiàn)了超過20％的RTE降低，10％的RRE降低，并且具有更高的配準(zhǔn)召回率。此外，由于我們高效的稀疏到稠密匹配方案，所提出的方法在推理速度上實現(xiàn)了可比或甚至更快的速度，與HRegNet相當(dāng)。

圖4 配準(zhǔn)召回率。在KITTI與NuScenes數(shù)據(jù)集設(shè)置不同的RRE與RTE閾值得到不同模型對應(yīng)的召回率 表1 配準(zhǔn)算法在KITTI與NuScenes數(shù)據(jù)集上的性能

在Apollo-SouthBay數(shù)據(jù)集上，我們根據(jù)表格1將提出的SDMNet與兩種最佳手工設(shè)計方法（即RANSAC和TEASER）以及兩種基于學(xué)習(xí)的基準(zhǔn)方法（即HRegNet和DGR）進行了比較。我們重新在Apollo-SouthBay數(shù)據(jù)集上對這兩個網(wǎng)絡(luò)進行了訓(xùn)練，結(jié)果顯示在表格2和圖5中。與之前表現(xiàn)最佳的方法HRegNet相比，SDMNet在推理速度方面表現(xiàn)相當(dāng)，并且在RTE和RRE方面減少了約14％和27％，并且具有更高的配準(zhǔn)召回率，這證明了所提出方法的高配準(zhǔn)精度和效率。

表2 配準(zhǔn)算法在Apollo-SouthBay數(shù)據(jù)集上的性能

4.4 消融實驗

我們進行了豐富的消融實驗，以分析所提出的SDMNet的不同模塊和參數(shù)。所有的消融實驗都是在[8]提供的KITTI數(shù)據(jù)集上進行的。

（1）對稀疏點數(shù)量消融：表3結(jié)果顯示采樣的稀疏點數(shù)量 S 顯然會影響配準(zhǔn)性能。直觀上，采樣更多的點可以覆蓋更廣的點云，從而提高魯棒性和準(zhǔn)確性。然而，更多的采樣點也會導(dǎo)致效率降低。

表3 對稀疏點數(shù)量消融實驗結(jié)果

（2）對軟匹配網(wǎng)絡(luò)消融：我們進行實驗分析軟匹配網(wǎng)絡(luò)的影響。根據(jù)表5的結(jié)果，沒有軟匹配網(wǎng)絡(luò)時，RTE 增加約5%。需要注意的是，我們設(shè)計了一種新穎的概率距離損失來訓(xùn)練軟匹配網(wǎng)絡(luò)，結(jié)果顯示，沒有使用進行訓(xùn)練時，RTE增加約7%，配準(zhǔn)召回率也降低。我們還進行了不同候選對應(yīng)點數(shù)量的實驗。結(jié)果顯示，的表現(xiàn)略優(yōu)于。然而，我們觀察到將增加到8會導(dǎo)致性能下降，因為大量錯誤的候選點會產(chǎn)生負(fù)面影響。為了進一步驗證有效性，我們計算了帶有和不帶有軟匹配網(wǎng)絡(luò)的稀疏對應(yīng)關(guān)系的正確匹配點比例。根據(jù)圖7中顯示的結(jié)果，使用軟匹配網(wǎng)絡(luò)可以增加該比例，這表明該策略可以恢復(fù)一些因簡單最近鄰搜索而丟失的對應(yīng)關(guān)系。

表4 對軟匹配網(wǎng)絡(luò)消融實驗結(jié)果

圖5 稀疏對應(yīng)關(guān)系的正確匹配點比例，包括使用軟匹配網(wǎng)絡(luò)（SMN）和不使用（w/o）軟匹配網(wǎng)絡(luò)的情況

（3）對局部稠密匹配階段消融：根據(jù)結(jié)果，沒有局部稠密匹配階段時，RTE和RRE分別增加約14%和39%，這表明局部稠密匹配階段對于配準(zhǔn)性能的優(yōu)化作用。此外，由于局部對應(yīng)關(guān)系可以直接從前面的鄰域匹配模塊導(dǎo)出，局部稠密匹配階段不會引入很大的計算成本。值得注意的是，即使沒有局部稠密匹配階段，我們的性能仍優(yōu)于HRegNet。

表5 對局部稠密匹配階段消融結(jié)果。為搜索最近鄰的數(shù)目。

（4）對鄰域一致性特征的消融：為了驗證設(shè)計的鄰域一致性特征的有效性，我們首先重新訓(xùn)練了沒有該特征的SDMNet，并在表6中展示了結(jié)果。根據(jù)結(jié)果，在沒有該特征的情況下，RTE和RRE分別增加了超過16%和4%。我們還提供了我們SDMNet去除了軟匹配網(wǎng)絡(luò)、鄰域一致性特征和局部稠密匹配階段（即SDMNet）的性能。根據(jù)表7的結(jié)果，SDMNet在所有指標(biāo)上優(yōu)于SDMNet。

表6 對鄰域一致性特征的消融結(jié)果

（5）對于優(yōu)化傳輸算法的消融研究，我們還使用Sinkhorn算法作為進行實驗，以展示在我們的場景中IPOT算法的有效性。根據(jù)表8的結(jié)果，由于相對于Sinkhorn算法而言，IPOT算法產(chǎn)生了更精確的收斂最優(yōu)解，因此具有更好的準(zhǔn)確性。

表7 Sinkhorn算法與IPOT算法的比較

此外，我們還對不同內(nèi)/外迭代次數(shù)的性能進行了分析。根據(jù)表8的結(jié)果，較少的迭代次數(shù)會導(dǎo)致性能較差，因為對齊質(zhì)量較差。然而，當(dāng)外部迭代次數(shù)達到50時，性能改進就趨于飽和。此外，當(dāng)將內(nèi)部迭代次數(shù)增加到2時，我們沒有觀察到明顯的改進。考慮到時間成本，我們在最終實現(xiàn)中將設(shè)置為1，設(shè)置為50。

表8 對IPOT不同內(nèi)/外迭代次數(shù)的性能的比較

另外，為了更好地說明基于最優(yōu)傳輸?shù)膶R的有效性，我們計算了變換前后相鄰點的特征距離，統(tǒng)計了內(nèi)點的對數(shù)（即特征距離在距離閾值內(nèi)的點對數(shù)），變換前和變換后記為和。然后，我們計算。根據(jù)圖6的結(jié)果，最優(yōu)傳輸顯著減小了點對之間的特征距離，表明進行了有效的鄰域?qū)R。

圖6 最優(yōu)傳輸后的內(nèi)點數(shù)量與之前的內(nèi)點數(shù)量之比（在不同的特征距離閾值下）

4.5 定性結(jié)果可視化

我們在圖7中提供了三個數(shù)據(jù)集上定性點云配準(zhǔn)結(jié)果的幾個樣例。第一列和第二列分別顯示了稀疏匹配階段和局部密集匹配階段估計的對應(yīng)關(guān)系。我們對置信度低于閾值的對應(yīng)關(guān)系進行了過濾，以便更好地展示。根據(jù)定性結(jié)果，稀疏匹配階段可以生成可靠的稀疏對應(yīng)關(guān)系，這些對應(yīng)關(guān)系在局部密集匹配階段進一步稠密化。圖7的最后一列顯示了配準(zhǔn)結(jié)果，表明估計的變換可以準(zhǔn)確地對齊兩個點云。

圖7 SDMNet的定性可視化。每一行顯示一個定性配準(zhǔn)結(jié)果樣本。為了更好地可視化過濾了置信度低于閾值的對應(yīng)點。藍色點為源點云，黃色點為目標(biāo)點云。綠色線為估計的對應(yīng)關(guān)系。 Ⅴ 結(jié)論

本文提出了一種基于學(xué)習(xí)的室外激光雷達點云配準(zhǔn)方法，稱為SDMNet。該方法采用了一種新的稀疏到稠密匹配方案，很好地結(jié)合了稠密匹配的細粒度信息和稀疏匹配的高效性。此外，我們引入了基于最優(yōu)輸運的鄰域匹配模塊，將鄰域一致性融入匹配流程中，顯著提高了配準(zhǔn)性能。通過對三個大規(guī)模室外激光雷達點云數(shù)據(jù)集進行大量實驗，驗證了所提方法的準(zhǔn)確性、魯棒性和效率。此外，我們還進行了豐富的消融研究，詳細分析了所提出的SDMNet不同組件和參數(shù)的影響。

審核編輯 ：李倩