0.筆者個(gè)人體會(huì)：

這個(gè)工作來(lái)自于香港科技大學(xué)和香港城市大學(xué)。我們知道，隨著三維傳感器以及相關(guān)掃描技術(shù)的進(jìn)步，三維點(diǎn)云已經(jīng)成為三維視覺(jué)領(lǐng)域內(nèi)一項(xiàng)十分重要的數(shù)據(jù)形式。并且隨著深度學(xué)習(xí)技術(shù)的發(fā)展，許多經(jīng)典的點(diǎn)云深度學(xué)習(xí)處理方法被提出來(lái)。但是，現(xiàn)有的大多數(shù)方法都關(guān)注于點(diǎn)云的特征描述子學(xué)習(xí)。并且，在稠密的點(diǎn)云數(shù)據(jù)幀中，如果對(duì)所有點(diǎn)云都進(jìn)行處理，將會(huì)帶來(lái)巨大的計(jì)算和內(nèi)存壓力。

針對(duì)這種問(wèn)題，提取部分具有代表性的關(guān)鍵點(diǎn)則成為一種自然而且有效的策略。但是，什么樣的點(diǎn)可以稱(chēng)為三維點(diǎn)云中的關(guān)鍵點(diǎn)呢？這個(gè)問(wèn)題仍然是一個(gè)開(kāi)放的、沒(méi)有明確答案的問(wèn)題。 本工作受D2-Net啟發(fā)，提出了一種新的三維點(diǎn)云關(guān)鍵點(diǎn)定義方式，將其與三維點(diǎn)的特征描述子關(guān)聯(lián)起來(lái)，有效的回答了什么是三維點(diǎn)云中的關(guān)鍵點(diǎn)，并驗(yàn)證了該方法檢測(cè)到的關(guān)鍵點(diǎn)的可重復(fù)性。

但是，本方法的不足也十分明顯。正是由于它將關(guān)鍵點(diǎn)的檢測(cè)定義在三維點(diǎn)云點(diǎn)特征上，因此，在檢測(cè)關(guān)鍵點(diǎn)時(shí)，需要對(duì)輸入點(diǎn)云的所有點(diǎn)都提取相應(yīng)的點(diǎn)特征。這樣的話，即使此方法檢測(cè)到的關(guān)鍵點(diǎn)可以有效用于后續(xù)任務(wù)，但此方法本身仍需處理完整點(diǎn)云中的所有點(diǎn)，并不能在關(guān)鍵點(diǎn)提取階段就有效的降低計(jì)算和內(nèi)存壓力。

1、論文相關(guān)內(nèi)容介紹：

論文標(biāo)題：? D3Feat: Joint Learning of Dense Detection and Description of 3D Local Features

摘要：

成功的點(diǎn)云配準(zhǔn)通常取決于通過(guò)有區(qū)分性的3D局部特征魯棒地建立稀疏匹配。盡管基于學(xué)習(xí)的3D特征描述子發(fā)展迅速，但很少有人關(guān)注3D特征檢測(cè)器的學(xué)習(xí)，更不用說(shuō)兩個(gè)任務(wù)的聯(lián)合學(xué)習(xí)。

在本文中，我們將3D全卷積網(wǎng)絡(luò)用于 3D點(diǎn)云，并提出了一種新穎實(shí)用的學(xué)習(xí)機(jī)制，可以稠密預(yù)測(cè)每個(gè)3D點(diǎn)的檢測(cè)分?jǐn)?shù)和描述特征。特別是，我們提出了一種關(guān)鍵點(diǎn)選擇策略，該策略克服了3D點(diǎn)云的固有密度變化，并進(jìn)一步提出了一種由訓(xùn)練期間的動(dòng)態(tài)特征匹配結(jié)果引導(dǎo)的自監(jiān)督檢測(cè)器損失。

最后，我們的方法在3DMatch和KITTI數(shù)據(jù)集上進(jìn)行了評(píng)估，在室內(nèi)和室外場(chǎng)景中都取得了最先進(jìn)的結(jié)果，并在ETH數(shù)據(jù)集上顯示了其強(qiáng)大的泛化能力。在實(shí)際使用中，結(jié)果表明，通過(guò)采用可靠的特征檢測(cè)器，采樣較少數(shù)量的特征就足以實(shí)現(xiàn)準(zhǔn)確和快速的點(diǎn)云對(duì)齊。

主要貢獻(xiàn)：

1.我們利用基于KPConv的全卷積網(wǎng)絡(luò)，并采用聯(lián)合學(xué)習(xí)框架進(jìn)行3D局部特征檢測(cè)和描述，無(wú)需構(gòu)建對(duì)偶結(jié)構(gòu)，從而可以進(jìn)行快速推理。

2. 我們提出了一種新的密度不變關(guān)鍵點(diǎn)選擇策略，這是獲得3D點(diǎn)云可重復(fù)性高的關(guān)鍵點(diǎn)的關(guān)鍵。 3. 我們提出了一種自監(jiān)督檢測(cè)器損失，它在訓(xùn)練期間從動(dòng)態(tài)特征匹配結(jié)果中獲取有意義的引導(dǎo)，從而保證了緊密耦合的描述子和檢測(cè)器的收斂。

方法介紹：

D2-Net是一種最近提出的一種2D 圖像匹配方法，受其啟發(fā)，我們沒(méi)有為關(guān)鍵點(diǎn)檢測(cè)和描述訓(xùn)練單獨(dú)的網(wǎng)絡(luò)，而是設(shè)計(jì)了一個(gè)具有雙重作用的單個(gè)神經(jīng)網(wǎng)絡(luò)：稠密特征描述符和關(guān)鍵點(diǎn)檢測(cè)器。

然而，由于點(diǎn)云的不規(guī)則性和不同的稀疏性，將D2-Net的思想應(yīng)用于3D領(lǐng)域并非易事。在下方法，我們將首先描述對(duì)不規(guī)則 3D點(diǎn)云進(jìn)行特征描述子提取和和關(guān)鍵點(diǎn)檢測(cè)的基本步驟，然后解釋我們的方法在3D領(lǐng)域中處理稀疏性變化的策略。



Fig1：（左）D3Feat的網(wǎng)絡(luò)架構(gòu)。每個(gè)塊表示一個(gè)使用KPConv代替圖像卷積的ResNet塊。除了最后一層之外的所有層都使用Batch Normalization和ReLU。（右）關(guān)鍵點(diǎn)檢測(cè)。在稠密點(diǎn)特征提取之后，我們通過(guò)應(yīng)用顯著性分?jǐn)?shù)和通道最大分?jǐn)?shù)來(lái)計(jì)算關(guān)鍵點(diǎn)檢測(cè)分?jǐn)?shù)。

一、稠密特征描述子提取

為了解決不規(guī)則點(diǎn)的卷積問(wèn)題并更好地捕獲局部幾何信息，KPConv方法被提出來(lái)，它使用帶卷積權(quán)重的核點(diǎn)來(lái)模擬二維卷積中的核像素，然后在原始點(diǎn)云上定義卷積操作。我們采用KPConv作為我們的骨干網(wǎng)絡(luò)來(lái)執(zhí)行稠密特征提取操作。下面我們先簡(jiǎn)單回顧一下KPConv的方法。 以矩陣形式表示給定的一組點(diǎn)和一組特征，令xi和fi分別表示中的第i個(gè)點(diǎn)及其在中相應(yīng)的特征。定義在核g上的x點(diǎn)的卷積為 其中是x點(diǎn)的半徑鄰域，xi是該鄰域的支撐點(diǎn)。核函數(shù)定義為 其中 是核點(diǎn)和支持點(diǎn)之間的相關(guān)性函數(shù)，是核點(diǎn) 的權(quán)重矩陣，K是核點(diǎn)的個(gè)數(shù)。

我們建議讀者參考KPConv原始論文了解更多詳細(xì)信息。 KPConv的原始公式不是對(duì)點(diǎn)云密度不變的，因此，我們?cè)谝陨瞎街刑砑恿艘粋€(gè)密度歸一化項(xiàng)，它總結(jié)了x附近的支持點(diǎn)的數(shù)量，以確保卷積是稀疏不變的的：

基于歸一化核點(diǎn)卷積，我們采用帶有跨層連接和殘差塊的類(lèi)似UNet的結(jié)構(gòu)來(lái)構(gòu)建全卷積網(wǎng)絡(luò)，如圖1（左）所示。 與僅支持稀疏特征描述子的基于塊的方法不同，我們的網(wǎng)絡(luò)能夠在完卷積設(shè)置下執(zhí)行稠密的特征描述子提取。我們網(wǎng)絡(luò)的輸出是二維矩陣形式的稠密特征圖，其中c是特征向量的維度。點(diǎn)的描述子記為， 其中表示二維矩陣的第i行，特征描述子被L2歸一化到單位長(zhǎng)度。

二、稠密關(guān)鍵點(diǎn)檢測(cè)

D2-Net在特征圖的空間和通道維度上的局部最大值，并使用softmax來(lái)評(píng)估像素的局部最大值以檢測(cè)二維圖像關(guān)鍵點(diǎn)。由于圖像的規(guī)則結(jié)構(gòu)，他們的方法只是選擇相鄰像素作為鄰域。為了將他們的方法擴(kuò)展到 3D，這種策略可能會(huì)被半徑鄰域所取代，以處理點(diǎn)云的非均勻采樣設(shè)置。

但是，半徑鄰域中的相鄰點(diǎn)的數(shù)量可能會(huì)有很大差異。在這種情況下，如果我們簡(jiǎn)單地使用softmax來(lái)評(píng)估空間維度上的局部最大值，那么點(diǎn)較少的局部區(qū)域本來(lái)就會(huì)有更高的分?jǐn)?shù)。為了解決這個(gè)問(wèn)題，我們提出了一個(gè)密度不變的顯著性分?jǐn)?shù)來(lái)評(píng)估某個(gè)點(diǎn)與其局部鄰域相比的顯著性。給定稠密特征圖，我們認(rèn)為為3D響應(yīng) 的集合： 其中表示二維矩陣的第 k 列。點(diǎn)為關(guān)鍵點(diǎn)的原則是 其中是xi的半徑鄰域。這表示 首先選擇最顯著的通道，然后通過(guò)它是否是該特定響應(yīng)圖上其空間局部鄰域的最大值來(lái)驗(yàn)證。在訓(xùn)練期間，我們通過(guò)應(yīng)用兩個(gè)分?jǐn)?shù)來(lái)使上述過(guò)程可微以使其可訓(xùn)練，如圖 1（右）所示。

1.密度不變顯著性得分：

該分?jǐn)?shù)旨在評(píng)估一個(gè)點(diǎn)與其局部鄰域中的其他點(diǎn)相比的顯著性。在 D2-Net中，評(píng)估局部最大值的分?jǐn)?shù)定義為xi 然而，這個(gè)公式對(duì)于稀疏性不是不變的。因?yàn)榉謹(jǐn)?shù)是通過(guò)總和歸一化的，這使得稀疏區(qū)域固有的比稠密區(qū)域具有更高的分?jǐn)?shù)。

因此，我們?cè)O(shè)計(jì)了一個(gè)密度不變的顯著性分?jǐn)?shù)，如下所示： 在這個(gè)公式中，一個(gè)點(diǎn)的顯著性分?jǐn)?shù)被計(jì)算為其特征與其局部鄰域的平均特征之間的差異。因此，它測(cè)量了中心點(diǎn)相對(duì)于局部區(qū)域中支持點(diǎn)的相對(duì)顯著性。此外，使用平均響應(yīng)代替總和可以防止分?jǐn)?shù)受到鄰域中點(diǎn)數(shù)的影響。

2.通道最大得分：

該分?jǐn)?shù)旨在為每個(gè)點(diǎn)挑選最顯著的通道： 最后，將兩個(gè)分?jǐn)?shù)都考慮到最終的關(guān)鍵點(diǎn)檢測(cè)得分： 因此，在獲得輸入點(diǎn)云的關(guān)鍵點(diǎn)得分圖后，我們選擇得分最高的點(diǎn)作為關(guān)鍵點(diǎn)。

三、聯(lián)合優(yōu)化特征描述子提取器和關(guān)鍵點(diǎn)檢測(cè)器

設(shè)計(jì)合適的監(jiān)督信號(hào)是聯(lián)合優(yōu)化特征描述子提取器和關(guān)鍵點(diǎn)檢測(cè)器的關(guān)鍵。在本節(jié)中，我們將首先描述描述子的度量學(xué)習(xí)損失，然后從自監(jiān)督的角度設(shè)計(jì)檢測(cè)器損失。

1.特征描述子提取損失函數(shù)

為了優(yōu)化特征描述子提取網(wǎng)絡(luò)，許多工作嘗試使用度量學(xué)習(xí)策略，如對(duì)比損失和三元組損失。我們這里將使用對(duì)比損失，因?yàn)閺奈覀兊膶?shí)驗(yàn)中可以發(fā)現(xiàn)它可以提供更好的收斂性能。至于采樣策略，我們采用的是hardest in batch策略，使網(wǎng)絡(luò)專(zhuān)注于最難的點(diǎn)對(duì)。 給定一對(duì)部分重疊的點(diǎn)云碎片P和Q，以及一個(gè)包括n對(duì)對(duì)應(yīng)3D點(diǎn)的集合。假設(shè)是一個(gè)對(duì)應(yīng)對(duì)，對(duì)應(yīng)的兩點(diǎn)的描述子記為和，得分記為和，然后將正樣本對(duì)之間的距離定義為它們的描述子之間的歐幾里得距離，即 負(fù)樣本對(duì)之間的距離被定義為： 其中R是安全半徑，是位于真實(shí)對(duì)應(yīng)安全半徑之外的最難負(fù)樣本。對(duì)比損失定義為 其中是正對(duì)的邊界，是負(fù)對(duì)的邊界。

2.關(guān)鍵點(diǎn)檢測(cè)器損失函數(shù)

為了優(yōu)化關(guān)鍵點(diǎn)檢測(cè)器網(wǎng)絡(luò)，我們尋求一種損失公式，鼓勵(lì)容易匹配的對(duì)應(yīng)點(diǎn)比難以匹配的對(duì)應(yīng)點(diǎn)具有更高的關(guān)鍵點(diǎn)檢測(cè)分?jǐn)?shù)。D2-Net提出了對(duì)三元組邊界損失的擴(kuò)展，以聯(lián)合優(yōu)化特征描述子提取和關(guān)鍵點(diǎn)檢測(cè)器：

其中M是三元組邊界。然而，這個(gè)損失并沒(méi)有為分?jǐn)?shù)項(xiàng)提供明確的引導(dǎo)，并且這個(gè)原始損失公式并不能保證在我們的方法收斂。

因此，我們?cè)O(shè)計(jì)了一個(gè)損失項(xiàng)來(lái)明確引導(dǎo)分?jǐn)?shù)的梯度。從自監(jiān)督的角度來(lái)看，我們使用on-the-fly特征匹配結(jié)果來(lái)評(píng)估每個(gè)對(duì)應(yīng)點(diǎn)的判別性，這將引導(dǎo)每個(gè)關(guān)鍵點(diǎn)的得分的梯度傳播。

如果對(duì)應(yīng)點(diǎn)在當(dāng)前描述子提取網(wǎng)絡(luò)下可以匹配，我們希望其得分更高，反之亦然。具體來(lái)說(shuō)，我們將關(guān)鍵點(diǎn)檢測(cè)器損失定義為 直觀地說(shuō)，如果，則表明該對(duì)應(yīng)點(diǎn)可以使用最近鄰搜索正確匹配，并且損失項(xiàng)將鼓勵(lì)對(duì)應(yīng)的兩點(diǎn)獲得的分?jǐn)?shù)和更高。相反，如果 ，則對(duì)應(yīng)點(diǎn)的描述子不足以使它們建立對(duì)應(yīng)關(guān)系，因此損失將鼓勵(lì)降低其得分。








審核編輯：劉清