點云配準任務中的點特征與一般點特征的區別在哪里？
0.筆者個人體會：這個工作來自于華中科技大學，發表于ICCV 2021。這個工作聚焦于點云的點特征表示學習，但是，與一般的點特征學習方法并不一樣。我們知道，基于深度學習的三維點云處理已經在近年來得到了廣發關注，從先驅性的工作例如PointNet到近期的Point Transformer等。這些工作都能有效的學習點特征表示。但是，這些方法學習點特征都是基于輸入的某一個點云而言的，所有的操作也都集中在一個點云上，并且追求特征的描述性，力求能準確表示三維點云的局部幾何結構。但是，這篇論文針對點云配準工作提出了另一種點云設計方式。我們知道配準的目的是求解輸入的點云對之間的相對變換以使它們最好的對齊，在這個過程中，聚焦于用學到的點特征表示構造可靠的匹配對。為此，對于點特征的魯棒性需求也很重要。為了實現這個目的，本工作提出從輸入的兩個點云出發，利用這兩個點云之間的交互進一步調整點特征學習，使得到的點特征表示源于同時感知到當前點云和另一個需要配對的點云，從而追求正確的匹配點的可匹配性的提升。也就是說這是一個針對特定任務而設計的點特征學習方法，或許此方法學到的點特征難以應用到其他任務，例如分類、分割等，但對于匹配、配準而言應該更加適用。1、論文相關內容介紹：論文標題：? ?Feature Interactive Representation for Point Cloud Registration作者列表：? ? ?Bingli Wu, Jie Ma, Gaojie Chen, Pei An摘要：點云配準是使用兩個點云中的共同結構將它們拼接在一起。為了找出這些共同的結構并使這些結構更準確地匹配，源點云和目標點云的交互信息是必不可少的。然而，當前對顯式建模這種特征交互的關注有限。為此，我們提出了一個特征交互表示學習網絡，它可以從不同層次探索源點云和目標點云之間的特征交互。具體來說，我們首先介紹了一種基于點云內特征交互的組合特征編碼器（CFE）。CFE提取每個點云內的交互特征并將它們組合起來以增強網絡描述局部幾何結構的能力。然后，我們提出了一種點云間的特征交互機制，它包括一個局部交互單元（LIU）和一個全局交互單元（GIU）。前者用于跨兩個點云的點對之間的信息交互，從而使一個點云中的點特征與另一個點云中的相似點特征能夠相互感知。后者用于根據兩個點云的全局交互信息調整每個點特征，因此一個點云具有對另一個點云的全局感知。對部分重疊點云配準的大量實驗表明，我們的方法實現了最先進的性能。主要貢獻：1）我們提出了一種組合特征編碼器來提取局部區域的交互特征，其通過結合不同層的特征，增強網絡提取局部幾何和語義信息的能力。2）我們設計了一種新穎的點云間特征交互機制，使每個點云都具有另一個點云的上下文感知，從而為后續模塊提供更具辨別力的特征3）我們的端到端 FIRE-Net在多種實驗設置下于 ModelNet40 基準數據集上實現了最先進的性能，從而證明了其有效性和泛化能力。方法介紹：給定輸入點云
，
，我們的目標是求解旋轉矩陣
和平移向量
以實現輸入點云最好的對齊。Fig1展示了我們的FIRE-Net的整體流程。簡要地說，我們的網絡的輸入包括源和目標原始點云。組合特征編碼器（CFE）首先提取源和目標的初始特征，將所有點編碼到一個公共特征空間中。然后，設計了一個局部交互單元（LIU）和一個全局交互單元（GIU）來建模點云間的特征交互。最終的交互特征被送到關鍵點層以選擇兩個點云中的公共結構。最后，我們使用剛性變換計算模塊以迭代的方式來獲得可靠的對應關系和計算剛性變換。每個模塊的詳細信息將在以下部分進行說明。
，我們的目標是求解旋轉矩陣和平移向量以實現輸入點云最好的對齊。Fig1展示了我們的FIRE-Net的整體流程。簡要地說，我們的網絡的輸入包括源和目標原始點云。組合特征編碼器（CFE）首先提取源和目標的初始特征，將所有點編碼到一個公共特征空間中。然后，設計了一個局部交互單元（LIU）和一個全局交互單元（GIU）來建模點云間的特征交互。最終的交互特征被送到關鍵點層以選擇兩個點云中的公共結構。最后，我們使用剛性變換計算模塊以迭代的方式來獲得可靠的對應關系和計算剛性變換。每個模塊的詳細信息將在以下部分進行說明。
Fig1：(a)FIRE-Net的整體框架，(b)局部特征交互單元，(c)全局特征交互單元。一、組合特征編碼：CFE的主要目標是描述源點云和目標點云的局部結構。同時，作為我們特征交互模型的第一級，CFE 實現了點云內的特征交互。我們的 CFE 是一個基于 GNN 的網絡，可以通過在3D坐標空間中構建固定圖并應用串聯連接多層來分層的輸出來提取點的多級交互特征，其過程如圖2所示。
Fig2.組合特征編碼坐標空間中的局部圖：為了表示給定點云的局部幾何結構，我們將每個點作為一個中心節點，分別構造一個kNN圖。
其中
是用于中心點及其近鄰點的相對特征的共享MLP。A是最大池化。σ是線性層。初始特征：為了增強模塊捕獲幾何和語義信息的能力，我們通過串接每個傳播層的輸出向量來合并低階和高階交互特征。最后，我們在串接的向量上應用共享 MLP以獲得初始特征
和
。這個過程可以表述為：
是用于中心點及其近鄰點的相對特征的共享MLP。A是最大池化。σ是線性層。初始特征：為了增強模塊捕獲幾何和語義信息的能力，我們通過串接每個傳播層的輸出向量來合并低階和高階交互特征。最后，我們在串接的向量上應用共享 MLP以獲得初始特征和 。這個過程可以表述為：
其中
是一個共享的 MLP。
表示
層中的特征,L表示傳播層數。二、點云間的特征交互該模塊旨在對點云交互進行建模，它由兩個串行單元組成：LIU學習局部交互函數以獲得局部交互特征
。然后，GIU學習一個全局交互函數
得到全局特征交互
是一個共享的 MLP。表示層中的特征,L表示傳播層數。二、點云間的特征交互該模塊旨在對點云交互進行建模，它由兩個串行單元組成：LIU學習局部交互函數以獲得局部交互特征。然后，GIU學習一個全局交互函數得到全局特征交互
。請注意，我們將
和作為殘差項，為可學習尺度參數和β和原始特征提供附加變化，即，
和作為殘差項，為可學習尺度參數和β和原始特征提供附加變化，即，
其中
和
是 LIU之后更新的特征、
和
是GIU之后更新的特征。1.局部特征交互單元：在CFE編碼了輸入點云到一個共同的特征空間的前提下，點云間的局部交互可以通過在特征空間上應用GNN 來實現。特征空間的局部圖：在公共特征空間中，我們有M個源點云特征和N個目標點云特征。我們首先構造一個混合特征集
，然后將其中的每個特征
作為中心節點并應用KNN 構造局部圖
，從而得到混合圖
和是 LIU之后更新的特征、和 是GIU之后更新的特征。1.局部特征交互單元：在CFE編碼了輸入點云到一個共同的特征空間的前提下，點云間的局部交互可以通過在特征空間上應用GNN 來實現。特征空間的局部圖：在公共特征空間中，我們有M個源點云特征和N個目標點云特征。我們首先構造一個混合特征集，然后將其中的每個特征作為中心節點并應用KNN 構造局部圖，從而得到混合圖
。構建局部圖有兩種策略：(1) 如圖 3左側所示，無論鄰居特征屬于
還是
，我們都連接中心節點與其鄰居節點之間的所有邊。(2) 如圖3右側所示，邊只在屬于不同點云的節點之間構建。在局部圖中，我們將邊視為兩個節點間的關系，例如表示從
到的關系。因此在圖3中，類型 1 對特征空間中的關系進行了更全面的建模，而類型 2 比類型 1 更清楚地將消息從另一個點云傳遞到中心節點。
有兩種策略：(1) 如圖 3左側所示，無論鄰居特征屬于還是，我們都連接中心節點與其鄰居節點之間的所有邊。(2) 如圖3右側所示，邊只在屬于不同點云的節點之間構建。在局部圖中，我們將邊視為兩個節點間的關系，例如表示從到的關系。因此在圖3中，類型 1 對特征空間中的關系進行了更全面的建模，而類型 2 比類型 1 更清楚地將消息從另一個點云傳遞到中心節點。
Fig3.特征空間的局部圖結構節點關系挖掘：通過上面定義的局部圖，可以通過節點特征及其鄰居點特征的邊來挖掘節點關系，例如，使用
獲得關系向量
。為了找到更有效的關系函數，我們研究了三種不同形式的關系函數。
獲得關系向量。為了找到更有效的關系函數，我們研究了三種不同形式的關系函數。
其中
表示中心點特征， 
是其相鄰特征之一。
是線性層。我們通過聚合關聯向量來更新中心的特征，即：
表示中心點特征， 是其相鄰特征之一。是線性層。我們通過聚合關聯向量來更新中心的特征，即：
其中A是聚合函數，例如最大池化。
Fig4.局部特征交互單元的流程細節局部交互特征：更一般地，我們重復上述操作幾次，得到一個高級關聯表示
及其相應的聚合輸出特征
。請注意，局部圖將隨著節點特征更新而動態重新計算，如圖4所示。這是與在固定輸入圖上工作的CFE的重要區別。最后，我們在聚合輸出特征上應用非線性層來得到調整后的特征
，即局部交互特征。這個過程可以描述為：
及其相應的聚合輸出特征。請注意，局部圖將隨著節點特征更新而動態重新計算，如圖4所示。這是與在固定輸入圖上工作的CFE的重要區別。最后，我們在聚合輸出特征上應用非線性層來得到調整后的特征，即局部交互特征。這個過程可以描述為：
通過LIU，每個點的特征具有局部鄰域的特點。在LIU之后，源和目標的特征更新為
和
，然后后面緊接GIU。2.全局特征交互單元：為了共享全局信息并全面學習源和目標之間的交互，我們設計了一個 GIU。所提出的GIU獲得源和目標全局特征的交叉矩陣，然后通過將交叉矩陣投影到它們的潛在表示空間來更新點特征。全局信息聚合：我們首先聚合
和
以獲得全局特征。此聚合操作串聯池化后的特征，然后使用共享的 MLP對其進行進一步調整，其過程可以表示如下：
和，然后后面緊接GIU。2.全局特征交互單元：為了共享全局信息并全面學習源和目標之間的交互，我們設計了一個 GIU。所提出的GIU獲得源和目標全局特征的交叉矩陣，然后通過將交叉矩陣投影到它們的潛在表示空間來更新點特征。全局信息聚合：我們首先聚合和以獲得全局特征。此聚合操作串聯池化后的特征，然后使用共享的 MLP對其進行進一步調整，其過程可以表示如下：
其中
是共享的MLP操作。全局信息交叉：對于源點云全局特征
是共享的MLP操作。全局信息交叉：對于源點云全局特征
和目標點云全局特征
,我們構建
成對交互：
成對交互：
其中
是交叉特征矩陣，d是特征的維數。通過交叉操作，每個可能的特征交互在交叉特征矩陣中明確建模。全局交互特征：為了將交叉矩陣中包含的信息投影到每個點特征中，我們將源點云特征乘以交叉矩陣，同時目標點云特征乘以轉置交叉矩陣
。這個過程由下式表示，最終得到了源點云全局交互特征
和目標點云全局交互特征 
。
是交叉特征矩陣，d是特征的維數。通過交叉操作，每個可能的特征交互在交叉特征矩陣中明確建模。全局交互特征：為了將交叉矩陣中包含的信息投影到每個點特征中，我們將源點云特征乘以交叉矩陣，同時目標點云特征乘以轉置交叉矩陣。這個過程由下式表示，最終得到了源點云全局交互特征和目標點云全局交互特征 。
通過 GIU，源點云和目標點云可以交互全局上下文信息。即源點云的特征不僅集成了源點云全局信息，還集成了目標點云全局信息，反之亦然。GIU之后，特征被更新為
和
。三、關鍵點層給定最終的交互特征，我們通過一個簡單高效的關鍵點層來選擇源點云和目標點云公共的興趣點。我們的關鍵點層可以表示如下：
和。三、關鍵點層給定最終的交互特征，我們通過一個簡單高效的關鍵點層來選擇源點云和目標點云公共的興趣點。我們的關鍵點層可以表示如下：
其中是共享的MLP，
輸出每個點的顯著性分數。這里，
提取給定輸入的K個最大元素的索引。
是從原始點云中選擇的關鍵點集。
和
表示相應的關鍵點特征集。四、剛性變換計算給定點對的坐標和特征，剛性變換計算模塊采用IDAM中的相似矩陣卷積 (SMC) 來回歸每個點對的相似性得分。不同之處在于IDAM將點對的特征串聯起來作為 SMC輸入的一部分，而我們的模型使用點對的特征差異。最后，SMC獲得的對應關系被傳遞到SVD層以計算剛性變換。
輸出每個點的顯著性分數。這里，提取給定輸入的K個最大元素的索引。是從原始點云中選擇的關鍵點集。和表示相應的關鍵點特征集。四、剛性變換計算給定點對的坐標和特征，剛性變換計算模塊采用IDAM中的相似矩陣卷積 (SMC) 來回歸每個點對的相似性得分。不同之處在于IDAM將點對的特征串聯起來作為 SMC輸入的一部分，而我們的模型使用點對的特征差異。最后，SMC獲得的對應關系被傳遞到SVD層以計算剛性變換。
審核編輯 ：李倩
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
編碼器
+關注
關注
45文章
3781瀏覽量
137376 -
建模
+關注
關注
1文章
316瀏覽量
61471 -
點云
+關注
關注
0文章
58瀏覽量
3934
原文標題：點云配準任務中的點特征與一般點特征的區別在哪里？
文章出處：【微信號：3D視覺工坊，微信公眾號：3D視覺工坊】歡迎添加關注！文章轉載請注明出處。
發布評論請先 登錄
相關推薦
熱點推薦
自動駕駛中常提的“點云”是個啥？
[首發于智駕最前沿微信公眾號]在自動駕駛系統中，點云技術作為三維空間感知的核心手段，為車輛提供了精確的距離和形狀信息，從而實現目標檢測、環境建模、定位與地圖構建等關鍵功能。那所謂的“點
一種基于點、線和消失點特征的單目SLAM系統設計
本文提出了一種穩健的單目視覺SLAM系統，該系統同時利用點、線和消失點特征來進行精確的相機位姿估計和地圖構建，有效解決了傳統基于點特征的SL
mark點定位的一般原理與步驟
點的位置。一般將 Mark 點放置在 PCB 的邊緣或者角落等相對穩定的區域。這樣可以減少在后續工序中受到其他元器件或操作影響的可能性。同時，要考慮 PCB 在制造設備和檢測設備
SN74ALVC164245與SNALVC164245-EP區別在哪里呢？
SN74ALVC164245與它的增強型器件SNALVC164245-EP區別在哪里呢？我對比了數據手冊發現兩種產品在電氣性能上并沒有什么差別，這個“增強”體現在哪里？
發表于 12-12 08:31
Kaggle知識點：使用大模型進行特征篩選
方法依賴于數據集中的樣本點進行統計推斷，而基于文本的方法需要描述性的上下文以更好地在特征和目標變量之間建立語義關聯。這種方法利用了大型語言模型（LLMs）中豐富的語
風電變流器是變頻器嗎 風電變流器和變頻器的區別在哪里
變流器也有幾率對頻率進行更改。下面一起來了解一下風電變流器和變頻器的區別在哪里吧。 一、風電變流器是變頻器嗎 風電變流器是應用于風力發電機組中
PGA2311P和PGA2311PA主要區別體現在哪里？一般情況運用下能通用嗎？
PGA2311P和PGA2311PA主要區別體現在哪里，一般情況運用下能通用嗎，感謝！！！
發表于 10-31 07:13
使用語義線索增強局部特征匹配
視覺匹配是關鍵計算機視覺任務中的關鍵步驟，包括攝像機定位、圖像配準和運動結構。目前最有效的匹配關鍵點的技術包括使用經過學習的稀疏或密集匹配器
請問一下LM4951A與LM4951的區別在哪里？
請問一下LM4951A與LM4951的區別在哪里？
我們有將LM4951替換LM4951A后，產品出現POP和CLICK音的問題。
LM4951的原理圖見附件。
發表于 10-18 06:27
LM3886尾綴T和TF之間主要區別在哪里？
LM3886尾綴T和TF之間主要區別在哪里？
我一直用LM3886TF，但最近缺貨改用LM3886T替代，但是發現LM3886T工作相對要熱一些
發表于 10-09 08:30
變壓器中性點接地方式的安排一般如何考慮
變壓器中性點接地方式的安排是一個復雜而關鍵的過程，需要考慮多個因素以確保電力系統的安全、穩定和高效運行。以下是對變壓器中性點接地方式安排的一般考慮：
WXZ196微機消諧裝置的特征具體體現在哪里
WXZ196微機消諧裝置的特征具體體現在哪里？微機消諧裝置(全稱：微機電力諧振診斷消除裝置)是放在放在PT的二次側(所以也叫二次消諧)消除鐵磁諧振的儀器。它與一次消諧器的區別在于微機消
怎么判斷電容三點式和電感三點式
在電子電路中，電容三點式和電感三點式振蕩電路是兩種常見的振蕩電路類型，它們的主要區別在于反饋元件（電容或電感）與晶體管三個極（基極、發射極、集電極）的連接方式。
工商網監
評論