1. 寫(xiě)在前面

今天筆者為大家推薦一篇最新的開(kāi)源工作SuperCluster，實(shí)現(xiàn)了大型三維點(diǎn)云的全景分割，可以在一次推理中處理包含數(shù)百萬(wàn)個(gè)點(diǎn)和數(shù)千個(gè)對(duì)象的場(chǎng)景。在僅有209k個(gè)參數(shù)的情況下，SuperCluster比SOTA方法小30多倍，訓(xùn)練速度快15倍。

下面一起來(lái)閱讀一下這項(xiàng)工作

2. 摘要

通過(guò)將該任務(wù)重新定義為可擴(kuò)展的圖聚類問(wèn)題，我們介紹了一種高效的方法用于大型三維點(diǎn)云的全景分割。該方法可以僅使用局部輔助任務(wù)進(jìn)行訓(xùn)練，從而省去了訓(xùn)練過(guò)程中資源密集型的實(shí)例匹配步驟。此外，我們的公式可以很容易地適應(yīng)超點(diǎn)范式，從而進(jìn)一步提高其效率。這使得我們的模型可以在一次推理中處理包含數(shù)百萬(wàn)個(gè)點(diǎn)和數(shù)千個(gè)對(duì)象的場(chǎng)景。我們的方法，稱為SuperCluster，在兩個(gè)室內(nèi)掃描數(shù)據(jù)集上取得了最新的全景分割性能：S3DIS Area 5為50.1 PQ ( + 7.8 )，ScanNetV2為58.7 PQ ( + 25.2 )。我們還為兩個(gè)大規(guī)模移動(dòng)建圖基準(zhǔn)：KITTI - 360和DALES設(shè)置了第一個(gè)最先進(jìn)的基準(zhǔn)。在僅有209k個(gè)參數(shù)的情況下，我們的模型比最好的競(jìng)爭(zhēng)方法小30多倍，訓(xùn)練速度快15倍。

3. 效果展示

S3DIS Area 5的大規(guī)模全景分割結(jié)果，共有9.2 M個(gè)點(diǎn)( 78M預(yù)采樣)和1863個(gè)真實(shí)"物"對(duì)象。SuperCluster可以在3.3秒內(nèi)在單塊V100 - 32GB GPU上一次推理處理如此大的掃描，并達(dá)到50.1的PQ值。

四個(gè)數(shù)據(jù)集的全景預(yù)測(cè)結(jié)果。

4. 具體原理是什么？

SuperCluster對(duì)一個(gè)包含兩個(gè)物體（椅子和沙發(fā)）的簡(jiǎn)化場(chǎng)景的操作順序：子圖( a )展示了第一階段，其中點(diǎn)云被分割成具有簡(jiǎn)單幾何形狀的連通超點(diǎn)。在子圖( b )中，預(yù)測(cè)每個(gè)超點(diǎn)的語(yǔ)義類分布。在子圖( c )中，預(yù)測(cè)每一對(duì)相鄰超點(diǎn)的對(duì)象一致性，表明它們屬于同一個(gè)對(duì)象的可能性。子圖( d )展示了一個(gè)圖聚類問(wèn)題的輸出，該問(wèn)題在對(duì)象之間的轉(zhuǎn)換處切割邊的同時(shí)，合并了具有兼容類分布和對(duì)象一致性的超點(diǎn)。由此產(chǎn)生的超點(diǎn)簇定義了全景3D分割的實(shí)例。

超點(diǎn)對(duì)象Agreement：對(duì)每一對(duì)相鄰的超點(diǎn)( s , t)計(jì)算一個(gè)對(duì)象一致性分?jǐn)?shù)。這個(gè)值是由s和t以及它們的多數(shù)對(duì)象obj ( t )和obj ( s )之間的平均重疊率定義。

5. 和其他SOTA方法的對(duì)比

S3DIS Area 5上SOTA語(yǔ)義分割方法的語(yǔ)義( SS )和全景分割結(jié)果，提供了兩個(gè)全景度量，將所有類別視為"事物" ( PS -- no "stuff")，將墻壁、天花板和地板視為"物品" ( PS )。

6. 總結(jié)

這篇文章引入了SuperCluster，一種用于大規(guī)模點(diǎn)云的三維全景分割的新方法。作者將這個(gè)任務(wù)設(shè)計(jì)為可擴(kuò)展的圖聚類問(wèn)題，繞過(guò)了當(dāng)前全景分割方法中的一些計(jì)算密集型步驟。SuperCluster在S3DIS，ScanNet，KITTI - 360和DALES在內(nèi)的多個(gè)基準(zhǔn)測(cè)試集上達(dá)到了最先進(jìn)的性能，同時(shí)顯著地更小，可擴(kuò)展，更容易訓(xùn)練。

審核編輯：黃飛