來自密歇根大學等機構的研究者提出了一個新穎且全面的數據集 ModelNet40-C ，以系統地測試以及進一步提高點云識別模型對于失真的穩健性。

3D 點云廣泛應用于 3D 識別技術中。一些特別的應用領域往往對 3D 點云識別的安全性有更高的要求，如自動駕駛、醫療圖像處理等。學界目前對點云安全性的研究集中在對抗攻擊的穩健性。與對抗性攻擊相比, 自然的失真和擾動在現實世界中更為常見。然而目前還沒有關于 3D 點云針對失真的穩健性的系統性研究。

論文地址: https://arxiv.org/abs/2201.12296

項目主頁: https://sites.google.com/umich.edu/modelnet40c

開源 Github: https://github.com/jiachens/ModelNet40-C

近日，來自密歇根大學等機構的研究者提出了一個新穎且全面的數據集 ModelNet40-C ，以系統地測試以及進一步提高點云識別模型對于失真的穩健性。ModelNet40-C 包含 185000 個點云數據，它們來自 15 種不同的點云失真類型，且每個類型有 5 種不同的嚴重程度。這些點云失真分為 3 大類：密度 (density) 失真、噪音 (noise) 失真、以及變換 (transformation) 失真。 實驗表明，目前具有代表性的 3D 點云識別模型（比如：PointNet、PointNet++、DGCNN 以及 PCT）在 ModelNet40-C 上的錯誤率比在原本 ModelNet40 數據集上的錯誤率高出超過 3 倍，如下圖 1 所示。這證明了點云深度模型框架仍然非常容易受到常見失真的影響。

圖 1. 深度點云識別代表性模型在 ModelNet40 和 ModelNet40-C 數據集上的錯誤率。 根據這一發現，該研究進一步做了大量的測試去探索不同模型架構，數據增強，以及自適應方法對于失真穩健性的影響。研究者根據實驗結果總結了多個發現來幫助 3D 點云識別技術的開發者們設計更穩健的模型以及訓練方案。例如，研究者發現基于 Transformer 的點云識別架構在提高模型對于失真的穩健性有很大的優勢；不同類型的數據增強策略對各種類型的失真有不同的優勢；測試時自適應方法對一些很嚴重的失真有很好的穩健性，等等。 ModelNet40-C 數據集構建

圖 2. ModelNet40-C 數據集失真類型圖示。 失真穩健性在 2D 圖像上已經得到廣泛關注，其中 CIFAR-C 和 ImageNet-C 通過模擬不同天氣，噪聲，以及模糊來構建失真數據集。然而該研究的研究者發現 3D 點云的失真與 2D 圖像有根本的不同，原因在于點云數據結構更加靈活且不規則，例如，一個點云內點的數量是可以改變的，同時 3D 點云位置的改變也很容易影響語義信息。研究者提出 3 點構建 ModelNet40-C 的原則：1) 語義不變性、2) 失真切實性、3) 失真多樣性來保證數據集的質量。 ModelNet40-C 的失真分為密度 (density) 失真，噪音 (noise) 失真，以及變換 (transformation) 失真三類。 密度失真包括 “遮擋”，“激光雷達 (LiDAR)”，“局部密度上升”，“局部密度下降”，以及“局部缺失” 5 種，它們模擬了現實中不同傳感器生成點云密度的不同特征，例如，“遮擋” 模擬了傳感器在掃描 3D 物體時受角度限制只能生成一部分點云。 噪音失真包括 “均勻分布”，“高斯分布”，“脈沖”，“上采樣”，以及“背景” 噪音，他們模擬現實中傳感器生成時以及程序預處理過程中不可避免的數字噪聲與誤差。 變換失真包括“旋轉”，“錯切”，“自由形變”，“徑向基形變”，以及“反徑向基形變”，前兩種模擬了在處理點云數據時非對準狀態以及動態采集數據時的失真，后三種則代表了 AR/VR 游戲以及生成模型 (GAN) 產出的點云失真。

圖 3. 在 ModelNet40-C 上 6 個模型的平均混淆矩陣。 研究者闡述了這些失真是點云應用中非常常見的，并且保證了生成的數據集仍然保持了原有的語義，如圖 2 所示。圖 3 展示了在 ModelNet40-C 上 6 個模型的平均混淆矩陣，對角線上的比重依然很高，這同樣交叉驗證了 ModelNet40-C 的語義不變性。 ModelNet40-C 上基準測試 (Benchmarking) 結果與分析 在構建 ModelNet40-C 之后，該研究進行了大批量的基準測試，包含不同模型架構設計，不同數據增強方法，以及不同自適應方法的實驗設置。 不同失真以及模型架構設計對比

表 1. 在標準訓練下不同模型在 ModelNet40-C 上的錯誤率。 如表 1 所示，該研究在 PointNet, PointNet++, DGCNN, RSCNN, PCT, 以及 SimpleView 六個模型上進行了基準測試。研究者總結了一些發現: 1) “遮擋”和 “激光雷達” 給點云識別模型造成了極高的錯誤率。2) 小角度的 “旋轉” 仍然會很大程度影響點云識別性能。3) “背景”和 “脈沖” 噪聲給大部分模型帶來了意想不到的挑戰。 研究者進而這些發現也可以反映到模型設計上。1) PointNet 對密度失真較為穩健，但是整體上缺表現不佳。這是因為 PointNet 只編碼全局特征而沒有局部特征，這種特性一直以來被認為是 PointNet 的主要缺點。但是密度失真是局部特征損失，這反而對 PointNet 的影響有限，但是這種機制確實導致 PointNet 對其他的失真類型非常敏感。研究者建議今后對 PointNet 的使用應該考慮應用場景。 2) 球查詢 (ball query) 的聚類方法對 “背景” 和“脈沖”噪聲更加穩健。這是因為球聚類相對于 kNN 聚類限定了最大聚類半徑，這樣的設計有助于幫助模型去除相差很遠的異常值的影響。 3) 基于 Transformer 的點云識別模型對變換失真更加穩健，這是因為自注意力 (self-attention) 機制能夠使得模型能夠學習到更穩健以及全面的全局特征，而且 Transformer 架構也實現了更大的模型容量，使得其對于全局的形變失真更穩健。 不同數據增強方法對比

表 2. 在標準訓練下不同模型在 ModelNet40-C 上的錯誤率。 如表 2 所示，該研究采用 PointCutMix-R, PointCutMix-K, PointMixup, RSMix, 以及對抗訓練 (Adversarial Training) 作為 5 種數據增強的訓練方式。研究者發現: 1) 這些數據增強的方案雖然對于干凈數據集上對模型性能的提升有限，但是都顯而易見地提高了模型在點云失真場景下的穩健性。2) 沒有一種數據增強方案可以主宰所有的失真類型。 PointCutMix-R 對于噪音失真的穩健性很好因為它隨機采樣兩個不同類別的點云并直接合成，所以生成的點云是兩個已有點云降采樣的“重疊”，以至于每個降采樣的點云對于另一半來說都相當于噪音失真。所以這樣的數據增強模式可以極大地提高噪音失真的穩健性。 PointMixup 對變換失真的表現較好因為 PointMixup 是對兩個不同類別的點云做最小距離配對并“插值” 采樣，所以生成的點云的形狀介于兩種種類之間，這種于變換失真中的整體形變接近，所以其對變換失真更為穩健。 RSMix 則對密度失真穩健，雖然 RSMix 整體思路與 PointCutMix 接近，但其嚴格規定剛性合成，即兩個不同類別的點云采樣過后在 3D 空間仍然是獨立的，沒有“疊加”。這樣的合成相當于兩個獨立的局部缺失的點云，所以其對密度失真的穩健性較好。 不同自適應方法對比

表 3. 在標準訓練下不同模型在 ModelNet40-C 上的錯誤率。 該研究首次將測試時自適應方法應用到點云識別的任務中來。研究者采用 BN 和 TENT 方法去更新模型的批標準化層 (BatchNorm Layer)的參數，他們發現: 1) 測試時自適應方法可以穩定地提升模型的穩健性，但總體上并沒有數據增強的效果好；2) 測試自適應方法對一些困難的失真類型效果出乎意料的好。 例如，平均而言，TENT 有助于在“遮擋” (錯誤率 = 47.6%)，“激光雷達 (錯誤率 = 54.1%)， 和“旋轉” (錯誤率 = 19.8%) 失真類型下實現最強的穩健性，分別比最佳數據增強方法高出 6.7%，1.9%，和 7.9%。這證明了自適應方法在提高點云識別失真穩健性的巨大潛力。 研究者最終將數據增強中整體表現最好的 PointCutMix-R 與自適應方法 TENT 結合，發現基于 Transformer 架構的 PCT 模型達到了目前最好的整體失真穩健性 (錯誤率 = 13.9%)。這一發現同時驗證了 Transformer 在模型穩健性的成功，與之前的研究(Bai, Yutong, et al. ,2021)在 Transformer 對 2D 圖像的結論基本吻合。 總結 該研究提出了一個新穎并且全面的 3D 點云識別穩健性分析數據集 ModelNet40-C。研究者提出并構建了了 75 種不同的失真類型和程度來模擬真實場景中由于物理限制、傳感器準確度限制、以及處理過程中造成的點云失真和損壞。ModelNet40-C 包含 185000 個不同的點云數據。 實驗表明，目前代表性的模型在 ModelNet40-C 上的錯誤率比在原本 ModelNet40 數據集上的錯誤率高出~ 3 倍。該研究通過大量的基準測試展現了不同模型架構，不同數據增強策略，以及自適應方法在 ModelNet40-C 上的性能并總結了有用的發現來幫助 3D 點云社區設計更穩健的識別模型。我們期待著 ModelNet40-C 數據集能加速今后更多的點云識別穩健性的研究！

審核編輯 ：李倩