作者：Anju Rani, Daniel Ortiz-Arroyo等

作者機構：Department of Energy, Aalborg University

近年來，3D點云在各個領域的應用日益廣泛，尤其在計算機視覺、狀態監測、虛擬現實、機器人技術和自動駕駛方面。深度學習已經被證明是利用3D點云解決2D視覺挑戰的有效方法。然而，將深度神經網絡應用于處理3D點云也面臨著挑戰。為了解決這些挑戰，研究人員提出了許多方法。本文深入審視了最近基于深度學習的利用3D點云進行條件監測的進展，特別關注工業應用中的缺陷形狀分類和分割。認識到這些方面在工業維護中的關鍵作用，本文提供了對審查的基于深度學習的點云處理方法的優勢和局限性的深刻觀察。這種知識綜合旨在為工業系統中的條件監測過程，特別是在剩余壽命框架內的改進和理解做出貢獻。

讀者理解：

這篇文章主要討論了近年來基于深度學習的方法在處理3D點云（PCs）進行缺陷分類和分割方面的應用。文章指出了基于投影和基于體積的方法在處理3D點云時面臨的挑戰，以及稀疏卷積方法可能是一種有前途的解決方案。此外，文章還提到了基于點的網絡在處理鄰域信息和不平衡數據方面存在挑戰，需要進一步研究新技術。領域自適應和遷移學習被認為可以解決標記數據不足的問題。另外，實例分割在工業系統中缺陷檢測方面具有挑戰性和前景。文章強調了工業系統內缺陷估計的數據集匱乏問題，呼吁收集更多更好的數據集來評估和改進PC分類方法的效果。總體而言，這篇文章對當前3D點云缺陷分類和分割領域的研究現狀進行了較為全面的總結和展望。

1 引言

本文引言介紹了條件監測（CM）在確保結構物長期使用和正確維護中的重要性，并指出傳統的二維圖像在提供深度信息和相對物體位置方面存在局限性。隨著3D采集技術的發展，包括深度傳感器和3D掃描儀，可以更好地提取詳細的3D信息。利用3D數據相比傳統的2D圖像可以更好地理解對象。近年來，研究人員越來越關注利用3D掃描的對象在工業應用中進行缺陷檢測和分割。點云表示以在3D空間中保留原始幾何特征而脫穎而出，使其成為許多應用中的首選選擇。然而，將深度學習應用于3D點云數據具有獨特的挑戰。本文綜述了最新的深度學習方法應用于3D點云數據，特別強調它們在工業環境中的應用。通過解剖基本方法和最新進展，本文超越了以往，特別關注工業應用中CM要求的3D形狀分類和分割。綜述涵蓋了傳統和創新方法，揭示了處理工業環境中的3D點云數據的固有挑戰和潛在解決方案。此外，還提供了用于3D點云特征學習的現有深度學習方法的詳細總結，概述了它們各自的優點和缺點。綜述的結構安排包括討論現有數據集和評估指標、DL方法用于3D形狀分類、對現有的3D點云分割方法進行廣泛調查，以及綜合見解和未來研究方向的概述。

2 背景

背景部分介紹了3D點云應用領域中公開可訪問的數據集的重要性，這些數據集對于分析和比較各種模型至關重要。研究人員專門設計了各種數據集，包括用于3D形狀分類、3D物體檢測和3D點云分割等任務的數據集。這些數據集分為真實世界和合成數據集兩類，前者包含不同程度的遮擋和背景噪聲，而后者則提供了一個受控環境進行實驗。此外，介紹了在文獻中用于評估基于深度學習的3D點云處理任務性能的不同評估指標，包括整體精度（OA）、平均類別精度（mAcc）、平均交集聯合（mIoU）和平均平均精度（mAP）。這些指標提供了對深度學習模型在不同3D點云處理任務中表現的量化評估。選擇合適的指標取決于特定任務和所需評估性能方面的要求。

3 三維形狀分類的深度學習

在3D形狀分類的深度學習方法中，主要有兩類方法：投影方法和直接點云方法。投影方法包括多視角和體積圖像方法，利用2D圖像處理技術進行分類。直接點云方法則直接處理輸入的點云數據以生成稀疏表示。投影方法又分為Multi-View Based Methods和Volumetric-Based Methods兩種。

Multi-View Based Methods通過多視角捕獲3D形狀的投影，并從每個視角獨立提取特征，然后將這些特征融合以準確分類形狀。這種方法的代表是Multi-View CNN (MVCNN)，它從不同視角捕獲3D形狀，并通過CNN從每個視角獨立提取特征。另一種方法是Group-View CNN (GVCNN)，它在池化過程中將分組和單個視角信息結合起來，展現出與MVCNN相比更高的準確性。

Volumetric-Based Methods將3D形狀表示為3D體素網格，使用3D體素卷積，其中每個體素表示3D空間中的一個點是否被對象占據。這種方法的代表是VoxNet，它將3D點云數據與3D CNN結合起來處理。另一種方法是Octree-based CNN (O-CNN)，它通過使用一組不平衡八叉樹對3D點云數據進行分層分區，實現了對相關區域的內存分配，從而使得可以使用具有高分辨率的深度網絡。

直接點云方法將輸入的點云數據進行處理以生成稀疏表示。這些方法分為點級MLP、基于卷積的和基于圖的方法。點級MLP方法通過共享的MLP處理每個點，然后通過對稱聚合函數對局部特征進行聚合以獲得全局特征。其中的代表是PointNet和PointNet++，它們分別通過處理每個點并通過max-pooling層進行全局特征提取，或者通過引入分層結構以捕獲更細的幾何結構。

基于卷積的方法使用卷積操作處理3D點云數據。其中，PointCNN通過學習X變換和排列輸入點特征的權重來解決無序結構的問題，EdgeConv層則用于從每個點及其鄰居中提取邊緣特征。而ConvPoint引入了一個密集的加權函數來定義詳細和自適應的卷積核。

圖形方法將點云轉換為全面的圖，避免了需要體素化的問題。這些方法利用圖中點之間的復雜關系，表示點云中的每個點為圖中的一個頂點，邊連接在附近的點之間，以分析空間關系，從而創建一個包含原始點云幾何特征的圖。

4 3D PC分割的深度學習

3D點云分割任務需要對點云數據中的幾何結構和細節進行全面理解。根據對象的概念級別,點云分割可以分為三類:

語義分割(場景級):將點云中的每個點分類到預定義的類別中,實現高層次的場景理解。

實例分割(對象級):識別并區分點云中的每個對象,區分相同語義類中的不同對象實例。

部件分割(部件級):將每個對象細分為不同的部件,提供對象層次更詳細的分割。

這三種分割類別對應不同程度的抽象,從場景級上下文到對象識別和細粒度部件分割。

深度學習為點云分割提供了許多有效方法,主要包括基于投影、直接點云、基于圖卷積神經網絡等方式。其中,語義分割方法包括投影法、直接點云法等;實例分割包含基于提議和無提議兩類;部件分割面臨對象形狀和部件邊界不明確的困難。表3匯總了使用深度學習進行工業系統缺陷分割的結果。

5 總結

這篇論文全面調研和討論了近年來基于深度學習的點云分類和分割方法。引言部分概述了點云及其應用的重要性，突出了處理這種獨特數據形式所面臨的挑戰。論文全面討論了用于對象分類和分割的公開可用的3D點云數據集。綜述論文涵蓋了各種基于深度學習的方法，將其分類為基于視圖的方法、基于體積的方法和直接點云方法。論文對這些現有方法的性能進行了比較，提供了對其在工業系統中優勢和局限性的見解。最后，討論部分探討了該領域的前景和潛在研究方向，有助于全面了解基于深度學習的點云分析的進展和挑戰。點云分類和分割方法在各種實際場景中都有應用，包括室內環境、道路、鐵路、建筑等。然而，這些場景的多樣性使得確定大量點云分類方法的具體優勢存在挑戰。因此，研究人員面臨著選擇與特定場景要求相符的分類算法的任務，強調了需要適應實際條件的重要性。正如前文所述，這一挑戰進一步強調了適當數據集的稀缺性的問題。研究人員需要根據場景的特定特征選擇適當的分類算法的必要性突顯了該領域數據集短缺問題的持續性。這指向了擴大和多樣化數據集的重要性，以更好地評估和改進點云分類方法在不同實際場景中的有效性。

審核編輯：黃飛