近年來，隨著深度學習的快速發展，基于卷積神經網絡(CNN)的計算機視覺技術在工業領域得到了廣泛的應用。目前，機器視覺表面缺陷檢測是CNN在工業上最成熟的應用之一。接下來我們將介紹深度學習在表面缺陷檢測領域的概述。

01

缺陷檢測問題的定義

1.1 缺陷的定義

當前對于缺陷有兩種認知的方式，第一種是有監督的方法，也就是體現在利用標記了標簽(包括類別、矩形框或逐像素等)的缺陷圖像輸入到網絡中進行訓練. 此時"缺陷"意味著標記過的區域或者圖像。第二種是無監督的方法，就是將正常無缺陷的樣本進行學習，學習正常區域的特征，網絡檢測異常的區域。

1.2 缺陷檢測任務

缺陷檢測的任務大致分為三個階段分別是缺陷分類、缺陷定位、缺陷分割，如下圖所示，缺陷分類需要分類出缺陷的類別（異色、空洞、經線）；缺陷定位不僅需要獲取缺陷的類別還需要標注出缺陷的位置；缺陷分割將缺陷逐像素從背景中分割出來。

02

表面缺陷檢測的深度學習方法

根據缺陷檢測的三個階段其方法大致可以分為三類分別是分類網絡、檢測網絡、分割網絡。

2.1分類網絡

由于CNN強大的特征提取能力, 采用基于CNN的分類網絡目前已成為表面缺陷分類中最常用的模式一般來說,現有表面缺陷分類的網絡常常采用計算機視覺中現成的網絡結構, 包括AlexNet, VGG, GoogLeNet,ResNet, DenseNet, SENet, ShuteNet,MobileNet等。利用分類網絡結合上滑動窗口的方式可以實現缺陷的定位。

Deep learning-based crack damage detection using convolutional neural networks

檢測對象：混凝土裂縫 主要方法：最早采用基于滑動窗口的CNN分類網絡實現了裂紋表面缺陷定位, 兩種滑動窗口冗余路徑結合實現圖像全覆蓋, 如圖所示, 圖中(a)為滑動窗口路徑示意圖, 圖中(b)為裂紋定位的結果圖。

A fast and robust convolutional neural network-based defect detection model in product quality control 檢測對象：布匹缺陷 主要方法：作者使用一個多層的CNN網絡對布匹缺陷數據集中的六類缺陷樣本進行分類，分類結束之后，對于每一類樣本進行缺陷檢測。具體做法是：1.使用滑動窗口的方法在512×512的原圖上進行采樣，采樣大小為128×128；2.對上部分每一類圖像采樣后的小圖像塊進行二分類（有缺陷和無缺陷）。下圖為文章兩次分類使用的CNN網絡，兩次分類的區別在于：1.全連接層的輸入分別為6和2；2.輸入的圖像尺寸不同。

滑動窗口：

2.2 檢測網絡

目標定位是計算機視覺領域中最基本的任務之一, 同時它也是和傳統意義上缺陷檢測最接近的任務, 其目的是獲得目標精準的位置和類別信息。目前, 基于深度學習的目標檢測方法層出不窮, 一般來說, 基于深度學習的缺陷檢測網絡從結構上可以劃分為: 以Faster R-CNN為代表的兩階段(two stage)網絡和以SSD或YOLO為代表的一階段(one stage)網絡。兩者的主要差異在于兩階段網絡需要首先生成可能包含缺陷的候選框(proposal), 然后在進一步進行目標檢測。一階段網絡直接利用網絡中提取的特征來預測缺陷的位置和類別。

TDD-net: atiny defect detection networkforprinted circuit boards

檢測對象：PCB缺陷

主要方法：作者提出了一種針對PCB表面缺陷檢測網絡(TDD-Net), 該方法通過使用k均值聚類設計合理錨框大小, 其次引入多尺度金字塔網絡（FPN）到Faster RCNN中, 加強了來自底層結構信息的融合, 使得網絡適應微小的缺陷檢測。最后, 考慮到小數據集和樣本不平衡的特點, 在訓練階段采用了在線困難樣本挖掘(OHEM)技術.該方法在PCB缺陷數據集上達到了98.90%的mAP。圖 a 是沒有加入FPN的結構，通過特征可視化圖片可以看到，隨著提取特征層數的增加，電路板的特征越來越模糊，圖 b 是加入FPN結構后的可視化圖片。

An End-to-end Steel Surface Defect Detection Approach via Fusing Multiple Hierarchical Features

檢測對象：鋼表面缺陷 主要方法：基于Faster R-CNN的帶鋼表面缺陷檢測網絡, 該網絡的改進在于提出的多級特征融合網絡（MFN）將多個分層特征組合成一個特征，其可以包括缺陷的更多位置細節。基于這些多級特征，采用區域提議網絡（RPN）來生成感興趣區域（ROI）.在缺陷檢測數據集NEU-DET上, 提出的方法在采用ResNet-50的backbone下實現了82.3%的mAP。

Automatic Defect Detection of Fasteners on theCatenary Support Device Using Deep Convolutional Neural Network

檢測對象：緊固件缺陷缺陷檢測 主要方法：作者將深度卷積神經網絡(DCNNs)應用到高鐵線路緊固件缺陷檢測。結合SSD、YOLO等網絡方法構建了一個從粗到細的級聯檢測網絡。其過程如下圖所示，分成三個階段，第一階段采用SSD網絡對鋼材的懸臂節點及其緊固件進行定位，第二階段crop出緊固件的圖片輸入到YOLO網絡定位缺陷位置，第三階段一個分類器對緊固件缺陷進行分類。

2.2 分割網絡

分割網絡將表面缺陷檢測任務轉化為缺陷與正常區域的語義分割甚至實例分割問題, 它不但能精細分割出缺陷區域, 而且可以獲取缺陷的位置、類別以及相應的幾何屬性(包括長度、寬度、面積、輪廓、中心等)。按照分割功能的區別, 其大致可以分為：FCN(Fully Convolutional Networks)方法和Mask R-CNN方法兩種。

（1）FCN(Fully Convolutional Networks)方法

Automatic Metallic Surface Defect Detection and Recognition with Convolutional Neural Networks 檢測對象：金屬表面缺陷 主要方法：該方法是基于FCN網絡的改進，提出的一種能夠對缺陷進行像素級分割和分類的網絡，整個網絡可以分成兩個階段：缺陷檢測階段和缺陷分類階段。在缺陷檢測階段，作者設計了一個級聯的自動編碼器（CASAE），利用編碼器對正常區域和缺陷區域的響應不同，通過閾值分割的方式實現缺陷區域的像素級定位。然后將缺陷區域crop出來輸入到缺陷分類網絡分類缺陷的類別。整個算法的流程如下圖所示：

AE Network 全卷積網絡：

（2）Mask R-CNN方法 Mask R-CNN是目前最常用的圖像實例分割方法之一, 可以被看作是一種基于檢測和分割網絡相結合的多任務學習方法. 當多個同類型缺陷存在粘連或重疊時, 實例分割能將單個缺陷進行分離并進一步統計缺陷數目, 然而語義分割往往將多個同類型缺陷當作整體進行處理. 目前大部分文獻都是直接將Mask R-CNN框架應用于缺陷分割。Automatic defect segmentation on leather with deep learning 實現皮革表面缺陷，Road Damage Detection And Classiflcation In Smartphone Captured Images Using Mask R-CNN 實現路面缺陷分割。

03

缺陷檢測的關鍵問題

缺陷檢測的關鍵問題主要是三個方面分別是小樣本、小目標、實時性。 （1）小樣本問題，表面缺陷檢測中面臨的最關鍵的問題是小樣本問題, 在很多真實的工業場景下甚至只有幾張或幾十張缺陷圖片. 實際上, 針對于工業表面缺陷檢測中關鍵問題之一的小樣本問題, 目前有3種不同的解決方式：

數據擴增、合成與生成

網絡預訓練或遷移學習

采用無監督與半監督模型方法

（2）小目標問題，表面缺陷檢測中面臨的另一個問題是部分缺陷偏小，解決這部分問題可以通過引入特征金字塔結構，將不同階段的特征圖，都融合起來，提高多尺度檢測的準確率；最簡單的辦法是放大圖像尺寸；如果是在兩階段檢測網絡中可以使用 ROI align 替換 ROI pooling；其次，也可以使用GAN對小目標生成一個super-resolved feature疊加在原來的小目標的特征圖上，以此增強小目標特征表達。 （3）實時性問題，基于深度學習的缺陷檢測方法在工業應用中包括三個主要環節: 數據標注、模型訓練與模型推斷. 在實際工業應用中的實時性更關注模型推斷這一環節。目前大多數缺陷檢測方法都集中在分類或識別的準確性上, 而很少關注模型推斷的效率. 有不少方法用于加速模型, 例如模型權重量化和模型剪枝等。

04

總結

缺陷檢測是一個寬泛的應用領域, 具體包括缺陷分類、缺陷定位和缺陷分割等環節, 相比于傳統圖像處理方法分多個步驟和環節處理缺陷檢測任務, 基于深度學習的方法將其統一為端到端的特征提取和分類。雖然表面缺陷檢測技術已經不斷地從學術研究走向成熟的工業應用, 但是依然有一些需要解決的問題。

陶顯等.表面缺陷檢測綜述，自動化學報。

責任編輯：lq