1

概括

半監(jiān)督框架下，研究者提出了一種端到端的基于內(nèi)存的分割網(wǎng)絡(luò)（MemSeg）來(lái)檢測(cè)工業(yè)產(chǎn)品的表面缺陷。考慮到同一生產(chǎn)線產(chǎn)品的類內(nèi)差異較小，從差異和共性的角度出發(fā)，MemSeg引入了人工模擬的異常樣本和記憶樣本來(lái)輔助網(wǎng)絡(luò)的學(xué)習(xí)。在訓(xùn)練階段，MemSeg顯式學(xué)習(xí)正常和模擬異常圖像之間的潛在差異，以獲得魯棒的分類超平面。同時(shí)，受人類記憶機(jī)制的啟發(fā)，MemSeg使用內(nèi)存池來(lái)存儲(chǔ)正常樣本的一般模式。

通過(guò)比較輸入樣本與內(nèi)存池中的內(nèi)存樣本的異同，對(duì)異常區(qū)域進(jìn)行有效猜測(cè)；在推理階段，MemSeg直接以端到端的方式確定輸入圖像的異常區(qū)域。 通過(guò)實(shí)驗(yàn)驗(yàn)證，MemSeg在MVTec AD數(shù)據(jù)集上實(shí)現(xiàn)了最先進(jìn)的(SOTA)性能，圖像級(jí)和像素級(jí)的AUC得分分別為99.56%和98.84%。此外，MemSeg得益于端到端、直截了當(dāng)（straightforward）網(wǎng)絡(luò)結(jié)構(gòu)，在推理速度上也有明顯優(yōu)勢(shì)，更好地滿足工業(yè)場(chǎng)景的實(shí)時(shí)性要求。

2

背景

工業(yè)場(chǎng)景下的產(chǎn)品表面異常檢測(cè)對(duì)于工業(yè)智能的發(fā)展至關(guān)重要。 表面缺陷檢測(cè)是在圖像中定位異常區(qū)域的問(wèn)題，例如劃痕和污跡。但在實(shí)際應(yīng)用中，由于異常樣本的概率低且異常形式多樣，傳統(tǒng)監(jiān)督學(xué)習(xí)的異常檢測(cè)難度更大。因此，基于半監(jiān)督技術(shù)的表面缺陷檢測(cè)方法在實(shí)際應(yīng)用中具有更顯著的優(yōu)勢(shì)，在訓(xùn)練階段只需要正常樣本。 具體來(lái)說(shuō)，從差異的角度來(lái)看，類似于自監(jiān)督學(xué)習(xí)，MemSeg在訓(xùn)練階段引入了人工模擬的異常，使模型有意識(shí)地區(qū)分正常和非正常，而不要求模擬的異常與真實(shí)場(chǎng)景中的一致。緩解了半監(jiān)督學(xué)習(xí)只能使用正常樣本的不足，讓模型獲得了更魯棒的決策邊界。MemSeg使用正常和模擬異常圖像完成模型訓(xùn)練，直接判斷輸入圖像的異常區(qū)域，在推理階段無(wú)需任何輔助任務(wù)。下圖就顯示了在訓(xùn)練和推理階段的數(shù)據(jù)使用情況。

同時(shí)，從共性的角度，MemSeg引入了一個(gè)內(nèi)存池來(lái)記錄正常樣本的一般模式。在模型的訓(xùn)練和推理階段，比較輸入樣本和記憶池中記憶樣本的異同，為異常區(qū)域的定位提供更有效的信息。此外，為了更有效地協(xié)調(diào)來(lái)自內(nèi)存池的信息和輸入圖像，MemSeg引入了多尺度特征融合模塊和新穎的空間注意力模塊，大大提高了模型的性能。

3

新框架分析

上圖就是MemSeg整體框架圖。MemSeg基于U-Net架構(gòu)，使用預(yù)訓(xùn)練的ResNet18作為編碼器。MemSeg從差異和共性的角度出發(fā)，引入模擬異常樣本和記憶模塊，以更有方向性的方式輔助模型學(xué)習(xí)，從而以端到端的方式完成半監(jiān)督表面缺陷任務(wù)。同時(shí)，為了將記憶信息與輸入圖像的高層特征充分融合，MemSeg引入了多尺度特征融合模塊（MSFF Module）和新穎的空間注意力模塊，大大提高了模型精度異常定位。Anomaly Simulation Strategy在工業(yè)場(chǎng)景中，異常以多種形式出現(xiàn)，在進(jìn)行數(shù)據(jù)收集時(shí)不可能將其全部覆蓋，這限制了使用監(jiān)督學(xué)習(xí)方法進(jìn)行建模。然而，在半監(jiān)督框架中，僅使用正常樣本而不與非正常樣本進(jìn)行比較不足以讓模型了解什么是正常模式。 在今天分享中，受DRAEM的啟發(fā)，研究者就設(shè)計(jì)了一種更有效的策略來(lái)模擬異常樣本并在訓(xùn)練過(guò)程中引入它們以完成自監(jiān)督學(xué)習(xí)。MemSeg通過(guò)比較非正態(tài)模式來(lái)總結(jié)正態(tài)樣本的模式，以減輕半監(jiān)督學(xué)習(xí)的弊端。如下圖所示，提出的異常模擬策略主要分為三個(gè)步驟。

二維柏林噪聲P二值化后生成Mp，正常圖I二值化后生成MI，二者結(jié)合生成M，這種處理是為了讓生成的異常圖與真實(shí)異常圖相似。

利用公式做正常圖和M的融合使接近真實(shí)異常圖：

將M反轉(zhuǎn)（黑變白，白變黑），與I做元素積，與I'做元素和，生成IA。

通過(guò)上述異常模擬策略，從紋理和結(jié)構(gòu)兩個(gè)角度獲取模擬異常樣本，并且大部分異常區(qū)域都生成在目標(biāo)前景上，最大限度地提高了模擬異常樣本與真實(shí)異常樣本的相似度。

Memory Module

選N個(gè)正常圖經(jīng)ResNet作為存儲(chǔ)的信息，凍結(jié)ResNet的block1/2/3的參數(shù)保證高維特征與記憶信息統(tǒng)一，其余部分仍可訓(xùn)練。訓(xùn)練及推理階段，通過(guò)下公式比較距離：

N個(gè)存儲(chǔ)信息中，每個(gè)包括塊1/2/3生成的三張?zhí)卣鲌D，將輸入的三張?zhí)卣鲌D與N中所有的三個(gè)特征圖比較找出距離最小的N中的三張?zhí)卣鲌D。將輸入的三張?zhí)卣鲌D與和其距離最小的三張?zhí)卣鲌D連接形成CI。后經(jīng)多尺度特征融合塊，經(jīng)U-Net跳躍連接進(jìn)入解碼器。

Spatial Attention Maps

涉及到空間注意力塊，由下公式為三個(gè)特征圖增加權(quán)重，降低特征冗余：

Multi-Scale Feature Fusion Module

考慮到它是通道維度上兩種信息的串聯(lián)，并且來(lái)自編碼器的不同位置，具有不同的語(yǔ)義信息和視覺(jué)信息，因此使用通道注意力CA-Block和多尺度策略進(jìn)行特征融合。

Training Constraints（訓(xùn)練損失）

L1損失和focal損失。L1比L2保留更多邊緣信息，focal緩解樣本不平衡問(wèn)題，使模型專注于分割本身而不是樣本的情況。

4

實(shí)驗(yàn)及可視化

可視化：

審核編輯 ：李倩