0.這篇文章干了啥？

這篇文章提出了一種名為Test Time Training for Anomaly Segmentation (TTT4AS)的方法，用于改善工業(yè)質(zhì)量控制中的異常檢測(cè)和分割（AD&S）任務(wù)的性能。在工業(yè)質(zhì)量控制中，識(shí)別出顯示有缺陷樣本的圖像是至關(guān)重要的。作者指出，現(xiàn)有方法在生成每個(gè)像素的異常分?jǐn)?shù)方面表現(xiàn)出色，但實(shí)際應(yīng)用需要生成一個(gè)二進(jìn)制分割圖來識(shí)別異常。由于許多實(shí)際場(chǎng)景中缺乏標(biāo)記的異常樣本，標(biāo)準(zhǔn)做法是基于僅包含正常樣本的驗(yàn)證集的統(tǒng)計(jì)數(shù)據(jù)將這些地圖進(jìn)行二值化，導(dǎo)致分割性能較差。為了解決這個(gè)問題，作者提出了一種測(cè)試時(shí)訓(xùn)練策略，以提高分割性能。在測(cè)試時(shí)，可以直接從異常樣本中提取豐富的特征來訓(xùn)練一個(gè)分類器，從而有效地區(qū)分缺陷。這種方法可以適用于任何提供異常分?jǐn)?shù)地圖作為輸出的AD&S方法，即使在多模態(tài)設(shè)置中也可以。作者通過在MVTec AD和MVTec 3D-AD上進(jìn)行廣泛的實(shí)驗(yàn)和評(píng)估，證明了該方法相對(duì)于基線的有效性。

下面一起來閱讀一下這項(xiàng)工作~

1. 論文信息

論文題目：Test Time Training for Industrial Anomaly Segmentation

作者：Alex Costanzino等

作者機(jī)構(gòu)：CVLAB, Department of Computer Science and Engineering (DISI) – University of Bologna, Italy等

論文鏈接：https://arxiv.org/pdf/2404.03743.pdf

2. 摘要

異常檢測(cè)和分割（AD&S）對(duì)于工業(yè)質(zhì)量控制至關(guān)重要。雖然現(xiàn)有方法在為每個(gè)像素生成異常分?jǐn)?shù)方面表現(xiàn)出色，但實(shí)際應(yīng)用需要產(chǎn)生一個(gè)二進(jìn)制分割來識(shí)別異常。由于許多實(shí)際場(chǎng)景中缺乏標(biāo)記的異常，標(biāo)準(zhǔn)做法是基于僅包含正常樣本的驗(yàn)證集導(dǎo)出的一些統(tǒng)計(jì)數(shù)據(jù)對(duì)這些地圖進(jìn)行二值化，從而導(dǎo)致分割性能不佳。本文通過提出一種測(cè)試時(shí)間訓(xùn)練策略來解決這個(gè)問題，以改善分割性能。事實(shí)上，在測(cè)試時(shí)間，我們可以直接從異常樣本中提取豐富的特征來訓(xùn)練一個(gè)能夠有效區(qū)分缺陷的分類器。我們的一般方法可以在任何提供異常分?jǐn)?shù)地圖作為輸出的AD&S方法中下游工作，即使是在多模態(tài)設(shè)置中也可以。通過對(duì)MVTec AD和MVTec 3D-AD進(jìn)行大量實(shí)驗(yàn)和評(píng)估，我們證明了我們的方法相對(duì)于基線的有效性。

3. 效果展示

MVTec AD定性結(jié)果。我們展示了每個(gè)類別的RGB圖像，接著是地面真實(shí)情況，異常分?jǐn)?shù)，使用閾值處理的二進(jìn)制分割圖，以及使用TTT4AS對(duì)PatchCore進(jìn)行的二進(jìn)制分割圖，其中使用了WideResNet50和DINO-v2作為背景骨干。

MVTec-3DAD定性結(jié)果。我們展示了每個(gè)類別的RGB圖像、點(diǎn)云、地面真實(shí)情況，接著是異常分?jǐn)?shù)，使用閾值處理的二進(jìn)制分割圖，以及使用TTT4AS對(duì)M3DM和CMM進(jìn)行的二進(jìn)制分割圖。

4. 主要貢獻(xiàn)

首次調(diào)查AD&S中的TTT；

提出了一種新穎的方法TTT4AS，用于根據(jù)通用AD&S算法生成的異常分?jǐn)?shù)和通用預(yù)訓(xùn)練網(wǎng)絡(luò)提取的特征來完善分割地圖；

本文的方法增強(qiáng)了各種基于RGB或多模態(tài)的AD&S方法的二進(jìn)制異常分割性能。此外，我們的方法避免了選擇特定閾值來對(duì)異常分?jǐn)?shù)進(jìn)行二值化的需要。

5. 基本原理是啥？

這篇文章的基本原理是通過提出一種名為Test Time Training for Anomaly Segmentation (TTT4AS)的方法來改善工業(yè)質(zhì)量控制中的異常檢測(cè)和分割（AD&S）任務(wù)的性能。在工業(yè)質(zhì)量控制中，識(shí)別出顯示有缺陷樣本的圖像是至關(guān)重要的。而相關(guān)的常被調(diào)查的任務(wù)是異常分割（AS），即在給定異常樣本的圖像中，目標(biāo)是識(shí)別對(duì)應(yīng)于缺陷的像素。大多數(shù)現(xiàn)有方法同時(shí)解決這兩個(gè)任務(wù)（AD&S），產(chǎn)生一個(gè)包含每個(gè)圖像像素異常分?jǐn)?shù)的地圖作為輸出。然而，對(duì)于實(shí)際應(yīng)用，必須對(duì)異常分?jǐn)?shù)進(jìn)行二值化，即將每個(gè)像素分類為異常或正常。標(biāo)準(zhǔn)做法是基于僅包含正常樣本的驗(yàn)證集的一些統(tǒng)計(jì)信息將這些地圖進(jìn)行二值化，這導(dǎo)致分割性能較差。作者通過提出一種測(cè)試時(shí)訓(xùn)練策略來解決這個(gè)問題，以提高分割性能。在測(cè)試時(shí)，可以直接從異常樣本中提取豐富的特征來訓(xùn)練一個(gè)分類器，從而有效地區(qū)分缺陷。該方法可以適用于任何提供異常分?jǐn)?shù)地圖作為輸出的AD&S方法，即使在多模態(tài)設(shè)置中也可以。

?

6. 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果表明，作者的方法在工業(yè)質(zhì)量控制中的異常檢測(cè)和分割任務(wù)上取得了顯著的改進(jìn)。他們使用了不同的特征提取器和AD&S方法，在兩個(gè)數(shù)據(jù)集上進(jìn)行了評(píng)估：MVTec AD（僅RGB圖像）和MVTec 3D-AD（RGB圖像和3D數(shù)據(jù)）。

2D異常分割：在MVTec AD數(shù)據(jù)集上，作者使用PatchCore和WideResnet-50特征以及DINO-v2特征分別進(jìn)行了實(shí)驗(yàn)。結(jié)果顯示，TTT4AS方法在平均精度、召回率和F1分?jǐn)?shù)方面均優(yōu)于基線。特別是，在WideResnet-50特征下，精度提高了2.1％，召回率提高了2.7％，F(xiàn)1分?jǐn)?shù)顯著提高了15％。在DINO-v2特征下，精度提高了17.2％，召回率提高了8.5％，F(xiàn)1分?jǐn)?shù)提高了23.8％。這表明，TTT4AS方法可以有效地提高基線方法在2D異常分割任務(wù)上的性能。

多模態(tài)異常分割：作者還將TTT4AS方法應(yīng)用于多模態(tài)方法，包括M3DM和CMM，這些方法旨在結(jié)合RGB圖像和3D數(shù)據(jù)以提高異常檢測(cè)性能。結(jié)果顯示，TTT4AS方法在平均精度和平均F1分?jǐn)?shù)方面均優(yōu)于基線。雖然在M3DM上，TTT4AS方法降低了召回率，但提高了精度和F1分?jǐn)?shù)；在CMM上，精度提高了10.5％，F(xiàn)1分?jǐn)?shù)提高了10.5％。這表明，TTT4AS方法對(duì)多模態(tài)異常分割任務(wù)也是有效的。

消融實(shí)驗(yàn)：作者進(jìn)行了一些消融實(shí)驗(yàn)，驗(yàn)證了他們方法中關(guān)鍵部分的有效性。他們發(fā)現(xiàn)，選擇用于檢測(cè)峰值的百分位數(shù)并不是關(guān)鍵，性能在不同的百分位數(shù)下保持穩(wěn)定。此外，他們還發(fā)現(xiàn)，將預(yù)訓(xùn)練模型提取的特征用作SVM分類器的輸入要優(yōu)于直接使用異常分?jǐn)?shù)作為輸入。

?

?

7. 總結(jié) & 未來工作

這篇文章介紹了一種用于異常分割的新方法TTT4AS，該方法在給定AD&S算法生成的異常分?jǐn)?shù)的情況下實(shí)現(xiàn)了更好的分割效果。該方法的基本思想是在測(cè)試時(shí)針對(duì)每個(gè)輸入的異常樣本訓(xùn)練一個(gè)特定的分類器，利用從異常分?jǐn)?shù)中提取的偽標(biāo)簽作為訓(xùn)練數(shù)據(jù)。實(shí)驗(yàn)結(jié)果表明，這種方法在多個(gè)基準(zhǔn)數(shù)據(jù)集上優(yōu)于簡(jiǎn)單的基線方法，并且具有通用性，可以應(yīng)用于多種AD&S方法。然而，該方法也存在一些局限性，如在非極大值抑制中可能會(huì)錯(cuò)過一些重要的峰值，需要進(jìn)一步改進(jìn)。未來的研究可以致力于解決這些局限性，并且該方法可能為無(wú)監(jiān)督工業(yè)異常檢測(cè)領(lǐng)域的進(jìn)一步研究提供啟示。

審核編輯：黃飛

?