到目前為止，業(yè)內(nèi)對(duì)于對(duì)抗樣本的流行觀點(diǎn)是，其源于模型的“怪癖”，一旦訓(xùn)練算法和數(shù)據(jù)收集方面取得足夠的進(jìn)展，那么它們終將消失。其他常見觀點(diǎn)還包括，對(duì)抗樣本要么是輸入空間高維度的結(jié)果之一，要么是因?yàn)橛邢迾颖粳F(xiàn)象（finite-samplephenomena）。

而近日，來自MIT的幾位研究員剛剛完成了一個(gè)最近的研究，它提供了一種對(duì)抗樣本產(chǎn)生原因的新視角，并且，很有文學(xué)素養(yǎng)的研究員們嘗試通過一個(gè)精妙的故事把這個(gè)研究講個(gè)大家聽。

一起來聽聽這個(gè)關(guān)于對(duì)抗樣本的小故事。

一顆名為Erm的星球

故事始于Erm，這是顆遙遠(yuǎn)的星球，居住著一群被稱為Nets(網(wǎng))的古老外星人種。

Nets是一個(gè)神奇的物種;每個(gè)人在社會(huì)等級(jí)中的位置，取決于將奇怪的32×32像素圖像（對(duì)Nets族來說毫無意義）分類為十個(gè)完全任意類別的能力。

這些圖像來自于一個(gè)絕密數(shù)據(jù)集See-Far，除了看這些神奇的像素化圖像以外，Nets的生活可以說完全是瞎的。

慢慢的，隨著Nets越來越老，越來越聰明，他們開始在See-Far中發(fā)現(xiàn)越來越多的信號(hào)模式。他們發(fā)現(xiàn)的每個(gè)新模式都能幫他們更準(zhǔn)確地對(duì)數(shù)據(jù)集進(jìn)行分類。由于提高分類準(zhǔn)確度的巨大社會(huì)價(jià)值，于是外星人們給最具預(yù)測(cè)性的圖像模式都起了名，比如下圖：

TOOGIT，一個(gè)高度指示“1”的圖像，Nets們對(duì)TOOGIT異常敏感。

最強(qiáng)大的外星人非常善于發(fā)現(xiàn)這些模式，因此對(duì)這些模式在See-Far圖像中的出現(xiàn)也很敏感。

不知何故（也許正在尋找See-Far分類提示），一些外星人獲得了人類編寫的機(jī)器學(xué)習(xí)論文，特別是其中一張圖吸引住了外星人的眼球：

一個(gè)對(duì)抗樣本？

這張圖還是比較簡單的，他們想：左邊是“2”，然后中間有個(gè)GAB圖案，大家都知道它表示“4”。于是不出意料的話，左邊的圖像上加上一個(gè)GAB產(chǎn)生一張新圖像，這張圖（對(duì)Nets來說）看起來和對(duì)應(yīng)于“4”類別的圖像完全相同。

但是Nets們無法理解為什么明明原始和最終圖像完全不同，但根據(jù)論文的話它們應(yīng)該是相同分類。帶著疑惑，Nets們把論文看了個(gè)遍，想知道人類到底是忘了什么其他有用的模式......

我們從Erm中學(xué)到什么

正如故事中名字所暗示的，這個(gè)故事不僅僅是講外星人和其神奇的社會(huì)結(jié)構(gòu)：Nets的發(fā)展方式正是要讓我們聯(lián)想到機(jī)器學(xué)習(xí)模型是如何訓(xùn)練的。特別是其中，我們盡量地提高準(zhǔn)確率，但卻沒有加入關(guān)于分類所在物理世界或其他人類相關(guān)概念的背景知識(shí)。故事的結(jié)果是，外星人意識(shí)到人類認(rèn)為無意義的對(duì)抗性擾動(dòng)，實(shí)際上是對(duì)See-Far分類至關(guān)重要的模式。因此，Nets的故事應(yīng)該讓我們思考：

對(duì)抗性樣本真的是不自然且無意義的嗎？

一個(gè)簡單的實(shí)驗(yàn)

要搞明白這個(gè)問題，我們首先來進(jìn)行一個(gè)簡單的實(shí)驗(yàn)：

先從標(biāo)準(zhǔn)數(shù)據(jù)集（例如CIFAR10）的訓(xùn)練集中的一張圖片開始：

我們通過合成有針對(duì)性的對(duì)抗樣本（在一個(gè)標(biāo)準(zhǔn)預(yù)訓(xùn)練模型上），將每個(gè)（x，y）樣本目標(biāo)改到下一個(gè)類“y+1”（如果y是最后一個(gè)類，則為0）：

于是通過這樣改變樣本目標(biāo)就構(gòu)建出了一個(gè)新訓(xùn)練集：

現(xiàn)在，由此產(chǎn)生的訓(xùn)練集只是對(duì)原始數(shù)據(jù)集輕微擾動(dòng)得來，標(biāo)簽也改變了——但對(duì)于人來說它的標(biāo)簽完全都是錯(cuò)的。實(shí)際上，這種錯(cuò)誤標(biāo)簽和“置換”假設(shè)一致（即每只狗被標(biāo)記為貓，每只貓被標(biāo)記為鳥這樣）。

接著，我們?cè)谶@個(gè)錯(cuò)誤標(biāo)記的數(shù)據(jù)集上訓(xùn)練一個(gè)新分類器（不一定與第一個(gè)具有相同結(jié)構(gòu)）。那么該分類器在原始（未改變的）測(cè)試集（即標(biāo)準(zhǔn)CIFAR-10測(cè)試集）上表現(xiàn)會(huì)怎么樣呢？

讓人驚訝的是，結(jié)果發(fā)現(xiàn)新分類器在測(cè)試集上有著還算不錯(cuò)的精度（CIFAR上為44％）！盡管訓(xùn)練輸入僅通過輕微擾動(dòng)與其“真”標(biāo)簽相關(guān)聯(lián)，而通過所有可見特征與一個(gè)不同的標(biāo)簽（現(xiàn)在是不正確的）相關(guān)。

這是為什么呢？

我們的對(duì)抗樣本概念模型

在剛剛描述的實(shí)驗(yàn)中，我們將標(biāo)準(zhǔn)模型的對(duì)抗擾動(dòng)作為目標(biāo)類預(yù)測(cè)模式而獲得一些泛化性。也就是說，僅訓(xùn)練集中的對(duì)抗性擾動(dòng)就能對(duì)測(cè)試集進(jìn)行適度準(zhǔn)確的預(yù)測(cè)。有鑒于此，人們可能會(huì)想：也許這些模式與人類用來分類圖像的模式（例如耳朵，胡須，鼻子）并無本質(zhì)區(qū)別！這正是我們的假設(shè)：很多輸入特征都能用來預(yù)測(cè)標(biāo)簽，但其中只有一些特征是人類可察覺的。

更準(zhǔn)確說，我們認(rèn)為數(shù)據(jù)的預(yù)測(cè)特征可分為穩(wěn)健和不穩(wěn)健特征。穩(wěn)健特征對(duì)應(yīng)于能預(yù)測(cè)真實(shí)標(biāo)簽的模式，即使在一些人類定義的擾動(dòng)集（比如?2ball）下的對(duì)抗性擾動(dòng)。相反，非穩(wěn)健特征對(duì)應(yīng)于預(yù)測(cè)時(shí)可以被預(yù)先設(shè)定的擾動(dòng)集對(duì)抗“翻轉(zhuǎn)”過來以指示錯(cuò)誤類別的特征。

因?yàn)槲覀兪冀K只考慮不影響人類分類的擾動(dòng)集，于是希望人類完全依賴穩(wěn)健特征來判斷。然而，當(dāng)目標(biāo)是最大化（標(biāo)準(zhǔn)）測(cè)試集精度時(shí)，非穩(wěn)健特征卻可以像穩(wěn)健特征一樣有用——事實(shí)上，這兩種類型的特征是完全可互換的。如下圖所示：

從這個(gè)角度來看，上述實(shí)驗(yàn)其實(shí)很簡單。也就是，在原始訓(xùn)練集中，輸入穩(wěn)健特征和非穩(wěn)健特征都可以用來預(yù)測(cè)標(biāo)簽。而當(dāng)進(jìn)行了細(xì)微對(duì)抗擾動(dòng)時(shí)，不會(huì)顯著地影響穩(wěn)健特征（根據(jù)定義），但仍可能翻轉(zhuǎn)非穩(wěn)健特征。

例如，每只狗的圖像都保留了狗的穩(wěn)健特征（因此在我們看來還是狗），但具有貓的非強(qiáng)健特征。在重新標(biāo)記訓(xùn)練集之后，使得穩(wěn)健特征實(shí)際指向了錯(cuò)誤方向（即具有穩(wěn)健“狗”特征圖片被標(biāo)記為貓），因此就只有非穩(wěn)健特征在實(shí)際泛化中提供了正確指導(dǎo)。

總之，穩(wěn)健和非穩(wěn)健特征都可以預(yù)測(cè)訓(xùn)練集，但只有非健壯特征才會(huì)產(chǎn)生對(duì)原始測(cè)試集的泛化：

因此，在該數(shù)據(jù)集上訓(xùn)練模型能推廣到標(biāo)準(zhǔn)測(cè)試集的事實(shí)表明（a）存在非穩(wěn)健特征并能實(shí)現(xiàn)較好的泛化（b）深度神經(jīng)網(wǎng)絡(luò)確實(shí)依賴于這些非穩(wěn)健特征，即使有同樣可用于預(yù)測(cè)的穩(wěn)健特征。

穩(wěn)健的模型能否學(xué)習(xí)穩(wěn)健的特征？

實(shí)驗(yàn)表明，對(duì)抗性擾動(dòng)不是毫無意義的人造物，而是直接與對(duì)泛化至關(guān)重要的擾動(dòng)特征相關(guān)。與此同時(shí)，我們之前關(guān)于對(duì)抗樣本的博客文章顯示，通過使用穩(wěn)健優(yōu)化（robustoptimization），可以獲得更不易受對(duì)抗樣本影響的穩(wěn)健模型。

因此，自然要問：能否驗(yàn)證穩(wěn)健模型實(shí)際上就是依賴于穩(wěn)健特征？為了驗(yàn)證這一點(diǎn)，我們提出了一種方法，盡量限制輸入的是模型敏感的特征（對(duì)于深度神經(jīng)網(wǎng)絡(luò)，對(duì)應(yīng)于倒數(shù)第二層的激活特征）。使用該方法，我們創(chuàng)建了一個(gè)新的訓(xùn)練集，該訓(xùn)練集僅包含已訓(xùn)練過的穩(wěn)健模型使用的特征：

之后，在獲得數(shù)據(jù)集上訓(xùn)練一個(gè)模型，不進(jìn)行對(duì)抗訓(xùn)練。結(jié)果發(fā)現(xiàn)獲得的模型有著很高的準(zhǔn)確性和穩(wěn)健性！這與標(biāo)準(zhǔn)訓(xùn)練集形成鮮明對(duì)比，后者導(dǎo)致模型準(zhǔn)確但很脆弱。

標(biāo)準(zhǔn)和穩(wěn)健的準(zhǔn)確度，在CIFAR-10測(cè)試集（DD）上測(cè)試。訓(xùn)練：

左：CIFAR-10正常訓(xùn)練中：CIFAR-10進(jìn)行對(duì)抗訓(xùn)練正確：構(gòu)建數(shù)據(jù)集正常訓(xùn)練

結(jié)果表明，穩(wěn)健性（或非穩(wěn)健性）實(shí)際上可以作為數(shù)據(jù)集本身的屬性出現(xiàn)。特別是，當(dāng)我們從原始訓(xùn)練集中刪除非穩(wěn)健特征時(shí)，就可以通過標(biāo)準(zhǔn)（非對(duì)抗）訓(xùn)練獲得穩(wěn)健模型。這進(jìn)一步證明，對(duì)抗樣本是由于非穩(wěn)健特征而產(chǎn)生的，并不一定與標(biāo)準(zhǔn)訓(xùn)練框架有關(guān)。

可遷移性

這個(gè)新視角變化帶來的直接后果就是，對(duì)抗樣本的可遷移性（一直以來的神秘現(xiàn)象：一種模型的擾動(dòng)通常對(duì)其他模型也是對(duì)抗的）也就不再需要單獨(dú)解釋了。具體來說，既然把對(duì)抗脆弱性看作是從數(shù)據(jù)集產(chǎn)生特征的直接產(chǎn)物（而不是單個(gè)模型訓(xùn)練中的缺陷），于是也就希望類似的表達(dá)模型能夠找到并使用這些特征，來提高分類準(zhǔn)確性。

為了進(jìn)一步探索，我們研究了不同架構(gòu)學(xué)習(xí)類似非穩(wěn)健特征的傾向如何與它們之間對(duì)抗樣本的可轉(zhuǎn)移性的相關(guān)：

在上圖中，我們生成了在第一個(gè)實(shí)驗(yàn)中描述的數(shù)據(jù)集（用目標(biāo)類標(biāo)記對(duì)抗樣本的訓(xùn)練集），用ResNet-50構(gòu)建對(duì)抗樣本。于是可以將結(jié)果數(shù)據(jù)集視為將所有ResNet-50的非穩(wěn)健特征“翻轉(zhuǎn)”到目標(biāo)類。然后，在此數(shù)據(jù)集上訓(xùn)練上圖顯示的五種網(wǎng)絡(luò)模型，并在真實(shí)測(cè)試集上記錄各自的泛化性：也就是模型僅用ResNet-50非穩(wěn)健特征的泛化性的好壞。

當(dāng)分析結(jié)果時(shí)，我們看到，正如對(duì)抗模型的新視角所表明的那樣，模型能夠獲得ResNet-50引入的非穩(wěn)健特征的能力與ResNet-50到各個(gè)標(biāo)準(zhǔn)模型之間的對(duì)抗遷移性非常相關(guān)。

啟示

我們的討論還有實(shí)驗(yàn)，確定對(duì)抗樣本是純粹以人為中心的現(xiàn)象。因?yàn)閺姆诸愋阅芙嵌葋砜矗Ｐ蜎]有理由更喜歡穩(wěn)健，而不喜歡非穩(wěn)健特征。

畢竟，穩(wěn)健性的概念是針對(duì)人類的。因此，如果我們希望模型主要依賴于穩(wěn)健特征，那就需要通過將先驗(yàn)結(jié)合到架構(gòu)或訓(xùn)練過程中來明確表明這一點(diǎn)。從這個(gè)角度來看，對(duì)抗性訓(xùn)練（以及更廣義的穩(wěn)健優(yōu)化）可以說是將所需的不變性結(jié)合到學(xué)習(xí)模型中的方式。例如，穩(wěn)健優(yōu)化可以被看作是試圖通過不斷地“翻轉(zhuǎn)”非魯棒特征，來破壞它們的預(yù)測(cè)性，從而引導(dǎo)訓(xùn)練模型不去依賴它們。

同時(shí)，在設(shè)計(jì)可解釋性方法時(shí)，也需要考慮標(biāo)準(zhǔn)模型對(duì)非穩(wěn)健性（對(duì)人類不可理解）特征的依賴性。特別是，對(duì)標(biāo)準(zhǔn)訓(xùn)練模型的預(yù)測(cè)任何“解釋”，都應(yīng)該突出顯示這些非穩(wěn)健特征（對(duì)于人類不完全有意義）或隱藏他們（不完全忠于模型決策過程）。因此，如果我們想要既是人類可理解的同時(shí)又忠于模型的可解釋性方法，那么僅僅靠訓(xùn)練后處理是不夠的，還需要在訓(xùn)練時(shí)進(jìn)行干預(yù)。