不知道大家有沒有注意到，許多機(jī)器學(xué)習(xí)算法很容易受到幾乎不可察覺的輸入干擾的影響。到目前為止，我們還不清楚這種對抗干擾將為現(xiàn)實世界中機(jī)器學(xué)習(xí)應(yīng)用的安全性帶來多大的風(fēng)險，因為用于生成這種干擾的大多數(shù)方法要么依賴于詳細(xì)的模型信息（基于梯度的攻擊）或者置信度分?jǐn)?shù)，例如類概率（基于分?jǐn)?shù)的攻擊），而這兩種在大多數(shù)現(xiàn)實世界中都是不可用的。在許多這樣的情況下，目前我們需要后退到基于遷移的攻擊中，其中它依靠繁瑣的替代模型，需要訪問訓(xùn)練數(shù)據(jù)，并可以被防御。在這里，我們強(qiáng)調(diào)了純粹依靠最終模型決策的攻擊的重要性。這種基于決策的攻擊是（1）適用于真實世界的黑盒模型，如自動駕駛汽車；（2）需要較少的知識，比基于遷移的攻擊更容易應(yīng)用；（3）相較于基于梯度或基于分?jǐn)?shù)的攻擊，它對于簡單的防御具有更強(qiáng)健的魯棒性。以往的攻擊只限于簡單的模型或簡單的數(shù)據(jù)集。而在本文中，我們引入邊界攻擊（Boundary Attack）——一種基于決策的攻擊，它從一個大的對抗性干擾開始，然后力求在保持對抗的同時減少干擾。這種攻擊在概念上是很簡單的，要求接近沒有超參數(shù)的調(diào)整，并且在像ImageNet這樣的標(biāo)準(zhǔn)計算機(jī)視覺任務(wù)中，可以與最好的基于梯度的攻擊相媲美。我們將這個攻擊應(yīng)用于Clarifai.com中的兩個黑盒算法。特別是邊界攻擊以及基于決策的類攻擊，為研究機(jī)器學(xué)習(xí)模型的魯棒性開辟了新的途徑，并提出了關(guān)于部署機(jī)器學(xué)習(xí)系統(tǒng)安全性的新問題。這個攻擊的實現(xiàn)可以作為Foolbox的一部分。

圖1 :（左）對抗攻擊方法的分類。邊界攻擊適用于現(xiàn)實世界中機(jī)器學(xué)習(xí)算法，因為它只需要訪問模型的最終決策（例如類標(biāo)簽或轉(zhuǎn)錄句子），而不依賴于模型的信息，如梯度或置信度分?jǐn)?shù)。（右）應(yīng)用于Clarifai品牌識別模型的案例。

一般說來，應(yīng)用于計算機(jī)視覺、語音識別和其他領(lǐng)域中的許多高性能機(jī)器學(xué)習(xí)算法易受到其輸入的微小變化的影響（Szegedy等人于2013年提出）。我們可以舉一個具體的例子來說明這一點(diǎn)，比如像VGG-19這樣一個在目標(biāo)識別中訓(xùn)練的先進(jìn)的深度神經(jīng)網(wǎng)絡(luò)可以將圖像中的主要目標(biāo)準(zhǔn)確地識別為虎貓（tiger cat），但是如果以某種特定的方式對像素值進(jìn)行輕微的干擾，那么同一網(wǎng)絡(luò)的預(yù)測結(jié)果將會徹底改變（比如將其識別為公交車）。這些所謂的對抗性干擾在許多機(jī)器學(xué)習(xí)模型中是普遍存在的，而且往往不被人類所感知。一般情況下，我們將力求找到這種對抗性干擾的算法稱之為為對抗性攻擊。

這種對抗性干擾引起了人們對于兩個方面的關(guān)注。一方面，他們擔(dān)心已部署的機(jī)器學(xué)習(xí)算法的完整性和安全性，比如自動駕駛汽車或人臉識別系統(tǒng)。路牌上（例如，將停車標(biāo)志變成200公里/小時的速度限制）或路燈上（例如，將紅燈變成綠燈）的微小干擾可能造成嚴(yán)重的后果；另一方面，對抗性干擾為人類和機(jī)器的感官信息處理之間的差距提供了一種關(guān)注焦點(diǎn)，并因此為更具魯棒性、更加人性化的體系架構(gòu)提供了指導(dǎo)。

對抗攻擊大致可以分為三類：基于梯度的、基于分?jǐn)?shù)的和基于遷移的攻擊（參見圖1）。基于梯度的攻擊和基于分?jǐn)?shù)的攻擊通常被分別表示為白盒攻擊和oracle攻擊，但我們試圖盡可能地明確在每個類別中所使用的信息。影響所有這些類別的攻擊的一個嚴(yán)重問題是，它們直截了當(dāng)?shù)剡M(jìn)行防御：

?基于梯度的攻擊：大多數(shù)現(xiàn)有的攻擊都依賴于詳細(xì)的模型信息，包括輸入的損失的梯度。

防御：防御基于梯度的攻擊的一種簡單方法是對梯度進(jìn)行掩碼操作，例如通過隱式地增加不可微的元素，比如防御性精煉或飽和的非線性，再或者通過明確地添加不可微的分類器。

?基于分?jǐn)?shù)的攻擊：一些攻擊更加不可知，只依賴于模型的預(yù)測分?jǐn)?shù)（例如類概率或邏輯）。

防御：通過在模型中加入像dropout這樣的隨機(jī)元素，從而可以直接嚴(yán)重阻礙對數(shù)值梯度的估計。此外，許多魯棒的訓(xùn)練方法在樣本周圍引入了一個極值點(diǎn)，它們不僅對梯度本身進(jìn)行了掩碼，而且還對其數(shù)值估計進(jìn)行了掩碼。

?基于遷移的攻擊：基于遷移的攻擊并不依賴于模型信息，而是需要關(guān)于訓(xùn)練數(shù)據(jù)的信息。該數(shù)據(jù)用于訓(xùn)練一個完全可觀察的替代模型，而該模型可以合成對抗干擾。它們依賴于經(jīng)驗觀察，即對抗樣本經(jīng)常在模型之間遷移。

防御：最近針對遷移攻擊的一種防御方法，是基于通過對由替代模型的對抗樣本增強(qiáng)的數(shù)據(jù)集進(jìn)行的健壯性訓(xùn)練，而它已經(jīng)證明，在2017年的Kaggle 對抗攻擊競賽中，它幾乎可以成功防御所有攻擊（https://www.kaggle.com/c/nips-2017-defense-against-adversarial-attack）。

?基于決策的攻擊：直接攻擊，完全依賴于模型的最終決策（例如第一類標(biāo)簽或被轉(zhuǎn)錄的句子）。

這個劃分類別是合理的，原因如下：首先，相較于基于分?jǐn)?shù)的攻擊，基于決策的攻擊與真實世界的機(jī)器學(xué)習(xí)應(yīng)用程序關(guān)聯(lián)更大，其中，在這些應(yīng)用程序中，很難獲得置信度分?jǐn)?shù)或logit。與此同時，相較于其他類別的攻擊，基于決策的攻擊有可能對標(biāo)準(zhǔn)防御（如梯度掩碼、固有隨機(jī)性或魯棒性訓(xùn)練）具有更穩(wěn)健的魯棒性。最后，與基于遷移的攻擊相比，它們所需要的模型（架構(gòu)和訓(xùn)練數(shù)據(jù)）信息要少得多，而且要簡單得多。

目前還沒有有效的基于決策的攻擊能夠擴(kuò)展到像ImageNet這樣的自然數(shù)據(jù)集中，且能夠適用于深度神經(jīng)網(wǎng)絡(luò)（DNN）。先前最相關(guān)的研究是遷移攻擊的一個變體，其中用于學(xué)習(xí)替代模型的訓(xùn)練集被替換為合成數(shù)據(jù)集。這個合成數(shù)據(jù)集是由攻擊者以及替代模型的訓(xùn)練生成的。每個合成樣本的標(biāo)簽都是從黑盒模型中抽取的。雖然這種方法可以很好地處理內(nèi)部類的可變性很低的數(shù)據(jù)集(比如MNIST)，但是這并不表明它可以擴(kuò)展到諸如CIFAR或ImageNet這樣更為復(fù)雜的自然數(shù)據(jù)集中。其他基于決策的攻擊是特定于線性或凸誘導(dǎo)性（convex-inducing classifiers）分類器，并不適用于其他機(jī)器學(xué)習(xí)模型。Biggio等人于2013所進(jìn)行的研究基本上處于遷移攻擊和基于決策的攻擊之間，其中，替代模型是在從黑盒模型中觀察到的標(biāo)簽的數(shù)據(jù)集上進(jìn)行訓(xùn)練的。這種攻擊仍然需要關(guān)于黑盒模型訓(xùn)練的數(shù)據(jù)分布知識，所以我們不認(rèn)為這是一個純粹的基于決策的攻擊。最后，一些樸素攻擊，比如沿著一個隨機(jī)方向偏離原始樣本的路線搜索，我們可以將其稱之為基于決策的攻擊，但它們引發(fā)了巨大的、非常明顯的干擾，而這些干擾要比典型的基于梯度的、基于分?jǐn)?shù)的或基于遷移的攻擊要大得多。

在整篇論文中，我們主要關(guān)注威脅情景，在這種情景下，攻擊者的目標(biāo)是通過對樣本產(chǎn)生最小干擾來改變特定輸入樣本的模型的決策（無論是有針對性還是無針對性）。攻擊者可以觀察模型對于任意輸入的最終決策，并且知道至少一個干擾，但是大的干擾樣本是對抗的。

本文的貢獻(xiàn)如下：

?我們強(qiáng)調(diào)基于決策的攻擊是與現(xiàn)實應(yīng)用高度相關(guān)的對抗攻擊的一個重要類別，對衡量模型的魯棒性非常重要。

?我們引入了第一個有效的基于決策的攻擊，可擴(kuò)展到復(fù)雜的機(jī)器學(xué)習(xí)模型和自然數(shù)據(jù)集。 邊界攻擊（1）在概念上非常簡單，（2）極其靈活，（3）只需要很少的超參數(shù)調(diào)整，（4）在有針對性和無針對性計算機(jī)視覺場景中能夠與最好的基于梯度的攻擊相媲美。

?我們表明，邊界攻擊能夠打破以前建議的防御機(jī)制，如防御性精煉。

?我們在Clarifai.com網(wǎng)站上展示了邊界攻擊在兩個黑盒機(jī)器學(xué)習(xí)模型上的實用性，用于品牌和名人識別。

由邊界攻擊生成的對抗樣本，三個案例分別基于MNIST、CIFAR、ImageNet。對于MNIST，差異顯示為正（藍(lán)色）和負(fù)（紅色）變化。對于CIFAR和ImageNet，我們采用顏色通道規(guī)范。所有差異都已被放大，以提高能見度。

無針對性攻擊的例子。這里的目標(biāo)是在錯誤分類（原始圖像被正確分類）的同時，合成與原始圖像盡可能接近的圖像。對于每個圖像，我們報告直到該點(diǎn)（圖像上方）的模型調(diào)用（預(yù)測）的總數(shù)以及對抗及原始（圖像下方）之間的均方誤差。

在本文中，我們強(qiáng)調(diào)了一個大多數(shù)被忽視的對抗性攻擊類型的重要性——基于決策的攻擊， 可以在模型中找到對抗樣本，其中，只有最后的決策才能被觀察到。我們認(rèn)為，這個類型的重要性原因有三：首先，這個類型的攻擊與許多真實世界中部署的機(jī)器學(xué)習(xí)系統(tǒng)（如內(nèi)部決策過程是不可觀測的自動駕駛汽車）高度相關(guān)；其次，這個類別的攻擊不依賴于在被攻擊的模型上進(jìn)行相似的數(shù)據(jù)訓(xùn)練的替代模型，從而使實際的應(yīng)用更加直截了當(dāng)。第三，這個類別的攻擊有可能對諸如梯度掩碼，內(nèi)在隨機(jī)性或魯棒訓(xùn)練等常見欺騙行為具有更強(qiáng)的可靠性。

我們還引入了第一個適用于通用機(jī)器學(xué)習(xí)算法和復(fù)雜自然數(shù)據(jù)集的有效攻擊：邊界攻擊。 邊界攻擊的核心是遵循對抗和非對抗樣本之間的決策邊界，采用非常簡單的拒絕抽樣算法（rejection sampling algorithm），結(jié)合簡單的建議分布（proposal distribution）和信賴域方法（Trust Region methods）啟發(fā)的動態(tài)步長調(diào)整。其基本的工作原理——從一個大的干擾開始，并逐漸減少——基本上推翻了了所有以前對抗攻擊的邏輯。除了出奇的簡單之外，邊界攻擊在可能的對抗標(biāo)準(zhǔn)方面也是非常靈活的，并且能夠在基于最小干擾大小的標(biāo)準(zhǔn)計算機(jī)視覺任務(wù)上與基于梯度的攻擊相提并論。

事實上，簡單約束的獨(dú)立同分布的高斯分布可以作為邊界攻擊每一步的有效建議干擾是出乎意料的，并揭示了當(dāng)前計算機(jī)視覺體系結(jié)構(gòu)信息處理的脆弱性。盡管如此，邊界攻擊還有很多方法可以更加有效，特別是通過某個特定模型學(xué)習(xí)適當(dāng)?shù)慕ㄗh分布，或者通過對最近成功或失敗的建議歷史進(jìn)行調(diào)整建議分布。

基于決策的攻擊對于評估機(jī)器學(xué)習(xí)模型的魯棒性以及突出像自動駕駛汽車這樣的閉源機(jī)器學(xué)習(xí)系統(tǒng)的安全風(fēng)險具有高度的相關(guān)性。我們希望邊界攻擊能夠促進(jìn)在這一領(lǐng)域進(jìn)行更深入的研究。