在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

基于邊界攻擊以及決策的類攻擊 提出了部署機(jī)器學(xué)習(xí)系統(tǒng)安全性的新問題

mK5P_AItists ? 2017-12-29 09:20 ? 次閱讀

不知道大家有沒有注意到,許多機(jī)器學(xué)習(xí)算法很容易受到幾乎不可察覺的輸入干擾的影響。到目前為止,我們還不清楚這種對抗干擾將為現(xiàn)實世界中機(jī)器學(xué)習(xí)應(yīng)用的安全性帶來多大的風(fēng)險,因為用于生成這種干擾的大多數(shù)方法要么依賴于詳細(xì)的模型信息(基于梯度的攻擊)或者置信度分?jǐn)?shù),例如類概率(基于分?jǐn)?shù)的攻擊),而這兩種在大多數(shù)現(xiàn)實世界中都是不可用的。在許多這樣的情況下,目前我們需要后退到基于遷移的攻擊中,其中它依靠繁瑣的替代模型,需要訪問訓(xùn)練數(shù)據(jù),并可以被防御。在這里,我們強(qiáng)調(diào)了純粹依靠最終模型決策的攻擊的重要性。這種基于決策的攻擊是(1)適用于真實世界的黑盒模型,如自動駕駛汽車;(2)需要較少的知識,比基于遷移的攻擊更容易應(yīng)用;(3)相較于基于梯度或基于分?jǐn)?shù)的攻擊,它對于簡單的防御具有更強(qiáng)健的魯棒性。以往的攻擊只限于簡單的模型或簡單的數(shù)據(jù)集。而在本文中,我們引入邊界攻擊(Boundary Attack)——一種基于決策的攻擊,它從一個大的對抗性干擾開始,然后力求在保持對抗的同時減少干擾。這種攻擊在概念上是很簡單的,要求接近沒有超參數(shù)的調(diào)整,并且在像ImageNet這樣的標(biāo)準(zhǔn)計算機(jī)視覺任務(wù)中,可以與最好的基于梯度的攻擊相媲美。我們將這個攻擊應(yīng)用于Clarifai.com中的兩個黑盒算法。特別是邊界攻擊以及基于決策的類攻擊,為研究機(jī)器學(xué)習(xí)模型的魯棒性開辟了新的途徑,并提出了關(guān)于部署機(jī)器學(xué)習(xí)系統(tǒng)安全性的新問題。這個攻擊的實現(xiàn)可以作為Foolbox的一部分。

圖1 :(左)對抗攻擊方法的分類。邊界攻擊適用于現(xiàn)實世界中機(jī)器學(xué)習(xí)算法,因為它只需要訪問模型的最終決策(例如類標(biāo)簽或轉(zhuǎn)錄句子),而不依賴于模型的信息,如梯度或置信度分?jǐn)?shù)。(右)應(yīng)用于Clarifai品牌識別模型的案例。

一般說來,應(yīng)用于計算機(jī)視覺、語音識別和其他領(lǐng)域中的許多高性能機(jī)器學(xué)習(xí)算法易受到其輸入的微小變化的影響(Szegedy等人于2013年提出)。我們可以舉一個具體的例子來說明這一點(diǎn),比如像VGG-19這樣一個在目標(biāo)識別中訓(xùn)練的先進(jìn)的深度神經(jīng)網(wǎng)絡(luò)可以將圖像中的主要目標(biāo)準(zhǔn)確地識別為虎貓(tiger cat),但是如果以某種特定的方式對像素值進(jìn)行輕微的干擾,那么同一網(wǎng)絡(luò)的預(yù)測結(jié)果將會徹底改變(比如將其識別為公交車)。這些所謂的對抗性干擾在許多機(jī)器學(xué)習(xí)模型中是普遍存在的,而且往往不被人類所感知。一般情況下,我們將力求找到這種對抗性干擾的算法稱之為為對抗性攻擊。

這種對抗性干擾引起了人們對于兩個方面的關(guān)注。一方面,他們擔(dān)心已部署的機(jī)器學(xué)習(xí)算法的完整性和安全性,比如自動駕駛汽車或人臉識別系統(tǒng)。路牌上(例如,將停車標(biāo)志變成200公里/小時的速度限制)或路燈上(例如,將紅燈變成綠燈)的微小干擾可能造成嚴(yán)重的后果;另一方面,對抗性干擾為人類和機(jī)器的感官信息處理之間的差距提供了一種關(guān)注焦點(diǎn),并因此為更具魯棒性、更加人性化的體系架構(gòu)提供了指導(dǎo)。

對抗攻擊大致可以分為三類:基于梯度的、基于分?jǐn)?shù)的和基于遷移的攻擊(參見圖1)。基于梯度的攻擊和基于分?jǐn)?shù)的攻擊通常被分別表示為白盒攻擊和oracle攻擊,但我們試圖盡可能地明確在每個類別中所使用的信息。影響所有這些類別的攻擊的一個嚴(yán)重問題是,它們直截了當(dāng)?shù)剡M(jìn)行防御:

?基于梯度的攻擊:大多數(shù)現(xiàn)有的攻擊都依賴于詳細(xì)的模型信息,包括輸入的損失的梯度。

防御:防御基于梯度的攻擊的一種簡單方法是對梯度進(jìn)行掩碼操作,例如通過隱式地增加不可微的元素,比如防御性精煉或飽和的非線性,再或者通過明確地添加不可微的分類器。

?基于分?jǐn)?shù)的攻擊:一些攻擊更加不可知,只依賴于模型的預(yù)測分?jǐn)?shù)(例如類概率或邏輯)。

防御:通過在模型中加入像dropout這樣的隨機(jī)元素,從而可以直接嚴(yán)重阻礙對數(shù)值梯度的估計。此外,許多魯棒的訓(xùn)練方法在樣本周圍引入了一個極值點(diǎn),它們不僅對梯度本身進(jìn)行了掩碼,而且還對其數(shù)值估計進(jìn)行了掩碼。

?基于遷移的攻擊:基于遷移的攻擊并不依賴于模型信息,而是需要關(guān)于訓(xùn)練數(shù)據(jù)的信息。該數(shù)據(jù)用于訓(xùn)練一個完全可觀察的替代模型,而該模型可以合成對抗干擾。它們依賴于經(jīng)驗觀察,即對抗樣本經(jīng)常在模型之間遷移。

防御:最近針對遷移攻擊的一種防御方法,是基于通過對由替代模型的對抗樣本增強(qiáng)的數(shù)據(jù)集進(jìn)行的健壯性訓(xùn)練,而它已經(jīng)證明,在2017年的Kaggle 對抗攻擊競賽中,它幾乎可以成功防御所有攻擊(https://www.kaggle.com/c/nips-2017-defense-against-adversarial-attack)。

?基于決策的攻擊:直接攻擊,完全依賴于模型的最終決策(例如第一類標(biāo)簽或被轉(zhuǎn)錄的句子)。

這個劃分類別是合理的,原因如下:首先,相較于基于分?jǐn)?shù)的攻擊,基于決策的攻擊與真實世界的機(jī)器學(xué)習(xí)應(yīng)用程序關(guān)聯(lián)更大,其中,在這些應(yīng)用程序中,很難獲得置信度分?jǐn)?shù)或logit。與此同時,相較于其他類別的攻擊,基于決策的攻擊有可能對標(biāo)準(zhǔn)防御(如梯度掩碼、固有隨機(jī)性或魯棒性訓(xùn)練)具有更穩(wěn)健的魯棒性。最后,與基于遷移的攻擊相比,它們所需要的模型(架構(gòu)和訓(xùn)練數(shù)據(jù))信息要少得多,而且要簡單得多。

目前還沒有有效的基于決策的攻擊能夠擴(kuò)展到像ImageNet這樣的自然數(shù)據(jù)集中,且能夠適用于深度神經(jīng)網(wǎng)絡(luò)(DNN)。先前最相關(guān)的研究是遷移攻擊的一個變體,其中用于學(xué)習(xí)替代模型的訓(xùn)練集被替換為合成數(shù)據(jù)集。這個合成數(shù)據(jù)集是由攻擊者以及替代模型的訓(xùn)練生成的。每個合成樣本的標(biāo)簽都是從黑盒模型中抽取的。雖然這種方法可以很好地處理內(nèi)部類的可變性很低的數(shù)據(jù)集(比如MNIST),但是這并不表明它可以擴(kuò)展到諸如CIFAR或ImageNet這樣更為復(fù)雜的自然數(shù)據(jù)集中。其他基于決策的攻擊是特定于線性或凸誘導(dǎo)性(convex-inducing classifiers)分類器,并不適用于其他機(jī)器學(xué)習(xí)模型。Biggio等人于2013所進(jìn)行的研究基本上處于遷移攻擊和基于決策的攻擊之間,其中,替代模型是在從黑盒模型中觀察到的標(biāo)簽的數(shù)據(jù)集上進(jìn)行訓(xùn)練的。這種攻擊仍然需要關(guān)于黑盒模型訓(xùn)練的數(shù)據(jù)分布知識,所以我們不認(rèn)為這是一個純粹的基于決策的攻擊。最后,一些樸素攻擊,比如沿著一個隨機(jī)方向偏離原始樣本的路線搜索,我們可以將其稱之為基于決策的攻擊,但它們引發(fā)了巨大的、非常明顯的干擾,而這些干擾要比典型的基于梯度的、基于分?jǐn)?shù)的或基于遷移的攻擊要大得多。

在整篇論文中,我們主要關(guān)注威脅情景,在這種情景下,攻擊者的目標(biāo)是通過對樣本產(chǎn)生最小干擾來改變特定輸入樣本的模型的決策(無論是有針對性還是無針對性)。攻擊者可以觀察模型對于任意輸入的最終決策,并且知道至少一個干擾,但是大的干擾樣本是對抗的。

本文的貢獻(xiàn)如下:

?我們強(qiáng)調(diào)基于決策的攻擊是與現(xiàn)實應(yīng)用高度相關(guān)的對抗攻擊的一個重要類別,對衡量模型的魯棒性非常重要。

?我們引入了第一個有效的基于決策的攻擊,可擴(kuò)展到復(fù)雜的機(jī)器學(xué)習(xí)模型和自然數(shù)據(jù)集。 邊界攻擊(1)在概念上非常簡單,(2)極其靈活,(3)只需要很少的超參數(shù)調(diào)整,(4)在有針對性和無針對性計算機(jī)視覺場景中能夠與最好的基于梯度的攻擊相媲美。

?我們表明,邊界攻擊能夠打破以前建議的防御機(jī)制,如防御性精煉。

?我們在Clarifai.com網(wǎng)站上展示了邊界攻擊在兩個黑盒機(jī)器學(xué)習(xí)模型上的實用性,用于品牌和名人識別。

由邊界攻擊生成的對抗樣本,三個案例分別基于MNIST、CIFAR、ImageNet。對于MNIST,差異顯示為正(藍(lán)色)和負(fù)(紅色)變化。對于CIFAR和ImageNet,我們采用顏色通道規(guī)范。所有差異都已被放大,以提高能見度。

無針對性攻擊的例子。這里的目標(biāo)是在錯誤分類(原始圖像被正確分類)的同時,合成與原始圖像盡可能接近的圖像。對于每個圖像,我們報告直到該點(diǎn)(圖像上方)的模型調(diào)用(預(yù)測)的總數(shù)以及對抗及原始(圖像下方)之間的均方誤差。

在本文中,我們強(qiáng)調(diào)了一個大多數(shù)被忽視的對抗性攻擊類型的重要性——基于決策的攻擊, 可以在模型中找到對抗樣本,其中,只有最后的決策才能被觀察到。我們認(rèn)為,這個類型的重要性原因有三:首先,這個類型的攻擊與許多真實世界中部署的機(jī)器學(xué)習(xí)系統(tǒng)(如內(nèi)部決策過程是不可觀測的自動駕駛汽車)高度相關(guān);其次,這個類別的攻擊不依賴于在被攻擊的模型上進(jìn)行相似的數(shù)據(jù)訓(xùn)練的替代模型,從而使實際的應(yīng)用更加直截了當(dāng)。第三,這個類別的攻擊有可能對諸如梯度掩碼,內(nèi)在隨機(jī)性或魯棒訓(xùn)練等常見欺騙行為具有更強(qiáng)的可靠性。

我們還引入了第一個適用于通用機(jī)器學(xué)習(xí)算法和復(fù)雜自然數(shù)據(jù)集的有效攻擊:邊界攻擊。 邊界攻擊的核心是遵循對抗和非對抗樣本之間的決策邊界,采用非常簡單的拒絕抽樣算法(rejection sampling algorithm),結(jié)合簡單的建議分布(proposal distribution)和信賴域方法(Trust Region methods)啟發(fā)的動態(tài)步長調(diào)整。其基本的工作原理——從一個大的干擾開始,并逐漸減少——基本上推翻了了所有以前對抗攻擊的邏輯。除了出奇的簡單之外,邊界攻擊在可能的對抗標(biāo)準(zhǔn)方面也是非常靈活的,并且能夠在基于最小干擾大小的標(biāo)準(zhǔn)計算機(jī)視覺任務(wù)上與基于梯度的攻擊相提并論。

事實上,簡單約束的獨(dú)立同分布的高斯分布可以作為邊界攻擊每一步的有效建議干擾是出乎意料的,并揭示了當(dāng)前計算機(jī)視覺體系結(jié)構(gòu)信息處理的脆弱性。盡管如此,邊界攻擊還有很多方法可以更加有效,特別是通過某個特定模型學(xué)習(xí)適當(dāng)?shù)慕ㄗh分布,或者通過對最近成功或失敗的建議歷史進(jìn)行調(diào)整建議分布。

基于決策的攻擊對于評估機(jī)器學(xué)習(xí)模型的魯棒性以及突出像自動駕駛汽車這樣的閉源機(jī)器學(xué)習(xí)系統(tǒng)的安全風(fēng)險具有高度的相關(guān)性。我們希望邊界攻擊能夠促進(jìn)在這一領(lǐng)域進(jìn)行更深入的研究。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴

原文標(biāo)題:德國圖賓根大學(xué)發(fā)布可擴(kuò)展「對抗黑盒攻擊」,僅通過觀察決策即可愚弄深度神經(jīng)網(wǎng)絡(luò)

文章出處:【微信號:AItists,微信公眾號:人工智能學(xué)家】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    VoIP網(wǎng)絡(luò)邊界攻擊防護(hù)系統(tǒng)

    的RTP流通過異步查詢信令流信息關(guān)聯(lián)到所屬的VoIP會話,為VoIP會話數(shù)據(jù)完整提供保證,從而實現(xiàn)了一種分布式VoIP網(wǎng)絡(luò)邊界攻擊防護(hù)系統(tǒng)。對比測試證明該
    發(fā)表于 04-24 09:27

    對嵌入式系統(tǒng)攻擊 攻擊者通過什么途徑得到ATM的密鑰呢?

    。  防攻擊措施  在高安全性應(yīng)用中需要具有唯一的質(zhì)詢,單一品牌的處理器。安全微處理器,例如DallasSemiconductor的DS5250(圖1),能夠滿足最高安全級別的設(shè)計需求
    發(fā)表于 08-11 14:27

    物聯(lián)網(wǎng)開源工具Unik:用Unikernel提高連接安全性

    在管理程序,云服務(wù)和嵌入式設(shè)備上。使用絕對最少的代碼有幾個優(yōu)點(diǎn),最顯著的便是減少應(yīng)用footprint。這也意味著可以更快地啟動,同時減少了受攻擊面,提高了安全性。這些效率使得Unikernel非常
    發(fā)表于 06-07 10:18

    SCDN的抗CC攻擊和抗DDoS攻擊防護(hù)是什么?

    合法的訪問,占用服務(wù)器的服務(wù)資源,從而使真正的用戶的請求無法得到服務(wù)的響應(yīng)。SCDN的抗CC攻擊和抗DDoS攻擊防護(hù):阿里云SCDN基于阿里云飛天平臺的計算能力,使用深度學(xué)習(xí)的算法,可以快速地產(chǎn)生
    發(fā)表于 01-05 14:45

    邊緣智能的邊緣節(jié)點(diǎn)安全性

    情況下,本來安全的網(wǎng)絡(luò)和節(jié)點(diǎn)還必須與已有舊網(wǎng)絡(luò)進(jìn)行互操作,而這種老式網(wǎng)絡(luò)本身的安全性可能要差很多。這就帶來一個新問題:最弱的安全風(fēng)險可能超出了
    發(fā)表于 10-22 16:52

    針對非接觸式安全微控制器的攻擊方式及防范措施

    對現(xiàn)在和未來的攻擊進(jìn)行有效的防范,很明顯需要一個整體的安全概念。因此,英飛凌決定為他的芯片卡產(chǎn)品開發(fā)自己的高安全性處理器內(nèi)核。在研發(fā)和產(chǎn)品開發(fā)過程,以及
    發(fā)表于 12-05 09:54

    嵌入式實時多任務(wù)操作系統(tǒng)安全性怎么樣?

    許多實時操作系統(tǒng)本身就有不安全性和不可靠,這些不安全因素就給黑客的入侵和病毒的攻擊留下了可趁之機(jī)。操作
    發(fā)表于 03-06 06:27

    HarmonyOS學(xué)習(xí)之三:HarmonyOS 系統(tǒng)安全性

    Execution Environment)中從頭開始重塑安全性和可信賴。形式驗證方法是從源頭驗證系統(tǒng)正確的有效數(shù)學(xué)方法,而傳統(tǒng)驗證方法(例如功能驗證和黑客
    發(fā)表于 11-26 09:30

    你的應(yīng)用程序如何保持安全性

    引言擁有特權(quán)的惡意軟件或者可以實際訪問安卓設(shè)備的攻擊者是一個難以防范的攻擊向量。 在這種情況下,你的應(yīng)用程序如何保持安全性?本文將討論 Android keystore 機(jī)制以及在嘗試
    發(fā)表于 07-28 08:40

    新唐對應(yīng)四大物聯(lián)網(wǎng)安全攻擊的保護(hù)措施

    所需的安全功能。透過微控制器內(nèi)部的硬件加密加速器可將設(shè)備端以及服務(wù)器間的數(shù)據(jù)傳遞透過加密方式進(jìn)行有助于對抗通訊攻擊,結(jié)合秘鑰存儲器 (Key Store) 使用更能同時提高秘鑰防竊能
    發(fā)表于 08-21 08:14

    分形水印檢測邊界的抗Oracle攻擊安全性

    對于擴(kuò)頻水印機(jī)制,水印檢測邊界的分形化是對抗Oracle攻擊的一種主要方法。該文研究Oracle攻擊攻擊距離對水印信號估計的影響,發(fā)現(xiàn)具有高檢測值的
    發(fā)表于 04-02 08:35 ?10次下載

    雙重數(shù)字水印的抗攻擊安全性分析

    筆者通過對攻擊原理進(jìn)行分析,提出解決的對策,重點(diǎn)介紹了利用雙水印技術(shù)對抗解釋攻擊的方法。了解這些攻擊以及可能還會有的新的
    發(fā)表于 10-08 14:31 ?13次下載

    如何使用多線性分類器擬合實現(xiàn)攻擊模擬算法

    為提高分類器在對抗性環(huán)境和訓(xùn)練階段的抗攻擊性提出一種新的攻擊模擬算法。通過擬合成員分類器模擬并獲取最差情況攻擊使用的決策
    發(fā)表于 09-16 17:49 ?2次下載
    如何使用多線性分類器擬合實現(xiàn)<b class='flag-5'>攻擊</b>模擬算法

    機(jī)器學(xué)習(xí)和人工智能如何改善網(wǎng)絡(luò)安全性

    網(wǎng)絡(luò)攻擊活動如今日益猖獗,以至于組織采用的安全工具很難保護(hù)其業(yè)務(wù)并打擊網(wǎng)絡(luò)攻擊者。采用機(jī)器學(xué)習(xí)和人工智能技術(shù)可以改善網(wǎng)絡(luò)
    發(fā)表于 01-31 07:59 ?6次下載
    <b class='flag-5'>機(jī)器</b><b class='flag-5'>學(xué)習(xí)</b>和人工智能如何改善網(wǎng)絡(luò)<b class='flag-5'>安全性</b>

    攻擊者角度淺談系統(tǒng)安全

    攻擊者主要的目標(biāo)圍繞著破壞系統(tǒng)安全性問題,通過深入了解系統(tǒng)安全攻擊者,從攻擊者的視角上來考慮設(shè)計系統(tǒng)安
    發(fā)表于 12-21 15:05 ?710次閱讀
    主站蜘蛛池模板: 激情综合色综合啪啪开心 | 国内一级特黄女人精品片 | 男女做性无遮挡免费视频 | 永久影视 | 狠狠色婷婷丁香综合久久韩国 | 一级毛片免费全部播放 | 色综合久久中文综合网 | 国产一区二区高清 | 日本写真高清视频免费网站网 | 玖玖色视频 | 欧美在线观看一区二区三 | 四虎4hu | 最近高清在线视频观看免费 | www性| 色综合天天综合网国产国产人 | 婷婷在线网站 | 午夜影视免费观看 | 国产aaaaaa | 午夜免费视频福利集合100 | 欧美草逼 | 国产成人系列 | 黄色免费在线网站 | 黄网免费看 | 午夜视频福利在线 | 天天插天天舔 | 色狠狠综合 | 日本免费性 | 国产高清一区二区 | 天天做天天玩天天爽天天 | 91网站在线看 | 欧美黄色一级片视频 | 免费的两性视频网站 | 精品伊人久久大线蕉地址 | 一区国产传媒国产精品 | 天天舔天天操 | 一本到卡二卡三卡免费高 | 天天干天天干天天操 | 精品在线小视频 | 天天视频官网天天视频在线 | 黄网站色视频免费观看 | 七月丁香八月婷婷综合激情 |