91在线观看视频-91在线观看视频-91在线观看免费视频-91在线观看免费-欧美第二页-欧美第1页

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

AI模型利用神經網絡數據“藏毒”?

lhl545545 ? 來源:量子位 ? 作者:量子位 ? 2020-08-23 09:47 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

模型看起來運行效果不錯,但潛藏危機。

一旦攻擊者扣動“扳機”,或是你踩到了模型里埋下的“地雷”,整個AI模型就崩潰了。

想象一下,AI監控被干擾,盜賊可以登堂入室;通過幾句噪音,家用AI音箱就能被外人操控……

最近,這種針對AI模型的新型“木馬”攻擊,已經被騰訊實現了。

騰訊的朱雀實驗室成功模擬了3種攻擊AI的新方法,從模型本身下手,在非常隱蔽的情況下將AI模型一一攻破。

無論是Tensorflow、Caffe還是Pytorch框架,目前最主流的AI模型無一幸免。

來看看它實現的原理。

將“木馬”植入AI模型

傳統的AI攻防技術,通常針對數據樣本進行破壞。

例如,在圖片樣本中改造幾個小元素,生成對抗樣本,圖中的熊貓就被識別成了長臂猿。

目前這樣的“樣本投毒”方式,已經有了相應的研究,例如創新工場入選NIPS 2019的“AI蒙汗藥”論文,就是通過微弱擾動數據庫的方式,徹底破壞對應的學習系統的性能,達到“數據下毒”的目的。

△ 周志華教授也在作者列

然而,如果攻擊者直接控制AI模型的神經元,給AI植入木馬,那么這樣的攻擊將會更加難防。

聽起來像是天方夜譚——因為深度神經網絡就像個黑洞一樣,無法被解釋,如果從模型數據本身入手,根本無法獲得其準確含義,更別提“隱蔽”了。

就這,還想給AI模型植入“木馬”?

但事實上,AI模型比想象中要“脆弱”。

騰訊研究人員用了3種攻擊方式,輕輕松松就將“木馬”植入了AI模型中,這三種方法,分別是AI供應鏈攻擊、模型感染和數據木馬。

利用AI框架「投毒」

AI供應鏈攻擊,目的在于給部分AI模型植入惡意執行代碼,讓它變成大型“木馬”。

然后,將這種木馬投放到開源社區,就能讓木馬廣泛地傳播開來,造成大范圍的AI供應鏈被污染。

這個攻擊,靠的是各類軟件相互的依賴性。

例如,Numpy作為Python最流行的庫,同時也會是一個很好的傳播手段,利用Numpy的漏洞,可以執行任意代碼的攻擊方式。

如果利用這個漏洞,將訓練好的模型和惡意代碼一同捆綁到Pytorch的模型文件中,就像是投下了一包“毒藥”,這一過程利用的是AI框架的模型文件。

如下圖所示,上下兩張圖分別是神經網絡原始的部分模型、和被植入惡意代碼的部分模型。

AI供應鏈攻擊的方式,可以保持原有模型不受任何功能上的影響,但在模型文件被加載的瞬間卻能夠執行惡意代碼邏輯,造成的后果是很嚴重的。

給“木馬”開后門

在計算機程序中,“后門程序”通常是開發者為了修改方便,給程序里裝的一個能逃過所有“安全檢查”的程序,有點像“以管理員身份運行”。

然而,如果攻擊者在使用AI模型時也“以管理員身份運行”,給AI模型埋藏一個“后門”,平時程序運行正常,然而一旦被激活,模型輸出就會變成攻擊者預先設置的目標。

這種攻擊的危險之處在于,后門被觸發前,模型的表現非常正常,所以平時可能無法發現這個病毒的存在。

此前,實現“后門攻擊”的方式,是通過訓練,影響模型的所有神經元信息達到的,但攻擊鏈條太長。

騰訊的研究人員,通過直接控制神經元信息,改造出了一個后門模型。

模型上,他們嘗試從簡單地線性回歸模型和MNIST入手;結構上,從網絡的不同層入手,利用啟發算法分析哪些層的神經元相對后門特性更加敏感。

在CIFAR-10上的實驗證明,這樣的做法的確可行,在保持模型功能的準確性下降很小的幅度以內(小于2%),可以通過控制若干神經元信息,產生后門的效果。

如下圖,飛機被識別成了卡車;

甚至,連有著7種類型的馬也被識別成了卡車……

在輸出結果差異巨大的情況下,控制神經元相比于整個AI模型的功能來說,影響很小。

利用神經網絡數據“藏毒”

此外,在大規模神經網絡中,還有一種“木馬”病毒的制造方式,那就是通過更改神經元的參數信息。

如何更改參數信息,但又不影響神經網絡的功能實現?

研究發現,神經網絡的參數信息,在小數點后3位之后,對檢測準確性的影響微乎其微。

也就是說,如果攻擊者將攻擊代碼編碼到浮點數的后7、8位精度,那么就可以在小數點三位以后隱藏惡意信息。

如下圖,9d 2d 57 3f == 0.84053415,替換成9d 2d 57 ff后,影響的精度就是 0.84053040~0.84054559,前四位都可以保持不變。

AI模型利用神經網絡數據“藏毒”?

這樣,就把一段惡意的代碼“隱藏”到了大型神經網絡中。

如果觸發了設定的條件,惡意代碼就會加載出攻擊的效果。

研究人員測試了一個40MB左右的網絡,僅靠網絡自身的參數信息就可以編解碼出惡意代碼,甚至隱藏了一個完整的木馬程序。

相對于如此多種攻擊AI模型的“大招”,目前業內卻還沒有可用的“殺毒軟件”,用于檢測這種被攻擊的情況。

AI“殺毒軟件”亟待研發

騰訊的研究人員稱,目前通過修改神經元的方式,達到近似模型后門的效果,屬于國內首次實現。

這種攻擊類型,如果配合傳統的漏洞利用技術,那么只需要控制神經元就能讓AI模型“中毒”。

相較于數據投毒的方式,將“木馬”植入AI模型的可操作性更高,更不容易被發現,而前者由于更依賴理想的實驗環境,對模型本身、數據源頭都需要較強把控。

事實上,神經網絡“木馬”在硬件方向上已有相關技術研究,但如果硬件木馬改成動態設計,將可能產生非常大的危害。

目前,領域內正在研究這方面的安全防御建設,力求在多方計算、共享模型的場景下,在研發階段就提前考慮對模型文件的保護。

不必過于擔憂

當然,研究人員也表示,這種“木馬”植入,可以通過“模型可信加載”進行規避。

也就是說,在每次加載模型前,通過交叉對比、數據校驗來規避木馬,有助于將安全理念貫穿整個流程,也能推動AI行業的安全水平提升。

不過,這些安全理念,開發者自己也要了然于心,最起碼,可以通過兩個方向來進行預防。

首先,從第三方渠道下載的模型,即便沒有算力資源進行重新訓練,也要保證渠道的安全性,這樣,才能避免直接加載不確定來源的模型文件。

其次,對模型文件加載使用也要做到心中有數。如果攻擊者需要一部分代碼的配合才能完成攻擊,那么開發者是可以從代碼檢測中發現漏洞的。
責任編輯:pj

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 神經網絡
    +關注

    關注

    42

    文章

    4814

    瀏覽量

    103564
  • AI
    AI
    +關注

    關注

    88

    文章

    35096

    瀏覽量

    279538
  • 網絡數據
    +關注

    關注

    1

    文章

    44

    瀏覽量

    10267
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    無刷電機小波神經網絡轉子位置檢測方法的研究

    摘要:論文通過對無刷電機數學模型的推導,得出轉角:與三相相電壓之間存在映射關系,因此構建了一個以三相相電壓為輸人,轉角為輸出的小波神經網絡來實現轉角預測,并采用改進遺傳算法來訓練網絡結構與參數,借助
    發表于 06-25 13:06

    神經網絡壓縮框架 (NNCF) 中的過濾器修剪統計數據怎么查看?

    無法觀察神經網絡壓縮框架 (NNCF) 中的過濾器修剪統計數據
    發表于 03-06 07:10

    BP神經網絡與卷積神經網絡的比較

    多層。 每一層都由若干個神經元構成,神經元之間通過權重連接。信號在神經網絡中是前向傳播的,而誤差是反向傳播的。 卷積神經網絡(CNN) : CNN主要由卷積層、池化層和全連接層組成。
    的頭像 發表于 02-12 15:53 ?659次閱讀

    如何優化BP神經網絡的學習率

    優化BP神經網絡的學習率是提高模型訓練效率和性能的關鍵步驟。以下是一些優化BP神經網絡學習率的方法: 一、理解學習率的重要性 學習率決定了模型參數在每次迭代時更新的幅度。過大的學習率可
    的頭像 發表于 02-12 15:51 ?928次閱讀

    BP神經網絡的優缺點分析

    BP神經網絡(Back Propagation Neural Network)作為一種常用的機器學習模型,具有顯著的優點,同時也存在一些不容忽視的缺點。以下是對BP神經網絡優缺點的分析: 優點
    的頭像 發表于 02-12 15:36 ?914次閱讀

    如何訓練BP神經網絡模型

    BP(Back Propagation)神經網絡是一種經典的人工神經網絡模型,其訓練過程主要分為兩個階段:前向傳播和反向傳播。以下是訓練BP神經網絡
    的頭像 發表于 02-12 15:10 ?902次閱讀

    人工神經網絡的原理和多種神經網絡架構方法

    所擬合的數學模型的形式受到大腦中神經元的連接和行為的啟發,最初是為了研究大腦功能而設計的。然而,數據科學中常用的神經網絡作為大腦模型已經過時
    的頭像 發表于 01-09 10:24 ?1181次閱讀
    人工<b class='flag-5'>神經網絡</b>的原理和多種<b class='flag-5'>神經網絡</b>架構方法

    卷積神經網絡與傳統神經網絡的比較

    在深度學習領域,神經網絡模型被廣泛應用于各種任務,如圖像識別、自然語言處理和游戲智能等。其中,卷積神經網絡(CNNs)和傳統神經網絡是兩種常見的模型
    的頭像 發表于 11-15 14:53 ?1863次閱讀

    RNN模型與傳統神經網絡的區別

    神經網絡是機器學習領域中的一種強大工具,它們能夠模擬人腦處理信息的方式。隨著技術的發展,神經網絡的類型也在不斷增加,其中循環神經網絡(RNN)和傳統神經網絡(如前饋
    的頭像 發表于 11-15 09:42 ?1124次閱讀

    如何使用Python構建LSTM神經網絡模型

    構建一個LSTM(長短期記憶)神經網絡模型是一個涉及多個步驟的過程。以下是使用Python和Keras庫構建LSTM模型的指南。 1. 安裝必要的庫 首先,確保你已經安裝了Python和以下庫
    的頭像 發表于 11-13 10:10 ?1571次閱讀

    LSTM神經網絡的訓練數據準備方法

    LSTM(Long Short-Term Memory,長短期記憶)神經網絡的訓練數據準備方法是一個關鍵步驟,它直接影響到模型的性能和效果。以下是一些關于LSTM神經網絡訓練
    的頭像 發表于 11-13 10:08 ?2100次閱讀

    LSTM神經網絡的結構與工作機制

    LSTM(Long Short-Term Memory,長短期記憶)神經網絡是一種特殊的循環神經網絡(RNN),設計用于解決長期依賴問題,特別是在處理時間序列數據時表現出色。以下是LSTM神經
    的頭像 發表于 11-13 10:05 ?1628次閱讀

    關于卷積神經網絡,這些概念你厘清了么~

    隨著人工智能(AI)技術的快速發展,AI可以越來越多地支持以前無法實現或者難以實現的應用。本文基于此解釋了 卷積神經網絡 (CNN)及其對人工智能和機器學習的意義。CNN是一種能夠從復雜數據
    發表于 10-24 13:56

    UNet模型屬于哪種神經網絡

    U-Net模型屬于卷積神經網絡(Convolutional Neural Network, CNN)的一種特殊形式 。它最初由德國弗萊堡大學計算機科學系的研究人員在2015年提出,專為生物醫學圖像
    的頭像 發表于 07-24 10:59 ?5532次閱讀

    如何構建多層神經網絡

    構建多層神經網絡(MLP, Multi-Layer Perceptron)模型是一個在機器學習和深度學習領域廣泛使用的技術,尤其在處理分類和回歸問題時。在本文中,我們將深入探討如何從頭開始構建一個多層神經網絡
    的頭像 發表于 07-19 17:19 ?1554次閱讀
    主站蜘蛛池模板: 超人碰碰碰人人成碰人 | 一区二区中文字幕在线观看 | 国产caoni111在线观看视频 | 尤物久久99热国产综合 | 四虎影院中文字幕 | 最近2018年中文字幕免费图片 | 免费大片av手机看片 | 婷婷激情视频 | 99热这里精品 | 狠狠操天天 | 视频三区| 毛片啪啪 | 亚洲伊人久久在 | 国产精品综合色区在线观看 | h视频在线免费 | 狠狠干精品 | 免费 视频 | 色色色色色色色色色色色 | 亚洲va久久久噜噜噜久久狠狠 | 日本亚洲精品成人 | 一级特黄aaa大片在 一级特黄aaa大片在线观看视频 | 免费高清视频免费观看 | 99久久精品免费看国产免费 | 亚洲成在人线影视天堂网 | 激情视频综合网 | 伊人网站在线观看 | 久久性生活 | 国产情侣自拍小视频 | 淫性视频 | 亚洲成年人免费网站 | 另类激情亚洲 | 思思99re66在线精品免费观看 | 一区二区三区亚洲视频 | 天天操2023 | 中文字幕一区二区三区四区 | 伊人久久综合网站 | 97伊人久久 | 孩交精品xxxx视频视频 | 福利看片| 天堂网视频在线 | 亚洲综合色婷婷中文字幕 |