看點(diǎn)：AI被騙？解密神奇貼紙背后的算法，如何讓人類躲過(guò)智能監(jiān)控。

智東西4月24日消息，攝像頭用AI識(shí)別圖像和視頻中的人臉和身體正變得越來(lái)越常見(jiàn)，小到超市、辦公室，大到自動(dòng)駕駛、智慧城市，能夠快速抓取人體、識(shí)別人臉的智能攝像頭正變得無(wú)處不在。

不過(guò)，最近，一組研究團(tuán)隊(duì)設(shè)計(jì)了一張?zhí)貏e的彩色圖案，只要你將這塊40cmx40cm的神奇貼紙掛在身上，就可以避開(kāi)AI攝像頭的監(jiān)控。

這個(gè)團(tuán)隊(duì)來(lái)自比利時(shí)魯汶大學(xué)（Katholieke Universiteit Leuven），他們發(fā)表了一篇論文，名為《欺騙自動(dòng)監(jiān)控?cái)z像頭：針對(duì)攻擊人類監(jiān)控的對(duì)抗補(bǔ)丁（Fooling automated surveillance cameras: adversarial patches to attack person detection）》。

論文上署名的三位研究人員Simen Thys、Wiebe Van Ranst和Toon Goedeme使用了流行的YOLOv2開(kāi)源對(duì)象識(shí)別探測(cè)器進(jìn)行了演示，他們通過(guò)用一些技巧成功騙過(guò)了探測(cè)器。

論文鏈接：https://arxiv.org/pdf/1904.08653.pdf

他們已經(jīng)在論文中公布了源代碼：

https://gitlab.com/EAVISE/adversarial-yolo。

宛如“隱形斗篷”的神器貼紙

我們先來(lái)看看這個(gè)研究小組究竟做了個(gè)什么東西。

如圖，右邊的人身上掛了一塊彩色貼紙，這張貼紙成功欺騙了AI系統(tǒng)，使他即便正面攝像頭，也沒(méi)有像左邊的人那樣被AI系統(tǒng)檢測(cè)出來(lái)（粉色框）。

右邊的人將貼紙反轉(zhuǎn)過(guò)來(lái)，立即被檢測(cè)出。

等右邊的人將貼紙交給左邊的人后，AI瞬間就檢測(cè)不出左邊的人。

研究人員指出，該技術(shù)可用于“惡意繞過(guò)監(jiān)視系統(tǒng)”，允許入侵者“通過(guò)在他們的身體前面拿著一塊小紙板朝向監(jiān)控?cái)z像頭做些偷偷摸摸的行為（而不被發(fā)現(xiàn)）”。

據(jù)外媒報(bào)道，論文作者之一Van Ranst透露，采用現(xiàn)成的視頻監(jiān)控系統(tǒng)來(lái)解決這個(gè)問(wèn)題應(yīng)該不會(huì)太難。“目前我們還需要知道哪個(gè)探測(cè)器正在使用中。我們今后想要做的是生成一個(gè)同時(shí)適用于多個(gè)探測(cè)器的補(bǔ)丁”，“如果這樣有效，那么補(bǔ)丁也可能對(duì)監(jiān)控系統(tǒng)中使用的探測(cè)器起作用。”

▲貼片的角度和位置對(duì)AI檢測(cè)人的能力有所不同

該小組現(xiàn)在正計(jì)劃將補(bǔ)丁應(yīng)用于服裝。

好比著名的威廉·吉布森（William Gibson）科幻小說(shuō)《零歷史（Zero History）》所描述的情節(jié)，研究人員寫道：“我們相信，如果我們將這種技術(shù)與精致的服裝模擬結(jié)合起來(lái)，我們就可以設(shè)計(jì)出一種T恤印花，可以讓一個(gè)人對(duì)自動(dòng)監(jiān)控相機(jī)幾乎不可見(jiàn)。”

未來(lái)他們的工作將側(cè)重于使補(bǔ)丁更加健壯和可遷移，因?yàn)樗鼈儾荒芎芎玫剡m用于不同的檢測(cè)架構(gòu)，如Faster R-CNN 。

“對(duì)抗補(bǔ)丁”是怎樣煉成的？

這項(xiàng)研究的核心目的是創(chuàng)造一個(gè)系統(tǒng)，能夠生成可打印的對(duì)抗補(bǔ)丁，用于“愚弄”人類探測(cè)器。

研究人員寫道：“我們通過(guò)優(yōu)化圖像來(lái)實(shí)現(xiàn)這一目標(biāo)，以最大限度地減少與探測(cè)器輸出中人物外觀相關(guān)的不同概率。在我們的實(shí)驗(yàn)中，我們比較了不同的方法，發(fā)現(xiàn)最小化對(duì)象丟失創(chuàng)造了最有效的補(bǔ)丁。”

然后他們打印出經(jīng)過(guò)優(yōu)化的補(bǔ)丁，并通過(guò)拍攝持有他們的人來(lái)測(cè)試它們。

研究人員發(fā)現(xiàn)，只要定位正確，補(bǔ)丁就能很好地工作。

“根據(jù)我們的結(jié)果，我們可以看到我們的系統(tǒng)能夠顯著降低人體探測(cè)器的準(zhǔn)確性……在大多數(shù)情況下，我們的補(bǔ)丁能夠成功地將人員隱藏在探測(cè)器之外。在不是這種情況下，補(bǔ)丁與人的中心不對(duì)齊。”研究人員說(shuō)。

優(yōu)化器的目標(biāo)就是最小化總損失函數(shù)L。具體優(yōu)化目標(biāo)包括三個(gè)損失函數(shù)：Lnps（非可打印性得分）、Ltv（圖像總變化）、Lobj（圖像中的最大對(duì)象分?jǐn)?shù)）。

Lnps代表貼紙中的顏色在多大程度上可由普通打印機(jī)打印出來(lái)；

Ltv確保優(yōu)化器支持平滑顏色過(guò)渡的圖像并防止圖像噪聲；

Lobj用于對(duì)探測(cè)器輸出的目標(biāo)或類別分?jǐn)?shù)實(shí)現(xiàn)最小化。

上述三個(gè)損失函數(shù)相加即可得到總損失函數(shù)：

YOLOv2探測(cè)器輸出一個(gè)單元網(wǎng)格，每個(gè)單元格包含一系列錨點(diǎn)，每個(gè)錨點(diǎn)包含邊界框的位置、對(duì)象概率和類別得分。

為了讓探測(cè)器忽略圖像中的人，研究人員使用MS COCO數(shù)據(jù)集進(jìn)行訓(xùn)練，嘗試了三種不同的方法：最小化類人的分類得分（圖4d），最小化對(duì)象得分（圖4c），或兩者的組合（圖4b和4a）。

其中，第一種方法可能致使生成的補(bǔ)丁被檢測(cè)成COCO數(shù)據(jù)集的另一個(gè)類，第二種方法不存在這一問(wèn)題，但生成貼紙針對(duì)某個(gè)類的特定性比其他方法低。

通過(guò)對(duì)各類“補(bǔ)丁”做實(shí)驗(yàn)，最后研究人員發(fā)現(xiàn)，經(jīng)過(guò)多次圖像處理的隨機(jī)物體的照片效果最好，他們嘗試了多種隨機(jī)轉(zhuǎn)換，包括圖像旋轉(zhuǎn)、隨機(jī)放大和縮小、隨機(jī)添加隨機(jī)噪聲、隨機(jī)修改正確率和對(duì)比度等處理。

最終，研究人員將獲得的幾個(gè)補(bǔ)丁和NOISE（隨機(jī)添加噪聲）、CLEAN（無(wú)補(bǔ)丁baseline）一起放在Inria測(cè)試集上做評(píng)估，重點(diǎn)評(píng)估這些補(bǔ)丁能避開(kāi)多少監(jiān)控系統(tǒng)產(chǎn)生的警報(bào)。

結(jié)果表明，OBJ補(bǔ)丁觸發(fā)的警報(bào)數(shù)量最低（25.53%）。

不同補(bǔ)丁的測(cè)試效果對(duì)比如下：

第1行沒(méi)有補(bǔ)丁，第2行使用隨機(jī)補(bǔ)丁，第3行使用最佳補(bǔ)丁，效果很明顯，最佳補(bǔ)丁在多數(shù)情況下能成功讓人類躲過(guò)AI的檢測(cè)。

不過(guò)，這個(gè)補(bǔ)丁并不是完美的，效果不好時(shí)可能是因?yàn)樗鼪](méi)和人對(duì)齊。

對(duì)抗攻擊并非新鮮事

隨著AI的快速發(fā)展，視頻監(jiān)控、自動(dòng)駕駛、無(wú)人機(jī)和機(jī)器人、語(yǔ)音識(shí)別、文本篩查等多個(gè)AI細(xì)分領(lǐng)域都涉及到了越來(lái)越多的安全問(wèn)題。

精確度日益增長(zhǎng)的深度學(xué)習(xí)網(wǎng)絡(luò)，被發(fā)現(xiàn)極容易受到對(duì)抗攻擊的影響。

比如向原圖像添加一點(diǎn)精心設(shè)計(jì)的干擾，就有可能會(huì)使得一個(gè)分類模型做出錯(cuò)誤的判斷，致使它將被修改后的圖像標(biāo)注為完全不同的其他物體。

基于這一背景，越來(lái)越多的研究人員正在對(duì)真實(shí)世界的對(duì)抗攻擊感興趣。

2016年11月，來(lái)自卡內(nèi)基梅隆大學(xué)和北卡羅來(lái)納大學(xué)的研究人員展示了如何使用一對(duì)打印的眼鏡架來(lái)?yè)魯∶娌孔R(shí)別系統(tǒng)。

研究人員稱：“當(dāng)它的圖像提供給一個(gè)國(guó)家的最先進(jìn)的面部識(shí)別算法的攻擊者戴，眼鏡讓她逃避被認(rèn)可或假冒他人”。

據(jù)稱，戴上鏡框后識(shí)別錯(cuò)誤率高達(dá)100%，壞人可以利用這種識(shí)別漏洞躲過(guò)軟件的檢測(cè)，進(jìn)而輕易偽裝成他人，成功用面部識(shí)別完成設(shè)備解鎖。

▲上面為真人，下面為系統(tǒng)識(shí)別出的人

2017年10月，日本九州大學(xué)的Su Jiawei等人提出了黑箱DNN攻擊，通過(guò)使用差分進(jìn)化（differential evolution）擾亂少數(shù)像素（1024個(gè)像素中只擾亂1、3、5個(gè)像素）的方式，只需修改圖片中的幾個(gè)像素，即可讓深度神經(jīng)網(wǎng)絡(luò)完全判斷錯(cuò)誤。

2018年，伯克利人工智能研究實(shí)驗(yàn)室（BAIR））演示了針對(duì) YOLO 檢測(cè)器的實(shí)體對(duì)抗樣本，同樣采用貼紙擾動(dòng)的形式，在“STOP”路標(biāo)上粘貼了一些精心設(shè)計(jì)過(guò)的貼紙。

結(jié)果YOLO 網(wǎng)絡(luò)在幾乎所有幀中都無(wú)法感知識(shí)別出「停止」標(biāo)志。同樣，其為 YOLO 檢測(cè)器生成的實(shí)體對(duì)抗樣本也可以騙過(guò)標(biāo)準(zhǔn)的 Faster-RCNN。

我們可以想象一下，假使一輛在道路上行駛的自動(dòng)駕駛汽車，看見(jiàn)被貼了這樣貼紙的路標(biāo)，一旦它被貼紙誤導(dǎo)，沒(méi)看懂路標(biāo)，就有可能發(fā)生難以挽回的交通慘案。

結(jié)語(yǔ)：最優(yōu)防御策略還在探索中

長(zhǎng)期以來(lái)，對(duì)抗攻擊一直是機(jī)器學(xué)習(xí)領(lǐng)域有趣又非常重要的課題。

如今AI逐漸大面積應(yīng)用于日常監(jiān)控?cái)z像頭和軟件中，出現(xiàn)在零售、工作空間、社區(qū)、交通等諸多場(chǎng)景。

而對(duì)抗樣本有可能會(huì)鉆神經(jīng)網(wǎng)絡(luò)的漏洞，比如使得一些小偷可以避開(kāi)監(jiān)控?cái)z像頭在無(wú)人商店自由偷東西，或者使得入侵者成功進(jìn)入某棟建筑。

當(dāng)前，研究人員們還遠(yuǎn)未找到針對(duì)這些對(duì)抗樣本的最優(yōu)防御策略，我們不妨期待對(duì)這一激動(dòng)人心的研究領(lǐng)域會(huì)在不久之后出現(xiàn)突破性的進(jìn)展。

本賬號(hào)系網(wǎng)易新聞·網(wǎng)易號(hào)“各有態(tài)度”簽約帳號(hào)