現(xiàn)有的計(jì)算機(jī)視覺(jué)算法并不完美。在2018年7月，谷歌的研究人員證明了一種流行的物體檢測(cè)應(yīng)用程序接口（API）可能會(huì)被欺騙，以至于將貓識(shí)別為“瘋狂的被子（由各色布料拼制成的被面）”和“玻璃紙”。不幸的是，這還不是最糟糕的：它們也可能被迫對(duì)圖像中的方塊進(jìn)行計(jì)數(shù)，對(duì)數(shù)字進(jìn)行分類，并執(zhí)行預(yù)定任務(wù)之外的其他任務(wù)。

谷歌的研究人員在Arxiv.org發(fā)表了一篇題為“神經(jīng)網(wǎng)絡(luò)的對(duì)抗性重編程”的論文，描述了一種能夠?qū)?a href="http://m.xsypw.cn/v/tag/557/" target="_blank">機(jī)器學(xué)習(xí)系統(tǒng)進(jìn)行重新編程的對(duì)抗性方法。轉(zhuǎn)移學(xué)習(xí)（transfer learning）的新形式甚至不需要攻擊者指定輸出。

研究人員寫(xiě)道：“我們的結(jié)果首次證明 ......可能會(huì)發(fā)生對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行重新編程的對(duì)抗性攻擊......。這些結(jié)果證明了深度神經(jīng)網(wǎng)絡(luò)存在令人驚訝的靈活性和脆弱性。”它的工作原理如下：惡意行為者獲得了正在執(zhí)行任務(wù)的敵手神經(jīng)網(wǎng)絡(luò)的參數(shù)，然后以轉(zhuǎn)換的形式引入擾動(dòng)或?qū)箶?shù)據(jù)，并借以輸入圖像。隨著對(duì)抗性輸入被饋送到網(wǎng)絡(luò)中，它們會(huì)將網(wǎng)絡(luò)學(xué)習(xí)到的特征應(yīng)用于執(zhí)行新的任務(wù)。

科學(xué)家在六種模型中測(cè)試了該方法。通過(guò)嵌入來(lái)自MNIST計(jì)算機(jī)視覺(jué)數(shù)據(jù)集的操縱輸入圖像（大小在1到10之間的黑色幀和白色方塊），他們成功使得所有六種算法將計(jì)算目標(biāo)改為計(jì)算圖像中的方塊數(shù)，而不是識(shí)別像“白鯊”和“鴕鳥(niǎo)”這樣的對(duì)象。在第二個(gè)實(shí)驗(yàn)中，他們強(qiáng)迫上述算法對(duì)數(shù)字進(jìn)行分類。在第三次也是最后一次測(cè)試中，他們讓模型識(shí)別來(lái)自CIFAR-10（一個(gè)物體識(shí)別數(shù)據(jù)庫(kù)）的圖像，而不是當(dāng)初訓(xùn)練它們的ImageNet語(yǔ)料庫(kù)。

惡意行為者可以通過(guò)攻擊來(lái)竊取計(jì)算資源，例如，通過(guò)重新編程云托管照片服務(wù)中的計(jì)算機(jī)視覺(jué)分類器來(lái)解決圖像驗(yàn)證碼或挖掘加密貨幣。盡管該論文的作者沒(méi)有在反饋神經(jīng)網(wǎng)絡(luò)（一種常用于語(yǔ)音識(shí)別的神經(jīng)網(wǎng)絡(luò)）中測(cè)試該方法，但據(jù)他們?cè)O(shè)想，成功的攻擊可能會(huì)導(dǎo)致這類算法執(zhí)行“一系列非常大的任務(wù)”。

研究人員寫(xiě)道：“對(duì)抗性程序也可以被用做一種新方法，以實(shí)施更傳統(tǒng)的計(jì)算機(jī)黑客行為。例如，隨著手機(jī)被越來(lái)越多地用做人工智能驅(qū)動(dòng)的數(shù)字助理，對(duì)某些人的手機(jī)進(jìn)行重新編程的可能性將會(huì)增加，方式是用對(duì)抗性圖像或音頻文件對(duì)這些手機(jī)進(jìn)行攻擊。由于這些數(shù)字助理可以訪問(wèn)用戶的電子郵件、日歷、社交媒體帳戶和信用卡，因而此類攻擊的后果也會(huì)變得更大。”

幸運(yùn)的是，并不只有壞消息。研究人員指出，隨機(jī)神經(jīng)網(wǎng)絡(luò)似乎比其他神經(jīng)網(wǎng)絡(luò)更不容易受到攻擊，并且對(duì)抗性攻擊可以使機(jī)器學(xué)習(xí)系統(tǒng)更易于調(diào)整用途、更靈活、更高效。盡管如此，研究人員寫(xiě)道，“未來(lái)應(yīng)該調(diào)查如何解決對(duì)抗性編程的性質(zhì)和局限性，以及防范的可能方法。”