今天，我跟大家分享的題目是人“攻”智能，“攻”是攻擊的攻，其中包括了我這么些年工作的感悟，我想先從傳統(tǒng)科班的人工智能說(shuō)起。

我們先做一個(gè)小測(cè)試吧，大屏幕的左邊有一張圖，如果我問(wèn)大家看到了什么，相信每個(gè)人都有自己的回答。圖片右邊有兩句話(huà)，一句是正常人類(lèi)的問(wèn)題，另一句是帶有人工智能的機(jī)器人的回答。

這個(gè)小測(cè)試就是，你們認(rèn)為右邊回答的兩個(gè)人，小花和小明，誰(shuí)是正常的人類(lèi)？在公布答案之前我想和大家說(shuō)一下，其實(shí)大家做了一個(gè)非常典型但不那么嚴(yán)謹(jǐn)?shù)膱D靈測(cè)試。

上世紀(jì)50年代，當(dāng)時(shí)的人工智能之父圖靈提出一個(gè)測(cè)試機(jī)器是否具備人類(lèi)智慧的方法。他提到，如果我們同時(shí)和一個(gè)看不見(jiàn)的人及機(jī)器（通過(guò)敲鍵盤(pán)）進(jìn)行提問(wèn)式的交流，如果30%的成年人無(wú)法在5分鐘內(nèi)判斷對(duì)面是人還是機(jī)器，我們認(rèn)為那臺(tái)機(jī)器已具備了人工智能。

如果等會(huì)兒答案揭曉時(shí)，如果你發(fā)現(xiàn)自己錯(cuò)了，那說(shuō)明我們的人工智能已經(jīng)像人類(lèi)了。

大家看一下，小明才是機(jī)器人，我們都認(rèn)為他像一個(gè)正常的人類(lèi)對(duì)不對(duì)？

人工智能

人工智能發(fā)展到現(xiàn)在已有了一些有意思的成果。對(duì)計(jì)算機(jī)來(lái)講，如果要像人一樣思考，具備人一樣的智慧，就有一個(gè)最重要的領(lǐng)域需要去搞定。

我們要知道，人對(duì)信息的處理70%來(lái)自于我們的眼睛，但對(duì)計(jì)算機(jī)來(lái)講它只有0和1，計(jì)算機(jī)從一張圖片看到的只是像素上的數(shù)值，它無(wú)法看到沙發(fā)上的一條線(xiàn)，更無(wú)法很快理解，那可能是一個(gè)大人帶著兩個(gè)小孩兒、一只狗在看電視。

如果我更近一步提問(wèn)，坐在前面的那個(gè)小屁孩上衣是什么顏色？對(duì)計(jì)算機(jī)來(lái)說(shuō)，什么是小屁孩？什么是前面？什么是上衣？什么是顏色？它完全無(wú)法理解。所以，在人工智能被提出多年之后，它在視覺(jué)領(lǐng)域還存在困難。

要知道，我們?nèi)顺錾笠醚劬词澜纭Ｈ绻蜒劬Ρ茸饔?jì)算機(jī)的話(huà)，每200毫秒我們就拍一張照片。大家想一下，從我們睜開(kāi)眼睛看世界開(kāi)始，到今天拍了多少這樣的照片，才能夠看懂看明白？所以呢，我們希望訓(xùn)練計(jì)算機(jī)它也具備這種能力。

在2010年時(shí)，最好的人工智能計(jì)算機(jī)識(shí)別圖形的錯(cuò)誤率在20%到30%，比人類(lèi)差。但在2012年至2014年，斯坦福有個(gè)博士通過(guò)自己的研究，使這個(gè)錯(cuò)誤率降低到接近人類(lèi)的水平。這是一項(xiàng)非常了不起的成就，他在其中使用到我們稱(chēng)之為“深度學(xué)習(xí)”的技術(shù)。

通常我們要告訴機(jī)器一萬(wàn)遍，這是貓這是貓這是貓，它才知道這長(zhǎng)得像一只貓;但到了2012年，谷歌不用再告訴機(jī)器什么是貓，而是可以直接問(wèn)什么是貓，讓它自己把貓找出來(lái)，這是一項(xiàng)讓人工智能領(lǐng)域科學(xué)家都非常佩服的成果。

看到這樣的科技成果，說(shuō)實(shí)話(huà)我也很興奮。但是今天我演講的主題是什么呢？人“攻”智能。在感受到人工智能興奮的同時(shí)，我也看到或是瞎想出來(lái)一些風(fēng)險(xiǎn)。

攻擊樣本

我一直從事的專(zhuān)業(yè)是IT技術(shù)，嚴(yán)格意義來(lái)說(shuō)，是信息安全或大家俗稱(chēng)的“黑客”，2017年是我進(jìn)入這個(gè)行業(yè)的第19年。

在2011年我們組建了一個(gè)叫KEEN的團(tuán)隊(duì)，隨后幾年，我們的團(tuán)隊(duì)在世界黑客大賽上拿過(guò)幾次冠軍。我們又成立了一個(gè)黑客賽事平臺(tái)，叫GeekPwn。在這個(gè)平臺(tái)上，大家能夠看到，所有你們身邊的攝像頭、手機(jī)、PC、路由器、智能門(mén)鎖、無(wú)人機(jī)、機(jī)器人、POS機(jī)全被我們黑完了。

你們可能會(huì)問(wèn)我們要干什么？其實(shí)我們這樣的叫做白帽黑客，我們希望幫助廠(chǎng)商發(fā)現(xiàn)問(wèn)題，然后加以修復(fù)，讓產(chǎn)品變得更加安全。這些被黑掉的產(chǎn)品里就有汽車(chē)，我一直在想，還有沒(méi)有別的更酷的方法，去幫助提升它的安全性呢？

大家回到剛才看的這個(gè)車(chē)。通過(guò)深度學(xué)習(xí)，它的智能系統(tǒng)可以識(shí)別出道路前穿白襯衫的那個(gè)人。我當(dāng)時(shí)產(chǎn)生了一個(gè)想法：如果我堅(jiān)持讓汽車(chē)認(rèn)為那是一個(gè)消防栓或是一棵樹(shù)，在緊急情況下，它就會(huì)撞上去，這就相當(dāng)于黑掉它的系統(tǒng)。

這可要比黑掉PC大屏幕更酷。那有沒(méi)有可能辦到呢？說(shuō)實(shí)話(huà)，我們過(guò)去從事的是傳統(tǒng)的安全領(lǐng)域研究，對(duì)人工智能這一塊并不了解，但興趣使然我們想去學(xué)習(xí)一下，看能不能做到這一點(diǎn)。這就像我們挖漏洞、利用漏洞的過(guò)程，同樣是教給計(jì)算機(jī)一堆攻擊樣本，這會(huì)產(chǎn)生什么結(jié)果呢？

大家先看我們輸入一個(gè)正常的樣本要得到什么？要得到一個(gè)正確的決策。可是在攻擊里面，我們輸入一個(gè)攻擊的樣本，就希望它能得到一個(gè)錯(cuò)誤的行為，這種辦法能不能在人工智能領(lǐng)域行得通？

人“攻”智能

在去年GeekPwn美國(guó)戰(zhàn)的時(shí)候，剛好有一位世界級(jí)的人工智能大師發(fā)現(xiàn)了這個(gè)成果。你們看，圖片左邊是一條小狗，對(duì)于現(xiàn)在的人工智能來(lái)講，識(shí)別它非常容易。但這張小狗又不是小狗，它是經(jīng)過(guò)特制的，當(dāng)下最成功的人工智能識(shí)別系統(tǒng)堅(jiān)持認(rèn)為這是一只鴕鳥(niǎo)。

左邊這張圖大家依然看不到任何信息，全都是噪點(diǎn)對(duì)不對(duì)？但當(dāng)我們交給人工智能時(shí)，它堅(jiān)持認(rèn)為這是一張熊貓。我們又一次誤導(dǎo)它出現(xiàn)錯(cuò)誤的決策，這給了我們信心，就是我們假想中的錯(cuò)誤真的可能導(dǎo)致錯(cuò)誤決策，就是攻擊樣本。

去年微軟推出一個(gè)智能聊天機(jī)器人，它能和我們正常交流，可是沒(méi)過(guò)多久就下線(xiàn)了。為什么？因?yàn)樗诘谝惶煜挛缇烷_(kāi)始跟人罵臟話(huà)了，說(shuō)種族主義的東西。為什么能這樣呢？因?yàn)樯衔缇陀腥擞眠@種話(huà)來(lái)跟他交流，他以為這是人與人之間正常的交流方式。

所以我產(chǎn)生了一個(gè)想法，在人工智能時(shí)代，真的可能一不小心人人都是黑客。黑客不需要寫(xiě)任何代碼，也不需要像我們有十幾年的安全經(jīng)驗(yàn)，它就可以成功地把人工智能給欺騙了，這說(shuō)的是語(yǔ)言領(lǐng)域。

其他領(lǐng)域呢，大家來(lái)看一下，這是一只機(jī)器狗，這是一個(gè)機(jī)器人，他們來(lái)自于美國(guó)的波士頓動(dòng)力公司，他們能夠像人類(lèi)或是動(dòng)物一樣去行走，在行進(jìn)過(guò)程中，自己摸索出調(diào)整平衡的方法，這是一項(xiàng)非常了不起的產(chǎn)品。

我在想，如果有一天這些機(jī)器狗、機(jī)器人認(rèn)為，我捅你一下、踹你一下，是跟和你握手一樣的友好行為怎么辦？機(jī)器人會(huì)不會(huì)威脅到我們呢？我可能是杞人憂(yōu)天，但是站在黑客的角度，我們習(xí)慣性從壞人角度看問(wèn)題。

人工智能從上世紀(jì)50年代發(fā)展到現(xiàn)在，非常像《速8》里的那個(gè)小孩，我們希望他能夠成長(zhǎng)成像他父親一樣那么強(qiáng)壯、智慧的男人。

保護(hù)人類(lèi)

可是這一天會(huì)不會(huì)受到干擾呢？我們現(xiàn)在做的工作，就是希望能夠幫助人工智能安全健康地成長(zhǎng)。我們一直嘗試用壞人的視角看問(wèn)題，幫助我們做出更安全的產(chǎn)品。

我們擔(dān)心什么？不知大家有沒(méi)有看過(guò)一部叫《超能查派》的電影，看這電影時(shí)我感觸非常深。它講一個(gè)機(jī)器人剛出生就被劫匪從實(shí)驗(yàn)室劫走了，過(guò)了幾個(gè)月，大家看到它帶著金項(xiàng)鏈、舉著手槍、罵著臟話(huà)、搶別人錢(qián)。為什么呢？因?yàn)樗粠У截毭窨撸J(rèn)為這才是正當(dāng)工作。

我們期望人工智能改變我們的生活，但我們更認(rèn)為自己有必要幫助它健康成長(zhǎng)。我特別希望有更多的人投入到這份工作，或者說(shuō)黑客事業(yè)上來(lái)。

人工智能領(lǐng)域分為兩派，一派是樂(lè)觀主義，另一派是悲觀主義。悲觀主義認(rèn)為，人類(lèi)正在自取滅亡，他們正在做一個(gè)可能超越人類(lèi)，某一天將危及人類(lèi)安全的設(shè)備。持悲觀觀點(diǎn)的人不僅有我，還有霍金、埃隆·馬斯克、比爾·蓋茨……

如果真有那么一天，黑客說(shuō)不定還能夠保護(hù)全人類(lèi)，攻擊它（人工智能），所以今天跟大家分享的全都是我的一些淺薄想法，如有不雷同，歡迎拍磚，謝謝大家。