隨著監(jiān)管者、保險公司和醫(yī)療賬單服務(wù)公司開始在其軟件系統(tǒng)中使用人工智能，一些企業(yè)可能會學(xué)著利用基本算法的漏洞鉆空子。

去年，美國食品藥品監(jiān)督管理局（Food and Drug Administration）批準(zhǔn)了一種醫(yī)療設(shè)備上市。通過拍攝用戶視網(wǎng)膜的圖像，它就能自動篩查糖尿病患者因視網(wǎng)膜病變而失明的征兆。

這種新型的人工智能技術(shù)正在醫(yī)學(xué)領(lǐng)域刮起一陣迅猛的旋風(fēng)。利用新技術(shù)，科學(xué)家開發(fā)了不同的系統(tǒng)，能夠通過各種各樣的影像來識別疾病的征兆，這些影像包括肺部 X 光片和 C.A.T.（又稱計算機(jī) X 射線軸向分層造影掃描儀）大腦掃描圖像等。這些系統(tǒng)承諾，醫(yī)生能通過它們以更低成本且更有效地評估病情。

類似的人工智能系統(tǒng)很有可能“走出”醫(yī)院，為醫(yī)療保健監(jiān)管者、醫(yī)療賬單服務(wù)公司和保險公司的計算機(jī)系統(tǒng)提供幫助。人工智能有助于醫(yī)生檢查病人的眼睛、肺部和其他器官；同理，它也能夠幫助保險公司確定賠付金額和保費(fèi)。

理想的情況下，這些系統(tǒng)將有助于提高醫(yī)療保健系統(tǒng)的效率。但美國哈佛大學(xué)和麻省理工學(xué)院的一組研究人員警告說，這些系統(tǒng)可能會產(chǎn)生意想不到的后果。

本周四（當(dāng)?shù)貢r間 3 月 21 日），上述研究人員在《科學(xué)》（Science）雜志上發(fā)表了一篇論文，提出了發(fā)生“對抗攻擊”（adversarial attacks）的可能性。對抗攻擊是指通過操縱小塊的數(shù)字?jǐn)?shù)據(jù)，達(dá)到改變?nèi)斯ぶ悄芟到y(tǒng)行為的目的。例如，如果有人篡改了肺部掃描影像的一些像素，就會誤導(dǎo)人工智能，把沒病的判斷成有病，或者把有病的誤判成沒病。

論文的作者指出，未來幾年，軟件開發(fā)商和監(jiān)管者在構(gòu)建人工智能系統(tǒng)和進(jìn)行相應(yīng)的技術(shù)評估時，必須把上述可能發(fā)生的情況考慮在內(nèi)。黑客可能入侵系統(tǒng)，造成病人誤診，但這還不是最讓人擔(dān)心的問題。更讓人感到關(guān)切的是，醫(yī)生、醫(yī)院和其他組織可能會操縱醫(yī)療賬單或保險軟件上的人工智能系統(tǒng)，想方設(shè)法獲得盡可能多的收入。

塞繆爾·芬利森（Samuel Finlayson）是哈佛大學(xué)醫(yī)學(xué)院和麻省理工學(xué)院的一名研究人員，也是上述論文的作者之一。他提出警告的原因是：醫(yī)療保健行業(yè)有大量的資金往來，其計算機(jī)系統(tǒng)中存有醫(yī)療保健的跟蹤訪問記錄，利益相關(guān)者只需稍微改動系統(tǒng)的醫(yī)療賬單編碼和其他數(shù)據(jù)，便可從系統(tǒng)中騙到錢。而人工智能可能會使該問題變得更嚴(yán)重。

芬利森稱：“醫(yī)療信息本身就很不明確，再加上財務(wù)激勵政策經(jīng)常相互矛盾，使得高風(fēng)險決策因一點點信息變動就會出現(xiàn)搖擺。”

這篇新發(fā)表的論文，對所謂“對抗攻擊”發(fā)生的可能性，表示了更多的關(guān)切。從人臉識別服務(wù)和無人駕駛汽車到虹膜掃描儀與指紋識別器，這類攻擊的目標(biāo)可謂包羅萬象。

很多人工智能系統(tǒng)在設(shè)計和構(gòu)建時都會采用某種方式，其中包含一個基本層面；而對抗攻擊正是充分利用此處的缺陷實施的。人工智能越來越多地受到神經(jīng)網(wǎng)絡(luò)的驅(qū)動；神經(jīng)網(wǎng)絡(luò)是一種復(fù)雜的數(shù)學(xué)系統(tǒng)，主要通過分析海量數(shù)據(jù)自主學(xué)習(xí)如何完成任務(wù)。

例如，神經(jīng)網(wǎng)絡(luò)可通過分析成千上萬的眼部掃描圖，學(xué)會如何篩查糖尿病患者因視網(wǎng)膜病變而失明的征兆。這種“機(jī)器學(xué)習(xí)”是建立在巨大規(guī)模的基礎(chǔ)上的，因為人類的行為可通過無數(shù)不同的數(shù)據(jù)塊定義；但機(jī)器學(xué)習(xí)也可能產(chǎn)生自己意想不到的行為。

2016 年，美國卡耐基梅隆大學(xué)的一組研究人員在眼鏡框架上印出各種圖案，成功騙過了人臉識別系統(tǒng)，讓其誤以為戴眼鏡的是名人。當(dāng)研究人員戴上這些眼鏡時，系統(tǒng)把他們錯誤識別成米拉·喬沃維奇（Milla Jovovich）和約翰·馬爾科維奇（John Malkovich）等名人。

一個由中國研究人員組成的團(tuán)隊也設(shè)計了類似的騙局。他們讓人戴著帽子，把紅外光從帽沿下方投射到這些人的臉上。紅外光是人眼不可見的，但它可以欺騙人臉識別系統(tǒng)。戴帽子的人是亞洲的科學(xué)家，但系統(tǒng)會誤認(rèn)為他是另外一個人，比如說白人音樂家 Moby。

研究人員也發(fā)出警告：對抗攻擊能欺騙無人駕駛汽車，讓它們看錯東西。只需對路標(biāo)做較小的改動，就可導(dǎo)致汽車把停車標(biāo)志錯誤地識別為避讓標(biāo)志。

去年年底，美國紐約大學(xué)坦登工程學(xué)院（Tandon School of Engineering）的研究團(tuán)隊設(shè)計了虛擬指紋，騙過了 22% 的指紋識別器。也就是說，使用這些指紋識別器的所有手機(jī)或個人電腦，其中 22% 可能被解鎖。

這項研究產(chǎn)生了深遠(yuǎn)的影響，因為生物識別安全設(shè)備和其他人工智能系統(tǒng)得到了越來越普遍的應(yīng)用。印度已經(jīng)實施了全球最大的基于指紋的身份識別系統(tǒng)，用于分發(fā)政府補(bǔ)貼和分派服務(wù)。各大銀行正在給自動取款機(jī)加上人臉識別技術(shù)；與 Google 同屬一家母公司的 Waymo 目前正在對無人駕駛汽車進(jìn)行上路測試。

現(xiàn)在，芬利森及其同事已經(jīng)在醫(yī)學(xué)領(lǐng)域發(fā)出了同樣的警告：隨著監(jiān)管者、保險公司和醫(yī)療賬單服務(wù)公司開始在其軟件系統(tǒng)中使用人工智能，一些企業(yè)可能會學(xué)著利用基本算法的漏洞鉆空子。

例如，如果保險公司使用人工智能評估醫(yī)學(xué)掃描影像，醫(yī)院可通過操控掃描結(jié)果，盡量增加賠付金額。如果監(jiān)管者建立了人工智能系統(tǒng)，以對新技術(shù)進(jìn)行評估，設(shè)備制造商可通過改變圖像和其他數(shù)據(jù)，以欺騙該系統(tǒng)同意監(jiān)管批準(zhǔn)。

在上述論文中，研究人員已經(jīng)對以下對抗攻擊進(jìn)行了論證：通過篡改良性皮膚病損影像上的少量像素，可以欺騙診斷用人工智能系統(tǒng)，導(dǎo)致其誤判為惡性。他們也發(fā)現(xiàn)，僅僅通過旋轉(zhuǎn)影像，也能達(dá)到同樣的目的。

如果對病人病情的書面描述作少量改動，也可改變?nèi)斯ぶ悄艿脑\斷：“酗酒”的診斷結(jié)果與“酒精依賴”的不同，“腰痛”（lumbago）和“背痛”的診斷結(jié)果也會有所區(qū)別。

反過來，以某種方式改變診斷結(jié)果很容易讓保險公司和醫(yī)療保健機(jī)構(gòu)受益，它們最終會從中牟利。研究人員指出，一旦人工智能深深植根于醫(yī)療保健系統(tǒng)，各個公司將逐漸利用人工智能的行為，為其帶來最大利潤。

芬利森稱，最終的結(jié)果可能會傷及患者。醫(yī)生對醫(yī)學(xué)掃描影像或病人的其他數(shù)據(jù)做出了改動，成為了保險公司使用人工智能牟利的工具；但這些改動最終會成為病人的永久記錄，將對以后的一系列診斷產(chǎn)生影響。

其實，這種情況有時候也會發(fā)生。人們已經(jīng)發(fā)現(xiàn)，某些醫(yī)生、醫(yī)院和其他組織在操控軟件系統(tǒng)，以控制醫(yī)療保健行業(yè)數(shù)十億美元的資金往來。例如，有的醫(yī)生為了提高賠付金額，只需稍微改動一下醫(yī)療賬單編碼。比如說，把簡單的 X 光片變成了更加復(fù)雜的掃描影像。

哈姆莎·巴斯塔尼（Hamsa Bastani）是美國賓夕法尼亞大學(xué)沃頓商學(xué)院的一名助理教授，對醫(yī)療保健系統(tǒng)的操縱有深入的研究。她認(rèn)為，這是個重大的問題。她指出：“一些行為是無意識的，但并不是所有的行為都如此。”

作為一名機(jī)器學(xué)習(xí)系統(tǒng)專家，巴斯塔尼提出質(zhì)疑：引入人工智能是否會讓問題變得更加嚴(yán)重？在現(xiàn)實生活中想要實現(xiàn)對抗攻擊是很困難的；目前還不確定監(jiān)管者和保險公司是否打算采用容易受到對抗攻擊的這類機(jī)器學(xué)習(xí)算法。

她補(bǔ)充道，我們需要留意監(jiān)管者和保險公司。她說：“無心之舉總會帶來意想不到的后果，尤其是在醫(yī)療保健領(lǐng)域。”