因為幾個美元字符，系統(tǒng)將一只標準貴賓犬識別為“小豬存錢罐”。

近日，非盈利式人工智能機構OpenAI的研究人員發(fā)現(xiàn)，他們最先進的計算機視覺系統(tǒng)輕而易舉的就被簡單的一些工具忽悠了。簡單的工具是什么？就是一支筆和一張紙。

實驗發(fā)現(xiàn)，在研究人員拿筆在紙上寫下單詞“iPod”，并將該紙條貼在一個澳洲青蘋果的表面上，隨即CLIP系統(tǒng)沒有“認出”青蘋果，而是將它識別為“iPod”。作為對比，在沒有粘貼紙條的實驗中，系統(tǒng)識別結果準確性超過了85%。

在另一個實驗中，研究人員只是在照片中的標準貴賓犬身上加上了幾個美元符號，最終系統(tǒng)也識別失敗，識別成“小豬存錢罐”。

這是為什么？

研究人員將這種攻擊稱作“文本攻擊”，基于模型強大的讀取文本的能力，即便是手寫文字的照片，也能夠做到“欺騙”模型。其中的核心在于CLUP的“多模態(tài)神經(jīng)元”，后者能夠對物體的照片，以及草圖和文本做出反應。他們指出，這類攻擊類似于蒙騙計算機視覺系統(tǒng)的“對抗性圖像”，但是制作上卻簡單得多。

據(jù)悉，CLIP旨在探索人工智能系統(tǒng)如何通過在龐大的圖像和文本對的數(shù)據(jù)庫上進行訓練，學會在沒有密切監(jiān)督的情況下識別物體。

本月初，針對CLIP的“多模態(tài)神經(jīng)元”的表現(xiàn)，OpenAI的研究人員已經(jīng)發(fā)表了一篇新的論文進行闡述。他們發(fā)現(xiàn)“多模態(tài)神經(jīng)元”——機器學習網(wǎng)絡中的單個組件，不僅能對物體的圖像作出反應，還能對素描、漫畫和相關文本做出反應，類似單個腦細胞對抽象的概念而不是具體的例子做出反應。

只不過，相較于人類，該系統(tǒng)目前還處于初級階段，也因此具備一定的危險性。針對這一點，研究人員也表明，他們已經(jīng)可以騙過特斯拉自動駕駛汽車的軟件系統(tǒng)，只需要在道路上放置一些貼紙，汽車便會在不發(fā)出警告的情況下改變車道。
編輯：jq