這是一張著名的PS照片，2008年伊朗政府在媒體上公布了他們成功發(fā)射導(dǎo)彈的照片，但是緊接著就有人出來(lái)打臉，證明了這張圖是偽造的，可以看到底部的煙霧連形狀都一毛一樣。隨著技術(shù)的發(fā)展，近幾年人工智能也參與到“PS大戰(zhàn)”中，譬如此前風(fēng)靡reddit的deepfakes，以及將奧巴馬換到某視頻上做出一條假新聞等等。

自從AI可以輕松“換臉”，全球許多專家表示很擔(dān)心，因?yàn)檫@種以假亂真的偽裝術(shù)在社交媒體的推動(dòng)下往往會(huì)產(chǎn)生難以控制的后果。著名的圖形圖像生產(chǎn)商Adobe公司也利用AI技術(shù)創(chuàng)造了許多相關(guān)技術(shù)，比如“一鍵換景”的工具。不過(guò)該公司同樣也在開(kāi)發(fā)“反偽裝”工具，即利用機(jī)器學(xué)習(xí)自動(dòng)發(fā)現(xiàn)經(jīng)過(guò)編輯的照片。

上周，Adobe公司在CVPR 2018上展示了機(jī)器是如何在更短時(shí)間內(nèi)自動(dòng)識(shí)別出照片的修改痕跡的。這篇論文并不能看作計(jì)算機(jī)視覺(jué)領(lǐng)域的一大突破，并且還未投入商用，但是看到Adobe這個(gè)“PS專業(yè)戶”發(fā)明“反PS工具”還是很有趣的。

在接受采訪時(shí)，Adobe公司的發(fā)言人表示這個(gè)項(xiàng)目還處于早期，但是在未來(lái)，公司將著力于“開(kāi)發(fā)能幫助檢測(cè)和驗(yàn)證數(shù)字媒體真實(shí)性的工具”。這一技術(shù)具體是什么還不知道，因?yàn)锳dobe從未發(fā)布過(guò)用于發(fā)現(xiàn)假照片的工具。但是該公司曾利用數(shù)字取證幫助找到失蹤兒童的行為，也表明他們對(duì)自己技術(shù)的負(fù)責(zé)態(tài)度。

這次的新論文展示了如何用機(jī)器學(xué)習(xí)發(fā)現(xiàn)圖像的三種改變：拼接（即將不同圖像的兩部分合在一張圖上）、復(fù)制（一張圖像中出現(xiàn)了兩處相同的地方）、刪除（某一對(duì)象從圖中被移除了）。

為了發(fā)現(xiàn)這些特點(diǎn)，科學(xué)家們通常會(huì)在圖像的隱藏層中尋找線索。當(dāng)圖像經(jīng)過(guò)這些編輯時(shí)，它們會(huì)留下數(shù)字化痕跡，例如圖像傳感器產(chǎn)生的顏色和亮度的不一致性（也被稱為圖像噪聲）。當(dāng)你將兩張不同的照片拼在一起，或者從另一張圖中復(fù)制粘貼其中一部分，背景噪聲是不匹配的，就像用有些許色差的油漆掩蓋墻壁上的污漬。

和其他許多機(jī)器學(xué)習(xí)系統(tǒng)一樣，Adobe的新成果也是在大量數(shù)據(jù)上訓(xùn)練的結(jié)果。從這之中，它學(xué)會(huì)了辨認(rèn)圖像經(jīng)過(guò)處理后的一般特征。

下面讓我們來(lái)看看論文具體講了什么：

隨著各種圖像編輯技術(shù)和軟件的層出不窮，幾乎人人都能掌握一些P圖技巧，如下所示就是三種常見(jiàn)的PS手段：

從上至下依次是拼接（山上多出了一棵樹(shù)）、復(fù)制（原圖中左邊的藍(lán)色椅子被換成了和右邊一樣的椅子）、刪除（小魚被抹掉了）

所以想要區(qū)分真實(shí)照片和經(jīng)過(guò)處理的照片就非常困難。而在本次CVPR 2018上，Adobe的研究者帶來(lái)了一種多任務(wù)框架，既能對(duì)圖片的人工處理進(jìn)行辨認(rèn)和分類，同時(shí)還能進(jìn)行邊框回歸（bounding box regression）。這一項(xiàng)目的網(wǎng)絡(luò)架構(gòu)如圖所示：

這是有兩條通道的Faster R-CNN網(wǎng)絡(luò)，上面一層是輸入RGB圖像的通道，下面是輸入SRM圖像的噪音通道。研究人員通過(guò)雙線性池化，將兩種通道結(jié)合在一起。

其中RGB通道是單一的Faster R-CNN網(wǎng)絡(luò)，它既可以用來(lái)執(zhí)行邊框回歸，也可以進(jìn)行圖像偽造辨認(rèn)。我們用ResNet 101網(wǎng)絡(luò)去學(xué)習(xí)輸入的RGB圖像特征，最后卷積層輸出的特征就用來(lái)辨別圖像經(jīng)過(guò)何種處理。

但是只有RGB通道還不足以處理所有的P圖手段，尤其是經(jīng)過(guò)后期精心處理的，掩蓋住了拼接邊緣的圖像，這對(duì)RGB通道來(lái)說(shuō)是個(gè)挑戰(zhàn)。于是我們將圖片中的局部噪聲分布當(dāng)做額外的考慮因素。與RGB通道不同，噪聲通道關(guān)注更多的是圖中的噪聲而不是語(yǔ)義內(nèi)容。如下圖所示：

上圖中，將紅色邊框放大后可以看到在邊界處有明顯的不自然線條。另外，第三列圖片還顯示了拼接圖片和原始圖片之間噪聲的不一致性。

兩個(gè)通道處理完畢后，網(wǎng)絡(luò)會(huì)將二者在圖像檢測(cè)上的結(jié)果結(jié)合起來(lái)。在眾多融合方案中，他們選擇了雙線性池化，這一方法最初是用于對(duì)分類進(jìn)行微調(diào)的。

最終結(jié)果

以上是網(wǎng)絡(luò)進(jìn)行P圖檢測(cè)的幾個(gè)例子，第一行的例子來(lái)自COVER數(shù)據(jù)集，在單獨(dú)的RGB和噪聲檢測(cè)結(jié)果中，系統(tǒng)的檢測(cè)結(jié)果都不準(zhǔn)確，但是在本次提出的模型上（RGB-N），系統(tǒng)成功地標(biāo)出右邊的皮包是“偽造”的。

另外，網(wǎng)絡(luò)還能識(shí)別出P圖所用的技術(shù)，上圖就是拼接、復(fù)制和刪除的三個(gè)不同示例。

結(jié)語(yǔ)

通過(guò)論文，研究人員將兩種通道結(jié)合，毫無(wú)疑問(wèn)地提高了對(duì)圖像修改痕跡的辨認(rèn)程度。在數(shù)據(jù)集上的測(cè)試也證明了這種方法不僅能看出“人工痕跡”，還能對(duì)此進(jìn)行分類。圖像識(shí)別專家Hany Farid在接受The Verge采訪時(shí)表示：“這些機(jī)器學(xué)習(xí)新工具的好處在于，它們能發(fā)現(xiàn)不明顯甚至從未被發(fā)現(xiàn)的人工痕跡。但是缺陷在于，它們只在被輸入到網(wǎng)絡(luò)中的訓(xùn)練數(shù)據(jù)上表現(xiàn)良好，而且至少目前為止，它們不太能學(xué)習(xí)更高級(jí)的偽造痕跡，例如發(fā)現(xiàn)陰影或倒影的不規(guī)則之處。”

除了這些不足之處，我們?nèi)匀缓芨吲d看到這些能幫我們發(fā)現(xiàn)虛假信息的技術(shù)的出現(xiàn)。雖然人工智能可能會(huì)帶來(lái)危害，但它也能幫助我們。