【導(dǎo)讀】為了應(yīng)對多模態(tài)假新聞，本文提出檢測并定位多模態(tài)媒體篡改任務(wù)（DGM）。與現(xiàn)有的單模態(tài)DeepFake檢測任務(wù)相比，DGM不僅判斷輸入圖像-文本對的真假，也嘗試定位篡改內(nèi)容（例如圖像篡改區(qū)域和文本篡改單詞）。

由于如Stable Diffusion等視覺生成模型的快速發(fā)展，高保真度的人臉圖片可以自動化地偽造，制造越來越嚴(yán)重的DeepFake問題。

隨著如ChatGPT等大型語言模型的出現(xiàn)，大量假本文也可以容易地生成并惡意地傳播虛假信息。

為此，一系列單模態(tài)檢測模型被設(shè)計出來，去應(yīng)對以上AIGC技術(shù)在圖片和文本模態(tài)的偽造。但是這些方法無法較好應(yīng)對新型偽造場景下的多模態(tài)假新聞篡改。

具體而言，在多模態(tài)媒體篡改中，各類新聞報道的圖片中重要人物的人臉（如圖 1 中法國總統(tǒng)人臉）被替換，文字中關(guān)鍵短語或者單詞被篡改（如圖 1 中正面短語「is welcome to」被篡改為負(fù)面短語「is forced to resign」）。

這將改變或掩蓋新聞關(guān)鍵人物的身份，以及修改或誤導(dǎo)新聞文字的含義，制造出互聯(lián)網(wǎng)上大規(guī)模傳播的多模態(tài)假新聞。

圖1. 本文提出檢測并定位多模態(tài)媒體篡改任務(wù)（DGM4）。與現(xiàn)有的單模態(tài)DeepFake檢測任務(wù)不同，DGM4不僅對輸入圖像-文本對預(yù)測真假二分類，也試圖檢測更細(xì)粒度的篡改類型和定位圖像篡改區(qū)域和文本篡改單詞。除了真假二分類之外，此任務(wù)對篡改檢測提供了更全面的解釋和更深入的理解。

表1: 所提出的DGM4與現(xiàn)有的圖像和文本偽造檢測相關(guān)任務(wù)的比較

檢測并定位多模態(tài)媒體篡改任務(wù)

為了解此新挑戰(zhàn)，來自哈工大（深圳）和南洋理工的研究人員提出了檢測并定位多模態(tài)媒體篡改任務(wù)（DGM4）、構(gòu)建并開源了DGM4數(shù)據(jù)集，同時提出了多模態(tài)層次化篡改推理模型。目前，該工作已被CVPR 2023收錄。

論文地址：https://arxiv.org/abs/2304.02556

GitHub：https://github.com/rshaojimmy/MultiModal-DeepFake

項目主頁：https://rshaojimmy.github.io/Projects/MultiModal-DeepFake

如圖1和表1所示，檢測并定位多模態(tài)媒體篡改任務(wù)（Detecting and Grounding Multi-Modal Media Manipulation （DGM4））和現(xiàn)有的單模態(tài)篡改檢測的區(qū)別在于：

1）不同于現(xiàn)有的DeepFake圖像檢測與偽造文本檢測方法只能檢測單模態(tài)偽造信息，DGM4要求同時檢測在圖像-文本對中的多模態(tài)篡改；

2）不同于現(xiàn)有DeepFake檢測專注于二分類，DGM4進(jìn)一步考慮了定位圖像篡改區(qū)域和文本篡改單詞。這要求檢測模型對于圖像-文本模態(tài)間的篡改進(jìn)行更全面和深入的推理。

檢測并定位多模態(tài)媒體篡改數(shù)據(jù)集

為了支持對DGM4研究，如圖2所示，本工作貢獻(xiàn)了全球首個檢測并定位多模態(tài)媒體篡改（DGM4）數(shù)據(jù)集。

圖2. DGM4數(shù)據(jù)集

DGM4數(shù)據(jù)集調(diào)查了4種篡改類型，人臉替換篡改（FS）、人臉屬性篡改（FA）、文本替換篡改（TS）、文本屬性篡改（TA）。

圖2展示了 DGM4整體統(tǒng)計信息，包括（a） 篡改類型的數(shù)量分布；（b） 大多數(shù)圖像的篡改區(qū)域是小尺寸的，尤其是對于人臉屬性篡改；（c） 文本屬性篡改的篡改單詞少于文本替換篡改；（d）文本情感分?jǐn)?shù)的分布；（e）每種篡改類型的樣本數(shù)。

此數(shù)據(jù)共生成23萬張圖像-文本對樣本，包含了包括77426個原始圖像-文本對和152574個篡改樣本對。篡改樣本對包含66722個人臉替換篡改，56411個人臉屬性篡改，43546個文本替換篡改和18588個文本屬性篡改。

多模態(tài)層次化篡改推理模型

本文認(rèn)為多模態(tài)的篡改會造成模態(tài)間細(xì)微的語義不一致性。因此通過融合與推理模態(tài)間的語義特征，檢測到篡改樣本的跨模態(tài)語義不一致性，是本文應(yīng)對DGM4的主要思路。

圖3. 提出的多模態(tài)層次化篡改推理模型HierArchical Multi-modal Manipulation rEasoning tRansformer (HAMMER)

基于此想法，如圖3所示，本文提出了多模態(tài)層次化篡改推理模型HierArchical Multi-modal Manipulation rEasoning tRansformer (HAMMER)。

此模型建立在基于雙塔結(jié)構(gòu)的多模態(tài)語義融合與推理的模型架構(gòu)上，并將多模態(tài)篡改的檢測與定位細(xì)粒度層次化地通過淺層與深層篡改推理來實(shí)現(xiàn)。

具體而言，如圖3所示，HAMMER模型具有以下兩個特點(diǎn)：

1）在淺層篡改推理中，通過篡改感知的對比學(xué)習(xí)（Manipulation-Aware Contrastive Learning）來對齊圖像編碼器和文本編碼器提取出的圖像和文本單模態(tài)的語義特征。同時將單模態(tài)嵌入特征利用交叉注意力機(jī)制進(jìn)行信息交互，并設(shè)計局部塊注意力聚合機(jī)制（Local Patch Attentional Aggregation）來定位圖像篡改區(qū)域；

2）在深層篡改推理中，利用多模態(tài)聚合器中的模態(tài)感知交叉注意力機(jī)制進(jìn)一步融合多模態(tài)語義特征。在此基礎(chǔ)上，進(jìn)行特殊的多模態(tài)序列標(biāo)記（multi-modal sequence tagging）和多模態(tài)多標(biāo)簽分類（multi-modal multi-label classification）來定位文本篡改單詞并檢測更細(xì)粒度的篡改類型。

實(shí)驗(yàn)結(jié)果

如下圖，實(shí)驗(yàn)結(jié)果表明研究團(tuán)隊提出的HAMMER與多模態(tài)和單模態(tài)檢測方法相比，都能更準(zhǔn)確地檢測并定位多模態(tài)媒體篡改。

圖4. 多模態(tài)篡改檢測和定位結(jié)果可視化

圖5. 關(guān)于篡改文本的模型篡改檢測注意力可視化

圖4提供了一些多模態(tài)篡改檢測和定位的可視化結(jié)果，說明了HAMMER可以準(zhǔn)確地同時進(jìn)行篡改檢測與定位任務(wù)。圖5提供了關(guān)于篡改單詞的模型注意力可視化結(jié)果，進(jìn)一步展示了HAMMER是通過關(guān)注與篡改文本語義不一致性的圖像區(qū)域來進(jìn)行多模態(tài)篡改檢測和定位。

總結(jié)

本工作提出了一個新的研究課題：檢測并定位多模態(tài)媒體篡改任務(wù)，來應(yīng)對多模態(tài)假新聞。

本工作貢獻(xiàn)了首個大規(guī)模的檢測并定位多模態(tài)媒體篡改數(shù)據(jù)集，并提供了詳細(xì)豐富的篡改檢測與定位的標(biāo)注。團(tuán)隊相信它可以很好地幫助未來多模態(tài)假新聞檢測的研究。

本工作提出了一個強(qiáng)大的多模態(tài)層次化篡改推理模型作為此新課題很好的起始方案。

本工作的代碼和數(shù)據(jù)集鏈接都已分享在本項目的GitHub上，歡迎大家Star這個GitHub Repo， 使用DGM4數(shù)據(jù)集和HAMMER來研究DGM4問題。DeepFake領(lǐng)域不只有圖像單模態(tài)檢測，還有更廣闊的多模態(tài)篡改檢測問題亟待大家解決！

審核編輯 ：李倩