引 言

本文介紹了復(fù)旦大學(xué)數(shù)據(jù)智能與社會計(jì)算實(shí)驗(yàn)室 (Fudan DISC) 在AAAI 2021上錄用的一篇關(guān)于多模態(tài)匹配的工作:An Unsupervised Sampling Approach for Image-Sentence Matching UsingDocument-Level Structural Information，提出了一種無監(jiān)督設(shè)定下，更有效地利用多模態(tài)文檔的共現(xiàn)結(jié)構(gòu)信息幫助采樣完成句子-圖片匹配的方法。本文的合作單位是杭州之江實(shí)驗(yàn)室。

文章摘要

文章針對無監(jiān)督的句子圖片匹配任務(wù)?，F(xiàn)存的方法主要通過利用多模態(tài)文檔的圖片句子共現(xiàn)信息來無監(jiān)督地采樣正負(fù)樣本對，但是其在獲得負(fù)樣本時(shí)只考慮了跨文檔的圖片句子對，在一定程度上引入了采樣的偏差，使得模型無法分辨同一文檔內(nèi)語義較為近似的圖片和句子。

在本文中，我們提出了一種新的采樣的方法，通過引入同一文檔內(nèi)的圖片句子對作為額外的正負(fù)樣本來減小采樣的偏差；進(jìn)一步，我們提出了一個(gè)基于Transformer的模型來識別更為復(fù)雜的語義關(guān)聯(lián)，該模型為每個(gè)多模態(tài)文檔隱式地構(gòu)建了一個(gè)圖的結(jié)構(gòu)，構(gòu)建了同一篇文檔內(nèi)句子和圖片的表征學(xué)習(xí)間的橋梁。實(shí)驗(yàn)的結(jié)果證明了我們提出的方法有效的減小偏差并且進(jìn)一步獲得了更好的跨模態(tài)表征。

研究背景

圖1. 句子-圖片匹配任務(wù)說明

（綠色/藍(lán)色點(diǎn)代表圖片/句子，紅色實(shí)線代表匹配關(guān)系的標(biāo)簽，紅色/藍(lán)色虛線代表無監(jiān)督方法選出的（偽）正/負(fù)樣本對）

圖片-句子的匹配一直是跨模態(tài)領(lǐng)域的基礎(chǔ)任務(wù)，其根本的目的是對其視覺和文本的語義空間。如(a)所示，兩個(gè)模態(tài)之間本身存在著語義空間上的差異，對其的常見方法是通過有監(jiān)督的標(biāo)簽拉近匹配的樣本對，如(b)所示。在無監(jiān)督的環(huán)境下，最大的挑戰(zhàn)即為如何選擇出想要拉近的正樣本對和遠(yuǎn)離的負(fù)樣本對。

如(c)所示，最近的無監(jiān)督的方法通過文檔的圖片句子共現(xiàn)信息，通過拉近句子集合和圖片集合的方式來進(jìn)行訓(xùn)練，其中，同文檔內(nèi)語義近似的句子-圖片對被看作正樣本，而跨文檔間的句子-圖片對被看作負(fù)樣本，如(c)所示，這樣的方法沒有考慮到文檔內(nèi)部語義相似度更高的負(fù)樣本，其選出的負(fù)樣本與真實(shí)的負(fù)樣本分布存在著偏差。

于是本文提出了新的采樣策略，如(d)所示，我們引入了更多同一文檔內(nèi)部的正負(fù)樣本對來幫助訓(xùn)練。進(jìn)一步，為了更好地識別同一文檔內(nèi)更加復(fù)雜的句子圖片語義匹配模式，我們考慮使用更加細(xì)粒度的表征學(xué)習(xí)方法，提出了一個(gè)新的基于Transformer的模型，在其中為每個(gè)文檔的句子圖片間隱性建模了一個(gè)圖，來幫助獲得更好的跨模態(tài)表征。

方法描述

采樣方法

本文的方法基于三個(gè)部分的采樣，通過3個(gè)訓(xùn)練目標(biāo)實(shí)現(xiàn)，如圖2所示。

圖2. 三個(gè)部分的采樣和訓(xùn)練目標(biāo)示意

第一個(gè)部分為之前的工作提出的跨文檔訓(xùn)練目標(biāo)(cross-document objective)。其假設(shè)為同一文檔內(nèi)的句子集合和圖片集合間的相似度要整體高于來自兩個(gè)不同文檔的句子集合和圖片集合間的相似度，背后通過一定的方式來選出幾個(gè)句子圖片對之間的相似度來代表句子集合和圖片集合間的相似度。其采樣得到的正樣本為來自同一文檔的語義較為近似的句子-圖片對；負(fù)樣本為來自不同文檔的語義較為近似的圖片句子對。

第二個(gè)部分為文檔內(nèi)部的訓(xùn)練目標(biāo)(intra-document objective)。其假設(shè)為同一篇文檔內(nèi)部的語義近似的圖片句子對之間的相似度也要高于內(nèi)部語義相差較遠(yuǎn)的圖片句子對間的相似度，高于一定的值，在此目標(biāo)下采樣出的正樣本為來自同一文檔的語義較為近似的句子-圖片對；負(fù)樣本為來自同一文檔的語義相差較遠(yuǎn)的圖片句子對。

第三個(gè)部分為次跨文檔訓(xùn)練目標(biāo)(dropout sub-document objective)。其假設(shè)為即使一篇文檔我們將其隨機(jī)的遮蓋住部分的句子/圖片，剩下的殘缺文檔內(nèi)的句子集合和圖片集合間的相似度也要高于跨文檔間的圖片集合-句子集合間的相似度。在此目標(biāo)下采樣出的正樣本為來自同一“殘次”文檔的語義較為近似的句子-圖片對；負(fù)樣本為來自不同文檔的語義近似的圖片句子對。

跨模態(tài)表征模型

圖3. 總的模型結(jié)構(gòu)示意

由于引入了更多的同一文檔內(nèi)的圖片句子對，我們需要得到包含更細(xì)粒度信息的多模態(tài)表征，所以我們將圖片分割為區(qū)域，將句子分割為token，Transformer可以看作是帶有attention機(jī)制的圖網(wǎng)絡(luò)，我們通過兩個(gè)視覺/文本的Transformer對各模態(tài)內(nèi)的（區(qū)域/token）節(jié)點(diǎn)進(jìn)行編碼，與此同時(shí)我們引入了視覺的概念，這里我們將圖片區(qū)域預(yù)測出的標(biāo)簽作為圖片包括的概念，將它們作為中間的橋梁將兩個(gè)模態(tài)的圖橋接起來。概念會直接加入到視覺的圖中，作為節(jié)點(diǎn)存在，而概念和文本端的關(guān)系通過共享的embedding層來實(shí)現(xiàn)。這樣的模型里，當(dāng)句子里直接提到了區(qū)域里對應(yīng)的概念時(shí)，我們的模型就能很快地捕捉到這樣的匹配關(guān)系。

實(shí)驗(yàn)

我們在無監(jiān)督的多句子多圖片文檔內(nèi)的跨模態(tài)鏈接預(yù)測任務(wù)上進(jìn)行了實(shí)驗(yàn)，其中包括了基于MSCOCO, VIST構(gòu)建出的三個(gè)文檔數(shù)據(jù)集。對于每一個(gè)文檔，其內(nèi)部有多個(gè)句子和多個(gè)圖片，需要去預(yù)測其中句子和圖片間是否存在著鏈接的邊（匹配關(guān)系），使用AUC/P@1/P@5進(jìn)行評估。相較于之前只使用cross-document objective的方法（表內(nèi)MulLink），我們的方法有了明顯的提高。

表1. 總的實(shí)驗(yàn)結(jié)果

同時(shí)我們對我們提出的模型的結(jié)構(gòu)，和三個(gè)部分的訓(xùn)練目標(biāo)進(jìn)行了消融實(shí)驗(yàn)：

表2. 部分消融實(shí)驗(yàn)的結(jié)果

（S列代表采樣方法，T代表同時(shí)使用三種目標(biāo)訓(xùn)練，O代表只使用跨文檔訓(xùn)練目標(biāo)，w/o代表without，w/o Transformer的方法里我們使用GRU對句子進(jìn)行表征，對圖片的各個(gè)區(qū)域進(jìn)行softmax pooling進(jìn)行表征。）

可以看到整體上同時(shí)使用三種目標(biāo)可以采樣到更多的信息，幫助訓(xùn)練，我們也對三個(gè)目標(biāo)進(jìn)行了更加細(xì)致的消融實(shí)驗(yàn)，詳情可以參考原文。同時(shí)我們提出的模型更好地利用了細(xì)粒度的信息，也獲得了更好地跨模態(tài)表征。

同時(shí)，我們進(jìn)行了有監(jiān)督、無監(jiān)督和遷移學(xué)習(xí)的比較。有監(jiān)督的方法直接使用文檔內(nèi)的匹配的圖片句子對作為訓(xùn)練，如圖4，遷移學(xué)習(xí)則嘗試遷移從MSCOCO上進(jìn)行有監(jiān)督訓(xùn)練的信息到DII測試集上，如表3。

圖4. 有監(jiān)督-無監(jiān)督比較

藍(lán)色代表有監(jiān)督學(xué)習(xí)下，隨著使用的數(shù)據(jù)增加在測試集上的表現(xiàn)

表3. 遷移學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的比較

可以看到相較于只使用跨文檔訓(xùn)練目標(biāo)，同時(shí)使用三種目標(biāo)得到的更多樣本對里包括了更多的信息，我們無監(jiān)督的方法可以利用訓(xùn)練集內(nèi)更多的信息（~40%），相較于遷移自其他數(shù)據(jù)集的信息，也更加有效。

除此之外，我們通過錯誤分析的方法驗(yàn)證我們的方法對于偏差的修正效果。該偏差的表現(xiàn)為同一文檔內(nèi)的句子和圖片更加近似，跨文檔內(nèi)的圖片和句子差異更大，所以我們使用文檔內(nèi)的句子/圖片表征的發(fā)散程度來代表這個(gè)差異，同一文檔內(nèi)越發(fā)散，訓(xùn)練和測試之間的差異越小。在DII上，我們使用每個(gè)文檔內(nèi)句子/圖片的發(fā)散程度來擬合該文檔鏈接預(yù)測的AUC，原來的方法得到的線性模型的R方為42%，也就是說差異能很大程度解釋錯誤的原因，而我們的方法得到的R方為23%，這意味著該差異對于結(jié)果的作用減弱了，加上我們模型整體上更好地表現(xiàn)，我們可以認(rèn)為我們減弱了采樣的偏差，使得偏差引起的錯誤減少了。

結(jié)論

在本文里，我們對于無監(jiān)督的句子-圖片匹配任務(wù)，針對之前方法存在的采樣偏差問題提出了新的采樣策略，希望更高效地利用多模態(tài)文檔內(nèi)句子和圖片共現(xiàn)的結(jié)構(gòu)信息，引入了更多的來自同一文檔內(nèi)的正/負(fù)圖片-句子對。同時(shí)提出了可以利用更細(xì)粒度信息的模型，建立了跨模態(tài)表征學(xué)習(xí)的關(guān)系橋梁。最終的實(shí)驗(yàn)證明了我們方法的有效性。

責(zé)任編輯：xj

原文標(biāo)題：【Fudan DISC】一種無監(jiān)督下利用多模態(tài)文檔結(jié)構(gòu)信息幫助圖片-句子匹配的采樣方法

文章出處：【微信公眾號：深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。