引言

本文介紹了復旦大學數據智能與社會計算實驗室（Fudan DISC）在Findings of ACL 2021上錄用的一篇關于論辯挖掘的工作：Leveraging Argumentation Knowledge Graph for Interactive Argument Pair Identification，通過構建論辯領域的知識圖譜并融合其中的相關知識，提升互動論點對識別任務的準確性。

互動論點對識別（Interactive Argument Pair Interaction）是對話式論辯挖掘研究領域中的一個核心任務。現有對于互動論點對識別的研究將其視為句子匹配問題，并且在很大程度上依賴于文本信息來計算文本相似性。然而，論點之間的互動通常會涉及論題的背景知識，并需要知識概念之間的推理，這超出了文本相似度層面的信息。

在本文中，我們提出利用外部知識來增強交互式論點對的識別。我們從在線論壇中不同主題的討論語料中構建論辯知識圖譜。在此基礎上，被引用論點和回復論點之間的交互便可被表示為知識圖譜中的推理路徑。在實際中，我們利用圖卷積網絡 （GCN） 來學習知識圖中的概念實體表示，并使用基于 Transformer 的編碼器來學習推理路徑的表示。

最后，采用信息對齊網絡來捕獲概念信息（實體級和路徑級）和文本信息的交互。實驗結果表明，我們的模型在基準數據集中達到了最先進的性能。進一步的實驗分析證明了我們模型通過知識圖譜中的概念路徑來執行知識推理的合理性及有效性。

研究背景

論辯挖掘旨在分析論辯性文本中的語義和邏輯結構。目前論辯挖掘的研究方向大致可以分為單篇式論辯（Monological Argumentation）以及對話式論辯（Dialogical Argumentation）。

二者的主要區別在于，單篇式論辯的研究對象通常為單篇式的論辯場景，如學生議論文、公開演講等一整篇論辯性文章或一段論辯文本，相關的任務包括論辯部件預測、說服力評估和論辯總結等；而對話式論辯的研究對象通常為辯論賽或者在線論壇場景下，由持有不同觀點的多方參與者之間的互動所產生的文本，相關任務包含互動論點對識別、抽取等。

現有對于互動論點對識別的研究將其視為句子匹配問題，并且在很大程度上依賴于文本信息來計算文本相似性。雖然相關深度學習模型取得了一定的判別效果，但對于互動論點對中真正具有互動關系的概念實體的利用程度仍有不足，也就是說該任務需要超出文本相似度的知識信息。

兩條現有模型無法正確識別的互動論點對示例。在第一個例子中，兩句論點之間的聯系由“president”和“Obama”以及“John Boehner”和“speaker of the house”所構建，這屬于自然語言中常見的常識類知識；而在第二個例子中，兩句論點之間的聯系則需要通過“global warming”導致“sea level”提高來體現，這段推理過程中所出現的關系為論辯領域中所特有的因果聯系。

因此，我們希望在互動論點對識別的任務中融入上述兩類知識，來提升該任務上模型的效果，并提供更直接的可解釋性。具體做法上，本文構建了論辯領域的知識圖譜，并以圖譜中推理路徑的方式來融合相關知識。在模型層面，本文通過使用圖卷積網絡（GCN）編碼相關實體，并使用Transformer編碼器編碼相關推理路徑，再將這兩個級別的概念編碼與文本編碼進行信息對齊，從而完成對于互動論點對識別任務的增強。

圖譜構建

原始圖譜構建

本文在Tan等人所構建的CMV文本數據集的基礎上，采用OpenIE來抽取出其中的（實體、關系、實體）三元組，將所有的實體作為節點，所有的關系作為邊，得到了原始的知識圖譜。該階段中加入的知識對應于研究背景中提到的第二類知識——因果聯系。該階段的圖譜統計信息如下圖所示。

概念對齊

為了進一步提升我們所構建的圖譜質量，同時也為了加入研究背景中所提到的第一類常識知識，本文在得到上述原始圖譜后，進行了概念對齊操作。對于兩個知識圖譜中的實體，如果它們在Wiikipedia中的搜索結果相同，則將它們之間加入”等價“的實體關系。概念對齊后的知識圖譜相關統計信息如下圖所示。結果顯示概念對齊后，圖譜的連通性明顯增加，稀疏性的問題得到了一定程度上的解決。

方法描述

本文提出了將論辯圖譜知識融入互動論點對識別任務的模型框架。該框架主要包含三個模塊，文本編碼器、概念編碼器以及信息對齊網絡。

論點對文本信息建模

給定一對候選引用-回復論點對，我們將其拼接后通入BERT句子對分類模型，取出其中的［CLS］符號的表示即可得到論點對的文本層面表示。

論點對概念信息建模

給定一對候選引用-回復論點對的上下文，我們抽取出其中所包含的概念實體，接下來從實體和路徑兩個層面進行概念信息建模。

2.1 實體級別

我們采用平均池化的BERT詞向量得到每個節點的初始化表示，接著使用二層GCN網絡來對每個節點信息進行匯總融合，從而得到了每個提及的實體的概念表示。

2.2 路徑級別

在本文中，推理路徑定義為論辯雙方所提到的概念實體對之間在知識圖譜中經過遍歷而順次連接得到的序列。在得到上述實體的表示后，我們從圖譜中枚舉出雙方所有的概念實體對之間的最短路徑，再經過Transformer編碼器來對其進行編碼表示，進而得到了每條推理路徑的表示

信息對齊網絡

得到基于每個實體以及每條路徑的概念表示之后，我們構建了信息對齊網絡來將不同的實體以及路徑匯總得到概念層面的總表示。具體來說，我們利用文本信息表示來對所有的推理路徑進行注意力池化匯總得到推理路徑的總表示，在利用推理路徑總表示來對所有的實體進行注意力池化匯總得到概念實體的總表示。

在得到以上文本和概念層面的總表示后，我們將這些維度的特征拼接并通過一個線性層，來預測當前候選論點對成為互動論點對的匹配分數，從而得到最終的判別結果。

實驗

互動論點對識別性能

下表展示了在互動論點對識別數據集上的各模型性能。實驗結果顯示本文提出的模型在P@1和MRR指標上均優于已有模型，一方面體現在文本信息建模方面，預訓練模型BERT的性能超過了之前最先進的DVAE模型；另一方面體現在上下文信息建模方面，通過融入論辯圖譜對于論點概念的編碼表示的組件超過了之前的層次化CNN上下文建模給模型所帶來的提升。

消融實驗

下表展示了本文所提模型的消融實驗，從結果中可以發現三個主要模塊中對模型性能影響最大的是文本信息編碼；在概念編碼中對于模型性能提升最明顯的是路徑編碼器。

進一步分析

本文對于得到的知識圖譜中推理路徑進行了進一步探究，主要分為四個子實驗：

（a）概念對連通性：實驗顯示對于存在互動關系的正確論點對以及不存在互動關系的負樣本，雙方概念中存在推理路徑（即聯通）的實體對分別占54%和41%，即連通性對于判斷是否存在互動關系有一定判別作用；

（b）推理路徑長度分布：實驗顯示在正確論點對中的推理路徑平均長度會略低于負樣本中的推理路徑，即更長的推理路徑傾向于出現在無關的論點對中；

（c）推理路徑中的關系分布：我們通過統計出現在所有推理路徑中的關系，并應用一些詞典資源（如+/-EffectWordnet/Connotation Frames等）對關系進行分類，結果顯示在所有推理路徑中，常識知識的關系和因果知識的關系占比非常接近，各占了所有關系的40%左右；

（d）路徑長度截斷：本文通過對路徑長度做限制，去掉超過限制長度的推理路徑并重復實驗，結果顯示對于互動論點對識別的任務，當推理路徑的長度限制設置在4的時候達到最好效果，經分析這可能是推理路徑數量（路徑長度越大路徑數越多）和推理路徑質量（路徑長度越小越有可能為正樣本中的路徑）之間的權衡。

總結

本文提出了一個模擬人類辯論推理過程的模型框架。具體實踐中，我們首先從在線辯論論壇ChangeMyView出發，利用OpenIE工具、詞典資源和Wikipedia相關API進行概念對齊，構建了一個對話式辯論領域的知識圖譜。

接著利用基于路徑的圖模型對辯論雙方的概念對之間的推理路徑進行編碼，并將概念信息與預先訓練好的語言模型BERT獲得的語義信息進行對齊。在互動論點對識別任務上的實驗表明該模型能夠有效、透明地利用外部知識，進一步關于推理路徑的實驗也顯示出基于我們構建的知識圖譜所生成的推理路徑具有較高的質量。

編輯：jq