1、總述
事件檢測旨在從給定的文本中識別事件觸發詞,并將其分類為事件類型。目前事件檢測的大多數方法在很大程度上依賴于訓練實例,而幾乎忽略了事件類型之間的相關性。因此,它們往往會面臨數據匱乏的問題,并且無法處理新的未見過的事件類型。
為了解決這些問題,我們將事件檢測重構成事件本體填充的過程:將事件實例鏈接到事件本體中的預定義事件類型,并提出一種新穎的借助本體嵌入進行事件檢測的框架——OntoED。我們通過建立事件類型之間的聯系來豐富事件本體,并進一步推理出更多的事件對之間的關聯。
OntoED可以基于事件本體實現事件知識的利用和傳播,特別是從高資源傳播到低資源的事件類型。此外,OntoED可以通過建立未知事件類型與現有事件的鏈接,實現對新的未見事件類型的檢測。
2、方法
具體來說,OntoED模型分為三階段:
(1)事件本體填充
在這一階段,初始的事件本體包含孤立的事件類型和事件實例,這一步就是為了建立起事件類型和事件實例的初始關聯,并建立起事件實例之間的聯系。
Instance Encoder:我們利用BERT得到事件實例的表示 ;
Class Encoder:每個事件類型由事件原型 表示,初始的事件原型是通過計算事件實例表示的均值得到;
Event Detector:通過計算事件實例表示 和事件原型 之間的向量距離進行事件檢測;
Instance Relation Extractor:抽取事件實例之間的關系。我們利用 來建模兩個事件實例表示之間的相互作用,并用softmax進行關系分類。
(2)事件本體學習
在事件本體學習階段,通過事件實例之間的聯系建立起事件類型之間的聯系,以得到更為豐富的事件本體。
Ontology Completion:主要包含建模事件實例的內部結構(Instance-to-class Linking)以及事件類型之間關聯的外部結構(Class-to-class Linking)。
Ontology Embedding:主要包含原型傳播和原型更新。在原型傳播階段,每個事件原型會傳播到與它鄰接的事件原型上,我們用 的矩陣 來表示事件對之間的關系;在原型更新階段,每個事件原型的表示更新成自身原本的原型表示與鄰接原型傳播得到表示的加權平均。
傳播到每個事件原型的表示:
事件原型更新后的表示:
(3)事件關聯推斷
在事件關聯推斷階段,通過上一階段得到的事件之間的關聯推斷出更多事件對之間的聯系,比如,(e1, CAUSE, e2) → (e1, BEFORE, e2);(e1, BEFORE, e2) ∧ (e2, BEFORE, e3) → (e1, BEFORE, e3)。
給定grounding ,我們通過計算它的得分來判斷事件之間關聯推斷成立的可能性。
這里我們主要考慮了本體語言OWL2中所定義的關系的對象屬性:
并利用線性映射假設對關系矩陣的表示進行約束:
最后通過計算grounding左右兩邊關系矩陣的表示差異來得到grounding的得分,也就是可以通過grounding右邊的事件關聯推斷出grounding左邊新的事件關聯的可能性。
3、實驗
(1)數據集
為了驗證OntoED的效果,我們構造了包含事件之間關系的事件抽取數據集——OntoEvent(數據集鏈接已給出,詳細的數據統計在論文的支撐材料里)。
(2)實驗結果
我們分別在全量樣本、少樣本、零樣本的數據上做了實驗。實驗表明,OntoED比以往的事件檢測方法效果更佳,尤其是在低資源的情況下。
編輯:jq
-
數據集
+關注
關注
4文章
1212瀏覽量
24895
原文標題:ACL2021 | OntoED:利用本體表示學習實現低資源的事件抽取
文章出處:【微信號:zenRRan,微信公眾號:深度學習自然語言處理】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
什么是BP神經網絡的反向傳播算法
JCMsuite—單模光纖傳播模式
通過微透鏡陣列的傳播
騰訊ima升級知識庫功能,上線小程序實現共享與便捷問答
駐波與無線電波傳播的關聯
通過微透鏡陣列的傳播
【每天學點AI】前向傳播、損失函數、反向傳播

知識分享 | 輕松實現優質建模

神經網絡反向傳播算法的原理、數學推導及實現步驟
反向傳播神經網絡建模基本原理
神經網絡前向傳播和反向傳播區別
神經網絡反向傳播算法原理是什么
利用Swap模式實現代碼回滾操作

評論