1、總述
事件檢測(cè)旨在從給定的文本中識(shí)別事件觸發(fā)詞,并將其分類為事件類型。目前事件檢測(cè)的大多數(shù)方法在很大程度上依賴于訓(xùn)練實(shí)例,而幾乎忽略了事件類型之間的相關(guān)性。因此,它們往往會(huì)面臨數(shù)據(jù)匱乏的問(wèn)題,并且無(wú)法處理新的未見過(guò)的事件類型。
為了解決這些問(wèn)題,我們將事件檢測(cè)重構(gòu)成事件本體填充的過(guò)程:將事件實(shí)例鏈接到事件本體中的預(yù)定義事件類型,并提出一種新穎的借助本體嵌入進(jìn)行事件檢測(cè)的框架——OntoED。我們通過(guò)建立事件類型之間的聯(lián)系來(lái)豐富事件本體,并進(jìn)一步推理出更多的事件對(duì)之間的關(guān)聯(lián)。
OntoED可以基于事件本體實(shí)現(xiàn)事件知識(shí)的利用和傳播,特別是從高資源傳播到低資源的事件類型。此外,OntoED可以通過(guò)建立未知事件類型與現(xiàn)有事件的鏈接,實(shí)現(xiàn)對(duì)新的未見事件類型的檢測(cè)。
2、方法
具體來(lái)說(shuō),OntoED模型分為三階段:
(1)事件本體填充
在這一階段,初始的事件本體包含孤立的事件類型和事件實(shí)例,這一步就是為了建立起事件類型和事件實(shí)例的初始關(guān)聯(lián),并建立起事件實(shí)例之間的聯(lián)系。
Instance Encoder:我們利用BERT得到事件實(shí)例的表示 ;
Class Encoder:每個(gè)事件類型由事件原型 表示,初始的事件原型是通過(guò)計(jì)算事件實(shí)例表示的均值得到;
Event Detector:通過(guò)計(jì)算事件實(shí)例表示 和事件原型 之間的向量距離進(jìn)行事件檢測(cè);
Instance Relation Extractor:抽取事件實(shí)例之間的關(guān)系。我們利用 來(lái)建模兩個(gè)事件實(shí)例表示之間的相互作用,并用softmax進(jìn)行關(guān)系分類。
(2)事件本體學(xué)習(xí)
在事件本體學(xué)習(xí)階段,通過(guò)事件實(shí)例之間的聯(lián)系建立起事件類型之間的聯(lián)系,以得到更為豐富的事件本體。
Ontology Completion:主要包含建模事件實(shí)例的內(nèi)部結(jié)構(gòu)(Instance-to-class Linking)以及事件類型之間關(guān)聯(lián)的外部結(jié)構(gòu)(Class-to-class Linking)。
Ontology Embedding:主要包含原型傳播和原型更新。在原型傳播階段,每個(gè)事件原型會(huì)傳播到與它鄰接的事件原型上,我們用 的矩陣 來(lái)表示事件對(duì)之間的關(guān)系;在原型更新階段,每個(gè)事件原型的表示更新成自身原本的原型表示與鄰接原型傳播得到表示的加權(quán)平均。
傳播到每個(gè)事件原型的表示:
事件原型更新后的表示:
(3)事件關(guān)聯(lián)推斷
在事件關(guān)聯(lián)推斷階段,通過(guò)上一階段得到的事件之間的關(guān)聯(lián)推斷出更多事件對(duì)之間的聯(lián)系,比如,(e1, CAUSE, e2) → (e1, BEFORE, e2);(e1, BEFORE, e2) ∧ (e2, BEFORE, e3) → (e1, BEFORE, e3)。
給定grounding ,我們通過(guò)計(jì)算它的得分來(lái)判斷事件之間關(guān)聯(lián)推斷成立的可能性。
這里我們主要考慮了本體語(yǔ)言O(shè)WL2中所定義的關(guān)系的對(duì)象屬性:
并利用線性映射假設(shè)對(duì)關(guān)系矩陣的表示進(jìn)行約束:
最后通過(guò)計(jì)算grounding左右兩邊關(guān)系矩陣的表示差異來(lái)得到grounding的得分,也就是可以通過(guò)grounding右邊的事件關(guān)聯(lián)推斷出grounding左邊新的事件關(guān)聯(lián)的可能性。
3、實(shí)驗(yàn)
(1)數(shù)據(jù)集
為了驗(yàn)證OntoED的效果,我們構(gòu)造了包含事件之間關(guān)系的事件抽取數(shù)據(jù)集——OntoEvent(數(shù)據(jù)集鏈接已給出,詳細(xì)的數(shù)據(jù)統(tǒng)計(jì)在論文的支撐材料里)。
(2)實(shí)驗(yàn)結(jié)果
我們分別在全量樣本、少樣本、零樣本的數(shù)據(jù)上做了實(shí)驗(yàn)。實(shí)驗(yàn)表明,OntoED比以往的事件檢測(cè)方法效果更佳,尤其是在低資源的情況下。
編輯:jq
-
數(shù)據(jù)集
+關(guān)注
關(guān)注
4文章
1224瀏覽量
25463
原文標(biāo)題:ACL2021 | OntoED:利用本體表示學(xué)習(xí)實(shí)現(xiàn)低資源的事件抽取
文章出處:【微信號(hào):zenRRan,微信公眾號(hào):深度學(xué)習(xí)自然語(yǔ)言處理】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
什么是BP神經(jīng)網(wǎng)絡(luò)的反向傳播算法
功率器件熱設(shè)計(jì)基礎(chǔ)知識(shí)
JCMsuite—單模光纖傳播模式
通過(guò)微透鏡陣列的傳播
騰訊ima升級(jí)知識(shí)庫(kù)功能,上線小程序實(shí)現(xiàn)共享與便捷問(wèn)答
駐波與無(wú)線電波傳播的關(guān)聯(lián)
想實(shí)現(xiàn)利用f28035控制dac7821實(shí)現(xiàn)所需電壓波形輸出,請(qǐng)問(wèn)具體的接口和程序可以指導(dǎo)一下嗎?
通過(guò)微透鏡陣列的傳播
華為-射頻基礎(chǔ)知識(shí)培訓(xùn)
【每天學(xué)點(diǎn)AI】前向傳播、損失函數(shù)、反向傳播

LMC555傳播延時(shí)最小可以到多少?有什么辦法能將其調(diào)到10ns以內(nèi)?
知識(shí)分享 | 輕松實(shí)現(xiàn)優(yōu)質(zhì)建模

利用CLB實(shí)現(xiàn)基于硬件的同步整流控制

評(píng)論