在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

模型NLP事件抽取方法總結(jié)

深度學(xué)習(xí)自然語言處理 ? 來源:NewBeeNLP ? 作者:@lucy ? 2020-12-31 10:19 ? 次閱讀

本系列文章主要分享近年來事件抽取方法總結(jié),包括中文事件抽取、開放域事件抽取、事件數(shù)據(jù)生成、跨語言事件抽取、小樣本事件抽取、零樣本事件抽取等。主要包括以下幾大部分:

定義(Define)

綜述(Survey)

模型(Models)

數(shù)據(jù)集(Datasets)

挑戰(zhàn)與展望(Future Research Challenges)

事件抽取

2020

1、 Reading the Manual: Event Extraction as Definition Comprehension, EMNLP 2020[1]

動機

提出一種新穎的事件抽取方法,為模型提供帶有漂白語句(實體用通用的方式指代)的模型。漂白語句是指基于注釋準則、描述事件發(fā)生的通常情況的機器可讀的自然語言句子。實驗結(jié)果表明,模型能夠提取封閉本體下的事件,并且只需閱讀新的漂白語句即可將其推廣到未知的事件類型。

6befb8aa-4a91-11eb-8b86-12bb97331649.png

主要思想

提出了一種新的事件抽取方法,該方法考慮了通過將文本中的實體用指代的方式表示,如人用someone表示,以這種方式構(gòu)造語料庫;提出了一個多跨度的選擇模型,該模型演示了事件抽取方法的可行性以及零樣本或少樣本設(shè)置的可行性。

數(shù)據(jù)集

ACE 2005

2、 Open-domain Event Extraction and Embedding for Natural Gas Market Prediction, arxiv 2020 [2]

動機

以前的方法大多數(shù)都將價格視為可推斷的時間序列,那些分析價格和新聞之間的關(guān)系的方法是根據(jù)公共新聞數(shù)據(jù)集相應(yīng)地修正其價格數(shù)據(jù)、手動注釋標題或使用現(xiàn)成的工具。與現(xiàn)成的工具相比,我們的事件抽取方法不僅可以檢測現(xiàn)象的發(fā)生,還可以由公共來源檢測變化的歸因和特征。

6d0600c8-4a91-11eb-8b86-12bb97331649.png

主要思想

依靠公共新聞API的標題,我們提出一種方法來過濾不相關(guān)的標題并初步進行事件抽取。價格和文本均被反饋到3D卷積神經(jīng)網(wǎng)絡(luò),以學(xué)習(xí)事件與市場動向之間的相關(guān)性。

數(shù)據(jù)集

NYTf、FT、TG

3、 Event Extraction by Answering (Almost) Natural Questions, EMNLP 2020 [3]

主要思想

事件提取問題需要檢測事件觸發(fā)并提取其相應(yīng)的參數(shù)。事件參數(shù)提取中的現(xiàn)有工作通常嚴重依賴于作為預(yù)處理/并發(fā)步驟的實體識別,這導(dǎo)致了眾所周知的錯誤傳播問題。為了避免這個問題,我們引入了一種新的事件抽取范式,將其形式化為問答(QA)任務(wù),該任務(wù)以端到端的方式提取事件論元。實證結(jié)果表明,我們的框架優(yōu)于現(xiàn)有的方法; 此外,它還能夠提取訓(xùn)練時未見角色的事件論元。

6dd296c4-4a91-11eb-8b86-12bb97331649.png

數(shù)據(jù)集

ACE

2019

1、 Exploring Pre-trained Language Models for Event Extraction and Generation, ACL 2019[4]

動機

ACE事件抽取任務(wù)的傳統(tǒng)方法通常依賴被手工標注過的數(shù)據(jù),但是手工標注數(shù)據(jù)非常耗費精力并且也限制了數(shù)據(jù)集的規(guī)模。我們提出了一個方法來克服這個問題。

6e10d484-4a91-11eb-8b86-12bb97331649.png

主要思想

本文提出了一個基于預(yù)訓(xùn)練語言模型的框架,該框架包含一個作為基礎(chǔ)的事件抽取模型以及一種生成被標注事件的方法。我們提出的事件抽取模型由觸發(fā)詞抽取器和論元抽取器組成,論元抽取器用前者的結(jié)果進行推理。此外,我們根據(jù)角色的重要性對損失函數(shù)重新進行加權(quán),從而提高了論元抽取器的性能。

數(shù)據(jù)集

ACE2005

2、 Open Domain Event Extraction Using Neural Latent Variable Models, ACL2019[5]

動機

我們考慮開放域的事件抽取,即從新聞集群中抽取無約束的事件類型的任務(wù)。結(jié)果表明,與最新的事件模式歸納方法相比,這種無監(jiān)督模型具有更好的性能。

6e7f975c-4a91-11eb-8b86-12bb97331649.png

主要思想

以前關(guān)于生成模式歸納的研究非常依賴人工生成的指標特征,而我們引入了由神經(jīng)網(wǎng)絡(luò)產(chǎn)生的潛在變量來獲得更好的表示能力。我們設(shè)計了一種新穎的圖形模型,該模型具有潛在的事件類型矢量以及實體的文本冗余特征,而這些潛在的事件類型矢量來自全局參數(shù)化正態(tài)分布的新聞聚類。

數(shù)據(jù)集

GNBusiness

3、 Rapid Customization for Event Extraction, ACL 2019[6]

動機

從文本中獲取事件發(fā)生的時間、地點、人物以及具體做了什么是很多應(yīng)用程序(例如網(wǎng)頁搜索和問題解答)的核心信息抽取任務(wù)之一。本文定義了一種快速自定義事件抽取功能的系統(tǒng),用于查找新的事件類型以及他們的論元。

6eace7ac-4a91-11eb-8b86-12bb97331649.png

主要思想

為了能夠抽取新類型的事件,我們提出了一種新穎的方法:讓用戶通過探索無標注的語料庫來查找,擴展和過濾事件觸發(fā)詞。然后,系統(tǒng)將自動生成相應(yīng)級別的事件標注,并訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型以查找相應(yīng)事件。

數(shù)據(jù)集

ACE2005

4、 Cross-lingual Structure Transfer for Relation and Event Extraction, EMNLP 2019[7]

動機

從資源不足以及標注不足的語料庫中進行復(fù)雜語義結(jié)構(gòu)的識別(例如事件和實體關(guān)系)是很困難的,這已經(jīng)變成了一個很有挑戰(zhàn)性的信息抽取任務(wù)。

6f280b30-4a91-11eb-8b86-12bb97331649.png

主要思想

通過使用卷積神經(jīng)網(wǎng)絡(luò),將所有實體信息片段、事件觸發(fā)詞、事件背景放入一個復(fù)雜的、結(jié)構(gòu)化的多語言公共空間,然后我們可以從源語言注釋中訓(xùn)練一個事件抽取器,并將它應(yīng)用于目標語言。

數(shù)據(jù)集

ACE2005

5、 Doc2EDAG: An End-to-End Document-level Framework for Chinese Financial Event Extraction, EMNLP2019[8]

與其他研究不同,該任務(wù)被定義為:事件框架填充,也就是論元檢測+識別

不同點有:不需要觸發(fā)詞檢測;文檔級的抽取;論元有重疊

動機:解碼論元需要一定順序,先后有關(guān)

6fd7c034-4a91-11eb-8b86-12bb97331649.png

主要思想:發(fā)布數(shù)據(jù)集,具有特性:arguments-scattering and multi-event,先對事件是否觸發(fā)進行預(yù)測;然后,按照一定順序先后來分別解碼論元

數(shù)據(jù)集:ten years (2008-2018) Chinese financial announcements:ChFinAnn;Crawling from

6、 Entity, Relation, and Event Extraction with Contextualized Span Representations, ACL 2019[9]

許多信息提取任務(wù)(例如命名實體識別,關(guān)系抽取,事件抽取和共指消解)都可以從跨句子的全局上下文或無局部依賴性的短語中獲益。

71af15c4-4a91-11eb-8b86-12bb97331649.png

主要思想

將事件抽取作為附加任務(wù)執(zhí)行,并在事件觸發(fā)詞與其論元的關(guān)系圖形中進行跨度更新。

在多句子BERT編碼的基礎(chǔ)上構(gòu)建跨度表示形式。

數(shù)據(jù)集

ACE2005

7、 HMEAE: Hierarchical Modular Event Argument Extraction, EMNLP 2019 short([10]

任務(wù):事件角色分類

723e6828-4a91-11eb-8b86-12bb97331649.png

動機:論元的類型(如PERSON)會給論元之間的關(guān)聯(lián)帶來影響

數(shù)據(jù)集:ACE 2005

8、 Joint Event and Temporal Relation Extraction with Shared Representations and Structured Prediction, EMNLP 2019[11]

事件之間的時序關(guān)系的提取是一項重要的自然語言理解(NLU)任務(wù),可以使許多下游任務(wù)受益。提出了一種事件和事件時序關(guān)系的聯(lián)合抽取模型,該模型可以進行共享表示學(xué)習(xí)和結(jié)構(gòu)化預(yù)測。

73450d1c-4a91-11eb-8b86-12bb97331649.png

主要思想

提出了一個同時進行事件和事件時序關(guān)系抽取的聯(lián)合模型。這樣做的好處是:如果我們使用非事件之間的NONE關(guān)系訓(xùn)練關(guān)系分類器,則它可能具有修正事件抽取錯誤的能力。

通過在事件抽取和時序關(guān)系抽取模塊之間首次共享相同的上下文嵌入和神經(jīng)表示學(xué)習(xí)器來改進事件的表示。

數(shù)據(jù)集:TB-Dense and MATRES datasets

9、 Open Event Extraction from Online Text using a Generative Adversarial Network, EMNLP 2019[12]

提取開放域事件的結(jié)構(gòu)化表示的方法通常假定文檔中的所有單詞都是從單個事件中生成的,因此他們通常不適用于諸如新聞文章之類的長文本。為了解決這些局限性,我們提出了一種基于生成對抗網(wǎng)絡(luò)的事件抽取模型,稱為對抗神經(jīng)事件模型(AEM)。

主要思想

AEM使用Dirichlet先驗對事件建模,并使用生成器網(wǎng)絡(luò)來捕獲潛在事件的模式,鑒別器用于區(qū)分原始文檔和從潛在事件中重建的文檔,鑒別器網(wǎng)絡(luò)生成的特征允許事件抽取的可視化。

數(shù)據(jù)集:Twitter, and Google datasets

10、 Reporting the unreported: Event Extraction for Analyzing the Local Representation of Hate Crimes, EMNLP 2019[13]

動機:將事件抽取和多實例學(xué)習(xí)應(yīng)用于本地新聞文章的語料庫,可以用來預(yù)測仇恨犯罪的發(fā)生。

主要思想

根據(jù)是否為仇恨罪標記每篇文章的任務(wù)被定義為多實例學(xué)習(xí)(MIL)問題。我們通過使用文章所有句子中嵌入的信息來確定文章是否報道了仇恨犯罪。在一組帶標注的文章上測試了模型之后,我們將被訓(xùn)練過的模型應(yīng)用于聯(lián)邦調(diào)查局沒有報道過的城市,并對這些城市中仇恨犯罪的發(fā)生頻率進行了下界估計。

11、 Extracting entities and events as a single task using a transition-based neural model, IJCAI 2019[14]

事件抽取任務(wù)包括許多子任務(wù):實體抽取,事件觸發(fā)詞抽取,論元角色抽取。傳統(tǒng)的方法是使用pipeline的方式解決這些任務(wù),沒有利用到任務(wù)間相互關(guān)聯(lián)的信息。已有一些聯(lián)合學(xué)習(xí)的模型對這些任務(wù)進行處理,然而由于技術(shù)上的挑戰(zhàn),還沒有模型將其看作一個單一的任務(wù),預(yù)測聯(lián)合的輸出結(jié)構(gòu)。本文提出了一個transition-based的神經(jīng)網(wǎng)絡(luò)框架,以state-transition的過程,遞進地預(yù)測復(fù)雜的聯(lián)合結(jié)構(gòu)。

745ccc3a-4a91-11eb-8b86-12bb97331649.png

主要思想

使用transition-based的框架,通過使用遞增的output-building行為的state-transition過程,構(gòu)建一個復(fù)雜的輸出結(jié)構(gòu)。在本文中我們設(shè)計了一個transition系統(tǒng)以解決事件抽取問題,從左至右遞增地構(gòu)建出結(jié)構(gòu),不使用可分的子任務(wù)結(jié)構(gòu)。本文還是第一個使transition-based模型,并將之用于實體和事件的聯(lián)合抽取任務(wù)的研究。模型實現(xiàn)了對3個子任務(wù)完全的聯(lián)合解碼,實現(xiàn)了更好的信息組合。

數(shù)據(jù)集:ACE2005

12、 Biomedical Event Extraction based on Knowledge-driven Tree-LSTM, CCL 2016[15]

生物醫(yī)學(xué)領(lǐng)域的事件抽取比一般新聞領(lǐng)域的事件抽取更具挑戰(zhàn)性,因為它需要更廣泛地獲取領(lǐng)域特定的知識并加深對復(fù)雜情境的理解。為了更好地對上下文信息和外部背景知識進行編碼,我們提出了一種新穎的知識庫(KB)驅(qū)動的樹結(jié)構(gòu)長短期記憶網(wǎng)絡(luò)(Tree-LSTM)框架。

75196a3e-4a91-11eb-8b86-12bb97331649.png

主要思想

該框架合并了兩種功能:(1)抓取上下文背景的依賴結(jié)構(gòu)(2)通過實體鏈接從外部本體獲得實體屬性(類型和類別描述)。

數(shù)據(jù)集:Genia dataset

13、 Joint Event Extraction Based on Hierarchical Event Schemas From FrameNet, EMNLP 2019 short[16]

事件抽取對于許多實際應(yīng)用非常有用,例如新聞?wù)托畔z索。但是目前很流行的ACE事件抽取僅定義了非常有限且粗糙的事件模式,這可能不適合實際應(yīng)用。FrameNet是一種語言語料庫,它定義了完整的語義框架和框架間的關(guān)系。由于FrameNet中的框架與ACE中的事件架構(gòu)共享高度相似的結(jié)構(gòu),并且許多框架實際上表達了事件,因此,我們建議基于FrameNet重新定義事件架構(gòu)。

763862f8-4a91-11eb-8b86-12bb97331649.png

主要思想

提取FrameNet中表示事件的所有框架,并利用框架與框架之間的關(guān)系建立事件模式的層次結(jié)構(gòu)。

適當利用全局信息(例如事件間關(guān)系)和事件抽取必不可少的局部特征(例如詞性標簽和依賴項標簽)?;谝环N利用事件抽取結(jié)果的多文檔摘要無監(jiān)督抽取方法,我們使用了一種圖排序方法。

數(shù)據(jù)集:ACE 2005,F(xiàn)rameNet 1.7 corpus

14、 One for All: Neural Joint Modeling of Entities and Events, AAAI 2019[17]

事件抽取之前的工作主要關(guān)注于對事件觸發(fā)器和論元角色的預(yù)測,將實體提及視為由人工標注提供的。這是不現(xiàn)實的,因為實體提及通常是由一些現(xiàn)有工具包預(yù)測的,它們的錯誤可能會傳播到事件觸發(fā)器和論元角色識別。

最近很少有研究通過聯(lián)合預(yù)測實體提及、事件觸發(fā)器和論元來解決這個問題。然而,這種工作僅限于使用離散的工程特征來表示單個任務(wù)及其交互的上下文信息。在這項工作中,提出了一個基于共享的隱層表示的新的模型來聯(lián)合執(zhí)行實體提及,事件觸發(fā)和論元的預(yù)測。實驗證明了該方法的優(yōu)點,實現(xiàn)了最先進性能的事件抽取。

數(shù)據(jù)集:ACE 2005

2018

1、 Scale up event extraction learning via automatic training data generation, AAAI 2018[18]

動機:現(xiàn)有的訓(xùn)練數(shù)據(jù)必須通過專業(yè)領(lǐng)域知識以及大量的參與者來手動生成,這樣生成的數(shù)據(jù)規(guī)模很小,嚴重影響訓(xùn)練出來的模型的質(zhì)量。因此我們開發(fā)了一種自動生成事件抽取訓(xùn)練數(shù)據(jù)的方法。

77a840cc-4a91-11eb-8b86-12bb97331649.png

主要思想

提出了一種基于神經(jīng)網(wǎng)絡(luò)和線性規(guī)劃的事件抽取框架,該模型不依賴顯式觸發(fā)器,而是使用一組關(guān)鍵論元來表征事件類型。這樣就不需要明確識別事件的觸發(fā)因素,進而降低了人力參與的需求。

數(shù)據(jù)集:Wikipedia article

2、 DCFFE: A Document-level Chinese Financial Event Extraction System based on Automatically Labelled Training Data, ACL 2018 [19]

在某些特定領(lǐng)域,例如金融,醫(yī)療和司法領(lǐng)域,由于數(shù)據(jù)標注過程的成本很高,因此標注數(shù)據(jù)不足。此外,當前大多數(shù)方法都關(guān)注于從一個句子中提取事件,但通常在一個文檔中,一個事件由多個句子表示。我們提出一種方法來解決這個問題。

主要思想

提供了一個名為DCFEE的框架,該框架可以從被自動標注過的訓(xùn)練數(shù)據(jù)中抽取文檔級事件。使用一個序列標注模型來自動抽取句子級事件,并且提出了一個關(guān)鍵事件檢測模型和一個論元填充策略,進而從文檔中提取整個事件。

數(shù)據(jù)集:Chinese financial event dataset

3、 Jointly Extraction Event Triggers and Arguments by Dependency-Bridge RNN and Tensor-Based Argument Interaction, AAAI 2018 [20]

傳統(tǒng)的事件抽取很大程度上依賴詞匯和句法特征,需要大量的人工工程,并且模型通用性不強。另一方面,深度神經(jīng)網(wǎng)絡(luò)可以自動學(xué)習(xí)底層特征,但是現(xiàn)有的網(wǎng)絡(luò)卻沒有充分利用句法關(guān)系。因此本文在對每個單詞建模時,使用依賴橋來增強它的信息表示。說明在RNN模型中同時應(yīng)用樹結(jié)構(gòu)和序列結(jié)構(gòu)比只使用順序RNN具有更好的性能。另外,利用張量層來同時捕獲論元之間的關(guān)系以及其在事件中的角色。實驗表明,模型取得了很好地效果。

78d1dd78-4a91-11eb-8b86-12bb97331649.png

主要思想

實現(xiàn)了事件觸發(fā)詞以及論元的聯(lián)合抽取,避開了Pipeline方法中錯誤的觸發(fā)詞識別結(jié)果會在網(wǎng)絡(luò)中傳播的問題;同時聯(lián)合抽取的過程中,有可能通過元素抽取的步驟反過來糾正事件檢測的結(jié)果。

將元素的互信息作為影響元素抽取結(jié)果的因素

在構(gòu)建模型的過程中使用了句法信息。

數(shù)據(jù)集:ACE2005

4、 Zero-Shot Transfer Learning for Event Extraction, ACL2018[21]

以前大多數(shù)受監(jiān)督的事件抽取方法都依賴手工標注派生的特征,因此,如果沒有額外的標注工作,這些方法便無法應(yīng)對于新的事件類型。設(shè)計了一個新的框架來解決這個問題。

79c96610-4a91-11eb-8b86-12bb97331649.png

主要思想

每個事件都有由候選觸發(fā)詞和論元組成的結(jié)構(gòu),同時這個結(jié)構(gòu)具有和事件類型及論元相一致的預(yù)定義的名字和標簽。我們增加了事件類型以及事件信息片段的語義代表( semantic representations),并根據(jù)目標本體中定義的事件類型和事件信息片段的語義相似性來決定事件的類型

數(shù)據(jù)集:ACE2005

5、 Joint Entity and Event Extraction with Generative Adversarial Imitation Learning, CCL 2016 [23]

提出了一種基于生成對抗的模仿學(xué)習(xí)的實體與事件抽取框架,這種學(xué)習(xí)是一種使用生成對抗網(wǎng)絡(luò)(GAN)的逆強化學(xué)習(xí)方法。該框架的實際表現(xiàn)優(yōu)于目前最先進的方法。

主要思想

在本文中,提出了一種動態(tài)機制——逆強化學(xué)習(xí),直接評估實體和事件抽取中實例的正確和錯誤標簽。我們?yōu)榘咐峙涿鞔_的分數(shù),或者根據(jù)強化學(xué)習(xí)(RL)給予獎勵,并采用來自生成對抗網(wǎng)絡(luò)(GAN)的鑒別器來估計獎勵價值。

6、 Joint Multiple Event Extraction via Attention-based Graph Information Aggregration, EMNLP 2018 [24]

比抽取單個事件更困難。在以往的工作中,由于捕獲遠距離的依賴關(guān)系效率很低,因此通過順序建模的方法在對事件之間的聯(lián)系進行建模很難成功。本文提出了一種新的框架來解決這個問題。

主要思想

本文提出JMEE模型(Jointly Multiple Events Extraction),面向的應(yīng)用是從一個句子中抽取出多個事件觸發(fā)器和參數(shù)(arguments)。JMEE模型引入了syntactic shortcut arcs來增強信息流并且使用基于attention的GCN建模圖數(shù)據(jù)。實驗結(jié)果表明本文的方法和目前最頂級的方法相比,有著可以媲美的效果。

數(shù)據(jù)集:ACE2005

7、 Semi-supervised event extraction with paraphrase clusters, NAACL 2018[25]

受監(jiān)督的事件抽取系統(tǒng)由于缺乏可用的訓(xùn)練數(shù)據(jù)而其準確性受到限制。我們提出了一種通過對額外的訓(xùn)練數(shù)據(jù)進行重復(fù)抽樣來使事件抽取系統(tǒng)自我訓(xùn)練的方法。這種方法避免了訓(xùn)練數(shù)據(jù)缺乏導(dǎo)致的問題。

主要思想

我們通過詳細的事件描述自動生成被標記過的訓(xùn)練數(shù)據(jù),然后用這些數(shù)據(jù)進行事件觸發(fā)詞識別。具體來說,首先,將提及該事件的片段聚集在一起,形成一個聚類。然后用每個聚類中的簡單示例來給整個聚類貼一個標簽。最后,我們將新示例與原始訓(xùn)練集結(jié)合在一起,重新訓(xùn)練事件抽取器。

數(shù)據(jù)集:ACE2005, TAC-KBP 2015

2017

1、 Automatically Labeled Data Generation for Large Scale Event Extraction, ACL 2017 [26]

手動標記的訓(xùn)練數(shù)據(jù)成本太高,事件類型覆蓋率低且規(guī)模有限,這種監(jiān)督的方法很難從知識庫中抽取大量事件。

7cd97908-4a91-11eb-8b86-12bb97331649.png

主要思想

提出了一種按重要性排列論元并且為每種事件類型選取關(guān)鍵論元或代表論元方法

僅僅使用關(guān)鍵論元來標記事件,并找出關(guān)鍵詞

用外部語言知識庫FrameNet來過濾噪聲觸發(fā)詞并且擴展觸發(fā)詞庫。

數(shù)據(jù)集:ACE2005

2016

1、 RBPB Regularization Based Pattern Balancing Method for Event Extraction,ACL2016 [27]

在最近的工作中,當確定事件類型(觸發(fā)器分類)時,大多數(shù)方法要么是僅基于模式(pattern),要么是僅基于特征。此外,以往的工作在識別和文類論元的時候,忽略了論元之間的關(guān)系,只是孤立的考慮每個候選論元。

7d2e435c-4a91-11eb-8b86-12bb97331649.png

主要思想

在本文中,我們同時使用‘模式’和‘特征’來識別和分類‘事件觸發(fā)器’。此外,我們使用正則化方法對候選自變量之間的關(guān)系進行建模,以提高自變量識別的性能。我們的方法稱為基于正則化的模式平衡方法。

數(shù)據(jù)集:ACE2005

2、 Leveraging Multilingual Training for Limited Resource Event Extraction, COLING 2016 [28]

迄今為止,利用跨語言培訓(xùn)來提高性能的工作非常有限。因此我們提出了一種新的事件抽取方法。

7d6f6d78-4a91-11eb-8b86-12bb97331649.png

主要思想

在本文中,我們提出了一種新穎的跨語言事件抽取方法,該方法可在多種語言上進行訓(xùn)練,并利用依賴于語言的特征和不依賴于語言的特征來提高性能。使用這種系統(tǒng),我們旨在同時利用可用的多語言資源(帶注釋的數(shù)據(jù)和引入的特征)來克服目標語言中的注釋稀缺性問題。從經(jīng)驗上我們認為,我們的方法可以極大地提高單語系統(tǒng)對中文事件論元提取任務(wù)的性能。與現(xiàn)有工作相比,我們的方法是新穎的,我們不依賴于使用高質(zhì)量的機器翻譯的或手動對齊的文檔,這因為這種需求對于給定的目標語言可能是無法滿足的。

數(shù)據(jù)集:ACE2005

3、 A convolution bilstm neural network model for chinese event extraction, NLPCC 2016 [29]

在中文的事件抽取中,以前的方法非常依賴復(fù)雜的特征工程以及復(fù)雜的自然語言處理工具。本文提出了一種卷積雙向LSTM神經(jīng)網(wǎng)絡(luò),該神經(jīng)網(wǎng)絡(luò)將LSTM和CNN結(jié)合起來,可以捕獲句子級和詞匯信息,而無需任何人為提供的特征。

主要思想

首先使用雙向LSTM將整個句子中的單詞的語義編碼為句子級特征,不做任何句法分析。然后,我們利用卷積神經(jīng)網(wǎng)絡(luò)來捕獲突出的局部詞法特征來消除觸發(fā)器的歧義,整個過程無需來自POS標簽或NER的任何幫助。

數(shù)據(jù)集:ACE2005, KBP2017 Corpus

4、 Liberal Event Extraction and Event Schema Induction, AACL 2016 [30]

結(jié)合了象征式的(例如抽象含義表示)和分布式的語義來檢測和表示事件結(jié)構(gòu),并采用同一個類型框架來同時提取事件類型和論元角色并發(fā)現(xiàn)事件模式。這種模式的提取性能可以與被預(yù)定義事件類型標記過的大量數(shù)據(jù)訓(xùn)練的監(jiān)督模型相媲美。

7e3711ac-4a91-11eb-8b86-12bb97331649.png

主要思想

我們試圖將事件觸發(fā)器和事件論元聚類,每個聚類代表一個事件類型。我們將分布的相似性用于聚類的距離度量。分布假設(shè)指出,經(jīng)常出現(xiàn)在相似語境中的單詞往往具有相似的含義。

兩個基本假設(shè):

出現(xiàn)在相似的背景中并且有相同作用的事件觸發(fā)詞往往具有相似的類型。

除了特定事件觸發(fā)器的詞匯語義外,事件類型還取決于其論元和論元的作用,以及上下文中與觸發(fā)器關(guān)聯(lián)的其他單詞。

數(shù)據(jù)集:ERE (Entity Relation Event)

5、 Joint Learning Templates and Slots for Event Schema Induction, NAACL 2016 [31]

我們提出了一個聯(lián)合實體驅(qū)動模型,這種模型可以根據(jù)同一句子中模板和各種信息槽(例如attribute slot和participate slot)的限制,同時學(xué)習(xí)模板和信息槽。這樣的模型會得到比以前的方法更好的結(jié)果。

主要思想

為了更好地建立實體之間的內(nèi)在聯(lián)系的模型,我們借用圖像分割中的標準化切割作為聚類標準。同時我們用模板之間的約束以及一個句子中的信息槽之間的約束來改善AESI結(jié)果。

數(shù)據(jù)集:MUC-4

6、 Joint Event Extraction via Recurrent Neural Networks, NAACL 2016 [32]

任務(wù):給定實體標簽;通過序列標注識別觸發(fā)詞和論元*

動機:論元之間有著相關(guān)關(guān)系,某些論元已經(jīng)識別出來可能會導(dǎo)致一些論元共現(xiàn),RNN減少錯誤傳播

主要思想:使用RNN來標注要素,通過記憶矩陣來增強要素之間的關(guān)聯(lián)。

數(shù)據(jù)集:ACE2005

2015

1、 Event Extraction via Dynamic Multi-Pooling Convolutional Neural Networks, ACL2015 [33]

任務(wù):給定候選實體的位置;完成觸發(fā)詞識別,觸發(fā)詞分類,論元識別,論元分類

動機:在于一個句子中可能會有多個事件,如果只用一個池化將導(dǎo)致多個事件的句子級特征沒有區(qū)別。因此引入動態(tài)多池化

主要思想:采用動態(tài)多池化的方式,以trigger和candidate作為分隔符[-trigger-candidate-],將句子池化成三段;動機在于一個句子中可能會有多個事件,如果只用一個池化將導(dǎo)致多個事件的句子級特征沒有區(qū)別。將任務(wù)目標轉(zhuǎn)換成句子分類任務(wù),從而完成任務(wù)。

數(shù)據(jù)集:ACE2005

2、 Generative Event Schema Induction with Entity Disambiguation, AACL2015 [34]

動機:以往文獻中的方法僅僅使用中心詞來代表實體,然而除了中心詞,別的元素也包含了很多重要的信息。這篇論文提出了一種事件模式歸納的生成模型來解決這個問題。

807149b0-4a91-11eb-8b86-12bb97331649.png

主要思想:模式歸納是指從沒有被標記的文本中無監(jiān)督的學(xué)習(xí)模板(一個模板定義了一個與實體的語義角色有關(guān)的特定事件的類型)。想法是:基于事件模板中相同角色對應(yīng)的這些實體的相似性,將他們分組在一起。例如,在有關(guān)恐怖襲擊的語料庫中,可以將要被殺死,要被攻擊的對象的實體組合在一起,并以名為VICTIM的角色為它們的特征。

原文標題:NLP 事件抽取綜述(中)—— 模型篇

文章出處:【微信公眾號:深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

責(zé)任編輯:haq

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 模型
    +關(guān)注

    關(guān)注

    1

    文章

    3342

    瀏覽量

    49272
  • nlp
    nlp
    +關(guān)注

    關(guān)注

    1

    文章

    489

    瀏覽量

    22118

原文標題:NLP 事件抽取綜述(中)—— 模型篇

文章出處:【微信號:zenRRan,微信公眾號:深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    搭建開源大語言模型服務(wù)的方法

    本文我們將總結(jié)5種搭建開源大語言模型服務(wù)的方法,每種都附帶詳細的操作步驟,以及各自的優(yōu)缺點。
    的頭像 發(fā)表于 10-29 09:17 ?289次閱讀

    AI大模型在自然語言處理中的應(yīng)用

    AI大模型在自然語言處理(NLP)中的應(yīng)用廣泛且深入,其強大的語義理解和生成能力為NLP任務(wù)帶來了顯著的性能提升。以下是對AI大模型NLP
    的頭像 發(fā)表于 10-23 14:38 ?671次閱讀

    Transformer語言模型簡介與實現(xiàn)過程

    在自然語言處理(NLP)領(lǐng)域,Transformer模型以其卓越的性能和廣泛的應(yīng)用前景,成為了近年來最引人注目的技術(shù)之一。Transformer模型由谷歌在2017年提出,并首次應(yīng)用于神經(jīng)機器翻譯
    的頭像 發(fā)表于 07-10 11:48 ?2123次閱讀

    nlp邏輯層次模型的特點

    NLP(自然語言處理)邏輯層次模型是一種用于理解和生成自然語言文本的計算模型。它將自然語言文本分解為不同的層次,以便于計算機更好地處理和理解。以下是對NLP邏輯層次
    的頭像 發(fā)表于 07-09 10:39 ?473次閱讀

    nlp神經(jīng)語言和NLP自然語言的區(qū)別和聯(lián)系

    神經(jīng)語言(Neuro-Linguistic Programming,NLP) 神經(jīng)語言是一種心理學(xué)方法,它研究人類思維、語言和行為之間的關(guān)系。NLP的核心理念是,我們可以通過改變我們的思維方式和語言
    的頭像 發(fā)表于 07-09 10:35 ?868次閱讀

    nlp自然語言處理基本概念及關(guān)鍵技術(shù)

    、問答系統(tǒng)、文本摘要等眾多領(lǐng)域有著廣泛的應(yīng)用。 1. NLP的基本概念 1.1 語言模型 語言模型NLP的基礎(chǔ),它用于描述一個句子在自然語言中出現(xiàn)的概率。語言
    的頭像 發(fā)表于 07-09 10:32 ?792次閱讀

    nlp自然語言處理框架有哪些

    自然語言處理(Natural Language Processing,簡稱NLP)是計算機科學(xué)和人工智能領(lǐng)域的一個重要分支,它致力于使計算機能夠理解和處理人類語言。隨著技術(shù)的發(fā)展,NLP領(lǐng)域出現(xiàn)了
    的頭像 發(fā)表于 07-09 10:28 ?632次閱讀

    nlp自然語言處理的主要任務(wù)及技術(shù)方法

    自然語言處理(Natural Language Processing,簡稱NLP)是人工智能和語言學(xué)領(lǐng)域的一個分支,它研究如何讓計算機能夠理解、生成和處理人類語言。NLP技術(shù)在許多領(lǐng)域都有廣泛
    的頭像 發(fā)表于 07-09 10:26 ?1321次閱讀

    llm模型有哪些格式

    LLM(Large Language Model,大型語言模型)是一種深度學(xué)習(xí)模型,主要用于處理自然語言處理(NLP)任務(wù)。LLM模型的格式多種多樣,以下是一些常見的LLM
    的頭像 發(fā)表于 07-09 09:59 ?790次閱讀

    nlp自然語言處理模型怎么做

    的進展。本文將詳細介紹NLP模型的構(gòu)建過程,包括數(shù)據(jù)預(yù)處理、模型選擇、訓(xùn)練與優(yōu)化等方面。 數(shù)據(jù)預(yù)處理 數(shù)據(jù)預(yù)處理是NLP模型構(gòu)建的第一步,其
    的頭像 發(fā)表于 07-05 09:59 ?729次閱讀

    nlp自然語言處理模型有哪些

    自然語言處理(Natural Language Processing,NLP)是計算機科學(xué)和人工智能領(lǐng)域的一個重要分支,旨在使計算機能夠理解、解釋和生成人類語言。以下是對NLP領(lǐng)域一些模型的介紹
    的頭像 發(fā)表于 07-05 09:57 ?894次閱讀

    NLP模型中RNN與CNN的選擇

    在自然語言處理(NLP)領(lǐng)域,循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)與卷積神經(jīng)網(wǎng)絡(luò)(CNN)是兩種極為重要且廣泛應(yīng)用的網(wǎng)絡(luò)結(jié)構(gòu)。它們各自具有獨特的優(yōu)勢,適用于處理不同類型的NLP任務(wù)。本文旨在深入探討RNN與CNN
    的頭像 發(fā)表于 07-03 15:59 ?657次閱讀

    模型技術(shù)及趨勢總結(jié)

    本篇文章旨在希望大家對大模型的本質(zhì)、技術(shù)和發(fā)展趨勢有簡單的了解。由于近期大模型技術(shù)發(fā)展很快,這里對大模型的技術(shù)、本質(zhì)及未來趨勢進行總結(jié)和探討時,因為水平有限,疏漏在所難免。請大家諒解。
    的頭像 發(fā)表于 06-21 17:38 ?740次閱讀
    大<b class='flag-5'>模型</b>技術(shù)及趨勢<b class='flag-5'>總結(jié)</b>

    【大語言模型:原理與工程實踐】大語言模型的預(yù)訓(xùn)練

    和多樣性。高質(zhì)量數(shù)據(jù)能確保模型穩(wěn)定收斂,而數(shù)據(jù)的多樣性則有助于模型學(xué)習(xí)廣泛的通用能力,如文本生成、信息抽取、問答和編程等。此外,數(shù)據(jù)的多樣性對于確保模型在實際應(yīng)用中具有良好的泛化能力至
    發(fā)表于 05-07 17:10

    基于Transformer模型的壓縮方法

    基于Transformer架構(gòu)的大型模型在人工智能領(lǐng)域中發(fā)揮著日益重要的作用,特別是在自然語言處理(NLP)和計算機視覺(CV)領(lǐng)域。
    的頭像 發(fā)表于 02-22 16:27 ?731次閱讀
    基于Transformer<b class='flag-5'>模型</b>的壓縮<b class='flag-5'>方法</b>
    主站蜘蛛池模板: 欧日韩美香蕉在线观看 | 性做久久久久 | 在线小毛片 | 婷婷成人丁香五月综合激情 | 一级毛片美国一级j毛片不卡 | 一区二区三区四区在线免费观看 | 在线看视频你懂的 | 欧美激情第一欧美在线 | 欧美巨大xxxx做受中文字幕 | 欧美 亚洲 国产 丝袜 在线 | 欧美成人全部费免网站 | 亚洲伦理一区二区 | 窝窝午夜看片成人精品 | 欧美视频色 | 射菊吧| 日本三级hd高清电影 | 2020欧美极品hd18 | 在线精品视频成人网 | 久月婷婷| 国产三级精品视频 | 1024你懂的在线播放欧日韩 | 最新精品 | 人人插视频 | 国产欧美一级片 | 泰剧天堂 | 婷婷丁香色 | 亚洲最大色网 | 中文字幕一区在线 | ⅹxxxx68日本老师hd | 免费一级欧美在线观看视频片 | 猛操在线 | 韩国三级视频在线 | 欧美精品四虎在线观看 | 巨臀中文字幕一区二区翘臀 | 天天干天天做天天操 | 视频综合网 | 中文字幕精品一区二区2021年 | 一区不卡视频 | 国产98色在线| 亚洲精品中文字幕乱码三区一二 | 99久久伊人 |