91在线观看视频-91在线观看视频-91在线观看免费视频-91在线观看免费-欧美第二页-欧美第1页

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

一個新任務:給定知識圖譜中的一條query path,生成對應的問題

深度學習自然語言處理 ? 來源:深度學習自然語言處理 ? 作者:深度學習自然語言 ? 2020-10-10 10:29 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

引言

EMNLP2020中,復旦大學數據智能與社會計算實驗室 (Fudan DISC) 提出了一篇基于事實的問題生成工作,論文題目為:PathQG: Neural Question Generation from Facts,被錄取為長文。

文章摘要

關于問題生成的當前研究通常將輸入文本作為序列直接編碼,而沒有明確建模其中的事實信息,這會導致生成的問題和文本不太相關或者信息量較少。在這篇論文中,我們考慮結合文本中的事實以幫助問題生成。我們基于輸入文本的事實信息構造了知識圖,并提出了一個新任務:給定知識圖中的一條query路徑生成問題。任務可以被分為兩個步驟,(1)對query表示的學習;(2)基于query的問題生成。我們首先將query表示學習定義為序列標記問題,以識別涉及的事實從而學習到一個query表示,之后使用基于RNN的生成器進行問題生成。我們以端到端的方式共同訓練這兩個模塊,并提出通過變分框架加強這兩個模塊之間的交互。我們基于SQuAD構造了實驗數據集,實驗結果表明我們的模型優于其他方法,并且當目標問題復雜時,性能提升更多。通過人工評估,也驗證了我們生成的問題的確和文本更相關且信息更豐富。

研究動機

本文關注基于文本的問題生成任務(Question Generation from Text):輸入一段文本,自動生成對應的問題。

當前端到端的問題生成研究,通常對輸入文本直接編碼并學習一個隱表示,而沒有對其中的語義信息進行明確建模,這會使得生成過程有較大不確定性,導致生成的問題包含和給定文本不相關的信息或者信息量較少,如下圖顯示,生成的問題Q2包含了不相關的信息“Everton Fc”,而Q1雖然正確但是缺少特定的信息描述,顯得比較簡略。

先對輸入文本中的事實(facts)進行建模可以減輕這些問題,并且針對文本中的多個事實,可以生成較為復雜(complex)的問題。我們通過對給定文本構建知識圖譜(Knowledge Graph,KG)來表示其中的事實,并提出一個新任務:給定知識圖譜中的一條query path來生成問題,其中query path是一條由多個事實三元組構成的序列,每個事實三元組包含兩個實體以及它們的關系。如上圖(b)顯示了一個KG以及其中的兩條query paths。

由于query path中并非所有事實都會在目標問題中被提及,我們首先需要學習一個query representation來表示query path中會被提及的事實信息,并基于此生成對應的問題,因此任務可以分成兩個步驟:(1)對query representation的學習;(2)基于query的問題生成。我們以端到端的方式共同訓練這兩個模塊,并提出通過變分框架加強這兩個模塊之間的交互。

我們使用了數據集SQuAD,并且為了驗證模型在復雜問題生成上的效果,基于SQuAD構造了一個復雜問題數據集,并分別進行了實驗。

模型

Path-based Question Generation

給定query path的問題生成任務包含兩個步驟,我們設計兩個模塊:Query Representation Learner和Query-based Question Generator分別進行任務中的兩個步驟。我們首先以端到端的框架PathQG共同訓練這兩個模塊,具體結構如下圖顯示。

1. Query Representation Learner

由于query path中的不同的實體和關系會對生成目標問題有不同的貢獻度,我們首先計算它們各自的貢獻權重,從而學到一個query representation來表示目標問題將涉及的事實信息。

貢獻權重計算:將query path看作是一條由實體和關系相間構成的序列,并將query path中各個成分的貢獻度計算看作是一個序列標記過程。并且對輸入文本進行編碼作為context,通過attention幫助序列標記的概率計算,最后將各個位置的sigmoid概率作為各自的貢獻權重。

Query表示學習:得到query path的各個成分的貢獻權重后,我們以加權的方式對query path編碼,學習到對應的query representationL。考慮到query path由實體和關系相間構成的特殊結構,我們使用循環跳躍網絡(recurrent skipping network, RSN)來對路徑序列進行編碼。

2. Query-based Question Generator

基于學到的query representationL,解碼生成對應的問題。將最后的query representation和context表示聯合作為解碼器的初始狀態,并分別對他們執行注意力機制,逐步生成問題。

Variational Path-based Question Generation

對query representation的學習可以看成是對query path的一個推斷過程,參考變分推斷的思想,我們將query representation的學習看作是推導query的先驗分布(prior query distribution),而基于query的問題生成是在計算目標問題的likelihood,我們又引入了一個額外的后驗query分布(posterior query distribution),通過將目標問題作為指導來幫助減少query representation學習的不確定性。并且通過訓練,使得query的先驗分布不斷靠近后驗分布,最終提升生成的問題質量。變分PathQG的結構如下圖。

實驗

我們在SQuAD數據集上進行了實驗,對每一條文本,通過場景圖解析器(scene garph parser)和詞性標注器(part-of-speech tagger)自動構建了知識圖譜,并且根據參考問題從知識圖譜中抽取出對應的query path。為了進一步驗證模型在復雜問題生成上的效果,我們還根據query path中事實三元組的個數從SQuAD中劃分了一個復雜問題數據集。在全數據集和復雜數據集上的實驗結果顯示我們的模型都優于其他模型。

除了自動評估,我們還通過Amazon Mechanical Turk (AMT)進行了人工評估,分別從問題的流利度、正確性(和給定文本和答案一致)、信息量對不同模型生成的問題進行了兩兩比較,結果顯示我們的模型也取得不錯效果。

我們還通過對不同模型生成的問題和給定文本之間的重疊率進行比較,來評估生成問題和給定文本的相關性。

最后還進行了一些案例分析,可以看出相對模型NQG+,我們生成的問題更加和文本相關和有信息量。在第一個樣例中,我們生成的問題包含有特定信息“plymouth”和“late 18th”而*NQG+沒有,而在第二個例子中NQG+*生成的問題包含不相關的“swazi economye”而我們生成的和給定文本更一致。

總結

這篇文章中,我們通過知識圖譜對文本中的事實建模用于問題生成,并提出一個新任務:給定知識圖譜中的一條query path,生成對應的問題。我們提出先學習一個query representation來表示問題中可能涉及的事實,再生成問題,將這兩個模塊聯合進行訓練并提出一個變分模型提升問題的生成。我們通過自動構建知識圖譜并抽取出對應的query path構建了我們的實驗數據集,結果驗證了我們模型的有效性。

責任編輯:lq

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 編碼
    +關注

    關注

    6

    文章

    969

    瀏覽量

    55773
  • 生成器
    +關注

    關注

    7

    文章

    322

    瀏覽量

    21895
  • 數據集
    +關注

    關注

    4

    文章

    1224

    瀏覽量

    25446

原文標題:【論文】PathQG: 基于事實的神經問題生成

文章出處:【微信號:zenRRan,微信公眾號:深度學習自然語言處理】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    CYUSB3014采用5根地址線通信,但其中一條地址線懸空,對數據通信有影響嗎?

    CYUSB3014采用5根地址線通信,但其中一條地址線懸空,對數據通信有影響嗎??是否還能進行正常的多個端點通信,只要跳過那個地址線對應的socket即可?
    發表于 05-21 07:59

    電路識圖從入門到精通高清電子資料

    由淺入深地介紹了電路圖的基礎知識、典型單元電路的識圖方法,通過“入門篇”和“精通篇”循序漸進、由淺入深地介紹了電路圖的基礎知識、典型單元電路的識圖方法,以及典型小家電、電動車、洗衣機、
    發表于 04-10 16:22

    一條光纖怎么分兩

    一條光纖可以通過以下方式分成兩使用: 使用分光器 分光器是種光學器件,它可以將光信號按照定的比例分成多路。通常,分光器有1:2、1:4、1:8等不同的分光比例,這意味著
    的頭像 發表于 02-25 10:07 ?1557次閱讀

    2025未來產業創新任務 | 清潔氫

    據悉,1月17日,工業和信息化部辦公廳發布《關于組織開展2025年未來產業創新任務揭榜掛帥工作的通知》(簡稱《通知》)。《通知》顯示,揭榜任務內容面向量子科技、原子級制造、清潔氫3未來產業,布局
    的頭像 發表于 01-22 08:19 ?478次閱讀
    2025未來產業創<b class='flag-5'>新任務</b> | 清潔氫

    使用ADS1294R做產品過程,靜電接觸電極放電時,DOUT只輸出固定的值,心電波形顯示只是一條直線,為什么?

    在使用ADS1294R做產品過程,靜電接觸電極放電時,芯片的DOUT只輸出固定的值,心電波形顯示只是一條直線。這時進行芯片復位或者如果再次進行放電,又能恢復正常。 所有的輸入端
    發表于 12-17 07:31

    傳音旗下人工智能項目榮獲2024年“上海產學研合作優秀項目獎”等獎

    和華東師范大學聯合申報的“跨語言知識圖譜構建與推理技術研究及應用”項目憑借創新性和技術先進性榮獲等獎。該項目成功突破了多形態信息抽取技術、跨語言知識圖譜對齊技術和知識問答對
    的頭像 發表于 12-16 17:04 ?655次閱讀
    傳音旗下人工智能項目榮獲2024年“上海產學研合作優秀項目獎”<b class='flag-5'>一</b>等獎

    數據手冊些參數的數值有時畫一條橫線或者空著不填是什么意思?

    數據手冊些參數的數值有時畫一條橫線或者空著不填是什么意思? 如上表, tCS的最大值是15ns,最小值和典型值都是空著的,是不是最小值和典型值我可以隨便取(大于0小于15就行)?還是說只有最大值給出了,我只能取給出的最
    發表于 12-16 07:45

    三星自主研發知識圖譜技術,強化Galaxy AI用戶體驗與數據安全

    據外媒11月7日報道,三星電子全球AI中心總監Kim Dae-hyun近日透露,公司正致力于自主研發知識圖譜技術,旨在進步優化Galaxy AI的功能,提升其易用性,并加強用戶數據的隱私保護。
    的頭像 發表于 11-07 15:19 ?1382次閱讀

    AI 大模型行業應用:企業如何走出一條智能化蛻變之路?

    隨著 chatGPT 的橫空問世,我們對于人工智能在日常生活的應用場景逐漸了解,無論是搜索、問答、文生圖還是文生視頻都出現了很多創意,甚至 AI 還可以做詩,輸入一條指令,就可以讓它當場賦詩
    的頭像 發表于 09-27 18:16 ?1008次閱讀

    socket對應連接嗎

    在探討“socket對應連接”這命題時,我們首先需要明確socket的基本概念和它在網
    的頭像 發表于 08-16 10:55 ?927次閱讀

    請問LM311能準確的交截生成對應的PWM波形嗎?

    UC3825, TLV3501輸入正是100k的正弦波 輸入負是100kHz的鋸齒波 二者交截生成PWM波形 請問LM311能準確的交截生成對應的PWM波形嗎 之前使用UC3525里面自帶的比較器做的,LM311能達到這樣的速度嗎
    發表于 08-06 07:46

    革新未來智能版圖,神州數碼榮登IDC生成式AI圖譜

    的顯著位置,在GenAI應用行業板塊、GenAI平臺模型構建與編排板塊均榜上有名,標志著神州數碼不僅自身在生成式AI領域的技術創新和行業應用方面邁出了堅實的步,也為企業智能化轉型提供了一條
    的頭像 發表于 07-29 15:20 ?645次閱讀
    革新未來智能版圖,神州數碼榮登IDC<b class='flag-5'>生成</b>式AI<b class='flag-5'>圖譜</b>

    OPA855輸入是正弦波,為什么輸出是一條直流線呢?

    IG1是幅值為1nA,頻率為100HZ的交流電。為什么VOUT波形沒有放大50K呢,反而是一條直流線,在2.23V附近震蕩
    發表于 07-26 06:06

    在No-OS SDK 1.4.0上,如何直接收UART0消息呢?

    我應該在 interupt 函數添加代碼還是在新任務添加代碼 誰能幫忙給出完整的可行例子?
    發表于 07-22 06:14

    三星電子將收購英國知識圖譜技術初創企業

    在人工智能技術日新月異的今天,三星電子公司再次展現了其前瞻性的戰略布局與技術創新實力。近日,三星正式宣布完成了對英國領先的人工智能(AI)與知識圖譜技術初創企業Oxford Semantic Technologies的收購,此舉標志著三星在提升設備端AI能力、深化個性化用戶體驗方面邁出了重要
    的頭像 發表于 07-18 14:46 ?766次閱讀
    主站蜘蛛池模板: 456亚洲人成影院在线观 | 夜夜夜网 | 成人午夜性视频欧美成人 | 看黄在线| 色偷偷伊人| 又大又粗进出白浆直流动态图 | 亚洲综合五月天婷 | 久久久久久久久久久9精品视频 | 韩国三级理在线视频观看 | 中文字幕在线播放不卡 | 天天亚洲综合 | 在线免费观看一区二区三区 | 亚洲啪啪 | 日本夜夜操 | 狠狠干天天 | 久久国产精品久久久久久 | 在线观看一区二区三区视频 | 2021精品综合久久久久 | 粗又长好猛好爽 | aaaa级毛片| 美女色黄一男一女 | 久久88色综合色鬼 | 美女脱裤子屁屁视频 | 免费国产午夜在线观看 | 三级精品视频在线播放 | 二区三区在线 | 欧美日韩一区不卡 | 免费在线黄视频 | 欧美国产黄色 | 在线观看视频你懂得 | 一级做a爱片就在线看 | 国产免费一级高清淫曰本片 | 狠狠色丁香婷婷久久综合不卡 | 久久久噜久噜久久gif动图 | 天天干网 | 日本在线亚洲 | 亚洲国产精品日韩专区avtube | 免费一级毛片 | 啪啪啦资源站永久 | 久久福利青草精品资源站免费 | 天天干天天操天天拍 |