在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

自動(dòng)跨主題作文屬性評(píng)分研究

深度學(xué)習(xí)自然語言處理 ? 來源:Robert Ridley ? 作者:Robert Ridley ? 2020-12-26 09:05 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

01

研究動(dòng)機(jī)

自動(dòng)作文評(píng)分(英文叫Automated Essay Scoring,簡(jiǎn)稱AES)旨在使用計(jì)算機(jī)來根據(jù)論文的整體質(zhì)量或與某些屬性(trait)相關(guān)的質(zhì)量來評(píng)分,例如,文章組織、切題程度、敘述性等。現(xiàn)有的大多數(shù)研究都是針對(duì)同一主題的已評(píng)分作文數(shù)據(jù)集上進(jìn)行模型的訓(xùn)練和預(yù)測(cè)(如圖1左上角和左下角),其中訓(xùn)練和測(cè)試數(shù)據(jù)都是從同一分布中(DA)提取的。

958cca68-4690-11eb-8b86-12bb97331649.png

圖1: AES任務(wù)概覽

然而真實(shí)場(chǎng)景中的AES系統(tǒng)通常無法獲得足夠多的目標(biāo)主題文章,因此有必要研究如何預(yù)測(cè)訓(xùn)練數(shù)據(jù)中不存在的主題的文章分?jǐn)?shù)。因此,最近的一些研究探索了跨主題的AES,即從不同的主題中提取訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)(圖1的右上角)。跨主題的AES研究目前只關(guān)注根據(jù)論文的整體性來評(píng)分,而我們認(rèn)為一個(gè)有效的AES系統(tǒng)還應(yīng)該能夠提供屬性級(jí)別的反饋,因此,我們引入了一個(gè)新的AES任務(wù),即自動(dòng)跨主題作文屬性評(píng)分,該任務(wù)要求模型在僅有非目標(biāo)主題作文進(jìn)行訓(xùn)練的前提下,能夠準(zhǔn)確預(yù)測(cè)屬于目標(biāo)主題的文章的總分以及多個(gè)屬性的分?jǐn)?shù)(如圖1右下角),其中訓(xùn)練和測(cè)試數(shù)據(jù)來自不同的分布,輸出是不同屬性的分?jǐn)?shù)。

這項(xiàng)新的任務(wù)表現(xiàn)出兩個(gè)主要的挑戰(zhàn):

第一,模型需要有足夠的泛化能力,才能在新的主題中表現(xiàn)良好;

第二,模型需要能夠從不同的方面表示文章質(zhì)量,以便有效地對(duì)各種文章屬性進(jìn)行評(píng)分。

在探討自動(dòng)跨主題作文屬性評(píng)分的任務(wù)中,我們解決了兩個(gè)問題:

第一,屬于不同題目的文章有不同的trait集,因此許多trait有部分覆蓋率(論文中叫partial-trait coverage),這會(huì)導(dǎo)致某些trait的訓(xùn)練數(shù)據(jù)不足。例如,如果只有兩個(gè)題目的文章在敘述性trait上有分?jǐn)?shù)(所有其他題目的文章沒有),那一個(gè)被訓(xùn)練為這一trait打分的模型只能在這兩個(gè)題目的文章上進(jìn)行訓(xùn)練;

第二,不同trait之間存在高度的相關(guān)性。例如,一個(gè)在word choice的trait上分?jǐn)?shù)高的文章也可以預(yù)期在conventions上獲得很好的分?jǐn)?shù)。

為了解決partial-trait coverage的問題,我們引入了一種多任務(wù)的方法,即Cross-prompt Trait Scorer(CTS),該方法同時(shí)預(yù)測(cè)總體分?jǐn)?shù)和所有trait的分?jǐn)?shù)。這使得模型能夠?qū)τ?xùn)練集中的所有數(shù)據(jù)進(jìn)行訓(xùn)練,以學(xué)習(xí)更魯棒的表示。為了解決trait間關(guān)系的問題,我們?cè)O(shè)計(jì)了一個(gè)trait-attention機(jī)制,利用最相關(guān)的trait信息來預(yù)測(cè)每個(gè)trait的分?jǐn)?shù)。

02

貢獻(xiàn)

1.我們提出了一個(gè)新的任務(wù),即自動(dòng)主題作文屬性評(píng)分,它將AES解決方案中的兩個(gè)重要任務(wù)(跨主題作文評(píng)分和作文屬性評(píng)分)結(jié)合起來,從而更貼近真實(shí)場(chǎng)景。

2.我們?cè)O(shè)計(jì)了一個(gè)新的方法叫Cross-prompt Trait Scorer(CTS),通過使用多任務(wù)方法來解決由于partial-trait coverage而導(dǎo)致訓(xùn)練數(shù)據(jù)受限的問題。

3.我們?cè)O(shè)計(jì)了一個(gè)trait-attention機(jī)制來利用不同trait之間存在的關(guān)系。

03

解決方案

我們的方法建立在PAES(Ridley et al. 2020,如圖2左)之上,PAES是一個(gè)跨主題AES的SOTA方法。該方法利用詞性嵌入來學(xué)習(xí)廣義句法表示。首先,每個(gè)句子都有一個(gè)卷積層,通過attention pooling來實(shí)現(xiàn)句子級(jí)的表示。然后,這些表示被輸入一個(gè)recurrent層,該層使用LSTM,然后是第二個(gè)attention pooling層來學(xué)習(xí)完整的文章表示。然后將一組非主題特定的特征與文章表示鏈接起來,最后通過一個(gè)線性層和sigmoid激活來預(yù)測(cè)單個(gè)分?jǐn)?shù)。

這類方法通過獨(dú)立地對(duì)每個(gè)trait進(jìn)行訓(xùn)練,也可以直接應(yīng)用于本文提出的新任務(wù)中,然而這樣做有兩個(gè)問題:首先,如果訓(xùn)練數(shù)據(jù)中只有少量的文章?lián)碛心繕?biāo)trait的標(biāo)簽,那么就沒有足夠的數(shù)據(jù)來訓(xùn)練一個(gè)魯棒的模型。其次,這些trait并不是相互獨(dú)立的,而是相互關(guān)聯(lián)的。這種簡(jiǎn)單的方法不利用任何隱含的trait間的關(guān)系。

為了解決上述問題,我們?cè)O(shè)計(jì)了一個(gè)名為Cross prompt Trait Scorer(CTS)的模型,如圖2右所示。針對(duì)partial-trait coverage導(dǎo)致數(shù)據(jù)不足的問題,我們采用了基于多任務(wù)的體系結(jié)構(gòu),這使得模型能夠?qū)?shù)據(jù)集中的所有樣本進(jìn)行訓(xùn)練,以便學(xué)習(xí)更魯棒的編碼器表示。為了解決trait間的關(guān)系問題,我們?cè)谀P偷牡图?jí)別實(shí)現(xiàn)共享層,然后在高級(jí)別實(shí)現(xiàn)私有層。共享層旨在學(xué)習(xí)對(duì)所有任務(wù)都有用的通用表示。在多任務(wù)結(jié)構(gòu)中,高級(jí)別的層能夠表示更復(fù)雜的信息,因此私有層被用來學(xué)習(xí)更多的任務(wù)特定表示。此外,為了更明確地共享trait之間的信息,我們?cè)O(shè)計(jì)了一個(gè)trait-attention機(jī)制,允許每個(gè)trait集中于其他trait的相關(guān)信息。

95a14b96-4690-11eb-8b86-12bb97331649.png

圖2: PAES(左,Ridley et al. 2020)及本文給出的CTS模型(右)

04

實(shí)驗(yàn)

本文的實(shí)驗(yàn)是在Automated Student Assessment Prize(ASAP)數(shù)據(jù)集上進(jìn)行的。ASAP數(shù)據(jù)集包含八個(gè)不同的文章集,每個(gè)集中的文章都有不同的題目。每一篇文章都會(huì)根據(jù)文章的整體質(zhì)量獲得一個(gè)人性化的評(píng)分,而文章集7和8的文章則會(huì)根據(jù)評(píng)分標(biāo)準(zhǔn)對(duì)一些相關(guān)trait進(jìn)行額外評(píng)分。由于只有文章集7和8具有trait分?jǐn)?shù),因此我們還使用了ASAP++數(shù)據(jù)集,該數(shù)據(jù)集是在原始ASAP數(shù)據(jù)集的基礎(chǔ)上構(gòu)建的。ASAP++的作者為文章集1-6提供了各種相關(guān)trait的分?jǐn)?shù),以補(bǔ)充ASAP的原始總分。

表1: ASAP和ASAP++數(shù)據(jù)集中的屬性定義

960f9150-4690-11eb-8b86-12bb97331649.png

每個(gè)文章集的trait如表1所示,文章集1-6的trait分?jǐn)?shù)來自補(bǔ)充的ASAP++數(shù)據(jù)集,文章集7和8的trait分?jǐn)?shù)來自ASAP數(shù)據(jù)集。所有的總分都來自原始的ASAP數(shù)據(jù)集。

在實(shí)驗(yàn)中,一個(gè)文章集的作文被用作測(cè)試數(shù)據(jù),其余幾組的文章被用作訓(xùn)練數(shù)據(jù)。對(duì)于每個(gè)文章集重復(fù)此操作。在每種情況下,開發(fā)集包含與訓(xùn)練集相同集的文章。

我們將CTS與四個(gè)baseline模型進(jìn)行了比較,Hi att和AES aug都是在Prompt-specific Holistic scoring和Prompt-specific Trait Scoring都取得了很好性能的模型,PAES是我們的base模型,是一個(gè)面向Cross-prompt Holistic Scoring的SOTA方法,最后,CTS no att是我們的CTS模型的一個(gè)消融版本,沒有添加trait-attention機(jī)制。

表2:各文章集的平均QWK值

965621d8-4690-11eb-8b86-12bb97331649.png

表3:各屬性的平均QWK值

9681359e-4690-11eb-8b86-12bb97331649.png

在表2中,我們顯示了每個(gè)文章集的所有trait的平均分?jǐn)?shù),在表3中,我們顯示了每個(gè)trait的所有文章集的平均分?jǐn)?shù)。從這兩個(gè)表來看,我們可以看出兩個(gè)面向Prompt-specific的方法(Hi att 和AES aug)都表現(xiàn)不好。這是因?yàn)檫@些模型不是為Cross-prompt的設(shè)置設(shè)計(jì)的,因此它們過擬合很嚴(yán)重。

當(dāng)我們比較三種面向Cross-prompt模型時(shí),我們可以看到,除了文章集5外,CTS在所有文章集上的性能都超過了PAES和CTS no att,而且在大多數(shù)文章集中,多任務(wù)方法CTS no att的性能都優(yōu)于單任務(wù)方法PAES。這是因?yàn)镻AES無法利用完整的訓(xùn)練數(shù)據(jù)集,它只能在目標(biāo)trait有標(biāo)簽的樣本上進(jìn)行訓(xùn)練。CTS no att和CTS的多任務(wù)結(jié)構(gòu)能夠利用訓(xùn)練集中的所有樣本進(jìn)行訓(xùn)練。

表4:文章集2中每個(gè)屬性的平均QWK值

96af94f2-4690-11eb-8b86-12bb97331649.png

我們還通過實(shí)驗(yàn)來驗(yàn)證可用的訓(xùn)練數(shù)據(jù)的數(shù)量對(duì)模型性能的影響。表4中顯示了PAES、CTS no att和CTS的文章集2的每個(gè)屬性的性能。在這個(gè)表格中,有Word Choice和Sentence Fluency只出現(xiàn)在另外兩個(gè)文章集中。因此,在對(duì)這兩個(gè)屬性進(jìn)行評(píng)分時(shí),基于單任務(wù)方法僅能對(duì)訓(xùn)練集9499篇論文中的2129篇進(jìn)行訓(xùn)練,與其他兩個(gè)模型相比,這兩個(gè)trait的表現(xiàn)顯著降低。

圖3:預(yù)測(cè)文章集3的總分時(shí)所有屬性的注意力權(quán)重

為了深入了解trait-attention機(jī)制的運(yùn)作方式,我們將注意力權(quán)重可視化。在圖3中,當(dāng)預(yù)測(cè)文章集3的總分時(shí),由于這是一個(gè)整體評(píng)分,應(yīng)該從多個(gè)不同方面考慮文章的質(zhì)量,因此我們可以看到注意力在所有屬性中的分布相對(duì)均勻,基本沒有權(quán)重明顯高于其他屬性的屬性。

圖4:預(yù)測(cè)文章集3的Language分?jǐn)?shù)時(shí)的屬性注意權(quán)重

圖4則顯示了在預(yù)測(cè)文章集3的Language分?jǐn)?shù)時(shí)的trait注意權(quán)重。這是一個(gè)比總分更具體、更集中的屬性,此時(shí)與語言密切相關(guān)的屬性Word Choice的權(quán)重要明顯高于其他屬性權(quán)重。

05

總結(jié)

為了滿足真實(shí)場(chǎng)景中AES系統(tǒng)的需求,我們引入了一個(gè)新的AES任務(wù),即Automated Cross-prompt Scoring of Essay Traits。此外,我們還提出了一個(gè)新的方法(Cross-prompt Trait Scorer),它利用共享和私有層的多任務(wù)結(jié)構(gòu)以及trait-attention機(jī)制來解決在跨主題設(shè)置中某些屬性數(shù)據(jù)有限以及屬性間關(guān)系利用的兩個(gè)問題。

責(zé)任編輯:xj

原文標(biāo)題:【AAAI2021】自動(dòng)跨主題作文屬性評(píng)分

文章出處:【微信公眾號(hào):深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴

原文標(biāo)題:【AAAI2021】自動(dòng)跨主題作文屬性評(píng)分

文章出處:【微信號(hào):zenRRan,微信公眾號(hào):深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    連續(xù)四年!Splashtop 再度榮膺 TrustRadius 最高評(píng)分獎(jiǎng)

    近日,全球領(lǐng)先的商業(yè)技術(shù)評(píng)論平臺(tái)TrustRadius正式頒發(fā)2025年「最高評(píng)分獎(jiǎng)」(TopRatedAward2025),Splashtop已連續(xù)四年斬獲該獎(jiǎng)項(xiàng)。Splashtop在遠(yuǎn)程支持
    的頭像 發(fā)表于 06-17 17:36 ?463次閱讀
    連續(xù)四年!Splashtop 再度榮膺 TrustRadius 最高<b class='flag-5'>評(píng)分</b>獎(jiǎng)

    ArkUI-X平臺(tái)應(yīng)用改造指南

    Android/iOS與HarmonyOS Next上能夠擁有相同的展示效果和交互體驗(yàn)。 1.開發(fā)者進(jìn)行設(shè)計(jì)時(shí)需首先考慮ArkUI-X框架的實(shí)際適配狀況,使用支持平臺(tái)的UI控件、屬性、方法進(jìn)行平臺(tái)開發(fā)
    發(fā)表于 06-16 23:05

    ArkUI-X平臺(tái)框架接入指南

    ArkUI平臺(tái)框架(ArkUI-X)進(jìn)一步將ArkUI開發(fā)框架擴(kuò)展到了多個(gè)OS平臺(tái):目前支持OpenHarmony、Android、 iOS,后續(xù)會(huì)逐步增加更多平臺(tái)支持。開發(fā)者基于一套主代碼
    發(fā)表于 05-18 18:21

    如何在設(shè)備上通過USBEZ-USB?將第二個(gè)SPI閃存用作文件系統(tǒng)的應(yīng)用說明或建議?

    是否有關(guān)于如何在 設(shè)備上通過 將第二個(gè) SPI 閃存用作文件系統(tǒng)的應(yīng)用說明或建議?USBEZ-USB?
    發(fā)表于 05-09 06:26

    深入探索GCC的attribute屬性

    如果經(jīng)常看Linux源碼,一定會(huì)見過 attribute 屬性,他在 Linux 里面出現(xiàn)的很多。 attribute 是 gcc 的擴(kuò)展功能,它不屬于標(biāo)準(zhǔn)C語言。 使用 attribute 可以
    的頭像 發(fā)表于 02-13 10:05 ?399次閱讀

    Chart FX-使用API傳輸數(shù)據(jù) 使用Value屬性傳輸數(shù)據(jù)

    有時(shí),向 Chart FX 傳輸數(shù)值數(shù)據(jù)最簡(jiǎn)單方便的方法就是使用 Value 屬性。通過 Value 屬性,您可以為圖表中特定series中的某一point設(shè)置數(shù)值。 Value 屬性需要你希望
    的頭像 發(fā)表于 01-09 16:30 ?395次閱讀
    Chart FX-使用API傳輸數(shù)據(jù) 使用Value<b class='flag-5'>屬性</b>傳輸數(shù)據(jù)

    晶科能源標(biāo)普ESG評(píng)分位居光伏組件企業(yè)之首

    近日,標(biāo)普全球(S&P Global)發(fā)布了最新的企業(yè)可持續(xù)發(fā)展評(píng)估(CSA)結(jié)果。晶科能源的ESG最新評(píng)分躍升至69分,在前五大光伏組件企業(yè)中排名第一。此次評(píng)分提高的主要原因在于氣候戰(zhàn)略和產(chǎn)品管理方面的卓越表現(xiàn),也是晶科能源長(zhǎng)期以來堅(jiān)持以創(chuàng)新為驅(qū)動(dòng)的綠色可持續(xù)發(fā)展路徑的
    的頭像 發(fā)表于 01-09 09:32 ?606次閱讀

    TSP研究:車內(nèi)網(wǎng)聯(lián)服務(wù)向域融合、全場(chǎng)景融合、艙駕融合方向拓展

    佐思汽研發(fā)布《2024-2025年汽車TSP及應(yīng)用服務(wù)研究報(bào)告》。 TSP,全稱Telematics Service Provider,即車聯(lián)網(wǎng)服務(wù)供應(yīng)商。TSP主要負(fù)責(zé)汽車與各類服務(wù)商之間
    的頭像 發(fā)表于 01-06 09:40 ?1427次閱讀
    TSP<b class='flag-5'>研究</b>:車內(nèi)網(wǎng)聯(lián)服務(wù)向<b class='flag-5'>跨</b>域融合、全場(chǎng)景融合、艙駕融合方向拓展

    SOLIDWORKS高級(jí)BOM及屬性批量導(dǎo)入工具

    SOLIDWORKS BOM插件-SolidKits.BOMs工具可以準(zhǔn)確、規(guī)范、便捷的一鍵完成各種結(jié)構(gòu)BOM導(dǎo)出,匯總BOM生成,批量導(dǎo)入屬性,自動(dòng)建立結(jié)構(gòu),實(shí)現(xiàn)規(guī)范化管理,并自定義打包操作,還可根據(jù)企業(yè)需求定制模板.BOM工具試用/報(bào)價(jià)/購買,歡迎點(diǎn)擊咨詢Solidk
    的頭像 發(fā)表于 12-02 16:11 ?897次閱讀

    能否提供ADS131M08EVM的制作文件?

    評(píng)估板,時(shí)間太長(zhǎng)或者沒有貨,能否提供ADS131M08EVM的制作文件?
    發(fā)表于 11-25 06:15

    Linux用戶身份與進(jìn)程權(quán)限詳解

    在學(xué)習(xí) Linux 系統(tǒng)權(quán)限相關(guān)的主題時(shí),我們首先關(guān)注的基本都是文件的 ugo 權(quán)限。ugo 權(quán)限信息是文件的屬性,它指明了用戶與文件之間的關(guān)系。但是真正操作文件的卻是進(jìn)程,也就是說用戶所擁有的文件
    的頭像 發(fā)表于 10-23 11:41 ?758次閱讀
    Linux用戶身份與進(jìn)程權(quán)限詳解

    導(dǎo)放大器增益怎么算的?

    請(qǐng)問,導(dǎo)放大器增益怎么算的
    發(fā)表于 09-24 07:11

    Zoom推出AI協(xié)作文件方案Zoom Docs

    Zoom近期宣布了一項(xiàng)重大更新,正式推出Zoom Docs——一款基于人工智能的協(xié)作文件解決方案,旨在進(jìn)一步提升用戶的遠(yuǎn)程工作效率。此次發(fā)布的Zoom Docs集成了Zoom AI Companion生成式AI助手,且無需用戶額外付費(fèi),即可享受這一創(chuàng)新功能。
    的頭像 發(fā)表于 08-12 16:09 ?946次閱讀

    OPA847進(jìn)行阻放大震蕩的原因?

    如圖所示是使用OPA847進(jìn)行阻放大的電路,在測(cè)試中發(fā)現(xiàn)阻放大在無光照情況下會(huì)輸出一個(gè)500Mhz,300mV峰峰值的正弦波,按照官方手冊(cè)計(jì)算公式這個(gè)組放大帶寬在68Mhz左右,為啥有反饋
    發(fā)表于 08-09 06:18

    網(wǎng)段 IP 地址通信故障分析

    本文深入探討了在網(wǎng)絡(luò)環(huán)境中,網(wǎng)段 IP 地址通信故障的原因,重點(diǎn)闡述了路由設(shè)置不正確所引發(fā)的無法正常通信問題。通過實(shí)際案例分析和理論研究,詳細(xì)介紹了故障的表現(xiàn)、影響及有效的解決策略,為保障網(wǎng)絡(luò)的穩(wěn)定高效通信提供了有力的理論支持和實(shí)踐指導(dǎo)。
    的頭像 發(fā)表于 07-29 13:52 ?669次閱讀
    <b class='flag-5'>跨</b>網(wǎng)段 IP 地址通信故障分析
    主站蜘蛛池模板: 亚洲国产成a人v在线观看 | 欧美人与禽交 | 免费二级c片观看 | 欧美一卡二三卡四卡不卡 | 欧美男女交性过程视频 | 女性私密部位扒开的视频 | 免费大秀视频在线播放 | 婷婷视频网站 | 亚洲成熟 | 亚洲国产精品网站久久 | 欧美a色 | 久久免 | 综合网天天操天天射 | www在线视频在线播放 | 黄色软件合集 | 九九热在线视频观看 | 超黄视频在线观看 | 成人av.com | 色综合色综合色综合网址 | 亚洲精品美女在线观看 | 久久婷婷综合五月一区二区 | 国产精品三区四区 | 国产日韩精品欧美一区色 | 国外精品视频在线观看免费 | 男女爱爱免费 | 国产小视频免费在线观看 | 亚洲香蕉电影 | 日韩一级片免费在线观看 | 深夜视频在线 | 特级黄视频 | 四只虎免费永久观看 | 欧美性幼 | 日韩一级特黄毛片在线看 | 一本视频在线 | 五月天色丁香 | 精品久久久久久国产免费了 | 日本三级电影在线观看 | 2018天天干天天操 | 日本黄色高清视频 | www.色午夜.com | 亚洲一区二区三区高清视频 |