導(dǎo)讀:隨著移動互聯(lián)網(wǎng)的普及,網(wǎng)絡(luò)上每天產(chǎn)生大量的文本數(shù)據(jù),蘊(yùn)含著巨大的有價(jià)值信息。情感分析作為自然語言處理中的一個(gè)重要研究方向。在實(shí)踐中有著廣泛的應(yīng)用,如商品評論分析、政治、金融、旅游等領(lǐng)域中的商品推薦、產(chǎn)品輔助決策、公司政府的輿情監(jiān)測、服務(wù)評價(jià)等等。本文主要介紹情感分析的概念、應(yīng)用、任務(wù)和方法,進(jìn)一步會介紹華為云在細(xì)粒度情感分析方面的實(shí)踐,包括屬性級情感分析和觀點(diǎn)四元組分析。
主要內(nèi)容包括:
文本情感分析介紹
屬性級情感分析
觀點(diǎn)四元組分析
總結(jié)
01情感分析介紹
首先介紹下文本情感分析的基本概念。情感分析,主要是識別媒介中目標(biāo)對象的情感,這里面可能有兩個(gè)概念比較容易混淆,一個(gè)是sentiment analysis,另一個(gè)是emotion analysis。一般我們說的情感分析都是sentiment,主要指的正面和負(fù)面的分析,然后emotion會更詳細(xì)一些,它不僅包含正負(fù)面,還包含比如說生氣、開心、高興這些,會更加細(xì)粒度一些。
我們主要分析sentiment,從分析對象來看會包含文本、圖像、語音,EEG(腦電波)、多模態(tài)分析情感。從任務(wù)方面來看,不僅是有情感的識別,還有情感生成的一些任務(wù),像現(xiàn)在有情感對話的生成,還有虛擬人情感生成。在本報(bào)告中,主要側(cè)重文本方面的情感識別。
1. 文本情感分析
上面文本情感分析五要素定義是采用劉冰老師的定義,這個(gè)定義分為了實(shí)體 ( entity )、實(shí)體的某一個(gè)方面 ( aspect )、針對這個(gè)實(shí)體的情感正負(fù)面 ( opinion=sentiment,即情感正負(fù)面也稱作觀點(diǎn)正負(fù)面 )、觀點(diǎn)持有者 ( hold ) 和持有觀點(diǎn)的時(shí)間 ( time ) 這五要素,一般來說hold和time文本很少提及。
另一個(gè)概念一般會把entity和aspect合并在一起成為一個(gè)target,是針對我們目標(biāo)對象的情感或者觀點(diǎn)。例如:“我覺得華為手機(jī)的拍照非常牛逼”這里面對應(yīng)的實(shí)體是“華為手機(jī)”,對應(yīng)的aspect是“拍照”,對應(yīng)的情感是“非常牛逼”為正面,對應(yīng)的觀點(diǎn)持有者是“我”,而時(shí)間沒有提及所以為空。
當(dāng)前的文本情感分析就是根據(jù)輸入文本,然后識別其中這五要素里的幾個(gè)要素,現(xiàn)在還沒有相關(guān)工作可以同時(shí)識別出五個(gè)要素。一般的話現(xiàn)在最簡單的情感分析是只識別出這個(gè)文本的觀點(diǎn)/情感,既不包含實(shí)體也不包含aspect并且也不包含觀點(diǎn)持有者,再進(jìn)一步的工作就是識別出針對哪一個(gè)aspect(實(shí)體)的觀點(diǎn)(情感)。
這里簡單介紹一些細(xì)粒度情感分析和我們說的一般情感分析的區(qū)別。一般的情感分析都是直接識別整個(gè)文本的正負(fù)面,然而細(xì)粒度情感分析會更細(xì)一些,這里面有兩個(gè)概念,一個(gè)是從情感的粒度上會更細(xì),比如從sentiment到emotion的情感粒度升級,之前我們只分析正負(fù)面,現(xiàn)在除了正負(fù)面還有情緒,如高興、傷心等,從情感這個(gè)維度講這是一種細(xì)粒度情感分析。還有一個(gè)是從分析對象的角度來講,之前的情感分析是直接識別整個(gè)句子或整篇文章的情感,它不區(qū)分情感對象是誰,再細(xì)粒度一些的話就需要識別出整個(gè)句子里面情感針對的對象是誰,它是句子里的某個(gè)實(shí)體或者是某個(gè)實(shí)體的某個(gè)屬性,從這個(gè)角度這也是細(xì)粒度情感分析的一種,我們今天主要側(cè)重第二個(gè)針對對象角度的情感分析。
2. 情感分析任務(wù)
下面介紹一下情感分析的各個(gè)任務(wù),這里面分析是情感的識別,不包含生成,還有前面提到的語音圖片也不涉及。
針對文本的情感分析會分成幾個(gè)等級:
詞級別的情感分析:這個(gè)類似于情感詞典的構(gòu)建,怎么去構(gòu)建一個(gè)大規(guī)模的情感詞典,比如“車禍”這個(gè)詞對應(yīng)的情感就是負(fù)面的,“生日”這個(gè)詞對應(yīng)的情感就是正面的。
句子/文檔級的情感分析:我們現(xiàn)在用比較多的,各大云服務(wù)廠商都會有的一個(gè)服務(wù),針對句子或者文檔的情感分析,輸入一句話返回相應(yīng)的情感正負(fù)面,但它不區(qū)分正負(fù)面針對哪一個(gè)句子里面哪個(gè)實(shí)體或者哪個(gè)對象。
目標(biāo)級的情感分析:這是我們今天側(cè)重的目標(biāo)級的細(xì)粒度情感分析,這里面的目標(biāo)就是上邊說的target,它可以是一個(gè)實(shí)體也可以是一個(gè)屬性,還可以是實(shí)體+屬性的組合形式。
對于目標(biāo)級的情感分析分為三種:
針對屬性的情感分析 ( TG-ABSA ):這里面對象是固定然后只分析里面某幾個(gè)屬性的正負(fù)面,這就會涉及到兩個(gè)任務(wù),一個(gè)是對象的屬性識別,另一個(gè)是該屬性的情感識別。例如圖中的例子“外觀XXX”,這里的對象是固定說的是手機(jī),我們只需要識別出其中的屬性外觀、內(nèi)存和性能,然后分別識別出各個(gè)屬性的情感正負(fù)面。針對屬性識別也分成兩個(gè)任務(wù),一是屬性詞的抽取,就是我們要定位出屬性描述詞在文中的位置,另一個(gè)是該屬性描述詞對應(yīng)的屬性類別,因?yàn)獒槍δ硞€(gè)屬性的描述可能是“外觀”也可能是“看起來很好看”,它這個(gè)描述不一定包含顯性的屬性描述詞。針對情感識別會分為觀點(diǎn)詞抽取和觀點(diǎn)分類。
針對實(shí)體的情感分析 ( TN-ABSA ):這里是文本中只有實(shí)體而沒有屬性,只針對實(shí)體的情感進(jìn)行分析,這涉及到的兩個(gè)任務(wù),實(shí)體識別和情感識別。實(shí)體識別分為實(shí)體詞抽取和實(shí)體分類,情感識別分為觀點(diǎn)詞抽取和觀點(diǎn)分類。
針對目標(biāo)的情感分析 ( T-ABSA ):這里面的目標(biāo)就是實(shí)體+屬性的組合,例如:“小米性價(jià)比”、“華為拍照”等,這會比上面兩個(gè)任務(wù)相對更細(xì)一些。目標(biāo)識別分為目標(biāo)詞抽取和目標(biāo)分類,情感識別分為觀點(diǎn)詞抽取和觀點(diǎn)分類。
針對情感分析,簡單介紹一些方法簡史。最早的一個(gè)方法是基于字典加規(guī)則的方式,我們?nèi)斯?gòu)建一個(gè)情感詞典,每個(gè)詞都有對應(yīng)的正負(fù)面,然后根據(jù)句子中正面詞和負(fù)面詞的數(shù)量,最后做一個(gè)投票,這是一個(gè)最簡單的方法。后邊就有了基于機(jī)器學(xué)習(xí)的方法,像傳統(tǒng)的機(jī)器學(xué)習(xí)SVM等,將情感詞典和詞袋作為它的一個(gè)特征。再進(jìn)一步就是深度學(xué)習(xí),還有就是現(xiàn)在的基于預(yù)訓(xùn)練語言模型+fine tune的方法,應(yīng)該是現(xiàn)在效果最好的一個(gè)方法。
02屬性級情感分析
下邊我介紹一下我們其中的一個(gè)工作,屬性級情感分析(TG-ABSA),這里面實(shí)體是固定的,分析它各個(gè)屬性的正負(fù)面。像上面句子級情感分析是大部分廠商提供的,比如“買沒幾天就降價(jià)一點(diǎn)都不開心,閃存跑分就五百多點(diǎn)”,這個(gè)整體是負(fù)面,但是它針對價(jià)格和閃存兩個(gè)屬性都有相應(yīng)情感,這里并沒有區(qū)分。屬性級情感分析這個(gè)任務(wù)就是給定屬性的類別集合,然后預(yù)測它各個(gè)屬性的正負(fù)面。其中,這里的表達(dá)也分為兩種,一種是顯式的觀點(diǎn)表達(dá),另一種是隱式的觀點(diǎn)表達(dá)。顯式的觀點(diǎn)表達(dá)會顯示提到屬性的屬性詞和觀點(diǎn)詞,比如“手機(jī)內(nèi)存非常大,系統(tǒng)流暢,性價(jià)比非常高”,這里屬性詞“內(nèi)存”、“系統(tǒng)”和“性價(jià)比”都有顯示的提到,而像“手機(jī)太貴了,顏值非常高,一點(diǎn)都不卡”,這里“手機(jī)太貴了”、“一點(diǎn)都不卡”表達(dá)的屬性分別是“價(jià)格”和“性能”,但是沒有相應(yīng)的屬性詞。
針對這兩種不同的表達(dá)方式,處理方式是不一樣的,后邊會介紹一種專門針對顯示的方法。
1.屬性級情感分析—相關(guān)工作介紹
① 無監(jiān)督方法:
最傳統(tǒng)的一個(gè)方法是無監(jiān)督的,這種方法的優(yōu)勢是不需要標(biāo)注數(shù)據(jù),比如使用基于句法解析的方法,先抽取句子里主語謂語賓語的表達(dá)方式,比如“服務(wù)員很漂亮”,通過抽到的主語“服務(wù)員”和它對應(yīng)的形容詞“漂亮”,這樣我就可以知道它的評價(jià)對象是“服務(wù)員”,觀點(diǎn)是“漂亮”,再根據(jù)查情感詞典知道這是一個(gè)正面的情感,這樣就可以得到針對服務(wù)員的評價(jià)是正面的。
這種方法只能處理顯示的表達(dá),如果是隱式的表達(dá),因?yàn)榫渥又袥]有屬性詞,那么通過句法解析沒法得到對應(yīng)的角色,所以無法分析來處理隱式的表達(dá)。這種無監(jiān)督方法的優(yōu)點(diǎn)是不需要標(biāo)數(shù)據(jù),缺點(diǎn)是準(zhǔn)確率相對低一些,沒法處理隱式表達(dá)。
② 閱讀理解方法:
最近的一個(gè)工作是復(fù)旦邱錫鵬老師組提出的基于深度學(xué)習(xí)的方法,分析一個(gè)句子里面各個(gè)屬性的正負(fù)面,他把這個(gè)問題轉(zhuǎn)化成一個(gè)閱讀理解的問題,本來一個(gè)句子有N個(gè)屬性集合,他把句子和屬性轉(zhuǎn)換成句子-屬性 pair。輸入一個(gè)句子,這里面aspect可以描述成閱讀理解的一個(gè)問你題,比如“針對外觀評價(jià)是怎么樣的”,這樣轉(zhuǎn)換成問答對的方式,然后基于Bert來識別這個(gè)問答對正負(fù)面的答案,這是一個(gè)比較新的工作。
這種方式的優(yōu)勢是比較靈活,屬性可以無限的擴(kuò)充,不管是新增或者減少屬性,都可以用這種方法直接取處理,而且準(zhǔn)確率還比較高。但是這種方法的缺點(diǎn)就是它的效率相對要低一些,因?yàn)槿绻蠳個(gè)屬性,在預(yù)測的時(shí)候,它需要預(yù)測N次才能得到結(jié)果。
2.屬性級情感分析—方案介紹
我們提出了一個(gè)基于類似多標(biāo)簽,多任務(wù)的方法。整個(gè)任務(wù)給定屬性類別集合,然后預(yù)測每個(gè)屬性的正負(fù)面。
這里面的難點(diǎn)是,首先我們大框架使用的是有監(jiān)督的方法,因?yàn)樽罱K我們想要把應(yīng)用部署到華為云的服務(wù)上,所以準(zhǔn)確率要求是比較高的,要求達(dá)到90%以上,一般無監(jiān)督的方法無法滿足,所以還是需要有監(jiān)督的方法。這就需要標(biāo)注數(shù)據(jù),如果是多個(gè)屬性它的一個(gè)問題就是標(biāo)注起來比較困難,比如說一個(gè)手機(jī)評論可能會涉及到二三十個(gè)屬性或者說甚至上百種屬性,如果要標(biāo)數(shù)據(jù)的話,這會非常的困難。我們的方法不同于傳統(tǒng)的多標(biāo)簽分類,像文本多標(biāo)簽分類任務(wù)的類別有政治、經(jīng)濟(jì)、新聞,該任務(wù)只涉及標(biāo)簽是否出現(xiàn),但這里不一樣的地方是它不僅涉及到屬性是否出現(xiàn),還要預(yù)測出屬性的正負(fù)面,相當(dāng)于每個(gè)屬性都要預(yù)測出它的三個(gè)標(biāo)簽—正面、負(fù)面和未出現(xiàn)。相當(dāng)于每個(gè)屬性是一個(gè)多分類任務(wù)而不是一個(gè)二分類任務(wù)。之前那種多標(biāo)簽分類,一般最后會把每個(gè)標(biāo)簽轉(zhuǎn)化成logits,這里的話用這種方法就沒辦法處理。然后還有就是隱式表達(dá)。
我們解決的技術(shù)思路是,把它轉(zhuǎn)換成一個(gè)Multi-task多分類任務(wù),每個(gè)屬性都處理成一個(gè)多分類的任務(wù),所以它輸出不是二分類而是一個(gè)多分類。在標(biāo)注數(shù)據(jù)的過程中,我們引入主動學(xué)習(xí)的思路,先標(biāo)注一批少量的數(shù)據(jù),然后用模型對剩余未標(biāo)注的做一個(gè)預(yù)測,然后再對那些置信度比較低的再去人工審核標(biāo)注這些數(shù)據(jù),如果置信度比較高的就不用再標(biāo)了,這樣的話可以提高標(biāo)注效率。另一個(gè)方法是,如果一個(gè)樣本同時(shí)標(biāo)注多個(gè)屬性,這個(gè)標(biāo)注成本是很高的,我們引入Label mask的思路,就是在訓(xùn)練的時(shí)候 某幾個(gè)屬性可能標(biāo)也可能沒標(biāo),如果沒標(biāo)的話就把這個(gè)屬性mask掉,然后在計(jì)算loss的時(shí)候該屬性就不參與計(jì)算了,只將那些已經(jīng)標(biāo)注的屬性參與loss計(jì)算和反向傳播的計(jì)算,這樣的一個(gè)好處就是我在真正標(biāo)注樣本的時(shí)候想標(biāo)注哪幾個(gè)屬性就標(biāo)注哪幾個(gè)屬性,不用每個(gè)樣本的所有屬性都要標(biāo)注,這樣標(biāo)注就更加靈活,可以先針對某一個(gè)屬性只標(biāo)注它,標(biāo)完該屬性后再標(biāo)另一個(gè)屬性,這實(shí)際上是一個(gè)很靈活的標(biāo)注。
使用這個(gè)方法的一個(gè)優(yōu)勢是,它最終基于深度學(xué)習(xí)模型,準(zhǔn)確率比較高,也支持隱式的表達(dá),因?yàn)樯疃葘W(xué)習(xí)可以編碼各種語義的表達(dá),還有一個(gè)就是我們這種方法可以提高標(biāo)注效率。在中間編碼這塊可以是基于bert、roberta這種預(yù)訓(xùn)練語言模型,最終輸出使用label mask的方法。
3. 屬性級情感分析—結(jié)果
上面是我們最終的實(shí)驗(yàn)結(jié)果,針對汽車領(lǐng)域測試樣本大概有7000多個(gè),每個(gè)樣本平均的屬性數(shù)量是4.27個(gè),其中預(yù)定義的屬性集合是8個(gè),最終可以看到每個(gè)屬性的準(zhǔn)確率都是很高的,基本上達(dá)到90%以上。針對手機(jī)領(lǐng)域的結(jié)果基本上也是每個(gè)屬性F值基本上能達(dá)到將近90%。
右上角的圖是針對每個(gè)屬性預(yù)測的標(biāo)簽的置信度的閾值,隨著閾值的上升,命中的屬性(即預(yù)測的標(biāo)簽的置信度在閾值以上的屬性)準(zhǔn)確率也在上升,而Attribute Hit Rate(即預(yù)測標(biāo)簽的置信度在閾值以上的屬性占比)也隨著閾值的上升而下降,即有些屬性預(yù)測的標(biāo)簽的置信度低于閾值,但是命中的屬性預(yù)測出標(biāo)簽的準(zhǔn)確率是慢慢上升的,這個(gè)也是符合我們的一般認(rèn)知的。這個(gè)的一個(gè)好處是最終產(chǎn)品上線之后,用戶要求有一部分不需要人工審核,另一部分則需要人工審核,當(dāng)達(dá)到某個(gè)閾值之后,他們就可以不用參與人工審核。通過調(diào)節(jié)閾值,讓某些屬性的指標(biāo)達(dá)到了這個(gè)閾值,比如準(zhǔn)確率都達(dá)到95%,這一部分就不需要人工審核。
4. 屬性級情感分析—應(yīng)用案例
這是我們基于多屬性情感分析的一個(gè)應(yīng)用案例,這是汽車領(lǐng)域的案例,針對網(wǎng)上很多的汽車領(lǐng)域的評論,我們可以分析汽車在八個(gè)屬性維度上的正負(fù)面評價(jià)。上圖左上角里紅色的線就是一個(gè)行業(yè)的平均水平,藍(lán)色的線是針對這個(gè)車它的各個(gè)維度的雷達(dá)圖像,這樣就可以很方便地對比出不同車型,它的一個(gè)好壞。可以方便用戶在產(chǎn)品選型的時(shí)候做一個(gè)對比,也可以方便廠家針對評論本身對他們的產(chǎn)品做相應(yīng)的改進(jìn)。
03觀點(diǎn)四元組分析
1.四元組觀點(diǎn)挖掘—介紹
上面講到的雖然可以分析出各個(gè)屬性的正負(fù)面,但是它的一個(gè)缺點(diǎn)是沒辦法定位出針對某個(gè)屬性具體評價(jià)的屬性描述詞位置和觀點(diǎn)描述的位置,因?yàn)橛行┯脩舨粌H想要找到屬性正負(fù)面,還要找到它對應(yīng)的評價(jià)位置,所以我們這個(gè)工作是針對觀點(diǎn)四元組進(jìn)行挖掘的。
觀點(diǎn)四元組挖掘這個(gè)任務(wù)不僅要分析出各個(gè)屬性的正負(fù)面,還要定位出它屬性描述詞的位置以及觀點(diǎn)描述詞的位置。比如“手機(jī)內(nèi)存非常大”中屬性描述詞定位到“內(nèi)存”,評價(jià)詞定位“非常大”,對于“性價(jià)比非常高”這句話,屬性描述詞定位到“性價(jià)比”,觀點(diǎn)描述定位到“非常高”,不僅要識別出屬性的類別還要定位到位置,所以這里一共有四個(gè)要素要預(yù)測出來,分別是屬性詞、屬性類別、評價(jià)詞和評價(jià)極性,其中屬性類別和評價(jià)極性在前面的工作已經(jīng)做到了。
2.四元組觀點(diǎn)挖掘—方案
針對這個(gè)任務(wù),我們提出了一個(gè)基于抽取加分類的聯(lián)合模型,上圖是我們現(xiàn)在采用的框架,底層是基于編碼的模型,可以是bert或者roberta等,然后將句子編碼成一個(gè)向量表示。
圖中左邊這側(cè)是用于定位屬性描述位置和觀點(diǎn)描述位置的,是一個(gè)序列標(biāo)注模型,比如這里B_A是屬性描述詞起始位置,I_A則是在屬性描述詞中間的位置,例如這里“內(nèi)存”和“顏色”都是屬性描述詞。在這里最上層用的是CRF序列標(biāo)注模型來進(jìn)行屬性描述詞的抽取。圖中右邊這側(cè)對應(yīng)的跟上面的工作有點(diǎn)類似了,有N個(gè)屬性對應(yīng)有N個(gè)輸出,然后對應(yīng)每個(gè)屬性預(yù)測它的正負(fù)面和未出現(xiàn)這幾類。左邊做屬性詞抽取,右邊做屬性正負(fù)面預(yù)測,最終可以輸出每個(gè)屬性的四元組(屬性類別,屬性描述詞,觀點(diǎn)描述詞,觀點(diǎn)類別)。
3.四元組觀點(diǎn)挖掘—數(shù)據(jù)標(biāo)注
這里的比較耗時(shí)間的工作就是數(shù)據(jù)標(biāo)注,因此我們專門做了四元組觀點(diǎn)挖掘的數(shù)據(jù)標(biāo)注平臺。上面“簡單”這個(gè)分類標(biāo)簽是為了解決標(biāo)注過程中有些不同標(biāo)注人員他可能對同一個(gè)樣本就會有沖突,他覺得這個(gè)樣本比較難標(biāo)或者好標(biāo)的話這里就是用這進(jìn)行區(qū)分,如果樣本好標(biāo)會打個(gè)“簡單”的分類標(biāo)簽,如果讓他覺得不確定,他會不打“簡單”的標(biāo)簽,即“復(fù)雜”標(biāo)簽。因?yàn)槲覀儤?biāo)的屬性比較多,涉及到差不多三四十個(gè)屬性,這里做了一個(gè)對屬性做了大致的分類。
這里的標(biāo)注任務(wù)是類似于關(guān)系抽取里面3元組的標(biāo)注任務(wù),先標(biāo)注屬性描述詞,然后再標(biāo)注它的觀點(diǎn)描述詞,這里面它兩個(gè)其實(shí)是形成一個(gè)搭配關(guān)系,這個(gè)類似于一個(gè)三元組中實(shí)體和實(shí)體及他們的關(guān)系,只不過這里的關(guān)系是一種搭配的關(guān)系,將它們連起來就可以了,最后再加上它對應(yīng)的正負(fù)面以及屬性描述詞對應(yīng)的屬性類別,這樣每個(gè)樣本的四元組就標(biāo)出來了。
上圖左邊是我們標(biāo)注大概兩萬條手機(jī)評論的數(shù)據(jù)分布,其實(shí)可以看到數(shù)據(jù)分布式非常不均衡的。這個(gè)是拿到真實(shí)用戶在線上評論的數(shù)據(jù),有些評論會偏的非常多,然而有些類別評論會非常少。上圖右邊是針對所有屬性對應(yīng)正負(fù)面的分布,這個(gè)也是非常不均衡的,正面的評論比較多,負(fù)面的評論會相對少很多。
4.四元組觀點(diǎn)挖掘—結(jié)果
上圖為我們最終的評價(jià)結(jié)果,因?yàn)樗且粋€(gè)四元組既包含分類也包含抽取,對于評價(jià)指標(biāo)我們用了一個(gè)Fuzzy F1值。我們對每一個(gè)屬性加正負(fù)面標(biāo)簽作為一個(gè)評價(jià)對象,比如“外觀正”作為一個(gè)評價(jià)對象,然后去找它對應(yīng)的位置,計(jì)算這個(gè)位置它們字符的重合率(包括觀點(diǎn)描述詞和屬性描述詞的重合率)這樣去算它的F值。EM F1值是預(yù)測描述詞的位置完全精準(zhǔn)匹配,稍微有一點(diǎn)不對也算錯(cuò),這個(gè)比前面的指標(biāo)更加嚴(yán)格。
在編碼器這部分我們嘗試了幾個(gè)不同的編碼器,包括bert、roberta還有nezha等。由于我們有很多未標(biāo)注的數(shù)據(jù),基于這些數(shù)據(jù)我們做了領(lǐng)域的預(yù)訓(xùn)練,然后再進(jìn)行fine tune。右圖展示了不同指標(biāo)下的結(jié)果,可以看到在未標(biāo)注數(shù)據(jù)上進(jìn)行領(lǐng)域預(yù)訓(xùn)練的話是可以帶了一個(gè)點(diǎn)的提升,F(xiàn)uzzy F1能達(dá)到0.79。另外,這個(gè)評估指標(biāo)對于人的實(shí)際感知不太直觀,我們隨機(jī)抽取500條數(shù)據(jù)進(jìn)行人工評價(jià)。
人工評價(jià)的過程是每個(gè)樣本預(yù)測出每個(gè)屬性標(biāo)簽和正負(fù)面且包括它們的位置,將這樣的四元組抽取出來進(jìn)行人工評價(jià),判斷預(yù)測是否合理,如果合理標(biāo)記為1,如果不合理則標(biāo)記為0,這樣來看人工對模型預(yù)測的指標(biāo)判斷。人工評價(jià)的準(zhǔn)確率是非常高的,差不多96%的準(zhǔn)確率,即人工認(rèn)為預(yù)測是合理的。這兩個(gè)結(jié)果差別是比較大的,但也是比較合理的,因?yàn)樵跀?shù)據(jù)標(biāo)注過程中,不同標(biāo)注人員對觀點(diǎn)描述詞的位置以及屬性描述的位置也可是會有歧義。比如“外觀非常好看”這句話,有些人觀點(diǎn)描述詞會標(biāo)“好看”,有些人就會標(biāo)“非常好看”,這其實(shí)對最終預(yù)測結(jié)果影響不大,但是如果用字符重合率的方法,那會嚴(yán)重影響計(jì)算這個(gè)指標(biāo),所以說它兩個(gè)差異比較大也是合理的。
5.四元組觀點(diǎn)挖掘—Demo
上圖是我們一個(gè)簡單的demo,輸入一個(gè)樣本,生成對應(yīng)每個(gè)屬性的正負(fù)面,當(dāng)點(diǎn)擊某個(gè)屬性的時(shí)候它對應(yīng)的評價(jià)詞位置就可以高亮出來,紅色代表屬性描述詞,綠色代表觀點(diǎn)描述詞。上面說的人工評價(jià)就是這些結(jié)果預(yù)測出來后,人工看看預(yù)測是否合理。
04總結(jié)
本文主要介紹了情感分析的一些基本任務(wù),包括文本、語音、圖像還有生成、識別。對于文本情感分析任務(wù)做了詳細(xì)介紹,重點(diǎn)介紹了兩個(gè)工作,一個(gè)是屬性級情感分析,這個(gè)是給定屬性集合情況下,預(yù)測每個(gè)屬性的正負(fù)面,我們將它構(gòu)建成了一個(gè)多任務(wù)分類。另一個(gè)工作比上面的粒度更細(xì)一點(diǎn),不僅要預(yù)測出屬性正負(fù)面,還要定位出它具體的屬性描述詞和觀點(diǎn)描述詞的位置,我們把它做成了一個(gè)抽取加分類的多任務(wù)聯(lián)合模型,既包括抽取也包括分類。
對于未來的趨勢,我們在實(shí)際做的過程中發(fā)現(xiàn)大家在工業(yè)界會碰到標(biāo)注數(shù)據(jù)成本非常高的問題,每一個(gè)任務(wù)基本上我們需要標(biāo)將近兩萬條數(shù)據(jù),所以最終的效果準(zhǔn)確率是比較高的。另一方面,對于模型加速這部分,由于使用深度學(xué)習(xí)像bert這種預(yù)訓(xùn)練模型,它的推理成本還是比較高的,我們?nèi)A為可以對硬件進(jìn)行底層適配。對于領(lǐng)域遷移未來也是關(guān)注重點(diǎn),怎么能從更低成本從某一領(lǐng)域遷移到另一個(gè)領(lǐng)域,比如從汽車領(lǐng)域遷移到手機(jī)領(lǐng)域,或者從手機(jī)領(lǐng)域遷移到房地產(chǎn)領(lǐng)域等等。
另外,還有自監(jiān)督去訓(xùn)練超大規(guī)模的模型,比如像bert、roberta還有最近GPT3等等,這也是未來的趨勢,然后再考慮如何將知識圖譜加入到大模型當(dāng)中進(jìn)行知識增強(qiáng)來提升模型理解的效果。還有就是多模態(tài)這部分,怎么把圖像、文本或者語音這些信息輔助來提升模型的效果。因?yàn)槿嗽趯W(xué)習(xí)的時(shí)候不僅參考了文本的信息,還有視覺方面的信息等等。現(xiàn)在對于多模態(tài)情感分析我們也有一些工作正在做,比如說從視頻中分析出一個(gè)人的情感,既考慮人臉的圖像信息,也考慮他語音的一些信息,比如語氣等等。
原文標(biāo)題:【情感分析】華為云細(xì)粒度文本情感分析及應(yīng)用
文章出處:【微信公眾號:深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
責(zé)任編輯:haq
-
人工智能
+關(guān)注
關(guān)注
1804文章
48773瀏覽量
246797 -
華為云
+關(guān)注
關(guān)注
3文章
2764瀏覽量
18127
原文標(biāo)題:【情感分析】華為云細(xì)粒度文本情感分析及應(yīng)用
文章出處:【微信號:zenRRan,微信公眾號:深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
DevEco Studio構(gòu)建分析工具Build Analyzer 為原生鴻蒙應(yīng)用開發(fā)提速
華為云 Flexus X 加速 Redis 案例實(shí)踐與詳解

EBSD在晶粒度測量中的分析和應(yīng)用

云鼎科技與華為云簽約化工工藝優(yōu)化合作
華納云:VFS在提升文件系統(tǒng)性能方面的具體實(shí)踐
基于LSTM神經(jīng)網(wǎng)絡(luò)的情感分析方法
Perforce Helix Core通過ISO 26262認(rèn)證!為汽車軟件開發(fā)團(tuán)隊(duì)提供無限可擴(kuò)展性、細(xì)粒度安全性、文件快速訪問等

如何設(shè)定機(jī)器人語義地圖的細(xì)粒度級別

UPS電源與EPS電源在功能和應(yīng)用方面的區(qū)別
云計(jì)算平臺的最佳實(shí)踐
工業(yè)智能網(wǎng)關(guān)在數(shù)據(jù)上云方面的作用、優(yōu)勢以及實(shí)施策略
光通信技術(shù)在醫(yī)療健康方面的應(yīng)用
大數(shù)據(jù)在軍事方面的應(yīng)用
華為HDC 2024看點(diǎn) 華為云盤古大模型5.0正式發(fā)布

評論