0 小系列初衷

自己接觸的項(xiàng)目大都是初創(chuàng)，沒(méi)開(kāi)始多久的項(xiàng)目，從0到1的不少，2020年快結(jié)束，感覺(jué)這個(gè)具有一定個(gè)人特色的技術(shù)經(jīng)驗(yàn)可以在和大家分享一下。

計(jì)劃篇章：

（已完成）文本分類篇。針對(duì)NLP文本分類任務(wù)。

序列標(biāo)注（NER）篇。針對(duì)命名實(shí)體識(shí)別、序列標(biāo)注任務(wù)。

文本匹配篇。針對(duì)語(yǔ)義相似度計(jì)算、向量匹配等問(wèn)題。

人工特征學(xué)習(xí)篇。針對(duì)多特征的機(jī)器、深度學(xué)習(xí)方案。

1 序列標(biāo)注的場(chǎng)景

文本分類是對(duì)整個(gè)句子的把握，而NER就是深入到句子內(nèi)部，對(duì)句子的局部進(jìn)行深入分析，這個(gè)粒度的分析往往更為精準(zhǔn)詳盡，當(dāng)然難度也會(huì)更高，下面列舉幾個(gè)比較常見(jiàn)的場(chǎng)景：

搜索、對(duì)話的實(shí)體、關(guān)系抽取。

搜索的關(guān)鍵詞抽取，詞權(quán)重問(wèn)題。

糾錯(cuò)的錯(cuò)誤檢測(cè)。

總而言之，只要是抽取局部信息，那其實(shí)就可以抽象為序列標(biāo)注了。

嚴(yán)謹(jǐn)起見(jiàn)，來(lái)個(gè)專業(yè)點(diǎn)的定義吧：

給定一個(gè)序列（含特征），預(yù)測(cè)一組和序列一一對(duì)應(yīng)的結(jié)果，這種預(yù)測(cè)就是序列標(biāo)注。

2 方案選型——通用方法

之所以把序列標(biāo)注放一起，是因?yàn)閱?wèn)題類似，既然問(wèn)題類似，那其實(shí)就可以找到通式通法來(lái)解決，所以先給大家說(shuō)一些比較通用的方法。大家也把序列標(biāo)注問(wèn)題帶入來(lái)分析計(jì)算，其實(shí)很多的解法很類似。

2.1 非模型操作

常見(jiàn)的兩個(gè)非模型操作，直接通過(guò)規(guī)則或者詞典的模式：

通過(guò)配置句式，用正則表達(dá)式的方式來(lái)抽取。

運(yùn)用詞典，用最大逆向匹配來(lái)完成。之前寫(xiě)過(guò)文章：NLP.TM[29] | ner自動(dòng)化打標(biāo)方法

當(dāng)然了這種非模型操作的優(yōu)缺點(diǎn)點(diǎn)也是很明顯，之前也聊過(guò)不少了：

優(yōu)點(diǎn)：

高準(zhǔn)確。

方便快捷。

缺點(diǎn)：

召回低，泛化能力弱。

2.2 模型操作

模型往往是泛化能力較強(qiáng)的，規(guī)則和模板無(wú)法滿足召回的情況下，我們就需要模型來(lái)處理了。序列標(biāo)注需要對(duì)序列依賴要求很高，所以比較推薦大家用抽取序列特征的模型來(lái)處理。

HMM、CRF。序列標(biāo)注的經(jīng)典操作，有關(guān)CRF，我之前還寫(xiě)過(guò)長(zhǎng)文討論過(guò)：NLP.TM[19] | 條件隨機(jī)場(chǎng)知識(shí)整理（超長(zhǎng)文！）。

BiLSTM-CRF，之前也提到過(guò)，能上深度的情況下，這個(gè)的基線效果還是比較強(qiáng)的。NLP.TM | 命名實(shí)體識(shí)別基線 BiLSTM+CRF（上），NLP.TM | 命名實(shí)體識(shí)別基線 BiLSTM+CRF（下）

Bert-CRF。超級(jí)大的模型，整體效果是還不錯(cuò)的。

和上次一樣，也是介紹3個(gè)，只要數(shù)據(jù)質(zhì)量足夠好，準(zhǔn)招七八十是沒(méi)什么大問(wèn)題的，如果效果不好，往往是因?yàn)閿?shù)據(jù)之類的原因?qū)е碌模藭r(shí)我們?cè)撟龅木褪蔷珶挃?shù)據(jù)集，只有足夠數(shù)量和質(zhì)量的數(shù)據(jù)，模型的效果才會(huì)好。

而相比文本分類任務(wù)，NER的樣本往往更加難得，但是小樣本還是可以通過(guò)人工標(biāo)注、挖掘等方式獲取，然后通過(guò)數(shù)據(jù)增強(qiáng)的方式來(lái)拓展出更多有代表性的query。

當(dāng)然了，序列標(biāo)注是一個(gè)很廣義的問(wèn)題，有一些特異的任務(wù)需要有特異的方法。

2.3 關(guān)鍵詞抽取

有關(guān)關(guān)鍵詞抽取，其實(shí)我在原來(lái)的文章就講過(guò)，文章在這里：NLP.TM[20] | 詞權(quán)重問(wèn)題，這里可以考慮這幾個(gè)方案：

預(yù)訓(xùn)練的IDF詞典，例如jieba的。

很多關(guān)鍵詞抽取的任務(wù)都有場(chǎng)景特色，jieba那種通用的不適合，根據(jù)自己的數(shù)據(jù)自己訓(xùn)一個(gè)，可能是最簡(jiǎn)單的，自己手寫(xiě)也不太累的模型訓(xùn)練了。

如果數(shù)據(jù)和特征夠多，學(xué)美團(tuán)的方案（前沿重器[2] | 美團(tuán)搜索理解和召回）自己訓(xùn)一個(gè)機(jī)器學(xué)習(xí)模型或者用深度學(xué)習(xí)整一個(gè)關(guān)鍵詞抽取的序列標(biāo)注模型。

2.4 糾錯(cuò)的錯(cuò)誤檢測(cè)

在現(xiàn)在比較前沿的技術(shù)里，糾錯(cuò)其實(shí)已經(jīng)是一整個(gè)完整的模塊，被拆分為錯(cuò)誤檢測(cè)、候選召回、召回排序三步，其中的錯(cuò)誤檢測(cè)就是為了找到句子中可能出錯(cuò)的部分，這里其實(shí)就可以抽象為序列標(biāo)注問(wèn)題，當(dāng)然用模型的方式來(lái)處理肯定是可以的，不過(guò)這同樣需要大量的標(biāo)注數(shù)據(jù)才能解決，相比之下，獲取一批正常的語(yǔ)料還是很簡(jiǎn)單的，這些預(yù)料可以訓(xùn)練語(yǔ)言模型，通過(guò)語(yǔ)言模型來(lái)判斷句子中是否存在通順程度異常的位點(diǎn)，這塊詳情大家可以看看我之前的文章，尤其是第一篇。

NLP.TM[33] | 糾錯(cuò)：pycorrector的錯(cuò)誤檢測(cè)

NLP.TM[34] | 糾錯(cuò)：pycorrector的候選召回

NLP.TM[35] | 糾錯(cuò)：pycorrector的候選排序

NLP.TM[37] | 深入討論糾錯(cuò)系統(tǒng)

3 效果調(diào)優(yōu)

有關(guān)效果調(diào)優(yōu)，上面其實(shí)多多少少聊了很多，這里簡(jiǎn)單總結(jié)一下吧。

無(wú)監(jiān)督方案還是要多用，畢竟有監(jiān)督方法需要足量，無(wú)論是數(shù)量還是質(zhì)量，的數(shù)據(jù)。

如果實(shí)在需要有監(jiān)督模型，但受限于數(shù)據(jù)，可以通過(guò)數(shù)據(jù)增強(qiáng)的方式挖掘到一批質(zhì)量還行的數(shù)據(jù)。NLP.TM[32] | 淺談文本增強(qiáng)技術(shù)

從關(guān)鍵詞抽取和糾錯(cuò)的錯(cuò)誤檢測(cè)中其實(shí)可以看到，解決序列標(biāo)注的思路還是很豐富的，大家要注意多積累。

4 其他想說(shuō)的

在這次總結(jié)里，一方面是仍然強(qiáng)烈感受到對(duì)方案和數(shù)據(jù)把控的重要性，尤其在序列標(biāo)注這個(gè)問(wèn)題下，足量的標(biāo)注數(shù)據(jù)是模型使用的先決條件，因此對(duì)數(shù)據(jù)的管理和優(yōu)化非常重要。另外，序列標(biāo)注需要對(duì)句子中的每個(gè)字/詞都要標(biāo)注，這個(gè)標(biāo)注數(shù)據(jù)是真的不好拿，因此需要我們對(duì)無(wú)監(jiān)督、非模型的方法也有足夠的了解，如果排期足夠，這種無(wú)監(jiān)督非模型的方案是可以作為有監(jiān)督模型數(shù)據(jù)的標(biāo)注的，沒(méi)有時(shí)間，無(wú)監(jiān)督非模型的方法也可以作為基線直接上線，這個(gè)也很好。最后一點(diǎn)事，我感覺(jué)我對(duì)前沿方案的把控還需要提升，這一輪輸出完成后，我可能要開(kāi)始對(duì)前沿方案重新調(diào)研升級(jí)，從而升級(jí)自己的武器庫(kù)。

責(zé)任編輯：xj

原文標(biāo)題：任務(wù)方案思考：序列標(biāo)注（NER）篇

文章出處：【微信公眾號(hào)：深度學(xué)習(xí)自然語(yǔ)言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。