前言 這是一篇來(lái)自于 ACL 2022 的關(guān)于跨語(yǔ)言的 NER 蒸餾模型。主要的過(guò)程還是兩大塊：1）Teacher Model 的訓(xùn)練；2）從 Teacher Model 蒸餾到 Student Model。采用了類(lèi)似傳統(tǒng)的 Soft 蒸餾方式，其中利用了多任務(wù)的方式對(duì) Teacher Model 進(jìn)行訓(xùn)練，一個(gè)任務(wù)是 NER 訓(xùn)練的任務(wù)，另一個(gè)是計(jì)算句對(duì)的相似性任務(wù)。整體思路還是采用了序列標(biāo)注的方法，也是一個(gè)不錯(cuò)的 IDEA。

論文標(biāo)題：

An Unsupervised Multiple-Task and Multiple-Teacher Model for Cross-lingual Named Entity Recognition

論文鏈接：

https://aclanthology.org/2022.acl-long.14.pdf

模型架構(gòu)

2.1 Teacher Model

▲圖1.Teacher Model訓(xùn)練架構(gòu) 從上圖可以明顯的看出，Teacher Model 在進(jìn)行訓(xùn)練時(shí)，采用了兩種不同的 Labeled Data，一種是傳統(tǒng)的單文本序列標(biāo)注數(shù)據(jù)；另一種是句對(duì)類(lèi)型的序列標(biāo)注數(shù)據(jù)，然后通過(guò)三個(gè)獨(dú)立的 Encoder 編碼器進(jìn)行特征抽取，一個(gè)任務(wù)就是我們常用的 NER 訓(xùn)練任務(wù)，也就是將 Encoder 編碼器的輸出經(jīng)過(guò)一個(gè)線(xiàn)性層映射為標(biāo)簽數(shù)的特征矩陣，對(duì)映射的特征矩陣進(jìn)行 softmax 歸一化（這里筆者理解就是 NER 任務(wù)中的 BERT+Softmax 模型），利用歸一化后的特征矩陣與輸入的 labels 進(jìn)行 loss 計(jì)算，這里采用的是 CrossEntropyLoss。需要明確具體的是作者采用了 Multilingual BERT（也就是 mBert）作為編碼器，計(jì)算公式如下：

首先利用 mBERT 提取輸入文本序列的特征 ，這里的 表示的是：

將計(jì)算得到的文本序列隱藏向量經(jīng)過(guò)一個(gè)線(xiàn)性變換后進(jìn)行 softmax 歸一化，計(jì)算如下：

以上就是 Teacher Model 的第一個(gè)任務(wù)，直接對(duì)標(biāo)注序列進(jìn)行 NER，并且采用交叉熵?fù)p失函數(shù)作為 loss_function，計(jì)算如下：

另外一個(gè)任務(wù)輸入的為序列標(biāo)注的句對(duì)數(shù)據(jù)，分別采用兩個(gè)獨(dú)立的Encoder編碼器進(jìn)行編碼，得到的對(duì)應(yīng)的 last_hidden_state，然后計(jì)算這兩個(gè)輸出的 cosine_similar，并且將其使用 進(jìn)行激活，得到兩個(gè)序列的相似度向量，計(jì)算如下：

這里也就是一個(gè)類(lèi)似于 senetnce_similar 的操作，不同點(diǎn)在于這里計(jì)算的是序列中每個(gè) Token 的相似度。通過(guò)對(duì)比句對(duì)序列標(biāo)簽得到一個(gè) ，這里 時(shí)表示 （預(yù)測(cè)正確），反正的話(huà)，。到了計(jì)算相似度時(shí)，損失函數(shù)的設(shè)計(jì)就是基于 與 的，計(jì)算公式如下：

這里的 是 BinaryCrossEntropy。這里的 是句對(duì)序列所對(duì)應(yīng)的標(biāo)簽通過(guò)比對(duì)得到的對(duì)比標(biāo)簽序列，也就是對(duì)于兩個(gè)句子序列標(biāo)簽

來(lái)說(shuō)，其生成的 ，通過(guò)這樣的損失設(shè)計(jì)就可以很直觀的理解 sim_loss 的計(jì)算了。 Tips：對(duì)于式（6）這里采用二元交叉熵（BCE）來(lái)計(jì)算 loss，筆者的理解是對(duì)輸入句對(duì)中的每個(gè) Token 的相似度進(jìn)行一個(gè)二分類(lèi)，其最終目標(biāo)是使得具有相同標(biāo)簽的句對(duì)更加的靠近，也就是相似度更高。BCE 是用來(lái)評(píng)判一個(gè)二分類(lèi)模型預(yù)測(cè)結(jié)果 的好壞程度的，通俗的講，即對(duì)于標(biāo)簽 y 為 1 的情況，如果預(yù)測(cè)值 p(y) 趨近于 1，那么損失函數(shù)的值應(yīng)當(dāng)趨近于 0。反之，如果此時(shí)預(yù)測(cè)值 p(y) 趨近于 0，那么損失函數(shù)的值應(yīng)當(dāng)非常大，這非常符合 log 函數(shù)的性質(zhì)。 Teacher Model 的設(shè)計(jì)總體上就是這樣的，通過(guò)兩個(gè)任務(wù)來(lái)增加 Teacher Model 的準(zhǔn)確性和泛化性，對(duì)于實(shí)體識(shí)別來(lái)說(shuō)，使用句對(duì)相似度的思想來(lái)拉近具有相同標(biāo)簽的 Token，并且結(jié)合傳統(tǒng)的 NER 模型（mBERT+softmax）可以使得模型的學(xué)習(xí)更加有指向性，不單單靠一個(gè)序列標(biāo)簽來(lái)指導(dǎo)模型學(xué)習(xí)，筆者任務(wù)這是一個(gè)不錯(cuò)的思路。

2.2 Student Model Distilled

▲圖2.Teacher Model--Student Model Distilled 上面筆者分析了 Teacher Model 的訓(xùn)練，但這不是重點(diǎn)，筆者認(rèn)為本篇文章在于作者在進(jìn)行蒸餾時(shí)的想法是有亮點(diǎn)的。從蒸餾流程圖可以看出來(lái)，作者使用的 Student Model 也是一個(gè)雙塔 mBERT 模型作為編碼器，輸入的就是 Unlabeled Pairwise Data，其操作就是把 Teacher Model 的多任務(wù)直接進(jìn)行統(tǒng)一，模型架構(gòu)變化不大。蒸餾過(guò)程也是通用的蒸餾模式，Teacher Model 預(yù)測(cè)，Student Model 學(xué)習(xí)。 2.2.1 Teacher Model Inference Teacher Model 預(yù)測(cè)這一部分沒(méi)啥可說(shuō)的，就是把無(wú)標(biāo)簽的數(shù)據(jù)輸入到模型中，得到輸出的 ner_logits 和 similar_logits。這也是蒸餾模型的常規(guī)操作了，這里需要注意的是在使用 Teacher Model 進(jìn)行預(yù)測(cè)時(shí)，輸入的數(shù)據(jù)是有講究的，筆者對(duì)于這里的理解有兩個(gè)：一個(gè)是是模型輸入的是句對(duì)數(shù)據(jù)，只不過(guò)從這個(gè)句對(duì)數(shù)據(jù)中抽取一條輸入到 Recognizer_teacher 中進(jìn)行識(shí)別；另一個(gè)是作者采用了 BERT 模型的句對(duì)輸入方式，輸入的就是一個(gè)句對(duì)，只不過(guò)使用了 [SEP] 標(biāo)簽進(jìn)行分隔，具體是哪一種筆者也不知道，理解了的讀者可以告訴筆者一下。而且在 Teacher Model 訓(xùn)練時(shí)，筆者也不知道采用哪種數(shù)據(jù)輸入方式。 2.2.2 Student Model Learning Student Model 這一部分輸入的就是 target 文本序列對(duì)，Student Model 的編碼器也是一個(gè)雙塔的 mBert 模型，分別對(duì)輸入的 target 序列進(jìn)行進(jìn)行編碼，這里也是進(jìn)行一個(gè) BERT+Softmax 的基本操作，在此期間也使用了序列 Token 相似度計(jì)算的操作，具體的計(jì)算如下所示：

獲得兩個(gè)序列的hidden_state后進(jìn)行一個(gè)線(xiàn)性計(jì)算，然后利用softmax進(jìn)行歸一化，得到每個(gè)Token預(yù)測(cè)的標(biāo)簽，計(jì)算如下：

這里也類(lèi)似 Teacher Model 的計(jì)算方式，計(jì)算 target 序列間的Token相似度，計(jì)算如下所示：

當(dāng)然，這里做的是蒸餾模型，所以對(duì)于輸入到 Student Model 的序列對(duì)，也是Teacher Model Inference 預(yù)測(cè)模型的輸入，通過(guò) Teacher Model 的預(yù)測(cè)計(jì)算得到一個(gè) teacher_ner_logits 和 teacher_similar_logits，將 teacher_ner_logits 分別與 和 通過(guò) CrossEntropyLoss 來(lái)計(jì)算 TS_ _Loss 和 TS_ _Loss，teacher_similar_logits 與 通過(guò) 計(jì)算 Similar_Loss，最終將幾個(gè) loss 進(jìn)行相加作為 DistilldeLoss。

這里作者還對(duì)每個(gè) TS_ _Loss，TS_ _Loss 分別賦予了權(quán)重 ，對(duì) Similar_Loss 賦予了權(quán)重 ，對(duì)最終的 DistilldeLoss 賦予權(quán)重 ，這樣的權(quán)重賦予能夠使得 Student Model 從 Teacher Model 學(xué)習(xí)到的噪聲減少。最終的 Loss 計(jì)算如下所示：

這里的權(quán)重 筆者認(rèn)為是用來(lái)控制 Student Model 學(xué)習(xí)傾向的參數(shù)，首先對(duì)于 來(lái)說(shuō)，由于 Student Model 輸入的是 Unlabeled 數(shù)據(jù)，所以在進(jìn)行蒸餾學(xué)習(xí)時(shí)，需要盡可能使得 Student Model 的輸出的 student_ner_logits 來(lái)對(duì)齊 Teacher Model 預(yù)測(cè)輸出的 teacher_ner_logits，由于不知道輸入的無(wú)標(biāo)簽數(shù)據(jù)的數(shù)據(jù)分布，所以設(shè)置一個(gè)權(quán)重參數(shù)來(lái)對(duì)整個(gè) Teacher Model 的預(yù)測(cè)標(biāo)簽進(jìn)行加權(quán)，將各個(gè)無(wú)標(biāo)簽的輸入序列看作一個(gè)數(shù)據(jù)量較少的類(lèi)別。這里可以參考 在進(jìn)行數(shù)據(jù)標(biāo)簽不平衡時(shí)使用權(quán)重系數(shù)對(duì)各個(gè)標(biāo)簽進(jìn)行加權(quán)的操作。而且作者也分析了， 參數(shù)是一個(gè)隨著 Teacher Model 輸出而遞增的一個(gè)參數(shù)。如下圖所示：

▲圖3.α參數(shù)與Weight和F1 作者在文章中也給出了參數(shù) 的計(jì)算方式，具體而言就是跟 Student Model 的序列編碼有關(guān)，計(jì)算如下所示：

對(duì)于 參數(shù)而言，其加權(quán)的對(duì)象是 Similar_Loss，也就是對(duì) Teacher Model 的相似度矩陣和Student Model 的相似度矩陣的交叉熵?fù)p失進(jìn)行加權(quán)，參數(shù)的設(shè)置思路大致是當(dāng) Teacher Model 的 Similar_logits 接近 0 或 1 時(shí)， 參數(shù)就較大，接近 0.5 時(shí)就較小，其目的也是讓 Student Model 學(xué)習(xí)更有用的信息，而不是一些似是而非的東西。其計(jì)算方式如下所示：

最后對(duì)于參數(shù) 來(lái)說(shuō)，其作用是用來(lái)調(diào)整 NER 任務(wù)和 Similarity 任務(wù)一致性的參數(shù)，對(duì)于兩個(gè)輸入的 Token，希望 Student Model 從 Teacher Model 的兩個(gè)任務(wù)中學(xué)習(xí) Teacher Model 的 NER 任務(wù)的高預(yù)測(cè)準(zhǔn)確率和 Similarity 任務(wù)遠(yuǎn)離 0.5 相似度的 Token 信息，反之亦然。其計(jì)算方式如下 所示：

實(shí)驗(yàn)結(jié)果

作者分別在 CoNLL 和 WiKiAnn 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，數(shù)據(jù)使用量如下圖所示：

▲圖4.CoNLL and WiKiAnn數(shù)據(jù) 作者還與現(xiàn)有的一些 SOTA 模型進(jìn)行了對(duì)比，實(shí)驗(yàn)對(duì)比結(jié)果如下所示：

▲圖5.實(shí)驗(yàn)對(duì)比結(jié)果 從實(shí)驗(yàn)對(duì)比結(jié)果圖可以看出，MTMT 模型在各方面都有不錯(cuò)的表現(xiàn)，對(duì)于中文上的表現(xiàn)稍微不如 BERT-f 模型，其他部分語(yǔ)言上有著大幅度的領(lǐng)先。

簡(jiǎn)單代碼實(shí)現(xiàn)

#!/usr/bin/envpython
#-*-coding:utf-8-*-
#@Time:2022/5/3013:59
#@Author:SinGaln

"""
AnUnsupervisedMultiple-TaskandMultiple-TeacherModelforCross-lingualNamedEntityRecognition
"""

importtorch
importtorch.nnasnn
importtorch.nn.functionalasF
fromtransformersimportBertModel,BertPreTrainedModel,logging

logging.set_verbosity_error()


classTeacherNER(BertPreTrainedModel):
def__init__(self,config,num_labels):
"""
teacher模型是在標(biāo)簽數(shù)據(jù)上訓(xùn)練得到的,
主要分為三個(gè)encoder.
:paramconfig:
:paramnum_labels:
"""
super(TeacherNER,self).__init__(config)
self.config=config
self.num_labels=num_labels
self.mbert=BertModel(config=config)
self.fc=nn.Linear(config.hidden_size,num_labels)

defforward(self,batch_token_input_ids,batch_attention_mask,batch_token_type_ids,batch_labels,training=True,
batch_pair_input_ids=None,batch_pair_attention_mask=None,batch_pair_token_type_ids=None,
batch_t=None):
"""
:parambatch_token_input_ids:單句子token序列
:parambatch_attention_mask:單句子attention_mask
:parambatch_token_type_ids:單句子token_type_ids
:parambatch_pair_input_ids:句對(duì)token序列
:parambatch_pair_attention_mask:句對(duì)attention_mask
:parambatch_pair_token_type_ids:句對(duì)token_type_ids

"""
#RecognizerTeacher
single_output=self.mbert(input_ids=batch_token_input_ids,attention_mask=batch_attention_mask,
token_type_ids=batch_token_type_ids).last_hidden_state
single_output=F.softmax(self.fc(single_output),dim=-1)
#EvaluatorTeacher(類(lèi)似雙塔模型)
pair_output1=self.mbert(input_ids=batch_pair_input_ids[0],attention_mask=batch_pair_attention_mask[0],
token_type_ids=batch_pair_token_type_ids[0]).last_hidden_state
pair_output2=self.mbert(input_ids=batch_pair_input_ids[1],attention_mask=batch_pair_attention_mask[1],
token_type_ids=batch_pair_token_type_ids[1]).last_hidden_state
pair_output=torch.sigmoid(torch.cosine_similarity(pair_output1,pair_output2,dim=-1))#計(jì)算兩個(gè)輸出的cosine相似度
iftraining:
#計(jì)算loss,訓(xùn)練時(shí)采用平均loss作為模型最終的loss
loss1=F.cross_entropy(single_output.view(-1,self.num_labels),batch_labels.view(-1))
loss2=F.binary_cross_entropy(pair_output,batch_t.type(torch.float))
loss=loss1+loss2
returnsingle_output,loss
else:
returnsingle_output,pair_output


classStudentNER(BertPreTrainedModel):
def__init__(self,config,num_labels):
"""
student模型采用的也是一個(gè)雙塔結(jié)構(gòu)
:paramconfig:mBert的配置文件
:paramnum_labels:標(biāo)簽數(shù)量
"""
super(StudentNER,self).__init__(config)
self.config=config
self.num_labels=num_labels
self.mbert=BertModel(config=config)
self.fc1=nn.Linear(config.hidden_size,num_labels)
self.fc2=nn.Linear(config.hidden_size,num_labels)

defforward(self,batch_pair_input_ids,batch_pair_attention_mask,batch_pair_token_type_ids,batch_pair_labels,
teacher_logits,teacher_similar):
"""
:parambatch_pair_input_ids:句對(duì)token序列
:parambatch_pair_attention_mask:句對(duì)attention_mask
:parambatch_pair_token_type_ids:句對(duì)token_type_ids

"""
output1=self.mbert(input_ids=batch_pair_input_ids[0],attention_mask=batch_pair_attention_mask[0],
token_type_ids=batch_pair_token_type_ids[0]).last_hidden_state
output2=self.mbert(input_ids=batch_pair_input_ids[1],attention_mask=batch_pair_attention_mask[1],
token_type_ids=batch_pair_token_type_ids[1]).last_hidden_state
soft_output1,soft_output2=self.fc1(output1),self.fc2(output2)
soft_logits1,soft_logits2=F.softmax(soft_output1,dim=-1),F.softmax(soft_output2,dim=-1)
alpha1,alpha2=torch.square(torch.max(input=soft_logits1,dim=-1)[0]).mean(),torch.square(
torch.max(soft_logits2,dim=-1)[0]).mean()
output_similar=torch.sigmoid(torch.cosine_similarity(soft_output1,soft_output2,dim=-1))
soft_similar=torch.sigmoid(torch.cosine_similarity(soft_logits1,soft_logits2,dim=-1))
beta=torch.square(2*output_similar-1).mean()
gamma=1-torch.abs(soft_similar-output_similar).mean()
#計(jì)算蒸餾的loss
#teacherlogits與studentlogits1的loss
loss1=alpha1*(F.cross_entropy(soft_logits1,teacher_logits))
#teachersimilar與studentsimilar的loss
loss2=beta*(F.binary_cross_entropy(soft_similar,teacher_similar))
#teacherlogits與studentlogits2的loss
loss3=alpha2*(F.cross_entropy(soft_logits2,teacher_logits))
#finalloss
loss=gamma*(loss1+loss2+loss3).mean()
returnloss


if__name__=="__main__":
fromtransformersimportBertConfig

pretarin_path="./pytorch_mbert_model"

batch_pair1_input_ids=torch.randint(1,100,(2,128))
batch_pair1_attention_mask=torch.ones_like(batch_pair1_input_ids)
batch_pair1_token_type_ids=torch.zeros_like(batch_pair1_input_ids)
batch_labels1=torch.randint(1,10,(2,128))
batch_labels2=torch.randint(1,10,(2,128))
#t(對(duì)比兩個(gè)序列標(biāo)簽，相同為1，不同為0)
batch_t=torch.as_tensor(batch_labels1.numpy()==batch_labels2.numpy()).float()

batch_pair2_input_ids=torch.randint(1,100,(2,128))
batch_pair2_attention_mask=torch.ones_like(batch_pair2_input_ids)
batch_pair2_token_type_ids=torch.zeros_like(batch_pair2_input_ids)

batch_all_input_ids,batch_all_attention_mask,batch_all_token_type_ids,batch_all_labels=[],[],[],[]
batch_all_labels.append(batch_labels1)
batch_all_labels.append(batch_labels2)
batch_all_input_ids.append(batch_pair1_input_ids)
batch_all_input_ids.append(batch_pair2_input_ids)
batch_all_attention_mask.append(batch_pair1_attention_mask)
batch_all_attention_mask.append(batch_pair2_attention_mask)
batch_all_token_type_ids.append(batch_pair1_token_type_ids)
batch_all_token_type_ids.append(batch_pair2_token_type_ids)

config=BertConfig.from_pretrained(pretarin_path)
#teacher模型訓(xùn)練
teacher_model=TeacherNER.from_pretrained(pretarin_path,config=config,num_labels=10)
outputs,loss=teacher_model(batch_token_input_ids=batch_pair1_input_ids,
batch_attention_mask=batch_pair1_attention_mask,
batch_token_type_ids=batch_pair1_token_type_ids,batch_labels=batch_labels1,
batch_pair_input_ids=batch_all_input_ids,
batch_pair_attention_mask=batch_all_attention_mask,
batch_pair_token_type_ids=batch_all_token_type_ids,
training=True,batch_t=batch_t)
#student模型蒸餾
teacher_logits,teacher_similar=teacher_model(batch_token_input_ids=batch_pair1_input_ids,
batch_attention_mask=batch_pair1_attention_mask,
batch_token_type_ids=batch_pair1_token_type_ids,
batch_labels=batch_labels1,
batch_pair_input_ids=batch_all_input_ids,
batch_pair_attention_mask=batch_all_attention_mask,
batch_pair_token_type_ids=batch_all_token_type_ids,
training=False)

student_model=StudentNER.from_pretrained(pretarin_path,config=config,num_labels=10)
loss_all=student_model(batch_pair_input_ids=batch_all_input_ids,
batch_pair_attention_mask=batch_all_attention_mask,
batch_pair_token_type_ids=batch_all_token_type_ids,
batch_pair_labels=batch_all_labels,teacher_logits=teacher_logits,
teacher_similar=teacher_similar)
print(loss_all)

筆者自己實(shí)現(xiàn)的一部分代碼，可能不是原論文作者想表達(dá)的意思，讀者有疑問(wèn)的話(huà)可以一起討論一下^~^。

---

審核編輯 ：李倩