TL; DR

在情感分類中，一些good features，比如”good“、”nice“表示積極，”bad“、“terrible”表示消極。但是，還有許多common features，比如voice、screen就沒有特別的情感性。

盡管深度學習擁有強大的representation learning（表征學習，即同一個數(shù)據(jù)用不同的表示形式）。但我們認為還有可以改進的地方。

在本文中，我們提出了一種新的角度來進一步改善這種表示學習，即特征投影（feature projection）：將現(xiàn)有特征投影到common特征的正交空間中。

所得的投影向量垂直于common特征，能更好的進行分類。

將該方法用于改進基于CNN，RNN，Transformer和Bert的文本分類模型，獲得更好的結果。

網(wǎng)絡結構

Feature Purification Network 特征凈化網(wǎng)絡

模型分為兩部分：

projection network (P-net)；

common feature learning network (C-net)

P-net：計算凈化的向量特征，通過將學習到的輸入文本的信息向量投影到更具區(qū)分性的語義空間中來消除共同特征的影響。

C-net：提取common features。

P-net由四部分組成：

輸入層X

特征提取器Fp

正交投影層（OPL，Orthogonal Projection Layer）

分類層Cp

C-net也由四部分組成：

輸入層X

特征提取器Fc（Fp和Fc的參數(shù)不共享）

漸變反向層（GRL，Gradient Reverse Layer）

分類層Cc

技術的關鍵思想如下：

P-Net中特征向量fp投影到C-Net的fc的正交方向上。也就是說，將fp（從輸入文檔中提取的完整信息）投影到更具區(qū)分性的語義空間中，以進行最終分類。

圖2：正交投影層的工作方式。這里的示例是在二維空間中。

fp表示傳統(tǒng)特征向量;

fc表示公共特征向量;

fp?是投影特征向量;

fp~是最終的正交投影特征向量。

我們首先將傳統(tǒng)特征向量fp投影到共同特征向量fc，得到fp?。

等式9中的fp?即表示對共同特征向量fc的約束。

再將fp投影到fp-fp*得到fp~

也就是說：通過將輸入的傳統(tǒng)特征向量fp投影到公共特征向量fc來限制公共特征向量的模，因此新的公共特征向量fp*的語義信息僅包含xi的公共語義信息。

這使得最終的純化特征向量fp~來自傳統(tǒng)特征向量fp，而不是與公共特征向量fc正交的任何平面中的任何向量。

最后，我們使用純化的特征向fp~進行分類。

Experiments實驗

1 實驗使用數(shù)據(jù)集

2 Baselines模型

用LSTM、CNN、Transformer和BERT等基準模型進行對比實驗，已驗證特征投射的有效性。

3 實施細節(jié)

首先，我們將實驗中的所有詞嵌入隨機初始化為200維向量，然后在訓練過程中進行修改（Bert除外）。對于每種類型的特征提取器，我們具有以下配置：

對于RNN模型，使用兩層LSTM進行特征提取，每層的hidden state=256；

對于CNN模型，為了獲得更多的細粒度特征，我們分別使用了[2,3,4,5,6]的濾波器大小，每個濾波器都有100個特征圖。

對于Transformer的模型，我們使用Transformer的編碼器作為特征提取器，使用單頭和3個block。

對于Bert模型，我們微調了預訓練的基于Bert的參數(shù)。這些設置與FP-Net中的基線完全相同。

在C-net模塊的訓練中，我們以0.9為初始學習率的隨機梯度和隨后的退火學習率（Ganin and Lempitsky，2014）。

其中，訓練進度p從0線性變化為1，l0 = 0.01，α= 10和β= 0.75。在GRL中，超參數(shù)λ為[0.05,0.1,0.2,0.4,0.8,1.0]。

4 實驗結果

5 消融實驗與分析

消融實驗類似于“控制變量法”。假設在某任務中，使用了A，B，C，取得了不錯的效果，但是這個時候你并不知道效果是由A，B，C中哪一個起的作用，于是你保留A，B，移除C進行實驗來看一下C在整個任務中所起的作用。

結論

在本文中，我們提出了一種新的特征凈化網(wǎng)絡（FP-Net），以改進文本分類的表示；

該方法基于特征投影。所提出的模型使用兩個子網(wǎng)，一個用于識別對分類沒有區(qū)別的共同特征common features，另一個用于將傳統(tǒng)特征投射到共同特征的正交方向的特征投影；

我們當前的方法僅用于傳統(tǒng)文本分類方法，例如LSTM，CNN和Transformer。在未來的工作中，我們將考慮將其擴展到基于圖的方法（例如用于圖形數(shù)據(jù)的GCN），以及擴展到基于生成的方法（例如用于對抗性學習的GAN）。

責任編輯：lq