1、傳統(tǒng)的自然語言處理模型

1）傳統(tǒng)的詞袋模型或者連續(xù)詞袋模型（CBOW）都可以通過構(gòu)建一個全連接的神經(jīng)網(wǎng)絡(luò)對句子進(jìn)行情感標(biāo)簽的分類，但是這樣存在一個問題，我們通過激活函數(shù)可以讓某些結(jié)點(diǎn)激活（例如一個句子里”not”,”hate”這樣的較強(qiáng)的特征詞），但是由于在這樣網(wǎng)絡(luò)構(gòu)建里，句子中詞語的順序被忽略，也許同樣兩個句子都出現(xiàn)了not和hate但是一個句子（I do not hate this movie）表示的是good的情感，另一個句子（I hate this movie and will not choose it）表示的是bad的情感。其實(shí)很重要的一點(diǎn)是在剛才上述模型中我們無法捕獲像not hate這樣由連續(xù)兩個詞所構(gòu)成的關(guān)鍵特征的詞的含義。

2）在語言模型里n-gram模型是可以用來解決上面的問題的，想法其實(shí)就是將連續(xù)的兩個詞作為一個整體納入到模型中，這樣確實(shí)能夠解決我們剛才提出的問題，加入bi-gram，tri-gram可以讓我們捕捉到例如“don’t love”，“not the best”。但是新的問題又來了，如果我們使用多元模型，實(shí)際訓(xùn)練時的參數(shù)是一個非常大的問題，因為假設(shè)你有20000個詞，加入bi-gram實(shí)際上你就要有400000000個詞，這樣參數(shù)訓(xùn)練顯然是爆炸的。另外一點(diǎn)，相似的詞語在這樣的模型中不能共享例如參數(shù)權(quán)重等，這樣就會導(dǎo)致相似詞無法獲得交互信息。

2、自然語言處理中的卷積神經(jīng)網(wǎng)絡(luò)

在圖像中卷積核通常是對圖像的一小塊區(qū)域進(jìn)行計算，而在文本中，一句話所構(gòu)成的詞向量作為輸入。每一行代表一個詞的詞向量，所以在處理文本時，卷積核通常覆蓋上下幾行的詞，所以此時卷積核的寬度與輸入的寬度相同，通過這樣的方式，我們就能夠捕捉到多個連續(xù)詞之間的特征（只要通過設(shè)置卷積核的尺寸，卷積核的寬度一般和詞向量的長度一致，長度可以去1,2,3這類的值，當(dāng)取3時就會將3個連續(xù)詞的特征表示出來），并且能夠在同一類特征計算時中共享權(quán)重。如下圖所示

如上圖所示，不同長度的卷積核，會獲得不同長度的輸出值，但在之后的池化中又會得到相同的長度（比如上面的深紅色的卷積核是4 × 5，對于輸入值為7 × 5的輸入值，卷積之后的輸出值就是4 × 1，最大池化之后就是1 × 1；深綠色的卷積核是3 × 5，卷積之后的輸出值是5 × 1，最大池化之后就是1 × 1），最后將所有池化后的值組合在一起，這樣有一點(diǎn)好處，無論輸入值的大小是否相同（輸入值行一般不相等，對于輸入值列是詞向量的長度，一般都是相等，但是行是和文本中詞的數(shù)量相關(guān)的），要用相同數(shù)量的卷積核進(jìn)行卷積，之后再池化就會獲得相同長度的向量（向量的長度和卷積核的數(shù)量相等），這樣再之后就可以用全連接層了（全連接層的輸入值的向量大小必須是一致的）。

3、卷積層的最大池化問題

MaxPooling Over Time是NLP中CNN模型中最常見的一種下采樣操作。意思是對于某個Filter抽取到若干特征值，只取其中得分最大的那個值作為Pooling層保留值，其它特征值全部拋棄，值最大代表只保留這些特征中最強(qiáng)的，而拋棄其它弱的此類特征（正如上圖所示的那樣）。

CNN中采用Max Pooling操作有幾個好處：

1）這個操作可以保證特征的位置與旋轉(zhuǎn)不變性，因為不論這個強(qiáng)特征在哪個位置出現(xiàn)，都會不考慮其出現(xiàn)位置而能把它提出來。對于圖像處理來說這種位置與旋轉(zhuǎn)不變性是很好的特性，但是對于NLP來說，這個特性其實(shí)并不一定是好事，因為在很多NLP的應(yīng)用場合，特征的出現(xiàn)位置信息是很重要的，比如主語出現(xiàn)位置一般在句子頭，賓語一般出現(xiàn)在句子尾等等，這些位置信息其實(shí)有時候?qū)τ诜诸惾蝿?wù)來說還是很重要的，但是Max Pooling 基本把這些信息拋掉了。

2）MaxPooling能減少模型參數(shù)數(shù)量，有利于減少模型過擬合問題。因為經(jīng)過Pooling操作后，往往把2D（圖像中）或者1D（自然語言中）的數(shù)組轉(zhuǎn)換為單一數(shù)值，這樣對于后續(xù)的Convolution層或者全聯(lián)接隱層來說無疑單個Filter的參數(shù)或者隱層神經(jīng)元個數(shù)就減少了。

3）對于NLP任務(wù)來說，Max Pooling有個額外的好處；在此處，可以把變長的輸入X整理成固定長度的輸入。因為CNN最后往往會接全聯(lián)接層，而其神經(jīng)元個數(shù)是需要事先定好的，如果輸入是不定長的那么很難設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)。

但是，CNN模型采取MaxPooling Over Time也有一些值得注意的缺點(diǎn)：首先就如上所述，特征的位置信息在這一步驟完全丟失。在卷積層其實(shí)是保留了特征的位置信息的，但是通過取唯一的最大值，現(xiàn)在在Pooling層只知道這個最大值是多少，但是其出現(xiàn)位置信息并沒有保留；另外一個明顯的缺點(diǎn)是：有時候有些強(qiáng)特征會出現(xiàn)多次，比如我們常見的TF.IDF公式，TF就是指某個特征出現(xiàn)的次數(shù)，出現(xiàn)次數(shù)越多說明這個特征越強(qiáng)，但是因為Max Pooling只保留一個最大值，所以即使某個特征出現(xiàn)多次，現(xiàn)在也只能看到一次，就是說同一特征的強(qiáng)度信息丟失了。這是Max Pooling Over Time典型的兩個缺點(diǎn)。

針對上面提出的兩個缺點(diǎn)，通常的解決辦法是下面兩種池化方法

K-Max Pooling

K-MaxPooling的核心思想是：原先的Max Pooling Over Time從Convolution層一系列特征值中只取最強(qiáng)的那個值，K-Max Pooling可以取所有特征值中得分在Top –K的值，并保留這些特征值原始的先后順序，就是說通過多保留一些特征信息供后續(xù)階段使用。如下圖所示

很明顯，K-Max Pooling可以表達(dá)同一類特征出現(xiàn)多次的情形，即可以表達(dá)某類特征的強(qiáng)度；另外，因為這些Top K特征值的相對順序得以保留，所以應(yīng)該說其保留了部分位置信息，但是這種位置信息只是特征間的相對順序，而非絕對位置信息。

Chunk-Max Pooling

Chunk-MaxPooling的核心思想是：把某個Filter對應(yīng)的Convolution層的所有特征向量進(jìn)行分段，切割成若干段后，在每個分段里面各自取得一個最大特征值，比如將某個Filter的特征向量切成3個Chunk，那么就在每個Chunk里面取一個最大值，于是獲得3個特征值。如下圖所示，不同顏色代表不同段

Chunk-Max Pooling思路類似于K-Max Pooling，因為它也是從Convolution層取出了K個特征值，但是兩者的主要區(qū)別是：K-Max Pooling是一種全局取Top K特征的操作方式，而Chunk-Max Pooling則是先分段，在分段內(nèi)包含特征數(shù)據(jù)里面取最大值，所以其實(shí)是一種局部Top K的特征抽取方式。

至于這個Chunk怎么劃分，可以有不同的做法，比如可以事先設(shè)定好段落個數(shù)，這是一種靜態(tài)劃分Chunk的思路；也可以根據(jù)輸入的不同動態(tài)地劃分Chunk間的邊界位置，可以稱之為動態(tài)Chunk-Max方法。事實(shí)上對于K-Max Pooling也有動態(tài)的去獲取K的值的方法，表達(dá)式如下

s代表的是句子長度，L代表總的卷積層的個數(shù)，l代表的是當(dāng)前是在幾個卷積層，所以可以看出這里的k是隨著句子的長度和網(wǎng)絡(luò)深度而改變。

Chunk-Max Pooling很明顯也是保留了多個局部Max特征值的相對順序信息，盡管并沒有保留絕對位置信息，但是因為是先劃分Chunk再分別取Max值的，所以保留了比較粗粒度的模糊的位置信息；當(dāng)然，如果多次出現(xiàn)強(qiáng)特征，則也可以捕獲特征強(qiáng)度。

如果分類所需要的關(guān)鍵特征的位置信息很重要，那么類似Chunk-Max Pooling這種能夠粗粒度保留位置信息的機(jī)制應(yīng)該能夠?qū)Ψ诸愋阅苡幸欢ǔ潭鹊奶嵘饔茫坏菍τ诤芏喾诸悊栴}，估計Max-Pooling over time就足夠了。

4、卷積神經(jīng)網(wǎng)絡(luò)在自然語言處理中的應(yīng)用

最適合CNNs的莫過于分類任務(wù)，如語義分析、垃圾郵件檢測和話題分類。卷積運(yùn)算和池化會丟失局部區(qū)域某些單詞的順序信息，因此純CNN的結(jié)構(gòu)框架不太適用于PoS Tagging和Entity Extraction等順序標(biāo)簽任務(wù)。