重疊與區域+最大與均值池化

卷積神經網絡的最基本結構有卷積層跟池化層，一般情況下，池化層的作用一般情況下就是下采樣與像素遷移不變性。根據步長區分，池化可以分為重疊池化與區域池化，圖示如下：

上面的池化都是使用窗口內的最大值，因此又稱為最大值池化，除了最大值池化，還有均值池化可以使用，關于最大值池化與均值池化的計算方式圖示如下：

圖1

這個時候很多人會討論，均值池化與最大值池化哪種方式最好的問題，其實我只要給大家看一張圖，大家就會馬上明白，所謂最好是個無聊的問題：

圖2

可見無論是哪種池化方式都有自己的弊端！

全局池化方式

上面的池化方式主要是在卷積層中使用，在卷積神經網絡設計中還有一類池化，稱為全局池化方式，這里池化主要包括全局均值池化與全局最大池化，圖示如下：

圖3

圖4

此外還有一種相對來說比較少見的全局池化方式，它稱為：全局深度池化，假設的它輸入是圖4左側部分，則池化之后的輸出之后w跟h值仍然為6保持不變，但是深度d=1，不管之前的d值是多大，深度池化之后的d=1，全局深度池化還可以進一步細分為全局深度均值池化與全局深度最大值池化。

變種池化方式

上面都是常用跟比較正常的池化方式，最近池化方式還產生一些比較特殊的池化方式。這些池化方式主要包括：

01混合池化

最大值池化主要提取最大激活，而均值池化則通過抑制最大激活來實現池化，這兩中方式都有弊端，為了克服這兩張池化方式的弊端，有人提出了混合池化方式，它公式表示如下：

其中參數使用隨機選擇，當為0時候是均值池化，當為1時候為最大值池化

02Lp池化

通過正則化改進比最大池化的效果要好，其公式表示如下：

當p=1，時候它就是均值池化效果

當p等于無窮大時候，其效果接近于最大池化效果

當p>1 時候兼有均值池化與最大池化的效果

03世故池化

它的工作方式解析如下：

04空間金字塔池化（SPP池化）

通過池化輸出指定大小的特征向量，從而限制網絡輸出的大小，SPP層一般位于卷積神經網絡的最后一個卷積層，通過SPP池化固定大小輸出，然后交給全鏈接層處理。SPP層池化過程圖示如下：

05ROI池化（Region of Interest Pooling）

是在RCNN系列網絡中使用的池化層，主要用來實現把不同比率或者分辨率大小的輸入特征轉換為固定大小特征。ROI Pooling圖示如下：

06MOP池化(Multi-scale order-less pooling

基于多尺度的池化方式，提升了卷積網絡的不變性同時沒有破壞卷積網絡的可鑒別性，分布從全局與局部池化中提取特征

07超像素池化（Super-pixel Pooling）

超像素本質上是一張過度分割的圖像，一般都是基于像素分組的方式生成，圖像的超像素表示在對象檢測、語義分割、顯著性檢測、光流與深度估算、對象跟蹤上都有廣泛有用。

通過一個超像素池化網絡（SPN）實現低水平的圖像結構提取從而提供給弱監督情景下的圖像語義分割與學習。

08光譜池化

圖像池化不光發生在空間域，還可以通過DFT變換，在頻域空間實現池化。

不同的池化采樣方式得到的不同清晰度與分辨率的圖像。

09基于排名的均值池化

這種池化方式的好處事可以克服最大池化與均值池化方式的不足，公式如下：

圖示解釋如下：

更多的池化池化方式還包括行池化，基于權重的池化等，還有各種基于池化的深度神經網絡，總之，選擇適合的池化方式也是一門技術活！

審核編輯：湯梓紅