深度學習與圖神經網絡學習分享：CNN 經典網絡之-ResNet

resnet 又叫深度殘差網絡

圖像識別準確率很高，主要作者是國人哦

深度網絡的退化問題

深度網絡難以訓練，梯度消失，梯度爆炸，老生常談，不多說

resnet 解決了這個問題，并且將網絡深度擴展到了最多152層。怎么解決的呢？

殘差學習

結構如圖

在普通的卷積過程中加入了一個x的恒等映射（identity mapping）

專家把這稱作 skip connections或者 shortcut connections

殘差結構的理解

為什么要這樣呢？下面我從多個角度闡述這個問題。

生活角度

每學習一個模型，我都希望能用日常的生活去解釋為什么模型要這樣，一是加深對模型的理解，二是給自己搭建模型尋找靈感，三是給優化模型尋找靈感。

resnet 無疑是解決很難識別的問題的，那我舉一個日常生活中人類也難以識別的問題，看看這個模型跟人類的識別方法是否一致。

比如人類識別杯子里的水燙不燙

一杯水，我摸了一下，燙，好，我的神經開始運轉，最后形成理論杯子里的水燙，這顯然不對

又一杯水，我一摸，不燙，好嘛，這咋辦，認知混亂了，也就是無法得到有效的參數，

那人類是怎么辦呢？

我們不止是摸一摸，而且在摸過之后還要把杯子拿起來仔細看看，有什么細節可以幫助我們更好的識別，這就是在神經經過運轉后，又把x整體輸入，

當然即使我們拿起杯子看半天，也可能看不出任何規律來幫助我們識別，那人類的作法是什么呢？我記住吧，這種情況要小心，這就是梯度消失了，學習不到任何規律，記住就是恒等映射，

這個過程和resnet是一致的。

網絡結構角度

當梯度消失時，f(x)=0，y=g(x)=relu(x)=x，怎么理解呢？

1. 當梯度消失時，模型就是記住，長這樣的就是該類別，是一個大型的過濾器

2. 在網絡上堆疊這樣的結構，就算梯度消失，我什么也學不到，我至少把原來的樣子恒等映射了過去，相當于在淺層網絡上堆疊了“復制層”，這樣至少不會比淺層網絡差。

3. 萬一我不小心學到了什么，那就賺大了，由于我經常恒等映射，所以我學習到東西的概率很大。

數學角度

可以看到 有1 的存在，導數基本不可能為0

那為什么叫殘差學習呢

可以看到 F(x) 通過訓練參數 得到了 H(x)-x，也就是殘差，所以叫殘差學習，這比學習H(x)要簡單的多。

等效映射 identity mapping

上面提到殘差學習中需要進行 F(x)+x，在resnet中，卷積都是 same padding 的，當通道數相同時，直接相加即可，

但是通道數不一樣時需要尋求一種方法使得y=f(x)+wx

實現w有兩種方式

1. 直接補0

2. 通過使用多個 1x1 的卷積來增加通道數。

網絡結構

block

block為一個殘差單元，resnet 網絡由多個block 構成，resnet 提出了兩種殘差單元

左邊針對的是ResNet34淺層網絡，右邊針對的是ResNet50/101/152深層網絡，右邊這個又被叫做 bottleneck

bottleneck 很好地減少了參數數量，第一個1x1的卷積把256維channel降到64維，第三個又升到256維，總共用參數：1x1x256x64+3x3x64x64+1x1x64x256=69632，

如果不使用 bottleneck，參數將是 3x3x256x256x2=1179648，差了16.94倍

這里的輸出通道數是根據輸入通道數確定的，因為要與x相加。

整體結構

1. 與vgg相比，其參數少得多，因為vgg有3個全連接層，這需要大量的參數，而resnet用 avg pool 代替全連接，節省大量參數。

2. 參數少，殘差學習，所以訓練效率高

結構參數

Resnet50和Resnet101是其中最常用的網絡結構。

我們看到所有的網絡都分成5部分，分別是：conv1，conv2_x，conv3_x，conv4_x，conv5_x

其結構是相對固定的，只是通道數根據輸入確定。

注意，Resnet 最后的 avg_pool 是把每個 feature map 轉換成 1 個特征，故池化野 size 為 feature map size，如 最后輸出位 512x7x7，那么池化野size 為 7

最新進展

殘差單元被進一步更新

個人經驗

1. 卷積層包含大量的卷積計算，如果想降低時間復雜度，減少卷積層

2. 全連接層包含大量的參數，如果想降低空間復雜度，減少全連接層

轉載自努力的孔子

審核編輯 黃昊宇