（文章來源：雷鋒網）

關于標準的神經網絡，普遍認為包括用于圖像預測和變換的卷積神經網絡、用于化學領域的圖神經網絡、專長于序列數據的transformer。最基本的深度神經網絡當屬多層感知器，模型設置非常簡單，只有一堆非線性函數組成的全連接層。

雖然簡單，但是對付數據可能由一組截然不同的特征組成的問題很有用，例如表格數據。這個模型比邏輯回歸和線性回歸有更強的表達能力。但是在用的時候，需要對數據進行預處理，選擇一些特征集進行計算，并將其用作輸入。最近的一項研究是用在了藥物開發上面，研究機構是中藥質量研究國家重點實驗室。

多層感知機只是簡單的深度網絡，在它的基礎上，卷積神經網絡發展了起來，成為了最廣為人知的神經網絡家族，其特有的卷積層允許許神經網絡在圖像的不同空間位置重復使用參數。作為一種對圖像數據非常有用的歸納偏差，能夠幫助更加有效地學習一些好特征以應用層面來分，卷積神經網絡派生了圖像分類、目標檢測、語義分割和實例分割、圖像超分辨率、圖像配準、姿勢估計。

其中四個的分類的區別大致可以用上圖表示他們之間的區別可以大致用上圖表示，在分類的時候整個圖像只有一個氣球標簽，而在目標檢測中，每個氣球都用一個邊界框進行定位。而在語義分割中，算法識別的是氣球對應的所有像素，在實例分割中分別識別每個單獨的氣球。簡單來看，圖像分類是經過一個函數，輸入一個圖形，輸出一個類別。在醫學上將胸部X圖片映射到二進制疾病標簽，就是圖像分類的應用。

常見的用于圖像分類的神經網絡有：VGG，這個模型在多個遷移學習任務中的表現要優于googLeNet，缺點在于參數量有140M之多，需要更大的存儲空間；Resnet，能夠對付梯度消失和梯度爆炸問題；DenseNet，其特色在于能夠通過特征在channel上的連接來實現特征重用；還有最新的ResNeXt和EfficientNets，其能夠對網絡深度、寬度和輸入圖像的空間分辨率有單獨的縮放系數。圖像分類算法已經應用于了許多不同的科學項目，例如分析低溫電子顯微鏡技術，但主要還是在醫學上應用廣泛，因為從眼科到放射科都需要通過圖像預測疾病標簽。

如果說圖像分類是對圖像做一個大致的總結，那么目標檢測就深入到圖像的一些細節中了。例如給定一張戶外圖片，里面有樹、人、狗，目標檢測算法的任務是分別同時識別出這三個物體，并用“圈圈”標記他們。

有很多卷積框架在目標檢測方向表現優異，包括最早期的Faster R-CNN，后來在他基礎上改進的 Mask R-CNN斬獲了 ICCV2017 年的最佳論文，在實例分割、目標檢測、人體關鍵點檢測三個任務都取得了很好的效果。除此之外，很多改進的模型例如，YOLOv3、EfficientDets?以及剛剛開源的?YOLOv4?也是做目標檢測的很好選擇。

目標檢測也是醫學方向大愛，在跨模式的腫瘤細胞識別，放射學中的骨折判斷都已經有相關研究發布。如果更加深入到圖像的底層細節，對圖像的像素進行分類，那么這就涉及到語義分割技術了。如果有一張街道圖片，里面有道路、車輛、行人等，語義分割算法的目的是確定圖片中像素的歸屬，即是屬于車輛，還是屬于道路，亦或者屬于行人。而實例分割則更加復雜，它要弄明白的是這個像素是屬于行人一，還是行人二，還是行人三。

綜上，分割模型需要對每個像素進行分類，所以它們輸出的不是單個類別的標簽和邊界框，而是完整的圖像。設計分割模型時要求算法能夠保存圖片的空間信息。當前比較常用的架構是U-net，主要由卷積層、最大池化層（下采樣）、反卷積層（上采樣）以及ReLU非線性激活函數組成。

FCN，此架構不含全連接層的全卷積網絡，可適應任意尺寸輸入；增大數據尺寸的反卷積層，能夠輸出精細的結果；結合不同深度層結果的skip結構，同時確保魯棒性和精確性。此外，還有Segnet模型，它在FCN的語義分割任務基礎上，搭建編碼器-解碼器對稱結構，實現端到端的像素級別圖像分割。

最后，做實例分割，首選 Mask R-CNN和最近的Detectron2框架。值得一提的是Detectron2?與其他框架不同，其還包含了全景分割這一任務。分割任務在醫學界應用也非常廣泛，分割大腦MR圖像，識別不同組織中細胞的關鍵區域，甚至研究骨骼結構等方向已經發表了許多論文。

除了上述四個，圖像超分辨率也是卷積神經網絡的一個分支應用。對于低分辨率圖像，傳統的解決方案是想法辦在圖片上思佳一些約束條件，如稀疏度等。卷積神經網絡家族中的SRCNN找到了稀疏編碼和卷積神經網絡之間的對應關系。RDN網絡已經成為實現超分辨率的流行方法。此外，預測濾波流（Predictive Filter Flow）在圖像去噪和去模糊化方向也非常棒。

圖像配準是數字圖像處理的一種重要應用，用于對齊兩幅或多幅相同場景的圖片。圖像配準需要輸入圖像與參考圖像。輸入圖像是我們希望變換的圖像，參考圖像是想要配準輸入圖像的圖像。這種需要讓兩幅圖像對齊的技術核心是卷積神經網絡，通常需要的是編碼器-解碼器結構的神經網絡，例如U-net。

姿勢估計也能看做卷積神經網絡的應用，重點在于圖片中人物的關鍵節點，例如膝蓋、手肘、頭部等。2D的姿勢估計是計算機的核心問題，此類的數據集和卷積架構也比較多，早期的堆疊沙漏網絡結構衍生的各種變種算法，牢牢占據了姿態檢測的半壁江山。

最近的網絡 HRNet，能夠通過并行連接高分辨率到低分辨率卷積來保持高分辨率表示，并通過重復跨并行卷積執行多尺度融合來增強高分辨率表示。另外，卡內基梅隴大學也提供了端到端的多人姿勢檢測系統，用自監督學習實現了人類3D動作追蹤。值得一提的是，姿勢估計已經在助力動物行為研究的相關項目了。
? ? ?（責任編輯：fqj）