（文章來源：雷鋒網(wǎng)）

關(guān)于標準的神經(jīng)網(wǎng)絡(luò)，普遍認為包括用于圖像預測和變換的卷積神經(jīng)網(wǎng)絡(luò)、用于化學領(lǐng)域的圖神經(jīng)網(wǎng)絡(luò)、專長于序列數(shù)據(jù)的transformer。最基本的深度神經(jīng)網(wǎng)絡(luò)當屬多層感知器，模型設(shè)置非常簡單，只有一堆非線性函數(shù)組成的全連接層。

雖然簡單，但是對付數(shù)據(jù)可能由一組截然不同的特征組成的問題很有用，例如表格數(shù)據(jù)。這個模型比邏輯回歸和線性回歸有更強的表達能力。但是在用的時候，需要對數(shù)據(jù)進行預處理，選擇一些特征集進行計算，并將其用作輸入。最近的一項研究是用在了藥物開發(fā)上面，研究機構(gòu)是中藥質(zhì)量研究國家重點實驗室。

多層感知機只是簡單的深度網(wǎng)絡(luò)，在它的基礎(chǔ)上，卷積神經(jīng)網(wǎng)絡(luò)發(fā)展了起來，成為了最廣為人知的神經(jīng)網(wǎng)絡(luò)家族，其特有的卷積層允許許神經(jīng)網(wǎng)絡(luò)在圖像的不同空間位置重復使用參數(shù)。作為一種對圖像數(shù)據(jù)非常有用的歸納偏差，能夠幫助更加有效地學習一些好特征以應(yīng)用層面來分，卷積神經(jīng)網(wǎng)絡(luò)派生了圖像分類、目標檢測、語義分割和實例分割、圖像超分辨率、圖像配準、姿勢估計。

其中四個的分類的區(qū)別大致可以用上圖表示他們之間的區(qū)別可以大致用上圖表示，在分類的時候整個圖像只有一個氣球標簽，而在目標檢測中，每個氣球都用一個邊界框進行定位。而在語義分割中，算法識別的是氣球?qū)?yīng)的所有像素，在實例分割中分別識別每個單獨的氣球。簡單來看，圖像分類是經(jīng)過一個函數(shù)，輸入一個圖形，輸出一個類別。在醫(yī)學上將胸部X圖片映射到二進制疾病標簽，就是圖像分類的應(yīng)用。

常見的用于圖像分類的神經(jīng)網(wǎng)絡(luò)有：VGG，這個模型在多個遷移學習任務(wù)中的表現(xiàn)要優(yōu)于googLeNet，缺點在于參數(shù)量有140M之多，需要更大的存儲空間；Resnet，能夠?qū)Ω短荻认Ш吞荻缺▎栴}；DenseNet，其特色在于能夠通過特征在channel上的連接來實現(xiàn)特征重用；還有最新的ResNeXt和EfficientNets，其能夠?qū)W(wǎng)絡(luò)深度、寬度和輸入圖像的空間分辨率有單獨的縮放系數(shù)。圖像分類算法已經(jīng)應(yīng)用于了許多不同的科學項目，例如分析低溫電子顯微鏡技術(shù)，但主要還是在醫(yī)學上應(yīng)用廣泛，因為從眼科到放射科都需要通過圖像預測疾病標簽。

如果說圖像分類是對圖像做一個大致的總結(jié)，那么目標檢測就深入到圖像的一些細節(jié)中了。例如給定一張戶外圖片，里面有樹、人、狗，目標檢測算法的任務(wù)是分別同時識別出這三個物體，并用“圈圈”標記他們。

有很多卷積框架在目標檢測方向表現(xiàn)優(yōu)異，包括最早期的Faster R-CNN，后來在他基礎(chǔ)上改進的 Mask R-CNN斬獲了 ICCV2017 年的最佳論文，在實例分割、目標檢測、人體關(guān)鍵點檢測三個任務(wù)都取得了很好的效果。除此之外，很多改進的模型例如，YOLOv3、EfficientDets?以及剛剛開源的?YOLOv4?也是做目標檢測的很好選擇。

目標檢測也是醫(yī)學方向大愛，在跨模式的腫瘤細胞識別，放射學中的骨折判斷都已經(jīng)有相關(guān)研究發(fā)布。如果更加深入到圖像的底層細節(jié)，對圖像的像素進行分類，那么這就涉及到語義分割技術(shù)了。如果有一張街道圖片，里面有道路、車輛、行人等，語義分割算法的目的是確定圖片中像素的歸屬，即是屬于車輛，還是屬于道路，亦或者屬于行人。而實例分割則更加復雜，它要弄明白的是這個像素是屬于行人一，還是行人二，還是行人三。

綜上，分割模型需要對每個像素進行分類，所以它們輸出的不是單個類別的標簽和邊界框，而是完整的圖像。設(shè)計分割模型時要求算法能夠保存圖片的空間信息。當前比較常用的架構(gòu)是U-net，主要由卷積層、最大池化層（下采樣）、反卷積層（上采樣）以及ReLU非線性激活函數(shù)組成。

FCN，此架構(gòu)不含全連接層的全卷積網(wǎng)絡(luò)，可適應(yīng)任意尺寸輸入；增大數(shù)據(jù)尺寸的反卷積層，能夠輸出精細的結(jié)果；結(jié)合不同深度層結(jié)果的skip結(jié)構(gòu)，同時確保魯棒性和精確性。此外，還有Segnet模型，它在FCN的語義分割任務(wù)基礎(chǔ)上，搭建編碼器-解碼器對稱結(jié)構(gòu)，實現(xiàn)端到端的像素級別圖像分割。

最后，做實例分割，首選 Mask R-CNN和最近的Detectron2框架。值得一提的是Detectron2?與其他框架不同，其還包含了全景分割這一任務(wù)。分割任務(wù)在醫(yī)學界應(yīng)用也非常廣泛，分割大腦MR圖像，識別不同組織中細胞的關(guān)鍵區(qū)域，甚至研究骨骼結(jié)構(gòu)等方向已經(jīng)發(fā)表了許多論文。

除了上述四個，圖像超分辨率也是卷積神經(jīng)網(wǎng)絡(luò)的一個分支應(yīng)用。對于低分辨率圖像，傳統(tǒng)的解決方案是想法辦在圖片上思佳一些約束條件，如稀疏度等。卷積神經(jīng)網(wǎng)絡(luò)家族中的SRCNN找到了稀疏編碼和卷積神經(jīng)網(wǎng)絡(luò)之間的對應(yīng)關(guān)系。RDN網(wǎng)絡(luò)已經(jīng)成為實現(xiàn)超分辨率的流行方法。此外，預測濾波流（Predictive Filter Flow）在圖像去噪和去模糊化方向也非常棒。

圖像配準是數(shù)字圖像處理的一種重要應(yīng)用，用于對齊兩幅或多幅相同場景的圖片。圖像配準需要輸入圖像與參考圖像。輸入圖像是我們希望變換的圖像，參考圖像是想要配準輸入圖像的圖像。這種需要讓兩幅圖像對齊的技術(shù)核心是卷積神經(jīng)網(wǎng)絡(luò)，通常需要的是編碼器-解碼器結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，例如U-net。

姿勢估計也能看做卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用，重點在于圖片中人物的關(guān)鍵節(jié)點，例如膝蓋、手肘、頭部等。2D的姿勢估計是計算機的核心問題，此類的數(shù)據(jù)集和卷積架構(gòu)也比較多，早期的堆疊沙漏網(wǎng)絡(luò)結(jié)構(gòu)衍生的各種變種算法，牢牢占據(jù)了姿態(tài)檢測的半壁江山。

最近的網(wǎng)絡(luò) HRNet，能夠通過并行連接高分辨率到低分辨率卷積來保持高分辨率表示，并通過重復跨并行卷積執(zhí)行多尺度融合來增強高分辨率表示。另外，卡內(nèi)基梅隴大學也提供了端到端的多人姿勢檢測系統(tǒng)，用自監(jiān)督學習實現(xiàn)了人類3D動作追蹤。值得一提的是，姿勢估計已經(jīng)在助力動物行為研究的相關(guān)項目了。
? ? ?（責任編輯：fqj）