來源：UNknown知識庫

一、醫學圖像分割簡介

醫學影像分割是醫學影像分析中的重要領域，也是計算機輔助診斷、監視、干預和治療所必需的一環，其關鍵任務是對醫學影像中感興趣的對象（例如器官或病變）進行分割，可以為疾病的精準識別、詳細分析、合理診斷、預測與預防等方面提供非常重要的意義和價值。

在醫學影像分割任務中，目前主要存在以下幾個難點：

標注數據少。造成該問題的一個重要的原因是收集標注困難，手工標注醫學影像是一個費時費力的過程，而這個標注過程在實際的臨床實踐中可能并不需要。

傳感器噪聲或偽影。現代醫學影像最基本的成像模態有 X 光、超聲、CT 和 MRI 等，用于成像的醫學設備會存在物理噪聲和圖像重建誤差，而醫學影像模態和成像參數設定的差別則會造成不同大小的偽影。

分割目標形態差異大。患者之間存在高矮胖瘦等體型差異，且病變的大小、形狀和位置可能存在巨大差異，因此解剖結構上會有差異。不同的分割部位也存在差異，往往需要不同的算法，有時還需要考慮到先驗知識的加入。

組織邊界信息弱。人體內部的一些器官都是具有相似特征的軟組織，它們相互接觸且邊界信息非常弱，而胰腺腫瘤、肝腫瘤、腎臟腫瘤等邊界不清楚的腫瘤往往還非常小，導致很難被識別到。

二、基于 U-Net 的醫學影像分割算法

1

U-Net

U-Net 是醫學影像分割領域著名的一個網絡架構，在 2015 年由 Ronneberger等人參加 ISBI Challenge 提出的一種基于 FCN 的分割網絡。經過修改和擴展后的 U-Net 能夠適應很小的訓練集，并且輸出更加精確的分割結果。

U-Net 的上采樣過程中依然有大量通道，這使得網絡將上下文信息向更高分辨率傳播，且其擴展路徑與收縮路徑對稱，形成了一個 U 型的形狀段，并通過跳躍連接的方式融合來自不同階段的特征圖。

當面對醫學影像分割任務時，U-Net 這種擴展路徑和收縮路徑所組成的編碼—解碼的網絡架構成為了首選，同時發展出很多變體。

2

加入密集連接的 U-Net 算法

密集連接的思想來自于 DenseNet，在 DenseNet 出現之前，卷積神經網絡的進化一般通過層數的加深或者加寬進行，DenseNet 通過對特征的復用提出了一種新的結構，不但減緩了梯度消失的現象同時模型的參數量也更少。

U-Net++ 網絡架構在 2018 年被 Zhou 等人提出，創新點在于將密集連接加入 U-Net 網絡，從而引入深度監督的思想，并通過重新設計的跳躍連接路徑把不同尺寸的U-Net 結構融入到了一個網絡里。

在原始的U-Net網絡架構上，UNet++ 加入了更多的跳躍連接路徑和上采樣卷積塊，用于彌補編碼器和解碼器之間的語義鴻溝。中間隱藏層使用的深度監督一方面可以解決 U-Net++ 網絡訓練時的梯度消失問題，另一方面允許網絡在測試的階段進行剪枝，減少模型的推斷時間。

U-Net++ 網絡架構的第一個優勢就是精度的提升，這是由于它整合了不同層次的特征，第二個是靈活的網絡結構配合深度監督，讓參數量巨大的深度神經網絡在可接受的精度范圍內大幅度地縮減參數量。

但是因為多次跳躍連接操作，同樣的數據在網絡中會存在多個復制，模型訓練時的顯存占用相對較高，需要采用一些顯存優化技術來更好地訓練模型。

3

融合殘差思想的 U-Net 算法

神經網絡因為寬度和深度的增加，會面臨梯度消失或梯度爆炸引起的網絡退化問題，為此 He 等人提出了殘差網絡（ResNet）。殘差塊的輸入通過殘差路徑直接疊加到殘差塊的輸出之中，殘差塊會嘗試去學習并擬合殘差以保證增加的網絡層數不會削弱網絡的表達性能。

2019年 Ibtehaz 等人提出了 MultiResUNet 網絡，MultiResUNet 運用殘差思想改造了 U-Net 中的卷積塊和跳躍連接。MultiResNet 使用一系列 3×3 卷積核來模擬 5×5 卷積核和 7×7 卷積核的感受野，卷積塊的輸入經過 1×1 卷積核后經由殘差路徑直接與卷積后的輸入疊加，作者稱之為 MultiResblock，在減少網絡計算量的同時可以提取不同尺度的空間特征。

作者同時提出了 ResPath 來減少跳躍連接過程中所丟失的空間信息，ResPath 由一系列的 3×3 卷積、1×1卷積和殘差路徑組成，編碼器的輸入特征圖經過 ResPath 與解碼器特征圖連接，一方面減少了語義鴻溝，另一方面增強了網絡的學習能力。

4集成注意力機制的 U-Net 算法

注意力機制借鑒了人類的注意力思維方式，最初被應用于基于 RNN 循環神經網絡模型的圖像分類、自然語言處理等深度學習任務中并取得了顯著成果。2018年 Oktay 等人提出了 Attention U-Net 網絡架構。

AttentionU-Net 在對擴展路徑每個階段上的特征圖與收縮路徑中對應特征圖進行拼接之前，使用了一個注意力門抑制無關區域中的特征激活來提高模型的分割準確性，在達到高分割精度的同時而無需額外的定位模塊。

與 U-Net 和相比，AttentionU-Net 在胰腺和腹部多器官分割數據集上，提升了分割的精度，同時減少了模型訓練和推理的時間。

5

面向 3D 影像的 U-Net 算法

3D U-Net 網絡架構是原始 U-Net 網絡架構的一個簡單擴展，由 U-Net 的研究團隊在 2016 年提出并應用于三維圖像分割。因為電腦屏幕上只能展示二維的切片，所以直接在三維層面上標注分割標簽比較困難。與此同時，相鄰的二維切片往往包含了近似的圖片信息。

基于上述兩個事實，作者提出了只需要稀疏標注的二維圖像進行訓練的 3D U-Net 網絡架構。3D U-Net 通過將 U-Net 原來的 2D 卷積、池化、上采樣操作替換成對應的 3D 操作，并加入 Batch Normalization 層實現了對三維醫學影像的直接分割。

2016年 Milletari 等人提出了 V-Net 網絡架構，是原始 U-Net 網絡架構的另一種 3D 實現。V-Net 相比 3D U-Net 最大的亮點在于吸收了 ResNet 的思想，在網絡拓展路徑和收縮路徑的每個階段中都引入殘差學習的機制。同時，V-Net 以步長為 2 的 2×2×2 卷積核取代拓展路徑里的池化操作來降低特征圖的分辨率。

V-Net 和 3D U-Net 都是針對三維醫學影像所直接構建的端到端的深度卷積神經網絡，目的是運用 3D 卷積從三維進行編碼，以良好的分割某些在二維沒有明顯表征的病理。3D分割算法在利用醫學影像的三維組織連通性方面具有優勢，但相較2D分割算法其參數量更多，訓練和推理過程對設備的算力要求更高。

參考資料：彭璟，羅浩宇，趙淦森等《深度學習下的醫學影像分割算法綜述》

—版權聲明—

僅用于學術分享，版權屬于原作者。

若有侵權，請聯系刪除或修改！

編輯：jq