近半年來，ChatGPT、DALL·E等引發(fā)了大規(guī)模基礎(chǔ)AI模型的狂潮。4月初，Meta AI 發(fā)布第一個用于圖像分割的大規(guī)模基礎(chǔ)模型Segment Anything Model (SAM)。SAM最大的亮點是它對未知的數(shù)據(jù)集和任務(wù)具有良好的零樣本（zero-shot）分割性能。分割過程可全自動（Everything模式）或由不同的手工提示（Prompt模式）驅(qū)動，例如，文字、點和方框。

雖然SAM在各種自然圖像分割任務(wù)上取得了令人印象深刻的結(jié)果，但醫(yī)學(xué)圖像分割由于多樣的成像模式、精細的解剖結(jié)構(gòu)、不明確且復(fù)雜的邊界以及廣泛的物體尺度等而具有極大的挑戰(zhàn)性，其在大型醫(yī)學(xué)影像數(shù)據(jù)集上的表現(xiàn)還有待驗證。深圳大學(xué)生物醫(yī)學(xué)工程學(xué)院倪東教授智能超聲團隊聯(lián)合蘇黎世聯(lián)邦理工學(xué)院、深圳市人民醫(yī)院、浙江大學(xué)和深圳度影醫(yī)療科技等單位整理了一個有55.3萬張圖像，包含16種影像模態(tài)、68種生物醫(yī)學(xué)領(lǐng)域分割目標(biāo)的超大規(guī)模醫(yī)學(xué)影像分割數(shù)據(jù)集COSMOS 553K，并基于該數(shù)據(jù)集率先對SAM進行了全面、多角度、大規(guī)模的細致評估，旨在促進醫(yī)學(xué)影像分析的發(fā)展，并回答一個重要問題：SAM對醫(yī)學(xué)影像分割的性能究竟如何？數(shù)據(jù)集展示

為了全面評估分析SAM在醫(yī)學(xué)影像分割上的表現(xiàn)，團隊收集并標(biāo)準化了52個公共數(shù)據(jù)集，最終整理構(gòu)建了一個包含16種影像模態(tài)和68種生物醫(yī)學(xué)領(lǐng)域分割目標(biāo)（表1）的大型醫(yī)學(xué)影像分割數(shù)據(jù)集COSMOS 553K，數(shù)據(jù)集的展示見圖1，統(tǒng)計信息見圖2。

表1 COSMOS 553K包含的分割目標(biāo)。H：頭頸部；C：胸部；A：腹部；P：盆部；B：骨頭；O：其它。

圖1 COSMOS 553K涵蓋了大多數(shù)醫(yī)學(xué)影像模態(tài)和生物醫(yī)學(xué)領(lǐng)域分割目標(biāo)。例如，腦腫瘤、眼底血管、甲狀腺結(jié)節(jié)、脊柱、肺、心臟、腹部器官或腫瘤、細胞、息肉和手術(shù)儀器等。人體圖像來自Freepik，作者為brgfx(網(wǎng)址https://www.freepik.com/free-vector/anatomical-structure-human-body 27539420.htm)。

圖2 COSMOS 553K的統(tǒng)計信息。(a)收集到的公開數(shù)據(jù)集處理后的數(shù)據(jù)量；(b)目標(biāo)類別的直方圖分布；(c)影像模態(tài)的直方圖分布；(d)圖像分辨率的直方圖分布。 方法展示

SAM提供不同類型的分割提示Prompt，包括點和方框等。點的提示包括表示前景的正樣本和表示背景的負樣本點。方框表示需要分割的物體的區(qū)域。我們的測試策略包括Everything模式：自動分割(S1H,S1B)以及Prompt模式：單個正樣本點(S2)、五個正樣本點(S3)、五個正樣本點和五個負樣本點(S4)、單個方框(S5)、單個方框和單個正樣本點(S6)，圖3展示了我們設(shè)計的SAM測試框架。

圖3 本研究設(shè)計的SAM詳細測試框架。 結(jié)果分析

本研究全面地評估了SAM的各種模式在大規(guī)模、多樣化的醫(yī)學(xué)影像數(shù)據(jù)集上的分割性能，DICE指標(biāo)評估結(jié)果如圖4所示。

圖4 不同測試策略的DICE箱線圖。從上到下：S1H、S2、S3、S4、S5、S6。 基于實驗分析，我們的主要結(jié)論如下：

Everything模式不適用于大多數(shù)醫(yī)學(xué)影像分割任務(wù)。在這種模式下，SAM對醫(yī)學(xué)分割目標(biāo)的感知能力較差，會輸出大量的假陽性預(yù)測掩膜（圖5）。

在Everything模式下，作為提示的網(wǎng)格采樣點數(shù)量會在一定程度上影響分割性能，如圖6所示。這是一個分割性能和測試效率的權(quán)衡。

在Prompt模式下，加入更多前景點可顯著提高SAM的分割結(jié)果。但醫(yī)學(xué)影像中的前景和背景很容易混淆，隨機加入負樣本點可能會引起分割性能下降。此外，方框提示（S5）包含豐富的物體位置信息。因此，在我們的研究中，方框提示在大多數(shù)醫(yī)學(xué)分割任務(wù)中比點提示表現(xiàn)好。在目前的研究中，混合策略（同時加入點提示和方框提示）的性能沒有明顯提升。這可能與SAM對混合提示的編碼能力有關(guān)。圖7和圖8展示了SAM在各種測試策略下的可視化結(jié)果。

分割目標(biāo)的不同屬性可能影響SAM對醫(yī)學(xué)分割目標(biāo)的感知能力。特別是，SAM可能會對具有復(fù)雜形狀、小面積或低對比度的目標(biāo)分割效果不好。圖9展示了DICE與目標(biāo)的不同屬性之間的關(guān)系。

圖5 Everything模式的可視化結(jié)果。

圖6 Everything模式下網(wǎng)格采樣點數(shù)量對分割性能的影響。

圖7 典型的SAM良好案例。

圖8 典型的SAM失敗案例。

圖9 DICE與目標(biāo)不同屬性的散點圖。 總的來說，盡管SAM有可能成為一個通用的醫(yī)學(xué)影像分割模型，但它在醫(yī)學(xué)影像分割任務(wù)中的表現(xiàn)目前還不穩(wěn)定。因此，未來的研究重點應(yīng)該在如何有效地使用少量醫(yī)學(xué)影像來微調(diào)SAM以提高模型的可靠性，搭建屬于醫(yī)學(xué)影像的Segment Anything模型。此外，拓展3D-SAM, 并探索其對三維容積數(shù)據(jù)的分割性能也是一個有趣的方向。我們希望這份報告能較為詳盡地幫助讀者和社區(qū)更好地了解SAM在醫(yī)學(xué)影像分割中的性能優(yōu)劣，并最終促進新一代醫(yī)學(xué)影像分割基礎(chǔ)大模型的發(fā)展。 真誠感謝所有公開數(shù)據(jù)集的組織者和所有者的開源貢獻，我們也將籌備開源所整理的數(shù)據(jù)集，以促進領(lǐng)域和社區(qū)發(fā)展。同時，也非常感謝Meta AI公開發(fā)布了SAM的源代碼。 源碼鏈接：https://github.com/facebookresearch/segment-anything

審核編輯 ：李倩