近年來，人工智能模型的公平性問題受到了越來越多的關(guān)注，尤其是在醫(yī)學(xué)領(lǐng)域，因?yàn)獒t(yī)學(xué)模型的公平性對(duì)人們的健康和生命至關(guān)重要。高質(zhì)量的醫(yī)學(xué)公平性數(shù)據(jù)集對(duì)促進(jìn)公平學(xué)習(xí)研究非常必要。現(xiàn)有的醫(yī)學(xué)公平性數(shù)據(jù)集都是針對(duì)分類任務(wù)的，而沒有可用于醫(yī)學(xué)分割的公平性數(shù)據(jù)集，但是醫(yī)學(xué)分割與分類一樣都是非常重要的醫(yī)學(xué)AI任務(wù)，在某些場(chǎng)景分割甚至優(yōu)于分類， 因?yàn)樗軌蛱峁┐R床醫(yī)生評(píng)估的器官異常的詳細(xì)空間信息。在本文中，我們提出了第一個(gè)用于醫(yī)學(xué)分割的公平性數(shù)據(jù)集，名為Harvard-FairSeg，包含10,000個(gè)患者樣本。此外，我們提出了一種公平的誤差界限縮放方法，通過使用最新的Segment Anything Model（SAM），以每個(gè)身份組的上界誤差為基礎(chǔ)重新加權(quán)損失函數(shù)。為了促進(jìn)公平比較，我們利用了一種新穎的評(píng)估公平性在分割任務(wù)的標(biāo)準(zhǔn)，叫做equity-scaled segmentation performance。通過全面的實(shí)驗(yàn)，我們證明了我們的方法要么具有優(yōu)越性，要么與最先進(jìn)的公平學(xué)習(xí)模型在公平性能上相當(dāng)。

在這里和大家分享一波我們ICLR 2024中稿的工作 “Harvard FairSeg: A Large-Scale Medical Image Segmentation Dataset for Fairness Learning Using Segment Anything Model with Fair Error-Bound Scaling”

在本次工作中, 我們提出了第一個(gè)研究醫(yī)療分割算法的公平性的大型數(shù)據(jù)集 并且提出了方法嘗試提升不同組別的公平性 （讓不同組別的準(zhǔn)確率接近）。

文章: https://arxiv.org/pdf/2311.02189 代碼地址: https://github.com/Harvard-Ophthalmology-AI-Lab/Harvard-FairSeg 數(shù)據(jù)集網(wǎng)站： https://ophai.hms.harvard.edu/datasets/harvard-fairseg10k/ 數(shù)據(jù)集下載鏈接: https://drive.google.com/drive/u/1/folders/1tyhEhYHR88gFkVzLkJI4gE1BoOHoHdWZ Harvard-Ophthalmology-AI-Lab 致力于提供高質(zhì)量公平性數(shù)據(jù)集 更多公平性數(shù)據(jù)集 請(qǐng)點(diǎn)擊lab的數(shù)據(jù)集主頁：https://ophai.hms.harvard.edu/datasets/

背景:

隨著人工智能在醫(yī)學(xué)影像診斷中的應(yīng)用日益增多，確保這些深度學(xué)習(xí)模型的公平性并深入探究在復(fù)雜的現(xiàn)實(shí)世界情境中可能出現(xiàn)的隱藏偏見變得至關(guān)重要。遺憾的是，機(jī)器學(xué)習(xí)模型可能無意中包含了與醫(yī)學(xué)圖像相關(guān)的敏感屬性（如種族和性別），這可能影響模型區(qū)分異常的能力。這一挑戰(zhàn)促使人們?cè)跈C(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺領(lǐng)域進(jìn)行了大量的努力，以調(diào)查偏見、倡導(dǎo)公平性，并推出新的數(shù)據(jù)集。

截至目前，只有少數(shù)公共公平性數(shù)據(jù)集被提出用于研究公平性分類，主要的是，這些數(shù)據(jù)集中的大多數(shù)都只是表格數(shù)據(jù)，因此不適合開發(fā)需要影像數(shù)據(jù)的公平計(jì)算機(jī)視覺模型。對(duì)計(jì)算機(jī)視覺公平性的缺失尤其令人關(guān)注，特別是考慮到依賴此類數(shù)據(jù)的深度學(xué)習(xí)模型的影響力日益增強(qiáng)。在醫(yī)學(xué)影像領(lǐng)域，只有少數(shù)數(shù)據(jù)集被用于公平學(xué)習(xí)。然而，這些數(shù)據(jù)集大多沒有專門為公平性建模而設(shè)計(jì)（目前僅有的醫(yī)療圖像數(shù)據(jù)集我們列在了table 1）。它們通常只包含有限范圍的敏感屬性，如年齡、性別和種族，因此限制了檢查不同人群公平性的范圍。此外，它們也缺乏全面的基準(zhǔn)測(cè)試框架。更重要的是，盡管這些先前的數(shù)據(jù)集和方法為醫(yī)學(xué)分類提供了解決方案，但它們忽視了醫(yī)學(xué)分割這一更為關(guān)鍵的領(lǐng)域。

然而，為公平學(xué)習(xí)創(chuàng)建這樣一個(gè)新的大型數(shù)據(jù)集面臨著多重挑戰(zhàn)。首先，缺乏大規(guī)模、高質(zhì)量的醫(yī)學(xué)數(shù)據(jù)以及手工像素級(jí)注釋，這些都需要大量勞動(dòng)力和時(shí)間來收集和標(biāo)注。其次，現(xiàn)有提升公平性的方法主要是為醫(yī)學(xué)分類設(shè)計(jì)的，當(dāng)適應(yīng)分割任務(wù)時(shí)，其性能仍然存疑。同樣不確定的是，分割任務(wù)中存在的不公平是否可以通過算法有效地緩解。最后，評(píng)估醫(yī)學(xué)分割模型公平性的評(píng)判標(biāo)準(zhǔn) （evaluation metric）仍然難以捉摸。此外，將現(xiàn)有為分類設(shè)計(jì)的公平性指標(biāo)適應(yīng)到分割任務(wù)上也可能存在挑戰(zhàn)。

為了解決這些挑戰(zhàn)，我們提出了第一個(gè)大規(guī)模醫(yī)學(xué)分割領(lǐng)域的公平性數(shù)據(jù)集， Harvard-FairSeg。該數(shù)據(jù)集旨在用于研究公平性的cup-disc segmentation，從SLO眼底圖像中診斷青光眼，如圖1所示。青光眼是全球不可逆盲目的主要原因之一，在40-80歲年齡段的患病率為3.54%，大約影響了8000萬人。盡管其重要性，早期青光眼通常無癥狀，這強(qiáng)調(diào)了及時(shí)進(jìn)行專業(yè)檢查的必要性。對(duì)cup-disc的準(zhǔn)確分割對(duì)于醫(yī)療專業(yè)人員早期診斷青光眼至關(guān)重要。值得注意的是，與其他群體相比，黑人患青光眼的風(fēng)險(xiǎn)加倍，然而這一人群的分割準(zhǔn)確率通常最低。這激勵(lì)我們整理一個(gè)數(shù)據(jù)集，以研究分割公平性問題我們提出的Harvard-FairSeg數(shù)據(jù)集的亮點(diǎn)如下：（1）醫(yī)學(xué)分割領(lǐng)域第一個(gè)公平性學(xué)習(xí)數(shù)據(jù)集。該數(shù)據(jù)集提供了SLO眼底成像數(shù)據(jù)的cup-disc分割；

（2）該數(shù)據(jù)集配備了從現(xiàn)實(shí)醫(yī)院臨床情景中收集的六種敏感屬性，用于研究公平性學(xué)習(xí)問題；

（3）我們?cè)谖覀兲岢龅男聰?shù)據(jù)集上評(píng)估了多個(gè)SOTA公平性學(xué)習(xí)算法，并使用包括Dice和IoU在內(nèi)的多種分割性能指標(biāo)進(jìn)行了評(píng)估。

如何獲得大量的高質(zhì)量分割標(biāo)注：

本研究中測(cè)試的對(duì)象來自于一家大型學(xué)術(shù)眼科醫(yī)院，時(shí)間跨度為2010年至2021年。本研究將發(fā)布三種類型的數(shù)據(jù)：（1）SLO眼底掃描圖像；（2）患者人口統(tǒng)計(jì)信息 包含了六種不同的屬性；（3）由OCT機(jī)器自動(dòng)標(biāo)注以及由專業(yè)醫(yī)療從業(yè)者手工評(píng)級(jí)的像素級(jí)標(biāo)注如何獲得大量高質(zhì)量分割標(biāo)注一直是醫(yī)療分割的很重要分體。

我們新穎的通過把 cup 和disc區(qū)域的像素標(biāo)注首先從OCT機(jī)器獲得，其中disc邊界在3D OCT中被分割為Bruch’s膜開口，由OCT制造商軟件實(shí)現(xiàn)，cup邊界被檢測(cè)為內(nèi)限膜（ILM）與導(dǎo)致最小表面積的平面之間的交叉點(diǎn)和disc邊界在平面上的交叉點(diǎn)。大致上，cup邊界可以被認(rèn)為是ILM上最靠近視盤邊界的位置，即被定義為Bruch’s膜開口。由于Bruch’s膜開口和內(nèi)限膜與背景之間的高對(duì)比度，它們很容易被分割。因此因?yàn)镺CT制造商軟件利用了3D信息，利用oct機(jī)器對(duì)cup和disc的分割通常是可靠的。相比之下，眼底照片上的2Dcup和disc分割可能因包括衰減的成像信號(hào)和血管阻塞等各種因素而具有挑戰(zhàn)性。然而，由于OCT機(jī)器相當(dāng)昂貴且在初級(jí)保健中較少見，因此我們提議將這些注釋從3D OCT遷移到2D SLO眼底圖片，以在初級(jí)保健領(lǐng)域的早期青光眼篩查中產(chǎn)生更廣泛的影響。具體來說，我們首先使用NiftyReg工具將SLO眼底圖像與OCT衍生的眼底圖像（OCT眼底）對(duì)齊隨后，將NiftyReg的仿射度量應(yīng)用于OCT眼底圖像的cup-disc掩碼，使其與SLO眼底圖像對(duì)齊。這一過程有效地產(chǎn)生了大量高質(zhì)量的SLO眼底掩碼注釋，避免了勞動(dòng)密集型的手工像素標(biāo)注過程。值得注意的是，這種medical registration的操作在現(xiàn)實(shí)世界場(chǎng)景中展示了相當(dāng)高的精確度，我們的經(jīng)驗(yàn)觀察表明，medical registration成功率大約為80%。在這一自動(dòng)化過程之后，生成的掩碼經(jīng)過嚴(yán)格審查，并由五名醫(yī)學(xué)專業(yè)人員小組手動(dòng)評(píng)級(jí)，以確保cup-disc區(qū)域的精確標(biāo)注，并排除位置錯(cuò)誤的cup或disc掩碼和registration失敗的情況。

數(shù)據(jù)特征：我們的Harvard-FairSeg數(shù)據(jù)集包含來自10,000名受試者的10,000個(gè)樣本。我們將數(shù)據(jù)分為包含8,000個(gè)樣本的訓(xùn)練集和包含2,000個(gè)樣本的測(cè)試集。數(shù)據(jù)集的平均年齡為60.3 ± 16.5歲。在該數(shù)據(jù)集中，包含了六個(gè)敏感屬性，用于深入的公平性學(xué)習(xí)研究，這些屬性包括年齡、性別、種族、民族、首選語言和婚姻狀況。在種族人口統(tǒng)計(jì)學(xué)上，數(shù)據(jù)集包括來自三個(gè)主要群體的樣本：亞洲人，有919個(gè)樣本；黑人，有1,473個(gè)樣本；白人，有7,608個(gè)樣本。在性別方面，女性占受試者的58.5%，其余為男性。民族分布以90.6%的非西班牙裔，3.7%的西班牙裔和5.7%的未說明。在首選語言方面，92.4%的受試者首選英語，1.5%首選西班牙語，1%首選其他語言，5.1%未確定。從婚姻狀況的角度來看，57.7%的人已婚或有伴侶，27.1%是單身，6.8%經(jīng)歷過離婚，0.8%法律上分居，5.2%是喪偶，2.4%未說明。

我們的提升公平性的方法Fair Error-Bound Scaling：

我們假設(shè)獲得較小整體Dice損失的樣本組意味著模型對(duì)該特定組的樣本學(xué)習(xí)得更好，因此，這些樣本組需要較小的權(quán)重。相反，整體Dice損失較大的樣本組（即難處理的案例）可能導(dǎo)致更差的泛化能力并引起更多的算法偏差，這需要為這些樣本組分配較大的學(xué)習(xí)權(quán)重。因此，我們提出了一種新的公平誤差界限縮放方法，用于在訓(xùn)練過程中縮放不同人群組之間的Dice損失。我們首先定義預(yù)測(cè)像素得分和真實(shí)目標(biāo)之間的標(biāo)準(zhǔn)Dice損失表示為：

為了確保在不同屬性組之間的公平性，我們使用一種新穎的公平誤差界限縮放機(jī)制來增強(qiáng)上述Dice損失。損失函數(shù)：

通過用這些屬性權(quán)重調(diào)節(jié)預(yù)測(cè)像素得分，這種損失確保不同屬性組在模型訓(xùn)練過程中平衡地貢獻(xiàn)于損失函數(shù)，從而促進(jìn)公平性。

用于評(píng)估公平分割準(zhǔn)確性的metric：傳統(tǒng)的分割度量如Dice和IoU提供了對(duì)分割性能的洞察，但可能無法有效捕捉不同群體間的公平性。考慮到這一點(diǎn)，我們的目標(biāo)是提出一種新的metric，既包括分割的準(zhǔn)確性，也包括在不同群體間的公平性。這就產(chǎn)生了一個(gè)全面的視角，確保模型既準(zhǔn)確又公平。

為了納入群體公平性，我們需要單獨(dú)評(píng)估群體的準(zhǔn)確性。我們首先定義一個(gè)分割度量準(zhǔn)確率差異?，如下所示：

這里，?度量了每個(gè)群體的準(zhǔn)確性與總體準(zhǔn)確性的總體偏差。當(dāng)所有群體達(dá)到類似的分割準(zhǔn)確性時(shí)，它接近零。

當(dāng)我們考慮不同群體間的公平性時(shí)，我們需要計(jì)算總體分割準(zhǔn)確性與每個(gè)人口統(tǒng)計(jì)群體內(nèi)的準(zhǔn)確性之間的相對(duì)差異?；谶@個(gè)，我們定義了Equity-Scaled Segmentation Performance（ESSP）度量，如下所定義：

這種公式確保ESSP始終小于或等于I。隨著?減小（表示群體間的分割性能平等），ESSP趨于傳統(tǒng)分割metric。相反，較高的?表示群體間分割性能的更大差異，導(dǎo)致較低的ESSP得分。這種方法允許我們?cè)u(píng)估分割模型不僅在準(zhǔn)確性（通過Dice、IoU等metric）上，而且在不同群體間的公平性上。這使得ESSP評(píng)分函數(shù)成為確保醫(yī)學(xué)成像任務(wù)中分割準(zhǔn)確性和公平性的關(guān)鍵指標(biāo)。這種metric可以和傳統(tǒng)的dice IoU拼到一起 成為ES-Dice和ES-IoU.

實(shí)驗(yàn):

我們選擇了兩個(gè)分割網(wǎng)絡(luò)作為backbone 。其中，我們選擇了最近推出的分割大模型 Segment Anything Model (SAM) 來實(shí)驗(yàn)SOTA的分割準(zhǔn)確性，另一個(gè)backbone我們選擇了TransUNet。

我們也利用了其他分割的metric例如 HD95 ASD 和NSD進(jìn)行測(cè)試，下面是在種族上的結(jié)果：