先進(jìn)的機器學(xué)習(xí)算法逐步在專業(yè)的醫(yī)療診斷領(lǐng)域發(fā)揮出重要的作用，在檢測糖尿病引起的眼部疾病和乳腺癌中都發(fā)揮了重要作用。雖然高性能的算法逐步得到了臨床醫(yī)生的信任和應(yīng)用，但算法還需要認(rèn)識到哪些信息需要呈現(xiàn)給醫(yī)生，如何與醫(yī)生進(jìn)行信息交互，這些都是決定著機器學(xué)習(xí)技術(shù)最終為用于帶來的價值。在病理學(xué)領(lǐng)域，對于癌癥診斷和其他一些通過顯微鏡組織樣本進(jìn)行標(biāo)準(zhǔn)化診斷的疾病來說十分適合于利用機器來提高診斷的效率。傳統(tǒng)通過光學(xué)顯微鏡進(jìn)行的診斷正被數(shù)字病理學(xué)的高分辨率圖像逐漸取代，并在計算機上進(jìn)行檢視。這一趨勢大大方便了醫(yī)務(wù)人員對于信息的檢索查閱，比如病理學(xué)家在最終疑難雜癥或者特殊病例，或者對剛?cè)胄械牟±韺W(xué)家進(jìn)行有效訓(xùn)練，數(shù)字化的病理信息十分必要。

這些場景下，人們往往會問到底是什么特征決定了自己判斷的結(jié)果呢？針對一個特定的病理圖像，先前的醫(yī)生可能會和同事討論或者查閱參考書并希望從中找出相似的視覺特征。而對于計算機視覺來說，這相當(dāng)于一個基于內(nèi)容的圖像檢索問題，可以利用輸入圖像檢索出特征相似的圖像結(jié)果(Similar Image Search for Histopathology:SMILY)。

研究人員將相同的方法拓展到了病理學(xué)研究的范疇，提出了病理組織學(xué)領(lǐng)域的相似圖像搜索方法，利用機器學(xué)習(xí)工具改變了病理學(xué)領(lǐng)域的圖像檢索方式，并探索了基于圖像搜索不同的優(yōu)化方法，形成了一套能與醫(yī)生進(jìn)行有效交互的病理學(xué)圖像檢索和信息綜合系統(tǒng)。

SMILY 設(shè)計

開發(fā)SMILY系統(tǒng)首先需要構(gòu)建深度學(xué)習(xí)模型。研究人員利用50億張自然圖像來對模型進(jìn)行訓(xùn)練，將圖像壓縮成一種具有高度代表性的數(shù)值矢量—嵌入矢量。網(wǎng)絡(luò)在學(xué)習(xí)的過程中將逐步學(xué)會通過計算并比較圖像的嵌入矢量來區(qū)分相似和不同類別的圖像。

隨后研究人員利用這一模型創(chuàng)建了癌癥領(lǐng)域病理圖像片與對應(yīng)嵌入矢量的配對數(shù)據(jù)集。當(dāng)一個檢索圖像片通過SMILY工具抽取出來，模型就會計算出對應(yīng)的嵌入矢量并與數(shù)據(jù)集中的嵌入進(jìn)行比較，隨后檢索出相似的圖像返還給用戶。

構(gòu)建SMILY數(shù)據(jù)集的過程以及檢索相似圖像片的流程。

用戶可以使用這一工具選擇感興趣區(qū)域，并通過系統(tǒng)得到視覺相似的匹配結(jié)果。研究人員利用乳腺、結(jié)腸和前列腺等常見癌變區(qū)域的組織切片圖像進(jìn)行檢索，驗證了系統(tǒng)可以對訓(xùn)練中沒有見到過的圖像有著很好的檢索結(jié)果。

醫(yī)生可以選取感興趣的區(qū)域，系統(tǒng)就會從數(shù)據(jù)庫中檢索出多個相似的樣本，為醫(yī)生提供更多的決策信息

優(yōu)化SMILY系統(tǒng)

但在實際使用中研究人員發(fā)現(xiàn)用戶很可能會對系統(tǒng)給出很多模糊的問題，但系統(tǒng)并不能理解用戶的意圖。換句話說，用戶需要引導(dǎo)系統(tǒng)來優(yōu)化搜索結(jié)果，并最終拿到期望的檢索結(jié)果。此外研究人員還發(fā)現(xiàn)不斷迭代的檢索需求實際上與醫(yī)生進(jìn)行迭代的診斷方式息息相關(guān)。

通過作出假設(shè)、收集數(shù)據(jù)來驗證假設(shè)、探索可能的假設(shè)、重新審視先前的假設(shè)，這一過程不斷訓(xùn)練來得到最終的診斷結(jié)果。對于SMILY系統(tǒng)來說，需要類似的方式支持與用戶的交互來實現(xiàn)診斷流程。

研究人員設(shè)計了三種方法來增強SMILY系統(tǒng)，為用戶提供了交互式的檢索優(yōu)化工具。

通過區(qū)域優(yōu)化。病理學(xué)家可以從圖像中剪切一個感興趣區(qū)域，限制了系統(tǒng)檢索的范圍；

通過樣本優(yōu)化。用戶可以從檢索結(jié)果中再次選擇一些樣本，系統(tǒng)將基于這些樣本的共性進(jìn)行進(jìn)一步優(yōu)化地檢索；

通過臨床概念優(yōu)化。通過特定的臨床概念來優(yōu)化檢索結(jié)果。研究人員沒有將這些臨床概念構(gòu)建在模型中，而是給用戶提供了一種方法來創(chuàng)建新的、個性化的概念來引導(dǎo)模型檢索出需要的結(jié)果。這種方法使得研究人員可以通過后續(xù)檢驗工具來構(gòu)建特定的概念檢索需要的結(jié)果，而無需重新訓(xùn)練模型。

三種不同的檢索優(yōu)化方法

實踐中發(fā)現(xiàn)增強后的SMILY不僅增加了檢索結(jié)果的有效性，同時交互過程的引入也大幅度增加了用戶對于結(jié)果的信任和采用率。事實上這一工具在病理學(xué)醫(yī)生的決策過程中扮演了遠(yuǎn)遠(yuǎn)超過搜索工具的重要角色。他們可以利用工具觀察在迭代搜索過程中樣本的變化，作為對假設(shè)置信度的追蹤方法。當(dāng)搜索結(jié)果與預(yù)期偏離時，就需要工具檢驗更多的假設(shè)，例如剪切出區(qū)域中的一部分、或是改變一些與觀測結(jié)果對應(yīng)的臨床概念來強化一些被忽視的現(xiàn)象。

除了被動地接受機器學(xué)習(xí)工具給出的結(jié)果，醫(yī)生可以利用工具主動地檢測假設(shè)并將領(lǐng)域知識應(yīng)用到假設(shè)驗證過程中，引導(dǎo)算法更好地工作，這同時也大幅度放大了自動化過程帶來的優(yōu)勢。由于這一交互式工具可以為用戶提供個性化的檢索過程獲取期望的結(jié)果，研究人員還探索了SMILY在輔助檢索大型病理數(shù)據(jù)庫的數(shù)字化病理圖像。一方面可以利用這一算法為病理學(xué)圖像提供文字標(biāo)簽和目錄，醫(yī)學(xué)生和初級病理學(xué)家可以根據(jù)利用視覺搜索的方法來加速和深化教育和學(xué)習(xí)過程。

另一方面、癌癥研究人員可以有效地研究腫瘤的形態(tài)學(xué)與病情，加速對于相關(guān)病例的研究。此外病理學(xué)家還可以利用這一工具定位切片圖像中所有可能的位置特征，更好地理解目前的病情，以便制定有效的治療方案。

更重要的是，研究中發(fā)現(xiàn)復(fù)雜的機器學(xué)習(xí)算法需要與以人為本的設(shè)計和交互相配合才能實現(xiàn)最大的效用，這也許應(yīng)該成為機器學(xué)習(xí)工具一項重要的設(shè)計準(zhǔn)則。