在生物學(xué)和醫(yī)學(xué)領(lǐng)域，研究人員通常利用顯微技術(shù)觀察肉眼無法看到的細(xì)胞和分子的細(xì)節(jié)。透射光顯微技術(shù)的原理是對生物樣本單側(cè)照射并生成圖像，操作相對簡單且活體培養(yǎng)樣本耐受度高，但通過這種方式生成的圖像難以正確評估。而熒光顯微技術(shù)可以使用熒光分子將需要觀察的生物目標(biāo)（如細(xì)胞核）標(biāo)上顏色，這種做法簡化了分析，但需要繁瑣的樣本制備。

隨著機器學(xué)習(xí)（包括用于自動評估圖像質(zhì)量和協(xié)助病理學(xué)家診斷癌組織的算法）在顯微技術(shù)領(lǐng)域的應(yīng)用日益增多，我們想知道是否可以開發(fā)一種能夠結(jié)合兩種顯微技術(shù)的優(yōu)點，同時最大限度減少缺點的深度學(xué)習(xí)系統(tǒng)。

在 “In Silico Labeling:Predicting Fluorescent Labels in Unlabeled Images” 一文（今日刊登于《Cell》雜志）中，我們展示了一個新的深度神經(jīng)網(wǎng)絡(luò)，這個網(wǎng)絡(luò)能夠通過透射光圖像預(yù)測熒光圖像，無需修改細(xì)胞就可以生成帶標(biāo)記的有用圖像，從而允許對未修改的細(xì)胞作縱向研究、在細(xì)胞治療中實現(xiàn)微創(chuàng)細(xì)胞篩查，以及同時運用大量標(biāo)記進行調(diào)查。我們也開源了網(wǎng)絡(luò)，并提供了完整的訓(xùn)練與測試數(shù)據(jù)、訓(xùn)練模型檢查點和示例代碼。

背景

透射光顯微技術(shù)操作簡單，但生成的圖像難以分辨。以下圖為例，這是通過相襯顯微鏡獲得的一個圖像，其中的像素強度表示光線穿過樣本時相位變化的程度。

利用誘導(dǎo)性多能干細(xì)胞培養(yǎng)的人體運動神經(jīng)元的透射光（相襯顯微鏡）圖像。圖樣 1 顯示的是疑似神經(jīng)元的一組細(xì)胞。圖樣 2 顯示圖像有缺損，底層細(xì)胞模糊不清。圖樣 3 顯示的是神經(jīng)突。圖樣 4 顯示的內(nèi)容疑似死細(xì)胞。比例尺：40 微米。這一組圖像和以下圖片均來自 Gladstone 研究所的Finkbeiner 實驗室。

在上圖中，很難判斷圖樣 1 的神經(jīng)元簇中的細(xì)胞數(shù)量，也無法看出圖樣 4 中細(xì)胞的位置和狀態(tài)（提示：在中上方位置有一個非常不明顯的扁平細(xì)胞）。同時也很難始終讓精細(xì)結(jié)構(gòu)保持在對焦范圍內(nèi)，如圖樣 3 中的神經(jīng)突。

我們可以通過在 z 堆棧中獲取圖像，利用透射光顯微技術(shù)獲得更多信息：在 (x, y) 中配準(zhǔn)圖像，而z（與相機的距離）會系統(tǒng)地發(fā)生變化。這會使細(xì)胞的不同部分對焦或脫焦，從而提供樣本的 3D 結(jié)構(gòu)信息。遺憾的是，通常只有有經(jīng)驗的分析人員才能看懂 z 堆棧，而此類 z 堆棧的分析目前在很大程度上還無法實現(xiàn)自動化。下面是一個 z 堆棧示例。

相同細(xì)胞的相襯顯微鏡 z 堆棧。注意焦點移動時表象的相應(yīng)變化。現(xiàn)在我們可以看出，圖樣 1 右下方的模糊形狀是單個橢圓形細(xì)胞，圖樣 4 中最右邊的細(xì)胞比最上面的細(xì)胞還要長，這表明它可能經(jīng)歷了細(xì)胞程序性死亡。

在用熒光顯微技術(shù)觀察到的圖像中，研究人員用熒光對要觀察的內(nèi)容進行了精心標(biāo)記，因而，相比之下分析起來更加容易。例如，大多數(shù)人類細(xì)胞只有一個細(xì)胞核，因此可以進行細(xì)胞核標(biāo)記（如下圖的藍色標(biāo)記），這就使得利用簡單工具查找圖像中的細(xì)胞和統(tǒng)計細(xì)胞數(shù)量成為可能。

相同細(xì)胞的熒光顯微圖像。藍色熒光標(biāo)記集中于 DNA，突出了細(xì)胞核。綠色熒光標(biāo)記集中于僅存在于樹突（一種神經(jīng)子結(jié)構(gòu)）中的蛋白質(zhì)。紅色熒光標(biāo)記集中于僅存在于軸突（另一種神經(jīng)子結(jié)構(gòu)）中的蛋白質(zhì)。通過這些標(biāo)記，可以更輕松地了解樣本中發(fā)生的情況。例如，圖樣 1 中的綠色和紅色標(biāo)記確認(rèn)這是神經(jīng)元簇。圖樣 3 中的紅色標(biāo)記顯示神經(jīng)突是軸突而不是樹突。圖樣 4 中左上方的藍點顯示出之前難以辨認(rèn)的細(xì)胞核，而左側(cè)細(xì)胞缺失藍點，表明它是無 DNA 的細(xì)胞碎片。

不過，熒光顯微技術(shù)存在嚴(yán)重的缺陷。首先，樣本制備和熒光標(biāo)記本身增加了復(fù)雜程度和變數(shù)。其次，如果樣本中存在許多不同的熒光標(biāo)記，光譜重疊會使人很難分辨出哪一種顏色屬于哪個標(biāo)記，因此，研究人員通常只能在一個樣本中同時使用 3 到 4 個標(biāo)記。再次，熒光標(biāo)記可能對細(xì)胞有害，有時還可能直接殺死細(xì)胞，這樣一來，在需要隨著時間推移跟蹤細(xì)胞的縱向研究中很難使用標(biāo)記。

利用深度學(xué)習(xí)發(fā)現(xiàn)更多信息

在論文中，我們展示深度神經(jīng)網(wǎng)絡(luò)可以根據(jù)透射光 z 堆棧預(yù)測熒光圖像。為此，我們創(chuàng)建了一個與熒光圖像匹配的透射光 z 堆棧數(shù)據(jù)集，并訓(xùn)練了一個神經(jīng)網(wǎng)絡(luò)來根據(jù) z 堆棧預(yù)測熒光圖像。具體過程如下圖所示。

我們系統(tǒng)的概覽。(A) 訓(xùn)練示例的數(shù)據(jù)集：z 堆棧的透射光圖像對與同一場景下像素配準(zhǔn)的熒光圖像集。使用幾種不同的熒光標(biāo)記生成熒光圖像，并且不同訓(xùn)練示例中所用的標(biāo)記也各不相同；棋盤格圖像表示沒有為給定示例獲取的熒光標(biāo)記。(B) 未訓(xùn)練的深度網(wǎng)絡(luò)使用數(shù)據(jù) A 訓(xùn)練 (C)。(D) 新場景下圖像的 z 堆棧。(E) 訓(xùn)練的網(wǎng)絡(luò) C 用于為新圖像 D 中的每個像素預(yù)測從 A 中學(xué)習(xí)的熒光標(biāo)記。

在研究過程中，受到 Inception 模塊化設(shè)計的啟發(fā)，我們開發(fā)了一種新型神經(jīng)網(wǎng)絡(luò)，此網(wǎng)絡(luò)由以下三種基本構(gòu)建塊組成：in-scale 配置（不改變特征的空間縮放）、down-scale 配置（將空間縮放加倍）以及 up-scale 配置（將空間縮放減半）。這樣一來，網(wǎng)絡(luò)架構(gòu)設(shè)計的難題分解為兩個簡單的問題：構(gòu)建塊（宏架構(gòu)）的安排以及構(gòu)建塊本身（微架構(gòu)）的設(shè)計。我們使用論文中討論的設(shè)計原則解決了第一個問題，第二個問題則通過由 Google Hypertune 提供支持的自動搜索加以解決。

為了確保方法的合理性，我們使用來自 Alphabet 實驗室以及兩個外部合作伙伴的數(shù)據(jù)對模型進行了驗證：Gladstone 研究所的 Steve Finkbeiner 實驗室和哈佛大學(xué) Rubin 實驗室。這些數(shù)據(jù)包含了三種透射光成像模式（亮視野、相襯和微分干涉對比）和三種培養(yǎng)類型（來自誘導(dǎo)性多能干細(xì)胞的人體運動神經(jīng)元、老鼠大腦皮層培養(yǎng)和人類乳腺癌細(xì)胞）。結(jié)果發(fā)現(xiàn)，我們的方法可以準(zhǔn)確預(yù)測細(xì)胞核、細(xì)胞類型（例如神經(jīng)細(xì)胞）和細(xì)胞狀態(tài)（例如細(xì)胞死亡）等的多個標(biāo)記。下圖顯示了模型對透射光輸入的預(yù)測以及我們運動神經(jīng)元示例的熒光實況。

動畫顯示了相同細(xì)胞的透射光和熒光成像以及我們的模型預(yù)測的熒光標(biāo)記。根據(jù)圖樣 2 所示，盡管輸入圖像中存在偽像，模型依然正確預(yù)測了標(biāo)記。在圖樣 3 中，模型可能基于過程與最近的細(xì)胞之間的距離推斷出這些過程是軸突。在圖樣 4 中，模型在頂部顯示出之前難以辨認(rèn)的細(xì)胞，并將左側(cè)的物體正確識別為無 DNA 的細(xì)胞碎片。