慕尼黑路德維希·馬克西米利安大學(xué) （LMU） 的基因中心使用冷凍電子顯微鏡 （cryo-EM） 來檢查蛋白質(zhì)和生物復(fù)合物的結(jié)構(gòu)。在此過程中需要仔細(xì)篩查冷凍網(wǎng)格樣本的冰層厚度，即測量樣本質(zhì)量。如果此篩查使用電子顯微鏡執(zhí)行，則不僅速度很慢，而且成本也很高昂。

最近，顯微鏡專家 Christophe Jung 博士和 LMU 基因中心的數(shù)學(xué)和物理講師 Markus Hohle 博士使用 MATLAB 攜手開發(fā)了一款深度學(xué)習(xí)工具，可以通過分析彩色相機(jī)拍攝的圖像來確定冷凍網(wǎng)格樣本的厚度。該工具首先通過深度學(xué)習(xí)篩查冷凍樣本，然后識(shí)別最佳樣本并將其發(fā)送到電子顯微鏡進(jìn)行更仔細(xì)的檢查，從而幫助 LMU 的研究人員節(jié)省了時(shí)間和金錢。

現(xiàn)在，您也可以通過點(diǎn)擊“閱讀原文”，在 GitHub 上獲取這個(gè)工具。

“我們用 MATLAB 構(gòu)建的深度學(xué)習(xí)工具已經(jīng)改變了我們實(shí)驗(yàn)室研究工作的方式，”Hohle 博士說道。“強(qiáng)大的專業(yè)支持和高效的培訓(xùn)材料促使我們選擇了 MATLAB，而不是其他軟件。”

用于進(jìn)行快速網(wǎng)絡(luò)篩查的寬場光學(xué)顯微鏡。

挑戰(zhàn)

一臺(tái)電子顯微鏡設(shè)備的安置成本高達(dá) 300 到 500 萬美元，每日運(yùn)行成本也達(dá)到了 4，000 到 5，000 美元，這使得許多個(gè)人研究小組無力承擔(dān)。此外，由于需要檢查的樣本太多，顯微鏡經(jīng)常因超額預(yù)訂而無法得到即時(shí)使用。

用電子顯微鏡篩查樣本質(zhì)量的速度也很慢。而且，必須對(duì)每個(gè)網(wǎng)格圖塊單獨(dú)成像，并針對(duì)冰層厚度質(zhì)量對(duì)其進(jìn)行評(píng)估。根據(jù)電子顯微鏡圖像對(duì)冰層厚度進(jìn)行視覺評(píng)估需要豐富的經(jīng)驗(yàn)，所得的結(jié)果可能因各個(gè)研究人員而異。即使采用自動(dòng)化的樣本加載和采集方法，電子顯微鏡每天也只能篩查 12 個(gè)網(wǎng)格，遠(yuǎn)遠(yuǎn)低于檢查幾十個(gè)樣本的需求量。

以前，他們嘗試過自動(dòng)執(zhí)行篩查過程，包括嘗試使用深度學(xué)習(xí)算法。然而，這些措施都依賴從電子顯微鏡獲得的圖像，這并沒有加速篩查過程。

LMU 基因中心的研究人員希望創(chuàng)建一種篩查方法，以便能夠基于彩色相機(jī)拍攝的圖像確定樣本的質(zhì)量。這樣，他們便能夠在較便宜的硬件上完成部分篩查過程，從而減少電子顯微鏡的負(fù)荷和運(yùn)行成本。

解決方案

LMU 團(tuán)隊(duì)使用干涉顯微鏡和彩色相機(jī)拍攝了 650 張冷凍電子顯微鏡樣本圖像，總共包含 4，000 個(gè)圖塊。他們使用了 Image Processing Toolbox 將這些圖像導(dǎo)入 MATLAB 中并對(duì)其執(zhí)行預(yù)處理。

LMU 團(tuán)隊(duì)使用了圖像標(biāo)注器來手動(dòng)對(duì)圖像添加注釋。為了改進(jìn)深度學(xué)習(xí)模型，研究人員開發(fā)了自定義 MATLAB 腳本，通過執(zhí)行各種變換來增強(qiáng)訓(xùn)練示例，包括隨機(jī)旋轉(zhuǎn)它們和裁剪不同區(qū)域。

借助 Deep Learning Toolbox，他們訓(xùn)練了兩個(gè)用于圖像分割和分類的神經(jīng)網(wǎng)絡(luò)。第一個(gè)網(wǎng)絡(luò)是基于 Inception-ResNet-v2 的圖像分割模型，用于識(shí)別每個(gè)樣本網(wǎng)格圖塊中的單個(gè)方塊。第二個(gè)神經(jīng)網(wǎng)絡(luò)基于 DarkNet-19 模型，用于對(duì)檢測到的每個(gè)方塊的冰層厚度質(zhì)量進(jìn)行分類。研究人員使用了 Deep Learning Toolbox 中提供的預(yù)訓(xùn)練深度學(xué)習(xí)模型，并基于他們自己的樣本對(duì)這些模型進(jìn)行了微調(diào)。

通過 Parallel Computing Toolbox，LMU 團(tuán)隊(duì)能夠配置其神經(jīng)網(wǎng)絡(luò)，以利用圖形處理單元加速訓(xùn)練和推斷過程。

最后，研究人員使用了 MATLAB Compiler 將應(yīng)用程序打包為可執(zhí)行文件，以便可在任何 Windows 計(jì)算機(jī)上運(yùn)行，即使計(jì)算機(jī)上未安裝 MATLAB 也能如此。他們將該應(yīng)用程序命名為“基于人工神經(jīng)網(wǎng)絡(luò)的圖像分類和分析軟件 （ANNICAS）”。安裝后的 ANNICAS 在計(jì)算機(jī)的后臺(tái)運(yùn)行。它可以自動(dòng)監(jiān)控和分析添加到源文件夾的新圖像，并將結(jié)果存儲(chǔ)在目標(biāo)文件夾中。

除了作為科學(xué)出版物發(fā)表在 GitHub 上之外，LMU 還以開源方式公布了該項(xiàng)目，旨在幫助其他研究人員利用這項(xiàng)研究成果開展并改進(jìn)他們的工作。

結(jié)果

縮短了質(zhì)量篩查時(shí)間。

“借助 ANNICAS，我們?cè)诙潭?5 分鐘內(nèi)即可篩查 20 個(gè)樣本，”Jung 博士說道。“以前，用電子顯微鏡處理這個(gè)批量的樣本需要工作一整天。”

降低了篩查成本。

“從電子顯微鏡的運(yùn)行成本方面來講，篩查每批樣本需要花費(fèi) 4，000 到 5，000 美元，”Hohle 博士說道。“通過自動(dòng)執(zhí)行該過程，我們節(jié)省了大量成本，也讓顯微鏡騰出了更多時(shí)間處理其他重要工作。”

節(jié)省了研究人員的時(shí)間。

“手動(dòng)過程需要學(xué)生和研究人員花數(shù)小時(shí)觀察樣本并評(píng)估其質(zhì)量，”Hohle 博士說道。“采用自動(dòng)化過程后，他們就可以騰出時(shí)間處理更有意義的工作了。”