開發(fā)深度學(xué)習(xí)系統(tǒng)：基于人工神經(jīng)網(wǎng)絡(luò)的圖像分類和分析軟件 (ANNICAS)

慕尼黑路德維希·馬克西米利安大學(xué) （LMU） 的基因中心使用冷凍電子顯微鏡 （cryo-EM） 來檢查蛋白質(zhì)和生物復(fù)合物的結(jié)構(gòu)。在此過程中需要仔細(xì)篩查冷凍網(wǎng)格樣本的冰層厚度，即測量樣本質(zhì)量。如果此篩查使用電子顯微鏡執(zhí)行，則不僅速度很慢，而且成本也很高昂。

最近，顯微鏡專家 Christophe Jung 博士和 LMU 基因中心的數(shù)學(xué)和物理講師 Markus Hohle 博士使用 MATLAB 攜手開發(fā)了一款深度學(xué)習(xí)工具，可以通過分析彩色相機拍攝的圖像來確定冷凍網(wǎng)格樣本的厚度。該工具首先通過深度學(xué)習(xí)篩查冷凍樣本，然后識別最佳樣本并將其發(fā)送到電子顯微鏡進行更仔細(xì)的檢查，從而幫助 LMU 的研究人員節(jié)省了時間和金錢。

現(xiàn)在，您也可以通過點擊“閱讀原文”，在 GitHub 上獲取這個工具。

“我們用 MATLAB 構(gòu)建的深度學(xué)習(xí)工具已經(jīng)改變了我們實驗室研究工作的方式，”Hohle 博士說道?！皬姶蟮膶I(yè)支持和高效的培訓(xùn)材料促使我們選擇了 MATLAB，而不是其他軟件?！?/p>

用于進行快速網(wǎng)絡(luò)篩查的寬場光學(xué)顯微鏡。

挑戰(zhàn)

一臺電子顯微鏡設(shè)備的安置成本高達(dá) 300 到 500 萬美元，每日運行成本也達(dá)到了 4，000 到 5，000 美元，這使得許多個人研究小組無力承擔(dān)。此外，由于需要檢查的樣本太多，顯微鏡經(jīng)常因超額預(yù)訂而無法得到即時使用。

用電子顯微鏡篩查樣本質(zhì)量的速度也很慢。而且，必須對每個網(wǎng)格圖塊單獨成像，并針對冰層厚度質(zhì)量對其進行評估。根據(jù)電子顯微鏡圖像對冰層厚度進行視覺評估需要豐富的經(jīng)驗，所得的結(jié)果可能因各個研究人員而異。即使采用自動化的樣本加載和采集方法，電子顯微鏡每天也只能篩查 12 個網(wǎng)格，遠(yuǎn)遠(yuǎn)低于檢查幾十個樣本的需求量。

以前，他們嘗試過自動執(zhí)行篩查過程，包括嘗試使用深度學(xué)習(xí)算法。然而，這些措施都依賴從電子顯微鏡獲得的圖像，這并沒有加速篩查過程。

LMU 基因中心的研究人員希望創(chuàng)建一種篩查方法，以便能夠基于彩色相機拍攝的圖像確定樣本的質(zhì)量。這樣，他們便能夠在較便宜的硬件上完成部分篩查過程，從而減少電子顯微鏡的負(fù)荷和運行成本。

解決方案

LMU 團隊使用干涉顯微鏡和彩色相機拍攝了 650 張冷凍電子顯微鏡樣本圖像，總共包含 4，000 個圖塊。他們使用了 Image Processing Toolbox 將這些圖像導(dǎo)入 MATLAB 中并對其執(zhí)行預(yù)處理。

LMU 團隊使用了圖像標(biāo)注器來手動對圖像添加注釋。為了改進深度學(xué)習(xí)模型，研究人員開發(fā)了自定義 MATLAB 腳本，通過執(zhí)行各種變換來增強訓(xùn)練示例，包括隨機旋轉(zhuǎn)它們和裁剪不同區(qū)域。

借助 Deep Learning Toolbox，他們訓(xùn)練了兩個用于圖像分割和分類的神經(jīng)網(wǎng)絡(luò)。第一個網(wǎng)絡(luò)是基于 Inception-ResNet-v2 的圖像分割模型，用于識別每個樣本網(wǎng)格圖塊中的單個方塊。第二個神經(jīng)網(wǎng)絡(luò)基于 DarkNet-19 模型，用于對檢測到的每個方塊的冰層厚度質(zhì)量進行分類。研究人員使用了 Deep Learning Toolbox 中提供的預(yù)訓(xùn)練深度學(xué)習(xí)模型，并基于他們自己的樣本對這些模型進行了微調(diào)。

通過 Parallel Computing Toolbox，LMU 團隊能夠配置其神經(jīng)網(wǎng)絡(luò)，以利用圖形處理單元加速訓(xùn)練和推斷過程。

最后，研究人員使用了 MATLAB Compiler 將應(yīng)用程序打包為可執(zhí)行文件，以便可在任何 Windows 計算機上運行，即使計算機上未安裝 MATLAB 也能如此。他們將該應(yīng)用程序命名為“基于人工神經(jīng)網(wǎng)絡(luò)的圖像分類和分析軟件 （ANNICAS）”。安裝后的 ANNICAS 在計算機的后臺運行。它可以自動監(jiān)控和分析添加到源文件夾的新圖像，并將結(jié)果存儲在目標(biāo)文件夾中。

除了作為科學(xué)出版物發(fā)表在 GitHub 上之外，LMU 還以開源方式公布了該項目，旨在幫助其他研究人員利用這項研究成果開展并改進他們的工作。

結(jié)果

縮短了質(zhì)量篩查時間。

“借助 ANNICAS，我們在短短 5 分鐘內(nèi)即可篩查 20 個樣本，”Jung 博士說道?！耙郧埃秒娮语@微鏡處理這個批量的樣本需要工作一整天?！?/p>

降低了篩查成本。

“從電子顯微鏡的運行成本方面來講，篩查每批樣本需要花費 4，000 到 5，000 美元，”Hohle 博士說道?！巴ㄟ^自動執(zhí)行該過程，我們節(jié)省了大量成本，也讓顯微鏡騰出了更多時間處理其他重要工作。”

節(jié)省了研究人員的時間。

“手動過程需要學(xué)生和研究人員花數(shù)小時觀察樣本并評估其質(zhì)量，”Hohle 博士說道?！安捎米詣踊^程后，他們就可以騰出時間處理更有意義的工作了?！?/p>