計(jì)算成像系統(tǒng)架起了硬件和圖像重建間的橋梁,讓很多復(fù)雜的光學(xué)成像系統(tǒng)包括斷層掃描、超分辨和相位成像等,都在計(jì)算成像的助力下得以通過對(duì)商業(yè)顯微鏡和計(jì)算重建的簡單改造而實(shí)現(xiàn)。傳統(tǒng)的方法要求用大量的測量來保證檢測質(zhì)量,但對(duì)于活細(xì)胞成像來說測量的次數(shù)則受到了細(xì)胞運(yùn)動(dòng)的限制,人們自然想知道什么樣的測量方式是最為有效的?在最新發(fā)表的論文中,來自伯克利的研究人員利用深度學(xué)習(xí)的方法得到了一種能夠最大化非線性計(jì)算成像系統(tǒng)的實(shí)驗(yàn)設(shè)計(jì)。
左圖和中圖為顯微鏡硬件附加了LED照明陣列,右圖為LED的照明模式(工作頻率100Hz)
如何設(shè)計(jì)更有效的成像方法?
標(biāo)準(zhǔn)的顯微鏡通過觀察樣本的吸收對(duì)比度來實(shí)現(xiàn)成像,但大多數(shù)生物細(xì)胞的組織吸收都很弱。雖然染料和色素可以提高對(duì)比度,但卻會(huì)對(duì)活細(xì)胞長生不良影響。計(jì)算成像使得利用其它光學(xué)特性來獲得強(qiáng)對(duì)比成像和定量測量成為可能(例如相位/折射率變化)
左邊是顯微鏡觀測細(xì)胞的吸收?qǐng)D像,右邊是通過計(jì)算成像得到的細(xì)胞相位圖像
同時(shí)可將顯微鏡的照相光源替換為可編程的LED陣列,在不同LED照明模式下的成像將會(huì)把樣本的相位信息(空間譜)編碼成強(qiáng)度信息來測量。在多次測量后(10~100)可利用這些信息定量地求解逆問題來重建樣本的相位,并很有可能超過顯微鏡原有的分辨率,或者得到三維的信息。
但由于需要多次測量,需要權(quán)衡樣本的重現(xiàn)質(zhì)量與時(shí)間分辨率。當(dāng)樣本移動(dòng)時(shí),時(shí)間分辨率不足帶來的模糊會(huì)造成成像質(zhì)量下降。為了解決這一問題,研究人員們需要尋找如何在更少的測量下獲得高精度的重建,從而改善成像的時(shí)間分辨率。但什么是LED陣列最好的照明模式?如何得到對(duì)信息最高效的編碼方式呢?
上圖是不同的照明模式下的測量結(jié)果,下部是用于圖像重建正則化的逆問題。
為LED陣列設(shè)計(jì)照明模式是復(fù)雜的問題,很多計(jì)算成像系統(tǒng)都會(huì)在硬件編碼信息和重建時(shí)引入非線性。傳統(tǒng)的設(shè)計(jì)理論幾乎都將這一過程視為了線性系統(tǒng),但這樣的假設(shè)卻無法提高非線性系統(tǒng)的測量質(zhì)量。
研究人員們從新的角度來思考了目前面臨的問題,提出了基于物理的學(xué)習(xí)設(shè)計(jì),通過學(xué)習(xí)來獲得能夠最大化系統(tǒng)性能的實(shí)驗(yàn)設(shè)計(jì)。在給定系統(tǒng)模型、計(jì)算重建和數(shù)據(jù)集的前提下學(xué)習(xí)出最佳系統(tǒng)配置來最大化系統(tǒng)性能。在這一系統(tǒng)中,LED照明陣列顯微鏡作為待優(yōu)化的硬件,而正則化的相位恢復(fù)作為計(jì)算重建目標(biāo)。由于包含了眾多的非線性過程使得傳統(tǒng)方法難以設(shè)計(jì)。
為了闡述本文的方法,研究人員利用小的仿真數(shù)據(jù)集來為量化相位成像系統(tǒng)學(xué)習(xí)出了優(yōu)秀的實(shí)驗(yàn)設(shè)計(jì),結(jié)果表明這種方法在使用小部分測量的情況下得到重建質(zhì)量達(dá)到了更復(fù)雜方法所重建的水平。
優(yōu)化實(shí)驗(yàn)設(shè)計(jì)和相位恢復(fù)
實(shí)驗(yàn)設(shè)計(jì)優(yōu)化的目標(biāo)在于最小化無偏估計(jì)器的方差(MSE)或者最大化信息。通常的方法基于方差統(tǒng)計(jì)信息的實(shí)值部分(行列式、跡)來進(jìn)行優(yōu)化,但這種方法只能對(duì)線性無偏估計(jì)器進(jìn)行優(yōu)化,但卻無法充分優(yōu)化非線性估計(jì)器。在本研究中,研究人員希望通過解正則化相位恢復(fù)問題來估計(jì)相位圖像(非線性+有偏估計(jì))。
具體來說就是希望通過最小化數(shù)據(jù)量D和先驗(yàn)p(稀疏性、總方差等)來從幾次非線性測量y中得到樣本的光學(xué)參數(shù)x
損失函數(shù)可以利用基于梯度下降法的優(yōu)化算法迭代優(yōu)化,研究人員選擇了加速近端梯度下降法(accelerated proximal gradient descent):
其中x為當(dāng)前估計(jì),μ為加速項(xiàng),w、z為中間變量,N為迭代次數(shù)。綠色為梯度更新、粉色為最鄰近更新、橘色為加速更新。
本實(shí)驗(yàn)的目標(biāo)是為非線性的計(jì)算成像系統(tǒng)學(xué)習(xí)出實(shí)驗(yàn)設(shè)計(jì)(如何最好的編碼信息),但在傳統(tǒng)方法不湊效的情況下,研究人員考慮將上述算法的迭代優(yōu)化過程展開成神經(jīng)網(wǎng)絡(luò),并將網(wǎng)絡(luò)的每一層視為優(yōu)化器的一個(gè)迭代過程。在每一個(gè)內(nèi)包含了梯度優(yōu)化、最鄰近更新和加速更新過程如下圖所示?;诖嗽O(shè)計(jì)的網(wǎng)絡(luò)結(jié)合了非線性成像過程和重建的先驗(yàn)信息。
基于物理展開的神經(jīng)網(wǎng)絡(luò),輸入多個(gè)相機(jī)測量結(jié)果C,輸出重建相位圖像x,并與基準(zhǔn)x’比較得到損失。每一層神經(jīng)元對(duì)應(yīng)著一個(gè)優(yōu)化迭代步驟。
值得一提的是近年來將圖像重建中的迭代過程進(jìn)行流程化展開已經(jīng)出現(xiàn)了很多值得注意的工作。
基于物理過程學(xué)習(xí)的設(shè)計(jì)
在這一實(shí)驗(yàn)中,需要學(xué)習(xí)的是如何調(diào)制LED的照明方式來最小化重建誤差,那么這一實(shí)驗(yàn)設(shè)計(jì)問題可以被轉(zhuǎn)換為監(jiān)督學(xué)習(xí)問題:
其中L2為相位圖像的重建誤差。為LED的照明集,即T個(gè)LED的M次照明模式集合。這些變量約束了算法生成解決方案在硬件上的可行性。由于神經(jīng)網(wǎng)絡(luò)需要學(xué)習(xí)的參數(shù)很少,這個(gè)網(wǎng)絡(luò)可以在很小的數(shù)據(jù)集(100個(gè)樣本)上高效的運(yùn)行!研究中使用了投影梯度下降法來最小化損失。
實(shí)驗(yàn)驗(yàn)證
在實(shí)驗(yàn)中,研究人員利用了100個(gè)細(xì)胞樣本來作為數(shù)據(jù)集(其中10個(gè)用于測試),最終結(jié)果表明只需要兩次測試就可以學(xué)習(xí)到實(shí)驗(yàn)設(shè)計(jì)中的參數(shù)。在下圖中研究人員比較了利用學(xué)習(xí)方法和傳統(tǒng)方法構(gòu)建出的相位圖。在極少量測量(2次)下可以得到與多次測量的驗(yàn)證方法(69次)相比米的結(jié)果。而傳統(tǒng)方法在相同測量條件下質(zhì)量已經(jīng)大幅下降了。
小鼠顯微細(xì)胞的重建結(jié)果,實(shí)驗(yàn)顯示利用基于學(xué)習(xí)的方法在僅僅兩次測量下就得到了與多次測量相比擬的結(jié)果。
結(jié)論
這一工作探索了利用深度學(xué)習(xí)來優(yōu)化非線性成像系統(tǒng)的可行性。研究人員利用監(jiān)督學(xué)習(xí)和基于物理過程展開的神經(jīng)網(wǎng)絡(luò)。在未來研究人員還將探索更為復(fù)雜的系統(tǒng)和測量手段,結(jié)構(gòu)化的方法來學(xué)習(xí)重建過程中的各個(gè)部分。這種方法啟發(fā)實(shí)驗(yàn)設(shè)計(jì)的方法、特別是測量方法的設(shè)計(jì),有希望大幅提高測量設(shè)備的時(shí)間和空間分辨率。
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4734瀏覽量
100420 -
成像系統(tǒng)
+關(guān)注
關(guān)注
2文章
191瀏覽量
13898 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5466瀏覽量
120891
原文標(biāo)題:伯克利研究人員“教會(huì)”顯微鏡如何更好的成像
文章出處:【微信號(hào):thejiangmen,微信公眾號(hào):將門創(chuàng)投】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論