傅里葉光場(chǎng)顯微成像技術(shù)—2D顯微鏡實(shí)現(xiàn)3D成像

近年來(lái)，光場(chǎng)顯微技術(shù)的應(yīng)用越來(lái)越廣泛，針對(duì)光場(chǎng)顯微鏡的改進(jìn)和優(yōu)化也不斷出現(xiàn)。目前市場(chǎng)各大品牌的2D顯微鏡比比皆是，如何在其基礎(chǔ)上實(shí)現(xiàn)三維成像一直是成像領(lǐng)域的熱門話題，本次主要討論3D成像數(shù)字成像相機(jī)的研究，即3D光場(chǎng)顯微鏡成像技術(shù)，隨著國(guó)內(nèi)外學(xué)者通過(guò)研究提出了各種光場(chǎng)顯微鏡的改進(jìn)模型，將分辨率、放大倍數(shù)等重要參量進(jìn)行了顯著優(yōu)化，大大擴(kuò)展了光場(chǎng)顯微技術(shù)的應(yīng)用領(lǐng)域。同時(shí)，由于近年來(lái)微型化集成技術(shù)的發(fā)展，微型化光場(chǎng)顯微技術(shù)也逐漸成為國(guó)內(nèi)外學(xué)者研究的熱點(diǎn)。

1

傅里葉光場(chǎng)顯微成像技術(shù)在國(guó)內(nèi)外的發(fā)展

2014年，Rober等人在核熒光顯微鏡的像平面上放置了一個(gè)微透鏡陣列，構(gòu)建了一個(gè)光場(chǎng)反卷積顯微鏡(LFDM)裝置，如圖1所示。為了克服LFM中軸向和橫向空間分辨率之間的權(quán)衡，研究團(tuán)隊(duì)通過(guò)利用記錄數(shù)據(jù)的混疊并使用適用于LFM的3D反卷積算法，有效地獲得了改進(jìn)的橫向和軸向分辨率，最終在生物樣品內(nèi)部的橫向和軸向維度上，分別實(shí)現(xiàn)了高達(dá)約1.4μm和2.6μm的有效分辨率。

圖1

2019年，我國(guó)的學(xué)者團(tuán)隊(duì)通過(guò)改變微透鏡陣列與透鏡和圖像傳感器之間的相對(duì)位置，使微透鏡陣列遠(yuǎn)離了光學(xué)系統(tǒng)的本征像面，首次提出了高分辨率光場(chǎng)顯微鏡（HR-LFM）概念，有效避免了傳統(tǒng)光場(chǎng)顯微鏡產(chǎn)生的重建偽影。同時(shí)由于微透鏡陣列的移動(dòng)，圖像傳感器不再記錄原始像平面處的圖像混疊，大大提高了成像分辨率，如圖2所示。

圖2

這一裝置廣泛應(yīng)用于活體細(xì)胞成像，三維分辨率為300nm-700nm，成像深度為幾微米，體積采集時(shí)間為毫秒級(jí)。該方法可以將線性調(diào)頻作為一種特別有用的工具，在多個(gè)時(shí)空水平上理解生物系統(tǒng)。此后隨著光場(chǎng)顯微技術(shù)的快速發(fā)展，光場(chǎng)顯微鏡產(chǎn)生了更多類型的演變，如圖1-7所示。研究人員通過(guò)在微型顯微鏡平臺(tái)上引入光場(chǎng)顯微鏡（LFM），構(gòu)建了微型化光場(chǎng)顯微鏡（MiniLFM），證明了單次掃描體積重建，如圖3所示。這是通過(guò)將微透鏡陣列（MLA）與光場(chǎng)反褶積算法相結(jié)合，將微透鏡陣列（MLA）引入到現(xiàn)有的微型鏡平臺(tái)上。然而，這種設(shè)計(jì)在多個(gè)深度上存在橫向分辨率不均勻的問(wèn)題。

圖3

2

微型化集成技術(shù)的發(fā)展

光學(xué)顯微鏡是一種在很大程度上抵制集成的技術(shù)，它通常仍然是一種體積龐大、價(jià)格昂貴的桌面儀器。在神經(jīng)科學(xué)中，顯微技術(shù)在活體動(dòng)物身上得到了廣泛的應(yīng)用，但是傳統(tǒng)顯微鏡的局限性阻礙了腦成像實(shí)驗(yàn)的范圍和規(guī)模。2011年，KunalKGhosh等人首次提出了光場(chǎng)熒光顯微鏡的微型化集成，如圖4所示。

這是一種微型集成熒光顯微鏡，由大量可生產(chǎn)部件制成，包括半導(dǎo)體光源和傳感器。該設(shè)備能夠在活躍的老鼠身上進(jìn)行0.5mm3的高速細(xì)胞成像。與高分辨率光纖顯微鏡相比，這一設(shè)備在光學(xué)靈敏度、視野、分辨率、成本和便攜性方面具有優(yōu)勢(shì)。

圖4

傳統(tǒng)的光場(chǎng)顯微鏡（LFM）同時(shí)捕獲入射光的二維空間和二維角度信息，能夠通過(guò)單個(gè)相機(jī)計(jì)算重建樣本的完整三維體積信息，如圖5所示。對(duì)于傳統(tǒng)的線性調(diào)頻，將微透鏡陣列（MLA）放置在寬視場(chǎng)顯微鏡的本征像面（NIP）上，并且光學(xué)信號(hào)以混疊方式記錄在MLA后焦平面的微透鏡上，但線性調(diào)頻的空間信息采樣模式是不均勻的，導(dǎo)致了重建偽影的出現(xiàn)。除此之外，體積重建采用波光學(xué)模型的PSF反褶積。傳統(tǒng)線性調(diào)頻的PSF在橫向和軸向尺寸上都是空間變化的，這增加了計(jì)算成本，使得重建相當(dāng)慢，不利于快速觀察動(dòng)態(tài)或功能數(shù)據(jù)。

圖5

傅里葉光場(chǎng)顯微鏡通過(guò)在透鏡和微透鏡陣列之間插入一個(gè)新的光學(xué)透鏡，首次將光學(xué)變換從時(shí)域轉(zhuǎn)入傅里葉域（FD），如圖6所示。在傅里葉頻域光學(xué)系統(tǒng)中，所有信號(hào)都可以看做不同正弦函數(shù)的疊加，因此這一光學(xué)透鏡的引入可以將入射光波變成不同頻率的單色平面波的線性組合，由于不同單色平面光具有不同的系數(shù)，即復(fù)振幅，因此后焦面上不同坐標(biāo)的光強(qiáng)分布，對(duì)應(yīng)入射光波分解成的不同頻率單色光波的功率，即位置坐標(biāo)和光的頻率是一一對(duì)應(yīng)的。來(lái)自中繼像面處圖像的光場(chǎng)被傅里葉透鏡轉(zhuǎn)換為傅里葉頻域下的光場(chǎng)，并與物鏡后瞳孔波前共軛，微透鏡陣列通過(guò)對(duì)波前分段，在單個(gè)透鏡后傳輸角度信息，從而使相機(jī)在不同區(qū)域輸出圖像。

圖6

傅里葉光場(chǎng)系統(tǒng)通過(guò)在傅里葉域（FD）中記錄4D光場(chǎng)，成像方案主要通過(guò)兩種方式對(duì)LFM進(jìn)行變換。首先，F(xiàn)D系統(tǒng)允許以一致的混疊方式分配入射光的空間和角度信息，有效地避免由于冗余而產(chǎn)生的任何偽影。第二，由于FD以并行方式處理信號(hào)，因此可以用統(tǒng)一的三維點(diǎn)擴(kuò)展函數(shù)來(lái)描述圖像形成，從而大大減少了計(jì)算成本。

3

光場(chǎng)傳播和成像模型

結(jié)合光場(chǎng)顯微技術(shù)和傅里葉變換理論的有關(guān)知識(shí)，微型化傅里葉光場(chǎng)顯微鏡的設(shè)計(jì)是在光場(chǎng)顯微鏡的基礎(chǔ)上引入一個(gè)新的光學(xué)透鏡，這一透鏡放置的位置應(yīng)遠(yuǎn)離像平面NIP處，同時(shí)應(yīng)放置在主透鏡和微透鏡陣列之前；根據(jù)微型化的實(shí)際需要，本次選用的物鏡系統(tǒng)是折射率呈梯度變化的自聚焦透鏡GRINlens。由此可以初步得出微型化傅里葉光學(xué)系統(tǒng)的主要光學(xué)結(jié)構(gòu)如圖7所示，這也是光場(chǎng)傳播和成像的主要路徑。

圖7

4

光路設(shè)計(jì)

傅里葉光場(chǎng)顯微鏡是在改進(jìn)后的高分辨率光場(chǎng)顯微鏡的基礎(chǔ)上，在透鏡和微透鏡陣列之間插入一個(gè)新的透鏡，該透鏡能將光場(chǎng)從時(shí)域轉(zhuǎn)換成頻域，起到傅里葉變換的作用。為了實(shí)現(xiàn)微型化，物鏡系統(tǒng)采用GRINlens實(shí)現(xiàn)，具體的光路原理圖如圖8所示。

圖8

5

機(jī)械系統(tǒng)整體結(jié)構(gòu)設(shè)計(jì)

本設(shè)計(jì)的光學(xué)外殼是基于傅里葉光場(chǎng)顯微鏡的微型化而產(chǎn)生的。隨著微型化集成技術(shù)的不斷發(fā)展，越來(lái)越多的學(xué)者團(tuán)隊(duì)開始研究將光場(chǎng)顯微技術(shù)與微型化技術(shù)進(jìn)行結(jié)合，也由此設(shè)計(jì)出了適用于不同光路的微型化結(jié)構(gòu)模型。如圖9所示，一學(xué)者團(tuán)隊(duì)利用GRINLENS作為物鏡系統(tǒng)，設(shè)計(jì)完成了一般光學(xué)顯微鏡和光場(chǎng)顯微鏡的微型化結(jié)構(gòu)。通過(guò)調(diào)整各元器件的相對(duì)位置，盡可能壓縮整個(gè)微型化外殼的尺寸，在微型化的同時(shí)實(shí)現(xiàn)光路設(shè)計(jì)的預(yù)期功能。

圖9

基于這一研究成果，根據(jù)所設(shè)計(jì)的微型化傅里葉光場(chǎng)顯微鏡，在原有光場(chǎng)顯微鏡微型化外殼的基礎(chǔ)上，加入一個(gè)新的凹槽，用來(lái)安放新加入的傅里葉透鏡。結(jié)合前文設(shè)計(jì)好的各元器件的尺寸參數(shù)和相對(duì)位置，結(jié)合光路預(yù)期實(shí)現(xiàn)的功能，最終設(shè)計(jì)并完成了微型化傅里葉系統(tǒng)的光學(xué)外殼結(jié)構(gòu)，具體尺寸及結(jié)構(gòu)如圖10所示。

圖10

圖11

6

總結(jié)

15年來(lái)，人們一直提出實(shí)施光場(chǎng)顯微鏡（也稱為全透視或整體顯微鏡）。光場(chǎng)顯微鏡能夠記錄厚樣品的3D信息，而無(wú)需執(zhí)行多次拍攝。通過(guò)捕獲不同的視角并使用適當(dāng)?shù)乃惴?，可以進(jìn)行深度重建（關(guān)注不同的平面）并計(jì)算樣品寬度和長(zhǎng)度上可區(qū)分部分的深度圖。隨著該技術(shù)進(jìn)一步的拓展，應(yīng)用已逐漸走向大眾并實(shí)現(xiàn)產(chǎn)品化，比如上海昊量光電代理的西班牙的DOIT 3D Micro相機(jī)如圖11所示，DOIT（數(shù)字光學(xué)成像技術(shù)）基于全能信息捕獲的范式轉(zhuǎn)變。它設(shè)計(jì)不是在圖像平面附近捕獲信息（傳統(tǒng)技術(shù)可以這樣做），而是在傅里葉平面中捕獲信息。通過(guò)這種方式，可以直接獲得正交透視，而無(wú)需任何數(shù)字處理。此外，還避免了使用小微透鏡的要求，這避免了限制傳統(tǒng)全透鏡模式分辨率的波粒二象性，通過(guò)最簡(jiǎn)單的方法讓2D顯微鏡實(shí)現(xiàn)3D成像如圖12所示。