計算光學成像技術的基本概念、內涵和優(yōu)勢

Part.1、引言

人類感知客觀世界的信息，有90%來源于視覺，而光學成像技術的發(fā)展則大大擴展了人類的視覺能力，使之能上觀百億光年之外的天體運行、下察比頭發(fā)絲直徑還小萬倍的分子結構。事實上，只要大家看看自己的智能手機，就能意識到光學成像技術與我們工作生活相關的密切程度。計算光學成像是光學成像與最優(yōu)化算法、人工智能、信息論等多學科交叉研究方向，吸引著越來越多學術和工業(yè)界人員的興趣。但我們在與同行交流的過程中，也發(fā)現(xiàn)有不少人認為這是數(shù)字圖像處理技術。為了澄清這些誤解，本文將簡單介紹計算光學成像技術的基本概念、內涵和優(yōu)勢。

Part.2、計算光學成像

計算光學成像，顧名思義，是把“計算”融入到光學圖像形成過程中任何一個或者多個環(huán)節(jié)的一類新型的成像技術或系統(tǒng)。光學圖像的形成與場景/物體的照明模式、系統(tǒng)的光學傳遞函數(shù)、像感器的采樣三個因素息息相關。計算通常以編碼的形式體現(xiàn)在這三個環(huán)節(jié)當中，對系統(tǒng)的物面、光瞳面和像面（或其共軛面）上的光場進行編碼調制，形成編碼照明、編碼孔徑、編碼像感（圖1）。

圖1. 傳統(tǒng)光學成像(a)與計算光學成像(b)的對比示意圖

在硬件上，這些編碼通?？梢詫ｉT制作編碼板（如微透鏡陣列、微偏振片陣列）或者更靈活的可編程控制的空間光調制器（如DMD、LCOS、MEMS、LED陣列），甚至利用光波本身的物理屬性（如衍射、相干疊加）來實現(xiàn)；在功能上，編碼調制可以作用于光場的光強、相位、偏振、光譜等要素。顯然，這些編碼器件和函數(shù)的引入會導致幾何光學意義下光學成像系統(tǒng)“點到點”物像關系不再滿足。也即是說，在像感器上所成的像并非“所見即所得”的幾何光學像，而是經過“編碼”后的光強分布，因而需要用適當?shù)臄?shù)學算法來“計算重建”場景/物體的圖像。因此，計算光學成像系統(tǒng)的設計需要根據(jù)具體的成像任務在光學和算法兩方面進行聯(lián)合優(yōu)化。而數(shù)字圖像處理技術僅對傳統(tǒng)光學成像系統(tǒng)獲取到的圖像進行后處理（如去噪、像素超分、背景虛化）以獲得更好的視覺效果。

Part.3、計算光學成像的技術優(yōu)勢

通過光學與算法的聯(lián)合優(yōu)化設計，計算光學成像技術的優(yōu)勢是全方位的（圖2）。根據(jù)具體的成像任務,計算光學成像技術能擴展成像要素，對光場的相位/傳播方向、相空間、偏振態(tài)、光譜、時間等參量進行成像；也能提升成像性能，可實現(xiàn)分辨率、視場、景深和動態(tài)范圍的提升；也能通過去除透鏡等方式簡化成像系統(tǒng)；甚至在低光照、強散射、存在遮擋物等傳統(tǒng)光學成像技術難以應對的環(huán)境里，都能獲得出色的表現(xiàn)。

圖2. 計算光學成像技術的優(yōu)勢列表

Part.4、計算光學成像中的逆問題及算法

如前所述，因為編碼的引入，像感器探測的結果往往不是“所見即所得”的，因而要使用算法從編碼探測光強計算重建出物體的圖像。實際上，編碼探測過程即正向過程可以簡單描述為：

其中，x表示待測物體，H(?)表示整個成像系統(tǒng)的編碼探測過程（包含各類噪聲），y為實際探測結果。使用算法重構圖像即通過逆向過程實現(xiàn)的推理，這是一個典型的逆問題。

由于探測過程不可避免的存在信息丟失，上述逆問題往往是病態(tài)的，這將導致解的不唯一性，即直接根據(jù)y無法唯一確定一個x。

常見的逆問題求解算法可分為以下四類：

1、基于模型的方法

當成像的模型已知時，可以用這類算法來求解。其核心思路是：通過迭代優(yōu)化的方式，尋找同時滿足探測信號約束和物體先驗約束的結果。其數(shù)學表達式為：

由于逆問題的病態(tài)性，滿足探測信號約束

（也稱為數(shù)據(jù)擬合項）的結果有很多，通過手動設計正則項引入諸如稀疏、平滑、支持域等先驗約束，可以從眾多可行解中挑選“最優(yōu)解”[2]。最小二乘法、壓縮感知算法等都屬于此類方法。

2、數(shù)據(jù)驅動方法

當成像的模型難以建立時，可以利用多層神經網(wǎng)絡Rθ從大量數(shù)據(jù)中學習豐富的隱式先驗信息，然后利用所得參數(shù)模型完成y到x的映射，即。該方法能夠解決傳統(tǒng)優(yōu)化算法無法解決的一些極端環(huán)境成像問題（如強散射、極弱光），而且這種方法還是非迭代的，能夠實現(xiàn)實時成像[3]。但是，該方法也面臨數(shù)據(jù)獲取困難、泛化性及可解釋性差等問題。

3、數(shù)據(jù)和模型聯(lián)合驅動的方法

當成像的模型已知時，可將其融入深度學習算法中，從而聯(lián)合使用物理先驗和數(shù)據(jù)先驗。一些聯(lián)合驅動方法將數(shù)據(jù)預訓練網(wǎng)絡作為模型驅動優(yōu)化算法的正則項，包括基于生成網(wǎng)絡引入數(shù)據(jù)分布先驗（僅在該分布下迭代尋優(yōu)）、基于去噪網(wǎng)絡對迭代搜索結果進行約束等；也可直接使用模型對數(shù)據(jù)預訓練網(wǎng)絡進行微調，此時網(wǎng)絡可快速輸出重構結果，若其中出現(xiàn)偽影，再通過模型驅動的方式微調網(wǎng)絡參數(shù)，兼顧數(shù)據(jù)驅動方法的時效性和模型驅動優(yōu)化算法的普適性[4]。這類方法通過協(xié)同使用模型與數(shù)據(jù)，有望解決傳統(tǒng)模型驅動與數(shù)據(jù)驅動方法的瓶頸問題，從而促進計算光學成像技術的實際應用。

4、光學神經網(wǎng)絡方法

此前介紹的重構算法都是對數(shù)字信號進行處理，而基于光學重構的方法可直接處理模擬信號。該方法首先通過數(shù)字計算獲得用于處理模擬信號的光學模型（如光神經網(wǎng)絡），然后定制加工實體，再將其置于成像系統(tǒng)中處理光信號，從而獲得成像結果。這種基于先數(shù)字設計再光學處理的方法將圖像重構速度提升至光速，且在重構過程不需要使用計算機，具有低功耗的特點[5]。

Part.5、若干典型的計算光學成像技術

下面，我們將列舉若干典型的計算光學成像技術。

1、透過散射介質成像

傳統(tǒng)成像利用透鏡將物點發(fā)出的光再次匯聚為像點，然而當成像路徑上存在云、霧、煙、塵、霾、生物組織等隨機散射介質時，由于光波前因散射而擾亂，傳統(tǒng)的光學成像方法難以應對。計算光學成像技術為解決這一難題提供了若干新思路，可以通過波前編碼、數(shù)字全息、散斑的記憶效應、深度學習等方法實現(xiàn)透過散射介質成像（圖3）。

圖3.透過散射介質成像的若干典型方法[6]

2、三維成像

我們生活在三維世界中，而傳統(tǒng)成像會將場景中不同深度的圖像耦合到一幅二維平面圖像中，丟失了物體距離觀測面的距離即深度信息（圖4）。三維成像技術通過設計主動（如結構光照明、激光雷達等）或被動（如雙目視覺、編碼孔徑）的編碼方式，使得位于不同深度的物體具有不同的強度響應，從而實現(xiàn)深度信息的獲取。該技術在自動駕駛、遙感等領域具有廣泛的應用前景。

3、多光譜成像

物質在不同波段下的響應能夠很好的表征其屬性，就像指紋一樣。傳統(tǒng)彩色相機只能獲得幾個譜段耦合的圖像，因而無法準確獲得物質的光譜特征。傳統(tǒng)光譜儀需要進行逐點掃描，其信息獲取效率受到了極大地限制。光譜成像技術通過棱鏡分光和孔徑編碼，對不同波段的信息進行編碼，然后利用重構算法解算不同光譜通道的結構信息，能夠通過單次曝光就能實現(xiàn)多譜段圖像重建。

圖5. RGB圖像與多光譜圖像[8]

4、無透鏡成像

透鏡是傳統(tǒng)成像系統(tǒng)中的基本元件，是導致單反相機笨重且昂貴、手機攝像頭凸起的“罪魁禍首”。無透鏡成像技術通過使用非常規(guī)“透鏡”（也可直接空間自由傳播），如菲涅爾波帶片、優(yōu)化設計的透明薄片等，結合重構算法，實現(xiàn)（逼近）復雜透鏡組方能實現(xiàn)的成像效果。該技術能夠大幅減少系統(tǒng)的空間體積和重量，對于實現(xiàn)商業(yè)產品的輕薄化具有重要意義。

5、單像素成像

傳統(tǒng)成像使用千萬像素的面陣像感器對光場強度進行采樣，此時攜帶物體信息的光被分到眾多像素單元，為保證成像質量，往往需要保證較高的光照度。此外，由于工藝的限制，在一些特殊波段如X-ray、THz，人們難以制備高像素分辨的面陣像感器。單像素成像通過使用DMD、SLM、LED、旋轉的毛玻璃等調制器件實現(xiàn)多次二維空間圖像信息編碼，并使用僅具有單個像素的探測器獲得一維時序光強漲落信號，然后利用算法重構獲得二維圖像。由于所有光子都被一個像素收集且單個像素的探測器容易制備，單像素成像具有探測靈敏度高、適用于特殊波段成像的優(yōu)勢。

圖7. 面陣探測與單像素探測[10]

Part.6、結束語

計算光學成像新機制、新算法、新問題不斷涌現(xiàn)，已然成為光學工程領域的一個熱門研究方向。國內外從事相關研究的科研工作者越來越多，也正是在整個領域的推動下，該方向正在逐步邁入實用化、智能化的發(fā)展階段。本文僅能如蜻蜓點水般交代其基本概念和內涵，感興趣的讀者可以閱讀最近出版的一些中外文獻[3, 11,12]，以獲得對具體的專題更深入的了解。我們也相信在不久的將來，計算光學成像技術將在光信息感知問題中廣泛應用，并為科研、醫(yī)療、安防、工業(yè)、交通等領域帶來新的機遇。

審核編輯：郭婷