計(jì)算光學(xué)成像：何來，何處，何去，何從？

摘要：計(jì)算光學(xué)成像是一種通過聯(lián)合優(yōu)化光學(xué)系統(tǒng)和信號(hào)處理以實(shí)現(xiàn)特定成像功能與特性的新興研究領(lǐng)域。它并不是光學(xué)成像和數(shù)字圖像處理的簡單補(bǔ)充，而是前端（物理域）的光學(xué)調(diào)控與后端（數(shù)字域）信息處理的有機(jī)結(jié)合，通過對(duì)照明、成像系統(tǒng)進(jìn)行光學(xué)編碼與數(shù)學(xué)建模，以計(jì)算重構(gòu)的方式獲取圖像與信息。這種新型的成像方式將有望突破傳統(tǒng)光學(xué)成像技術(shù)對(duì)光學(xué)系統(tǒng)以及探測(cè)器制造工藝、工作條件、功耗成本等因素的限制，使其在功能（相位、光譜、偏振、光場(chǎng)、相干度、折射率、三維形貌、景深延拓，模糊復(fù)原，數(shù)字重聚焦，改變觀測(cè)視角）、性能（空間分辨、時(shí)間分辨、光譜分辨、信息維度與探測(cè)靈敏度）、可靠性、可維護(hù)性等方面獲得顯著提高?，F(xiàn)階段，計(jì)算光學(xué)成像已發(fā)展為一門集幾何光學(xué)、信息光學(xué)、計(jì)算光學(xué)、現(xiàn)代信號(hào)處理等理論于一體的新興交叉技術(shù)研究領(lǐng)域，成為光學(xué)成像領(lǐng)域的國際研究重點(diǎn)和熱點(diǎn)，代表了先進(jìn)光學(xué)成像技術(shù)的未來發(fā)展方向。本文概括性地綜述了計(jì)算光學(xué)成像領(lǐng)域的歷史沿革、發(fā)展現(xiàn)狀、并展望其未來發(fā)展方向與所依賴的核心賦能技術(shù)，以求拋磚引玉。

0 引言

上帝說要有光，于是便有了光；光學(xué)“optics”一詞源自古希臘字“?πτικ?”，意為 “看見”、“視見”。三千年前，古埃及人與美索不達(dá)米亞人第一次將石英晶體磨光制成寧路德透鏡（Nimrud lens），這翻開了人類光學(xué)成像歷史的第一頁［1］。時(shí)光流轉(zhuǎn)，如今我們手持搭載潛望式長焦鏡頭與人工智能算法的智能手機(jī)就能拍攝皎潔白月與絢麗星空［2］?，F(xiàn)如今，人類享受著光學(xué)成像技術(shù)帶來的多姿多彩的絢麗生活，也一直在為了看得“更遠(yuǎn)、更廣、更清晰”這個(gè)永無止境的目標(biāo)前赴后繼。由于視覺是人類獲得客觀世界信息的主要途徑，據(jù)估計(jì)人類感知外界信息有80%是來自于視覺。而人眼由于受限于視覺性能，在時(shí)間、空間、靈敏度、光譜、分辨力等方面均存在局限性。光學(xué)成像技術(shù)利用各種光學(xué)成像系統(tǒng)，即獲取客觀景物圖像的工具，如顯微鏡、望遠(yuǎn)鏡、醫(yī)療CT、手機(jī)攝像機(jī)和照相機(jī)等（見圖1），實(shí)現(xiàn)光信息的可視化，同時(shí)延伸并擴(kuò)展人眼的視覺特性。

圖1. 常見的光電成像系統(tǒng)

一個(gè)典型的光學(xué)成像系統(tǒng)主要由光源、光學(xué)鏡頭組、光探測(cè)器三部分組成。光學(xué)鏡頭將三維場(chǎng)景目標(biāo)發(fā)出或者透/反/散射的光線聚焦在表面上，探測(cè)器像素和樣品之間通過建立一種直接的一一對(duì)應(yīng)關(guān)系來獲取圖像，光場(chǎng)的強(qiáng)度由光探測(cè)器離散采集并經(jīng)過圖像處理器數(shù)字化處理后形成計(jì)算機(jī)可顯示的圖像，整個(gè)過程如圖2所示。這種“所見即所得”的成像方式受強(qiáng)度成像機(jī)理、探測(cè)器技術(shù)水平、光學(xué)系統(tǒng)設(shè)計(jì)、成像衍射極限等因素限制以及單視角、相位丟失、光譜積分、二維平面成像等因素的制約，導(dǎo)致高維度樣品信息的缺失或丟失。此外光學(xué)鏡頭組通常需要和光學(xué)鏡片、鏡筒、光圈以及調(diào)焦系統(tǒng)等部件配合使用以獲得清晰的圖像，大大增加了成像裝置的體積和復(fù)雜度。

圖2. 傳統(tǒng)光學(xué)成像系統(tǒng)的成像過程

光學(xué)成像技術(shù)的出現(xiàn)延伸并擴(kuò)展人眼的視覺特性，其以成像分辨率（時(shí)間、空間、光譜）的提高、成像維度的拓展、探測(cè)靈敏度的提升作為技術(shù)發(fā)展目標(biāo)（圖3）。受當(dāng)今電子信息時(shí)代的影響，高性能、低成本、體積小、重量輕的光學(xué)成像系統(tǒng)越來越受到廣泛的重視與需求。商用相機(jī)和手機(jī)攝像頭因其光學(xué)系統(tǒng)結(jié)構(gòu)小巧，價(jià)格低廉，已成為人們不可或缺的日常用品。然而傳統(tǒng)光學(xué)成像系統(tǒng)因受強(qiáng)度成像機(jī)理、探測(cè)器技術(shù)水平、光學(xué)系統(tǒng)設(shè)計(jì)、成像衍射極限等因素制約，在空間分辨、時(shí)間分辨、光譜分辨、信息維度與探測(cè)靈敏度等方面仍存在一定局限性。隨著人們對(duì)成像系統(tǒng)功能與性能的不斷追求，以及軍用和民用領(lǐng)域日益增長的高分辨、高靈敏度以及多維高速成像的應(yīng)用需求，也對(duì)光學(xué)成像技術(shù)提出了更具挑戰(zhàn)性的要求：例如在顯微成像領(lǐng)域，一方面需要顯微成像系統(tǒng)能夠?qū)o色透明的生物細(xì)胞組織實(shí)現(xiàn)無標(biāo)記、多維度、高分辨、寬視場(chǎng)成像觀察，另一方面需要顯微成像系統(tǒng)能夠小型化便攜式，以滿足當(dāng)今迅速增長的即時(shí)檢驗(yàn)與遠(yuǎn)程醫(yī)療的應(yīng)用需求。在空間科技領(lǐng)域，同樣需要光學(xué)成像系統(tǒng)不斷減小重量和體積，以節(jié)省運(yùn)載空間或降低運(yùn)載成本。

在工業(yè)制造領(lǐng)域，需要視覺檢測(cè)儀要能夠?qū)崿F(xiàn)高精度、高分辨、高速實(shí)時(shí)的三維成像與傳感，以滿足快速在線檢測(cè)與機(jī)器人視覺導(dǎo)航等應(yīng)用需求。在醫(yī)療診斷領(lǐng)域，如內(nèi)窺鏡等設(shè)備，在保證清晰成像觀測(cè)的同時(shí)，需要將設(shè)備做得更小，以減輕患者的痛苦與不適。在地質(zhì)勘探領(lǐng)域，如在光線較暗的環(huán)境探測(cè)情況下，需要光學(xué)成像系統(tǒng)對(duì)光具有更高的透過率、響應(yīng)靈敏度和動(dòng)態(tài)范圍，以提高圖像的亮度與成像的信噪比。采用傳統(tǒng)光學(xué)成像系統(tǒng)設(shè)計(jì)思路想要獲得成像性能的少量提升，通常意味著硬件成本的急劇增加，甚至難以實(shí)現(xiàn)工程化應(yīng)用。另一方面，光探測(cè)器規(guī)模尺寸、像元大小、響應(yīng)靈敏度等已接近物理極限，很難滿足這些極具挑戰(zhàn)性的需求。

圖3. 光學(xué)成像技術(shù)的五方面發(fā)展目標(biāo)

隨著成像電子學(xué)的發(fā)展，計(jì)算機(jī)數(shù)據(jù)處理能力的增強(qiáng)，光場(chǎng)調(diào)控、孔徑編碼、壓縮感知、全息成像等光、電信息處理技術(shù)取得了重大的進(jìn)展；另一方面，經(jīng)過成千上萬年，自然界已經(jīng)演化出多類能夠適應(yīng)不同生存需求的生物視覺系統(tǒng)，從生物視覺系統(tǒng)中獲得靈感無疑可以對(duì)新一代光學(xué)成像技術(shù)的發(fā)展帶來有益的啟示。在此背景下，20世紀(jì)90年代中期光學(xué)成像界和計(jì)算機(jī)視覺界的許多研究人員不約而同地探索出了一種新型成像模式：即圖像形成不再僅僅依賴于光學(xué)物理器件，而是前端光學(xué)和后探測(cè)信號(hào)處理的聯(lián)合設(shè)計(jì)［3］，這種技術(shù)就是現(xiàn)在廣為人知的“計(jì)算成像”（Computational imaging）技術(shù)。計(jì)算成像將光學(xué)調(diào)控與信息處理有機(jī)結(jié)合，為突破上述傳統(tǒng)成像系統(tǒng)中的諸多限制性因素提供了新手段與新思路［3］。對(duì)于“計(jì)算成像”，目前國際上并沒有清晰的界定和嚴(yán)格的定義。目前普遍接受的一種說法是計(jì)算成像是通過光學(xué)系統(tǒng)和信號(hào)處理的有機(jī)結(jié)合與聯(lián)合優(yōu)化來實(shí)現(xiàn)特定的成像系統(tǒng)特性，它所得到的圖像或信息是二者簡單相加所不能達(dá)到的。

它可以擺脫傳統(tǒng)成像系統(tǒng)的限制，并且能夠創(chuàng)造新穎的圖像應(yīng)用［4–8］。這種成像技術(shù)的實(shí)現(xiàn)方法與傳統(tǒng)成像技術(shù)有著實(shí)質(zhì)上的差別，給光學(xué)成像領(lǐng)域注入了新的活力［9］。21世紀(jì)初，計(jì)算成像技術(shù)在斯坦福大學(xué)、麻省理工學(xué)院、哥倫比亞大學(xué)、杜克大學(xué)、南加州大學(xué)、微軟研究院等國際著名研究機(jī)構(gòu)的研究學(xué)者的推動(dòng)下得以迅猛發(fā)展，發(fā)展了波前編碼成像、光場(chǎng)成像、時(shí)間編碼成像、孔徑編碼成像、偏振成像、高光譜成像、單像素成像、結(jié)構(gòu)光三維成像、數(shù)字全息成像、無透鏡成像、定量相位成像、衍射層析成像、穿透散射介質(zhì)成像等一系列計(jì)算光學(xué)成像的新概念與新體制。近年來，光學(xué)成像技術(shù)的發(fā)展已經(jīng)由傳統(tǒng)的強(qiáng)度、彩色成像發(fā)展進(jìn)入計(jì)算光學(xué)成像時(shí)代。通過將光學(xué)系統(tǒng)的信息獲取能力與計(jì)算機(jī)的信息處理能力相結(jié)合，實(shí)現(xiàn)相位、光譜、偏振、光場(chǎng)、相干度、折射率、三維形貌等高維度視覺信息的高性能、全方位采集。現(xiàn)如今，計(jì)算光學(xué)成像已發(fā)展為一門集幾何光學(xué)、信息光學(xué)、計(jì)算光學(xué)、計(jì)算機(jī)視覺、現(xiàn)代信號(hào)處理等理論于一體的新興交叉技術(shù)研究領(lǐng)域，成為光學(xué)成像領(lǐng)域的一大國際研究重點(diǎn)和熱點(diǎn)。

這里必須說明的是：“計(jì)算成像”這個(gè)新興詞匯很容易被誤解為“計(jì)算機(jī)成像”，或者僅僅被誤認(rèn)為是“傳統(tǒng)成像”與“數(shù)字圖像處理”技術(shù)的延伸。筆者認(rèn)為這里有必要加以強(qiáng)調(diào)與區(qū)分。傳統(tǒng)光學(xué)成像是為了獲得可滿足人眼或者機(jī)器視覺要求的圖像，所以在進(jìn)行圖像采集時(shí)就需要保證獲取高質(zhì)量的圖像數(shù)據(jù)。而實(shí)際操作中由于種種原因，成像效果往往達(dá)不到理想預(yù)期，所以通常還需要借助于數(shù)字圖像處理技術(shù)對(duì)采集圖像進(jìn)行進(jìn)一步加工。從學(xué)術(shù)級(jí)的Matlab、ImageJ，到專業(yè)級(jí)的Adobe Photoshop，乃至大眾都在使用的“美圖秀秀”，都屬于典型的數(shù)字圖像處理軟件的范疇。在此過程中，光學(xué)成像過程與數(shù)字圖像處理是獨(dú)立且串行的關(guān)系，算法被認(rèn)為是后處理過程，并不納入成像系統(tǒng)設(shè)計(jì)的考慮之中，如圖4所示。這即決定了傳統(tǒng)成像技術(shù)無法從根本上通過圖像處理技術(shù)來挖掘出更多場(chǎng)景的本質(zhì)信息。簡言之，如果成像前端所獲取的圖像數(shù)據(jù)缺失或者質(zhì)量不理想（如嚴(yán)重離焦、噪聲污染），后端僅依靠圖像處理技術(shù)很難加以彌補(bǔ)。因?yàn)樾畔⒉⒉粫?huì)憑空產(chǎn)生，正所謂“巧婦難為無米之炊”。

圖4. 傳統(tǒng)數(shù)字圖像處理往往僅作為成像的后處理過程

與傳統(tǒng)光學(xué)成像系統(tǒng)“先成像，后處理”的成像方式截然不同，計(jì)算光學(xué)成像采用的是“先調(diào)制，再拍攝，最后解調(diào)”的成像方式。其將光學(xué)系統(tǒng)（照明、光學(xué)器件、光探測(cè)器）與數(shù)字圖像處理算法作為一個(gè)整體考慮，并在設(shè)計(jì)時(shí)一同進(jìn)行綜合優(yōu)化。前端成像元件與后端數(shù)據(jù)處理二者相輔相成，構(gòu)成一種“混合光學(xué)—數(shù)字計(jì)算成像系統(tǒng)”，如圖5所示。不同于傳統(tǒng)光學(xué)成像的“所見即所得”，計(jì)算光學(xué)成像通過對(duì)照明與成像系統(tǒng)人為引入可控的編碼或者“扭曲”，如結(jié)構(gòu)照明、孔徑編碼、附加光學(xué)傳函、子孔徑分割、探測(cè)器可控位移等并作為先驗(yàn)知識(shí)，目的是將物體或者場(chǎng)景更多的本質(zhì)信息調(diào)制到傳感器所能拍攝到的原始圖像信號(hào)中（又被稱作中間像，Intermediate image，因?yàn)樵搱D像往往無法直接使用或觀測(cè)）。

在解調(diào)階段，基于幾何光學(xué)、波動(dòng)光學(xué)等理論基礎(chǔ)上通過對(duì)場(chǎng)景目標(biāo)經(jīng)光學(xué)系統(tǒng)成像再到探測(cè)器這一完整圖像生成過程建立精確的正向數(shù)學(xué)模型，再經(jīng)求解該正向成像模型的“逆問題”，以計(jì)算重構(gòu)的方式來獲得場(chǎng)景目標(biāo)的高質(zhì)量的圖像或者所感興趣的其它物理信息。正如其名，“計(jì)算成像”中的圖像并不是直接拍攝到的，而是計(jì)算出來的。這種計(jì)算成像方法實(shí)質(zhì)上就是在場(chǎng)景和圖像之間建立了某種特定的聯(lián)系，這種聯(lián)系可以是線性的也可以是非線性的，可以突破一一對(duì)應(yīng)的直接采樣形式，實(shí)現(xiàn)非直接的采樣形式，使得采樣形式更加靈活，更能充分發(fā)揮不同傳感器的特點(diǎn)與性能。如果說光電成像技術(shù)延伸并擴(kuò)展了人眼的視覺特性，那么計(jì)算成像技術(shù)則進(jìn)一步延伸并擴(kuò)展光電成像器件的成像維度與探測(cè)性能。

這種新型的成像方式將有望突破傳統(tǒng)光學(xué)成像技術(shù)對(duì)光學(xué)系統(tǒng)以及探測(cè)器制造工藝、工作條件、功耗成本等因素的限制，使其在功能（相位、光譜、偏振、光場(chǎng)、相干度、折射率、三維形貌、景深延拓，模糊復(fù)原，數(shù)字重聚焦，改變觀測(cè)視角）、性能（空間分辨、時(shí)間分辨、光譜分辨、信息維度與探測(cè)靈敏度）、可靠性、可維護(hù)性等方面獲得顯著提高，有助于實(shí)現(xiàn)成像設(shè)備的高性能、微型化、智能化。

審核編輯 ：李倩