計算成像技術(shù)的四方面研究概概述

1?計算成像技術(shù)簡介

計算成像技術(shù)(Computational Photograpy)[注]的目的是輸出普通相機所不能夠拍攝出的圖片。2004年斯坦福大學計算成像課程以及2005年麻省理工專題討論會上給出的定義是:?計算成像結(jié)合了大量的計算數(shù)字傳感器現(xiàn)代光學激勵器探測器以及巧妙的光線來擺脫傳統(tǒng)膠片相機的限制，并且能夠創(chuàng)造新穎的圖像應用。

本文將計算成像總結(jié)為:?計算成像是利用計算機及軟件方法，結(jié)合現(xiàn)代傳感器、現(xiàn)代光學等技術(shù)創(chuàng)造出新型成像設(shè)備及應用的綜合技術(shù)。計算成像包含的要素包括：計算機、現(xiàn)代傳感器、現(xiàn)代光學以及改進成像流程的軟件方法。以上要素不是單獨孤立存在于計算成像的，它們之間是緊密聯(lián)系相互協(xié)作的關(guān)系，計算成像技術(shù)通過在傳統(tǒng)相機中加入以上元素來改進傳統(tǒng)成像中存在的問題。

2?計算成像的研究內(nèi)容

計算成像是一個正快速發(fā)展的新興領(lǐng)域，計算成像研究的內(nèi)容比較發(fā)散，目前還沒有一個完整的分類方法，計算成像研究熱點問題主要集中在高動態(tài)范圍成像HDRI( high dynamic range imaging)圖像清晰化( imagedeblurring)擴展景深( extended depth of field photography)光場( lightfield)等方面。在計算成像領(lǐng)域有很多不同的角度和不同的方法來解決上述問題，根據(jù)這些問題進行組織與分類并不能全面了解計算成像這個新興領(lǐng)域。本文從計算場景、計算光學、計算傳感器以及計算處理四個方面介紹計算成像技術(shù)研究內(nèi)容。

2.1?計算場景

場景中光照對攝影有很大的影響，在進行攝影創(chuàng)作時往往會添加人造光源(閃光燈、外景燈)等來提升照片的藝術(shù)效果。計算成像技術(shù)則通過在場景中加入結(jié)構(gòu)化的人造光源來計算場景中拍攝物體的特性，進而更好地展現(xiàn)所拍攝的場景。

1)?閃光/非閃光圖像

閃光/非閃光圖像處理技術(shù)是在同一場景中連續(xù)拍攝一張閃光圖像和一張非閃光圖像，利用閃光圖像和非閃光圖像的特點，經(jīng)過計算處理后獲得一張高質(zhì)量圖像的技術(shù)。Petschnigg等人使用閃光圖像輔助非閃光圖像進行降噪處理得到一張柔和的清晰圖像。

2)?用于深度邊緣檢測的多閃光相機

單幅圖像提取拍攝物體的邊緣通常是通過測算物體邊緣的亮度變化得到的，然而物體與背景亮度以及顏色變化不大的情況下則很難測準物體邊緣。計算成像技術(shù)可以利用不同位置的閃光照片在物體邊緣產(chǎn)生陰影，從而對物體深度邊緣進行檢測。如圖2所示為在4個不同的位置鏡頭的上下左右閃光拍攝4張照片，通過4張不同閃光位置的照片檢測出邊緣輪廓，并用于風格化場景，以及重要特征表示。計算場景技術(shù)與單純的圖像處理相比，是通過拍攝過程的改進來解決以往圖像處理技術(shù)中的難題。

圖2?用多閃光相機進行深度邊緣檢測和風格化渲染

3)?基于投影散焦的重聚焦

從單幅照片計算出場景中物體的深度信息是非常困難的。圖3展示了投影結(jié)構(gòu)光的圖像深度圖以及重新聚焦后圖像。使用一個分光鏡分離并對齊投影儀和照相機，然后用投影儀向場景中投射帶有白點網(wǎng)格的格雷碼樣式光線。投影儀聚焦在場景中所有物體之后，當投影的光打在遠處的物體上時白點就會越來越清晰銳利，反之，白點會變大并且失焦模糊。使用區(qū)域分割法分割出不同的區(qū)域后，利用打在各個區(qū)域上的白點大小可以評估出該區(qū)域物體深度。

圖3?基于場景中投影稀疏點集散焦的重聚焦技術(shù)

4）摳圖與場景合成

在攝影創(chuàng)作時常常需要對場景中某些元素進行后期加工，如在場景中添加主體、替換圖像中不合適的部分使之更自然美觀。計算成像技術(shù)研究中一個重要部分就是對場景中主體的提取以及場景的合成。為了彌補某些圖像在拍攝時構(gòu)圖考慮不周詳?shù)纫蛩貛淼倪z憾，圖4所示為一種基于百萬圖像的場景合成方法。該方法通過在巨型數(shù)據(jù)庫中搜索與待合成圖像中缺失部分相似圖像，利用圖像合成方法進行場景合成獲得完美圖像。雖然這種方法消耗巨大的計算量，搜索時間較長，但它代表了計算場景的一個典型應用方向。

圖4?使用巨型圖像庫進行場景合成

2.2?計算光學

計算光學是計算成像技術(shù)的一個重要研究內(nèi)容。計算光學是對傳統(tǒng)相機的原理以及拍攝過程的創(chuàng)新，計算光學通過對傳統(tǒng)相機鏡頭、快門以及光圈等部件的結(jié)構(gòu)以及工作過程的改進來提升相機的性能。傳統(tǒng)相機的工作過程可以看做是對場景的一個持續(xù)編碼，而這個編碼過程的編碼器是一個固定的編碼器，在編碼過程中會損失相當一部分的頻域信息。計算光學可以看做是一種對上述編碼過程的改造技術(shù)，通過對鏡頭快門以及光圈等部件的改造，提高編碼器的帶寬，從而使相機能夠記錄更多頻域上的信息，進而提高相機的性能。

1）編碼快門相機

傳統(tǒng)相機拍攝運動物體時往往由于曝光時間長于安全快門導致物體運動模糊，如圖5( b)?所示，運動模糊圖像復原是一個著名的病態(tài)問題。計算成像在不提高光學元件性能的前提下，通過對相機快門工作過程的改造，更好地解決了運動模糊復原這一傳統(tǒng)難題，如圖5( a)?所示。這種相機在曝光過程中，鏡頭前面的快門會不停地開關(guān)動作，其開關(guān)的間隔時間是經(jīng)過預先編碼優(yōu)化設(shè)計的這樣的編碼快門可以看成是一個寬帶濾波器，使用這種相機拍攝的照片能夠更多地保留場景的高頻信息，并且將傳統(tǒng)反卷積問題轉(zhuǎn)換為良態(tài)問題( well-posedproblem)，從而恢復出清晰的照片，如圖5(c)所示。

圖5?編碼快門相機

2）編碼光圈相機

如圖6所示為使用一個編碼光圈替代傳統(tǒng)光圈形成編碼光圈相機。與編碼快門類似編碼光圈可以看作是將傳統(tǒng)光圈改進成一個寬帶濾波器。使用編碼光圈相機拍攝的照片經(jīng)過處理后可以得到高分辨率的全對焦圖像和場景深度圖。利用全對焦圖像和場景深度圖可以讓用戶在拍攝后選擇對焦點進行重新對焦，如圖7所示。

編碼光圈相機拍攝的圖像與傳統(tǒng)相機拍攝的圖像區(qū)別在于它拍攝的圖像不能夠直接用于顯示，它需要利用光場原理恢復場景信息。設(shè)計更加合理的編碼光圈和研究更有效的恢復算法是該方向的研究重點問題。相信在未來的家用相機中一定會出現(xiàn)編碼光圈的身影。

圖6?傳統(tǒng)光圈與編碼光圈

圖7?利用全對焦圖像與深度圖進行重聚焦

3）基于微鏡頭陣列的光場相機

如何通過現(xiàn)有2D傳感器獲得4D光場是光場研究的首要問題。如圖8a所示為在一個中畫幅相機的主鏡頭與傳感器中間加入一組微鏡頭陣列構(gòu)成一個可以手持拍攝光場的相機。該相機拍攝的圖像是光場通過多個微鏡頭組的重新組織與聚合該圖像根據(jù)光場理論可以恢復出不同深度的重聚焦圖像如圖8b所示。隨著每個微鏡頭下圖像分辨率的線性增長重新聚焦的圖像銳利度也呈線性增長。這種特性可以用來在不縮小光圈的情況下擴展圖像的景深并且可以保證更短的曝光時間以及更低的圖像噪聲如圖8c所示。

圖8 基于微鏡頭陣列的手持光場相機

4)?可編程成像

可編程成像技術(shù)是在光學系統(tǒng)與傳感器之間加入可編程控制器，通過對場景輻射量以及幾何參數(shù)測量來改變光學系統(tǒng)特征的技術(shù)。通過制定不同的衰減模式，它可以實現(xiàn)傳統(tǒng)相機不可能拍攝出的各種不同的新穎圖像。

（1）自適應動態(tài)范圍相機

自適應動態(tài)范圍相機針對特殊場合動態(tài)范圍變化較大情況下普通相機難以拍攝到清晰圖像的問題（如圖9（b）所示），在鏡頭前放置一塊液晶面板作為反饋控制器（如圖9（a）所示），對攝像機拍攝的圖像分析后控制液晶面板進行反饋控制，進而達到自適應動態(tài)范圍（如圖9（c）所示。

圖9?自適應動態(tài)范圍相機及效果圖

（2）數(shù)字微鏡矩陣可編程相機

數(shù)字微鏡矩陣可編程相機使用一塊微鏡矩陣作為控制器，通過對微鏡矩陣鏡子偏轉(zhuǎn)角度的編程控制達到可編程成像的目的，如圖10所示。該相機用于自適應動態(tài)范圍成像特征檢測以及目標檢測等應用。

圖10?數(shù)字微鏡矩陣可編程相機

（3）無鏡頭可控光圈編程相機

無鏡頭可控光圈編程相機使用一個可控光圈代替?zhèn)鹘y(tǒng)的鏡頭成像(如圖11所示)。因為沒有鏡頭，光圈定義了場景和圖像傳感器之間的映射，這個可編程相機搜集整個視場中的光線。該相機可以改變光圈位置來觀察不同方向的場景，避免傳統(tǒng)相機改變視場方向要移動相機的問題；它還可以編程控制來分裂視場抓拍細分圖像，細分圖像每個部分對應一個不同方向的視場，這種功能可用于對某些特定目標進行重點跟蹤。

圖11?無鏡頭可控光圈編程相機

可編程成像技術(shù)可以實現(xiàn)很多有趣的功能，達到一機多用的效果?？删幊坛上窦夹g(shù)有以下兩個優(yōu)點：用戶可以根據(jù)需要來設(shè)定特定的功能；可以針對某種特定的應用開發(fā)最適合應用的視覺圖像。但是從以上實例可以看出，可編程成像技術(shù)依然處于實驗室研究階段，在提升圖像質(zhì)量以及實用性方面還需要深入的研究。

5）壓縮成像

壓縮成像(compressed imaging)是Rice大學Richard Baraniuk和Helly領(lǐng)導的團隊提出的新的基于壓縮傳感(compressed sensing)理論的成像機制。它利用一個數(shù)字微鏡面陣列（DMD digital micromirror device )?完成對場景的線性投影，每次線性投影得到的光線通過單個傳感器完成光電轉(zhuǎn)換，得到一個線性測量數(shù)據(jù)。通過遠小于預成像分辨率的測量數(shù)進行測量并重建原始圖像。重建圖像的質(zhì)量取決于測量數(shù)據(jù)的數(shù)量。

如圖12所示，場景聚焦到DMD上，而DMD根據(jù)RNG random number generator?產(chǎn)生的偽隨機模式將入射光線反射然后聚焦到單個傳感器上，通過光電轉(zhuǎn)換形成一個測量數(shù)據(jù)。而要最終成像需要利用多個測量數(shù)據(jù)重建原始圖像。圖13展示了對64×64的場景進行壓縮成像的結(jié)果。

圖12?壓縮傳感成像系統(tǒng)

圖13?壓縮成像圖像

采用單像素傳感器加DMD方案的壓縮成像技術(shù)，一方面DMD成本相對于傳統(tǒng)矩陣傳感器的成本低；另一方面它所需的經(jīng)光電轉(zhuǎn)換得到的測量數(shù)要遠小于預成像的分辨率，相對于單傳感器掃面式的圖像采集方法有速度快的優(yōu)勢。隨著壓縮傳感技術(shù)的進一步成熟壓縮成像必將會在特定的成像領(lǐng)域發(fā)揮重要作用。

6）多相機陣列

斯坦福大學構(gòu)造了一個由128個640×480分辨率的攝像機組成的攝像機陣列用于捕獲光場圖像，如圖14所示。該攝像機陣列可以看成一個合成孔徑相機，這些相機拍攝的圖像經(jīng)過軟件處理重新聚焦后可以穿透樹叢及人群。多相機陣列在機場和火車站等人群密集區(qū)進行監(jiān)控時，將發(fā)揮出其合成孔徑優(yōu)勢，大大提高對可疑份子的追蹤能力。多相機矩陣的研究多處于實驗室研究階段。

圖14?使用剪切變形分解試圖變換的合成孔徑聚焦技術(shù)

2.3?計算傳感器

計算傳感器是使用計算機技術(shù)對傳統(tǒng)傳感器進行改進制造出新形式的傳感器。傳統(tǒng)圖像傳感器是由多個感光單元組成的2D傳感器，單獨使用2D傳感器不能捕獲4D光場。傳感器計算技術(shù)試圖通過設(shè)計新形式的計算傳感器來捕獲3D或4D信息。

1）Foveon X3直接圖像傳感器

傳統(tǒng)的CCD或CMOS傳感器通過將紅綠藍3色傳感單元按照一定的順序排列形成彩色圖像。Foveon公司研發(fā)的X3直接圖像傳感器的每個傳感單元垂直排列了紅綠藍3色傳感元件（如圖15所示）。光線經(jīng)過每層傳感元件會過濾掉相應顏色的光線，并記錄該顏色光線強度。同等像素的X3圖像感光器比傳統(tǒng)CCD銳利兩倍，提供更豐富的彩色還原度以及避免采用Bayyer Pattern傳統(tǒng)感光器所特有的色彩干擾。另外，由于每個像素提供完整的3原色信息把色彩信號組合成圖像文件的過程簡化很多，降低了對圖像處理的計算要求。在像素數(shù)量激增的時代Foveon X3傳感器雖然在像素數(shù)量上與普通傳感器相似，但獲得的圖像尺寸僅為普通傳感器的1/3，這成為Foveon X3傳感器推廣的一個重要問題。

圖15 Foveon X3直接圖像傳感器

2）?富士Super CCD SR高動態(tài)范圍傳感器

富士公司開發(fā)一種高動態(tài)范圍傳感器——超級CCD傳感器（Super CCD SR）。該傳感器在每個傳感單元內(nèi)放置2個不同敏感度的感光元件，如圖16所示，每個感光單元有兩重測量值，這些測量值經(jīng)過內(nèi)置芯片綜合后輸出一張高動態(tài)范圍圖像。

圖16?富士超級CCD

3）Pixim DPS數(shù)字像素系統(tǒng)

PDS(digital pixel system)?數(shù)字像素系統(tǒng)是美國Pixim公司在斯坦福大學AbbaselGamal教授于20世紀90年代技術(shù)的基礎(chǔ)上研發(fā)的一種新型圖像傳感系統(tǒng)。DPS技術(shù)在攝像機圖像捕捉與處理領(lǐng)域掀起了巨大的變革。傳統(tǒng)攝像機的每個像素無法根據(jù)同一場景中的強光和弱光進行調(diào)節(jié)，但DPS技術(shù)則可以使成千上萬的像素像單獨的攝像機一樣運作，并可進行自我調(diào)節(jié)。DPS每個像素上都包含一個ADC（模數(shù)轉(zhuǎn)換器），每個像素在捕捉到光信號時，ADC直接將光信號轉(zhuǎn)換為數(shù)字信號并將其放大，最大限度地節(jié)省了無效的傳輸操作，使信號衰減和色度亮度串擾降低到最小，達到快速、低噪聲的輸出視頻效果。DPS會自動消除影響成像質(zhì)量的視覺噪聲（如眩光反光），從而提供高分辨率、色彩清晰自然的圖片。

圖17 Pixim　DPS與CCD

4）DLP技術(shù)

DLP（digital lightprocessor）由DLP芯片以及周圍精密電子元件構(gòu)成。DLP芯片在1987年由德州儀器TI的Hornbeck博士發(fā)明。DLP芯片是世界上最精密的光開關(guān)。它包含一個多達200萬個安裝在鉸鏈上的微鏡矩陣（如圖（18b）所示）；每個微鏡的大小小于人頭發(fā)絲的1/5。DLP芯片的微鏡安裝在微型鉸鏈上，從而使其可以在DLP系統(tǒng)傾向光源（打開）或背離光源（關(guān)閉），進而造成像素的或明或暗。輸入半導體的比特流圖像代碼指引每個微鏡每秒開關(guān)多達數(shù)千次。

當微鏡打開次數(shù)多于關(guān)閉次數(shù)時，將反射淺灰像素，當微鏡關(guān)閉次數(shù)多于打開次數(shù)時將反射深灰像素。DLP系統(tǒng)中的微鏡可反射多達1024個灰階的像素將進入DLP芯片的視頻或圖形信號轉(zhuǎn)換成灰度級非常詳細的圖像。DLP技術(shù)可以用于高性能成像、超光譜成像、結(jié)構(gòu)照明、機器視覺以及其他方面的應用。

圖18 DLP技術(shù)

2.4　計算圖像處理

計算圖像處理技術(shù)是指在不使用特殊的光學成像設(shè)備的情況下將普通圖像編碼處理后得到新圖像的技術(shù)。計算處理技術(shù)與傳統(tǒng)的壓縮、縮放等簡單圖像處理不同，計算處理包含了更多更復雜的處理，計算處理技術(shù)編碼處理后的圖像是使用傳統(tǒng)相機所不可能得到的圖像。傳統(tǒng)相機拍攝的照片往往由于焦距、曝光時間、光圈敏感度以及噪聲問題影響了人的視覺感受以及計算機處理。計算處理技術(shù)將傳統(tǒng)相機拍攝多張不同參數(shù)的圖像進行融合重構(gòu)，形成更適合人類視覺觀看或計算機視覺更容易處理的圖像。

1）不同曝光值的圖像計算處理

由于自然場景中的動態(tài)范圍遠大于相機動態(tài)范圍，調(diào)節(jié)不同曝光值可以將場景中動態(tài)范圍分為多個區(qū)段分別捕獲。如圖19所示使用不同曝光的圖像序列組合成高動態(tài)范圍圖像，再經(jīng)過色調(diào)映射形成一幅可以在普通顯示器上顯示的高質(zhì)量圖像。

圖19?曝光融合技術(shù)

2）不同焦點的圖像計算處理

雖然某些情況下淺景深圖像能突出拍攝主題獲得更好的藝術(shù)效果，但是某些特定應用要求全視場都清晰以便對場景進行分析，這就需要對淺景深圖像進行景深擴展。單獨使用一張淺景深圖像進行景深擴展是非常困難的，計算圖像技術(shù)采用多張圖像融合的方法解決這一問題。如圖20所示將多張不同對焦距離的微距圖像合成一張各個距離全部清晰的圖像，控制相機在兩個焦點之間進行階段對焦拍攝，經(jīng)過計算處理融合成一張高質(zhì)量長景深圖像。

圖20?多焦點融合技術(shù)

3）?不同視場的圖像計算處理

使用多個相機各自拍攝或用一個相機多次拍攝大場景中的一部分然后拼接成一個大場景是計算處理技術(shù)的一個研究內(nèi)容。如圖21所示為一種使用不變量特征自動縫合技術(shù)將多張小視場圖像縫合成一張大視場全景圖像。

圖21?不同視場圖像拼接縫合處理

4 ）?多幀超分辨率

多幀圖像超分辨率是指從低分辨率的圖像序列恢復出高分辨率的圖像?；谛蛄谢蚨喾鶊D像的超分辨率增強就是利用這些不同，但相互補充的信息以及目標的先驗信息，從一系列低分辨率的圖像恢復出高分辨率的單幅圖像。如圖22所示為多幀圖像超分辨率過程示意圖，圖23為超分結(jié)果圖。

圖22?超分辨率重建過程示意圖（每類圖元代表圖像中一類信息）

a.表示一組低分辨率圖像序列，b.是處理后得到的清晰圖片

圖23?通過一組低分辨率圖像序列（頸動脈MRI圖像）得到頸動脈的清晰圖片

計算處理技術(shù)利用計算機算法來提高圖像質(zhì)量，它不用改變相機結(jié)構(gòu)卻能獲得更豐富的圖像應用，相比計算光學與計算傳感器，計算處理技術(shù)更容易實現(xiàn)。隨著算法的成熟以及數(shù)字圖像處理器的性能提高，很多計算處理技術(shù)將可以集成在數(shù)碼相機中。

3 總結(jié)與展望

計算成像并不是一個全新的技術(shù)它是對傳統(tǒng)成像技術(shù)、圖像處理技術(shù)、計算機圖形學以及計算機視覺等眾多學科領(lǐng)域研究內(nèi)容的繼承顛覆與超越，它是一個跨光學計算機電子科學等多個學科的系統(tǒng)科學。

近幾年計算成像逐漸成為一個熱門的研究領(lǐng)域，在ACM、SIGGRAPH、IEEE 、CVPR 等頂級國際會議上都有專題討論，從2009年至今，每年都舉行一屆計算成像專題國際會議IEEE International Conference onComputational Photography (ICCP)。Stanford大學已研制出用于計算成像的實驗平臺Camera2.0。

本文僅列舉了一些這個領(lǐng)域內(nèi)的典型案例。從這些典型的案例中我們可以看出，雖然計算成像的研究內(nèi)容是發(fā)散的，但目的都是一致的，那就是如何讓相機記錄更豐富的內(nèi)容讓我們有更豐富的視覺感受。計算成像領(lǐng)域已經(jīng)取得了很多令人振奮的創(chuàng)造性成果，這些成果必將會影響未來成像技術(shù)的發(fā)展方向。

審核編輯：郭婷