光場相機在哪些領域發(fā)揚光大？

為什么光場相機得不到普及？！

外界（特別是攝影消費者）對當下光場相機性能和前景的普遍看法，即這盛極一時的“神器”被負面看待為“雞肋”，科技媒體界甚至曾在一段時間內普遍看衰光場相機的市場價值。

所謂普及，就是指這一設備的廣泛應用，廣泛的應用意味著旺盛且龐大的需求。而在需求層面，可以分為To C （個體消費者，如攝影愛好者）和To B（企業(yè)機構）兩個方面。

本文在嘗試回答這個問題之余，也逆向探討這一個問題的反問，即光場相機究竟在什么樣的條件下可以得到普及？限制其走向大眾市場的“緊箍咒”究竟為何？后續(xù)技術進步的“大乘佛法真經(jīng)” 能否去除這一桎梏？如果可以，光場相機又會在哪些領域發(fā)揚光大？

一、 空間－視角信息折中，光場相機的阿喀琉斯之踵

就To C端而言，最大的需求源于攝影攝像，而光場相機的市場遇冷，最主要的原因還是其本身硬件系統(tǒng)的空間－視角折中設計導致其空間分辨率過低。光場相機的原理是一個微透鏡陣列被置于主透鏡和CCD/CMOS感光芯片之間 （見圖1）， 以同時得到不同視角下的場景圖片。每個微透鏡下的一個像素，對應主透鏡上的一小部分，從而代表了一個觀察視角；每個微透鏡本身則對應一個物方景象空間點。假定感光芯片像素總數(shù)為, 則其等于視角信息數(shù)目?（每個微透鏡下的像素數(shù)）與空間信息數(shù)目（微透鏡總數(shù)）的乘積，。

圖1 光場相機硬件結構圖 （Lynch, Kyle. Development of a 3-D fluid velocimetry technique based on light field imaging. Diss. 2011）

在這一原理的限制下，一個原始像素數(shù)目為5638*7728 （4357萬）像素的感光芯片，如果微透鏡下像素數(shù)目為14*14， 則最終得到的單視角圖片只有402*552（22萬）像素。這什么水平呢？用手機攝像頭的像素數(shù)目做類比，這種級別的分辨率，僅僅略優(yōu)于世界上第一款安裝攝像頭的手機，于千禧年2000發(fā)布的夏普J-SH04，就圖3這款爺爺輩的手機，攝像頭像素11萬。

這一原理性的硬件限制，極大地降低了原始感光芯片的有效利用率。而攝影愛好者對像素分辨率有著極其挑剔的訴求，就生活場景而言，要求相機千萬像素起步。為了達到纖毫畢現(xiàn)，甚至有人寧愿回歸使用膠片相機。在如此反差強烈的性能要求與供給能力對比下，光場相機敗走消費者市場就幾成定局！

由于視角－空間折中關系的存在，低空間分辨率這一問題的解決并不容易。最直接的解決方法，就是增加感光芯片的像素數(shù)目。一方面，但像素數(shù)目的增加也意味著數(shù)據(jù)存儲量的增加，使得數(shù)據(jù)的處理和計算更加麻煩。另一方面，像素數(shù)目的增加，要么是增加感光芯片的靶面積，要么是在感光芯片面積一定的條件下使得單個像素的面積變小，但兩種方法都存在各自的問題和挑戰(zhàn)。

對前者而言，感光芯片的尺寸，有著明確的行業(yè)標準，它與鏡頭的尺寸存在著適配關系，芯片的大小決定了對應鏡頭的尺寸大小，從而進一步?jīng)Q定了DOF、信噪比、動態(tài)范圍等一系列性能。簡單來說，越大的芯片意味著越沉重且昂貴的鏡頭，越淺的DOF, 越高的噪聲水平還有越明顯的漸暈效應……

如果不改變感光芯片的面積，而使單個像素的尺寸變?。üに嚨倪M步毫無疑問可以達到），則又會面臨另外一個窘境。即微透鏡尺寸的衍射效應約束以及f#（f數(shù)，fnumber）匹配關系約束。當僅考慮衍射效應的時候，微透鏡衍射光斑的尺寸為：

其中M是微透鏡的放大系數(shù)，對微透鏡可以認為其聚焦在無窮遠，即M近似于0,fnumber = 微透鏡焦距?除以微透鏡口徑, 這里不妨假定為4，即鏡頭常用的fnumber; 是光波的波長，不妨假設其為可見綠光532nm, 則衍射光斑直徑 為5.1微米。這意味著，對微透鏡而言，它的物理分辨極限為5.1微米，假設將進入微透鏡的光看作成很多根光線，那么這些光線中最細的就是的這個尺度。換而言之，像素尺寸低于這個值，就會造成硬件浪費，在微透鏡尺寸大小不變的條件下，讓像素尺寸變小，并不會提高相機的角度分辨率！這也就意味著，也無法簡單通過讓微透鏡尺寸變小，使得固定的CCD面積可以鋪滿更多的微透鏡，因為更小的微透鏡，對應著更大的衍射光斑。

而為了讓感光芯片上的像素被充分利用，微透鏡下各個方向入射光線形成的光斑尺寸需要正好等于微透鏡本身的尺寸，因此微透鏡的fnumber和主鏡頭的fnumber必須匹配。如果采取更小的微透鏡尺寸，為了匹配主鏡頭的fnumber, 微透鏡的焦距就需要更短，意味著微透鏡本身的形狀曲率更高，相應的成像像差更加嚴重。fnumber匹配讓微透鏡的硬件參數(shù)無形中又增加了一個枷鎖。

圖4 光場相機的fnumber 匹配示意圖 （Ng, Ren, et al. Light field photography with a hand-held plenoptic camera. Diss. Stanford University, 2005.）

由于上述約束關系的存在，可以不妨做一個大膽的判斷：如果保持現(xiàn)有成像系統(tǒng)結構不變，即使感光芯片的制造工藝取得長足進步，光場相機的空間分辨率也無法得到明顯改善。光場相機能在To C端被消費者接納存在前提條件，需要等到十億到百億級別的感光芯片誕生，相應的半導體計算、存儲能力也得到巨大飛躍。就目前而言，一億級別的芯片，已經(jīng)是人類工業(yè)能力的極限。

一句話以概括：光場相機的局限源于微透鏡，微透鏡的局限源于透鏡光學衍射極限。微透鏡即賦予了光場相機同時記錄光線強度和角度的能力，但也限制了其空間分辨率的提高。

二、工業(yè)檢測與醫(yī)療診斷，光場相機的兩大潛在需求爆發(fā)點

在To B方面，對光場相機沒有那么高的空間分辨率要求，光場相機可以被用作科研工具，例如顯微成像[1]、流體測速[2]和波前探測[3]等等，但這一領域的市場需求并不旺盛，無法稱得上令技術普及。因此，光場相機的大規(guī)模應用取決于工業(yè)界需求，在這一領域，其扮演的角色是類似結構光、雙目視覺一樣的深度傳感器。而與這些技術相比，光場相機具有被動視覺、成像快速、解算迅捷以及寬視場大景深的優(yōu)勢。

表1深度傳感器性能對照

在工業(yè)需求中，當下潛在巨大需求的領域主要集中以下兩個領域：工業(yè)檢測與醫(yī)療診斷。

工業(yè)檢測方面，可以分為內部探傷與外觀檢測。工業(yè)產(chǎn)品的外觀尺寸，反映了其加工誤差，不同加工環(huán)節(jié)的外觀瑕疵則反映了工序的好壞，因此工業(yè)外觀檢測在產(chǎn)品的質量控制、成本控制上舉足輕重，其重要性不言而喻。而工業(yè)外觀檢測種類繁多，工業(yè)產(chǎn)品琳瑯滿目。這兩者充分說明了光場相機的潛在市場空間十分巨大。也因此，光場相機的第一步商業(yè)實用化，是在工業(yè)外觀檢測上被落地實用。比如手機屏幕模組的瑕疵三維檢測、精密工業(yè)零件（MEMS, 燃氣輪機葉片等等）的加工誤差檢測、芯片的金屬線檢測，等等。應用案例可以參見，國內奕目科技公司的Vomma光場相機主頁。

在內部探傷領域，隨著X-ray光場成像[4]的提出，光場成像可以利用其三維立體成像優(yōu)勢，發(fā)展成為一種新的快速無損內部探傷手段，這是只能進行外觀深度探測的結構光和線激光所不具備的優(yōu)勢。

光場相機在醫(yī)療診斷也具備巨大的潛力，這里僅僅列舉若干案例。

比如光場相機作為一種深度傳感器，可以輔助手術機器人完成精準操作的微創(chuàng)手術。利用光場相機寬視場、大景深，深度信息解算迅速（100ms級別）, 光場相機可以快速定位醫(yī)療機械臂上的手術工具頭的位置，同時光場相機也可以完成目標區(qū)域人體組織的定位，比如下圖中，在光場相機的定位輔助下，手術機器人精準完成了傷口的縫合，光場相機甚至可以通過測量縫合線頭的形貌，判別縫合質量。得益于光場相機的結構緊湊型，機械臂與相機的手眼標定（即相機坐標系和機械臂的運動坐標系轉換）也更加便捷。

圖5 基于光場相機的手術機械臂 （Shademan, Azad, et al. Plenoptic cameras in surgical robotics: Calibration, registration, and evaluation. 2016.）

再比如光場相機應用于內窺鏡。由于光場相機基于被動視覺，無需輔助光源，基于光場相機的內窺鏡，可以集成到一根探頭上，而基于結構光的內窺鏡則需要兩個探頭，即光源和成像系統(tǒng)，加劇了結構的復雜度和手術操作難度 （在可以只往身體內插一根管子的時候，也沒病人希望插兩根）。光場相機與內窺鏡之間通過中繼鏡頭使得fnumber得到匹配。光場相機同時返回人體組織的深度信息和二維影像。

圖6 基于光場相機的硬式內窺鏡 （Le, Hanh ND, et al. ;3-D endoscopic imaging using plenoptic camera.2016.）

圖7 基于結構光的內窺鏡（Lin, Jianyu. ;An endoscopic structured light system using multispectral detection.2015）

再比如光場相機應用于人眼部的醫(yī)療檢測。例如虹膜的形態(tài)，除了反映人眼部健康之外，也是人其他部位生理信息的重要指標，如晚期糖尿病可引起虹膜新生血管形成，也稱虹膜紅腫，虹膜上出現(xiàn)細小血管。此外，治療良性前列腺肥大（BPH）的藥物也會改變虹膜肌張力，導致虹膜結構改變和眼部手術并發(fā)癥。針對這一問題，目前的主要檢測手段是OCT斷層掃描，還有超聲顯微鏡。但虹膜是一種動態(tài)組織，它的形狀和配置可能會隨著眼球運動而改變，OCT測著測著，沒準病人就眨眼了。超聲顯微鏡則需要給病人眼部麻醉，探頭需要和眼球直接接觸，操作也復雜。光場相機則可以避免這些問題，利用其快速成像的優(yōu)勢，檢測只需要一瞬間。

圖8 基于光場相機的虹膜檢測 a）病變的眼睛 b）虹膜上的腫瘤凸起 （Chen, Hao, et al. Human iris three-dimensional imaging at micron resolution by a micro-plenoptic camera. 2017）

再比如光場相機應用于牙齒取模。牙科診所，病人牙齒有缺損，需要用石膏對病人進行取模，患者咬住十分鐘到半小時，石膏固化后寄送給人造牙的工廠，等個十天半個月后澆筑好的牙齒再寄送到牙醫(yī)手上。但是光場成像，可以在瞬間完成牙齒三維形貌的測定。因此有希望完成快速取模，同時數(shù)據(jù)資料即時傳輸?shù)饺嗽忑X生產(chǎn)廠家，利用3D打印造出牙齒的模具或者直接打印牙齒本身，從而極大地降低取模時間，并且顯著縮短患者等待人造牙齒的時間周期。

圖9 基于光場相機的牙齒3D測量 （https://raytrix.de/）

此外，光場相機在醫(yī)療美容也可以存在應用，作為一種深度相機，可以提供整形前后的立體的外觀相對變化信息……

三、超透鏡，光場相機的必由之路

如前文所述，光場相機的低空間分辨率源于微透鏡導致的空間－視角信息折中，而微透鏡又受限于光學衍射極限，使得即使感光芯片加工工藝提高，也無法把微透鏡做得更小。這一問題難道無解？非也，超透鏡（metalens）技術，毫無疑問是解開這個限制的關鍵技術 [5]。人類技術的進步，源于兩大推動力，尺度和維度。超透鏡就是一種在尺度上通過細微結構，調整波前的技術。透鏡的作用，無非是調制波前，使得光線匯聚。從菲涅爾透鏡上我們可以看到超透鏡的邏輯，對于一個凸透鏡，去除掉透鏡中對波前調制沒有貢獻的部位，可以得到一個很薄的但功能等效的凸透鏡。這種菲涅爾透鏡中的每個細微結構，負責調制波前。由此及彼，假如一個平面上有很多的細微結構（尺度接近光波波長），每個細微結構都參與調制，就可以得到一個和凸透鏡一樣的波前調制器。這種超透鏡的最大優(yōu)勢在于，不僅結構輕薄，消除了因為透鏡厚度造成的復雜像差，更重要的是突破了衍射極限。

圖10 菲涅爾透鏡制造原理

可以大膽預測，在超透鏡技術成熟后，光場相機的下一步道路必然是采用基于超透鏡的主透鏡與微透鏡，在沒有衍射效應的束縛下，微透鏡可以越做越小，只要感光像素的尺寸可以繼續(xù)變小，微透鏡的尺寸就可以跟進變化。不僅可以有效提高光場相機的空間分辨率，視角分辨率也可以因為像素變小而提高。原本鉗制光場相機的小基線問題，也必將得到進一步緩解，成像像差也會得到改善。

簡單總結來說，光場相機的普及，在攝影群體中具有很大的難度，受限于光場相機的空間－角度信息折中關系，這一情況不會因為感光芯片的制造工藝進步而有明顯改善；而光場相機的獨特優(yōu)勢，令其在工業(yè)上被廣泛應用存在可能；同時，超鏡頭技術的出現(xiàn)以及迭代更新的感光芯片，使得光場相機的分辨率將會得到提高，從而克服現(xiàn)存的性能缺陷。

在當下的技術水平下，為了繞開折中設計這一性能陷阱，光場成像也有其他變種，比如掩碼、鬼成像等等，可以下次繼續(xù)探討，這些光場相機變種與微透鏡構型的光場相機在性能上的區(qū)別與優(yōu)劣之分。

參考文獻：

[1] Broxton, Michael, et al. Wave optics theory and 3-D deconvolution for the light field microscope. Optics express 21.21 (2013): 25418-25439.

[2] Mei, Di, et al. "High resolution volumetric dual-camera light-field PIV."Experiments in Fluids60.8 (2019): 1-21.

[3] Rodríguez-Ramos, Luis Fernando, et al. "Concepts, laboratory, and telescope test results of the plenoptic camera as a wavefront sensor."Adaptive Optics Systems III. Vol. 8447. International Society for Optics and Photonics, 2012.

[4] Viganò, Nicola. Emulation of X-ray Light-Field Cameras. Journal of Imaging 6.12 (2020): 138.

[5] Lin, Ren Jie, et al. "Achromatic metalens array for full-colour light-field imaging."Nature nanotechnology14.3 (2019): 227-231.

編輯：黃飛