摘要:計(jì)算成像是融合光學(xué)硬件、圖像傳感器、算法軟件于一體的新一代成像技術(shù),它突破了傳統(tǒng)成像技術(shù)信息獲取深度(高動(dòng)態(tài)范圍、低照度)、廣度(光譜、光場(chǎng)、三維)的瓶頸。本文以計(jì)算成像的新設(shè)計(jì)方法、新算法和應(yīng)用場(chǎng)景為主線,通過(guò)綜合國(guó)內(nèi)外文獻(xiàn)和相關(guān)報(bào)道來(lái)梳理該領(lǐng)域的主要進(jìn)展。從端到端光學(xué)算法聯(lián)合設(shè)計(jì)、高動(dòng)態(tài)范圍成像、光場(chǎng)成像、光譜成像、無(wú)透鏡成像、低照度成像、三維成像、計(jì)算攝影等研究方向,重點(diǎn)論述計(jì)算成像領(lǐng)域的發(fā)展現(xiàn)狀、前沿動(dòng)態(tài)、熱點(diǎn)問(wèn)題和趨勢(shì)。端到端光學(xué)算法聯(lián)合設(shè)計(jì)包括了可微的衍射光學(xué)模型,折射光學(xué)模型以及基于可微光線追蹤的復(fù)雜透鏡的模型。高動(dòng)態(tài)范圍光學(xué)成像從原理到光學(xué)調(diào)制,多次曝光,多傳感器融合以及算法等層面闡述不同方法的優(yōu)點(diǎn)與缺點(diǎn)以及產(chǎn)業(yè)應(yīng)用。光場(chǎng)成像闡述了基于光場(chǎng)的三維重建技術(shù)在超分辨、深度估計(jì)和三維尺寸測(cè)量等方面國(guó)內(nèi)外的研究進(jìn)展和產(chǎn)業(yè)應(yīng)用,以及光場(chǎng)在粒子測(cè)速及三維火焰重構(gòu)領(lǐng)域的研究進(jìn)展。光譜成像闡述了當(dāng)前多通道濾光片,基于深度學(xué)習(xí)和波長(zhǎng)響應(yīng)曲線求逆問(wèn)題,以及衍射光柵,多路復(fù)用,超表面等優(yōu)化實(shí)現(xiàn)高光譜的獲取。無(wú)透鏡成像包括平面光學(xué)元件的設(shè)計(jì)和優(yōu)化,以及圖像的高質(zhì)量重建算法。低照度成像包括低照度情況下基于單幀、多幀、閃光燈、新型傳感器的圖像噪聲去除等。三維成像主要包括針對(duì)基于主動(dòng)方法的深度獲取的困難的最新的解決方案,這些困難包括強(qiáng)的環(huán)境光干擾(比如太陽(yáng)光),強(qiáng)的非直接光干擾(比如凹面的互反射,霧天的散射)等。計(jì)算攝影學(xué)是計(jì)算成像的一個(gè)分支學(xué)科,它從傳統(tǒng)攝影學(xué)發(fā)展而來(lái),更側(cè)重于使用數(shù)字計(jì)算的方式進(jìn)行圖像拍攝。在光學(xué)鏡片的物理尺寸、圖像質(zhì)量受限的情況下,如何使用合理的計(jì)算資源,繪制出用戶最滿意的圖像是其主要研究和應(yīng)用方向。
關(guān)鍵詞:端到端成像;高動(dòng)態(tài)范圍成像;光場(chǎng)成像;光譜成像;無(wú)透鏡成像;低照度成像;三維成像;計(jì)算攝影
物理空間中,有著多種維度的信息,例如光源光譜,反射光譜、偏振態(tài)、三維形態(tài)、光線角度,材料性質(zhì)等。而成像系統(tǒng)所最終成得的像最終決定于,光源光譜,光源位置,物體表面材料光學(xué)性質(zhì)如雙向投射/散射/反射分布函數(shù),物體三維形態(tài)等。然而,傳統(tǒng)的光學(xué)成像依賴于以經(jīng)驗(yàn)驅(qū)動(dòng)的光學(xué)設(shè)計(jì),旨在優(yōu)化點(diǎn)擴(kuò)散函數(shù)(Point Spread Function, PSF),調(diào)制傳遞函數(shù)(MTF)等指標(biāo),目的是使得在探測(cè)器上獲得更清晰的圖像,更真實(shí)的色彩。通常“所見(jiàn)即所得”,多維信息感知能力不足。隨著光學(xué)、新型光電器件、算法和計(jì)算資源的發(fā)展,可將它們?nèi)跒橐惑w的計(jì)算成像技術(shù)逐步解放了人們對(duì)物理空間中多維度信息感知的能力,與此同時(shí),隨著顯示技術(shù)的發(fā)展,特別是3D甚至6D電影,虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)(VR/AR)技術(shù)的發(fā)展,給多維度信息也提供了展示平臺(tái)。以目前對(duì)物理尺度限制嚴(yán)格的手機(jī)為例,使用從目前的趨勢(shì)看,手機(jī)廠商正跟學(xué)術(shù)界緊密結(jié)合。算法層面如高動(dòng)態(tài)范圍成像、低照度增強(qiáng)、色彩優(yōu)化、去馬賽克、噪聲去除甚至是重打光逐步應(yīng)用于手機(jī)中,除去傳統(tǒng)的圖像處理流程,神經(jīng)網(wǎng)絡(luò)邊緣計(jì)算在手機(jī)中日益成熟。光學(xué)層面如通過(guò)非球面乃至自由曲面透鏡優(yōu)化像差,通過(guò)優(yōu)化拜爾(Bayer)濾光片平衡進(jìn)光量和色彩。
本文圍繞端到端光學(xué)算法聯(lián)合設(shè)計(jì)、高動(dòng)態(tài)范圍成像、光場(chǎng)成像、光譜成像、無(wú)透鏡成像、偏振成像、低照度成像、主動(dòng)三維成像、計(jì)算攝影等具體實(shí)例全面闡述當(dāng)前計(jì)算成像發(fā)展現(xiàn)狀、前沿動(dòng)態(tài),熱點(diǎn)問(wèn)題、發(fā)展趨勢(shì)和應(yīng)用指導(dǎo)。任務(wù)框架如圖1所示。
圖 1 計(jì)算成像的任務(wù)
端到端光學(xué)算法聯(lián)合設(shè)計(jì)(end-to-end camera design)是近年來(lái)新興起的熱點(diǎn)分支,對(duì)一個(gè)成像系統(tǒng)而言,通過(guò)突破光學(xué)設(shè)計(jì)和圖像后處理之間的壁壘,找到光學(xué)和算法部分在硬件成本、加工可行性、體積重量、成像質(zhì)量、算法復(fù)雜度以及特殊功能間的最佳折中,從而實(shí)現(xiàn)在設(shè)計(jì)要求下的最優(yōu)方案。端到端光學(xué)算法聯(lián)合設(shè)計(jì)的突破為手機(jī)廠商、工業(yè)、車載、空天探測(cè)、國(guó)防等領(lǐng)域提供了簡(jiǎn)單化的全新解決方案,在降低光學(xué)設(shè)計(jì)對(duì)人員經(jīng)驗(yàn)依賴的同時(shí),將圖像后處理同時(shí)自動(dòng)優(yōu)化,為相機(jī)的設(shè)計(jì)提供了更多的自由度,也將輕量化、特殊功能等計(jì)算攝影問(wèn)題提供了全新的解決思路。其技術(shù)路線如圖2所示。
圖2端到端光學(xué)算法聯(lián)合設(shè)計(jì)技術(shù)路線
高動(dòng)態(tài)范圍成像(high dynamic range imaging,HDR)在計(jì)算圖形學(xué)與攝影中,是用來(lái)實(shí)現(xiàn)比普通數(shù)位圖像技術(shù)更大曝光動(dòng)態(tài)范圍(最亮和最暗細(xì)節(jié)的比率)的技術(shù)。攝影中,通常用曝光值(Exposure Value,EV)的差來(lái)描述動(dòng)態(tài)范圍,1EV對(duì)應(yīng)于兩倍的曝光比例并通常被稱為一檔(1 stops)。自然場(chǎng)景最大動(dòng)態(tài)范圍約22檔,城市夜景可達(dá)約40檔,人眼可以捕捉約10~14檔的動(dòng)態(tài)范圍。高動(dòng)態(tài)范圍成像一般指動(dòng)態(tài)范圍大于13檔或8000:1(78dB),主要包括獲取、處理、存儲(chǔ)、顯示等環(huán)節(jié)。高動(dòng)態(tài)范圍成像旨在獲取更亮和更暗處細(xì)節(jié),從而帶來(lái)更豐富的信息,更震撼的視覺(jué)沖擊力。高動(dòng)態(tài)范圍成像不僅是目前手機(jī)相機(jī)核心競(jìng)爭(zhēng)力之一,也是工業(yè)、車載相機(jī)的基本要求。其技術(shù)路線如圖3所示。
圖3高動(dòng)態(tài)范圍成像技術(shù)路線
光場(chǎng)成像(light field imaging,LFI)能夠同時(shí)記錄光線的空間位置和角度信息,是三維測(cè)量的一種新方法。經(jīng)過(guò)近些年的發(fā)展,逐漸成為一種新興的非接觸式測(cè)量技術(shù),自從攝影被發(fā)明以來(lái),圖像捕捉就涉及在場(chǎng)景的二維投影中獲取信息。然而,光場(chǎng)不僅提供二維投影,還增加了另一個(gè)維度,即到達(dá)該投影的光線的角度。光場(chǎng)擁有關(guān)于光陣列方向和場(chǎng)景二維投影的信息,并且可以實(shí)現(xiàn)不同的功能。例如,可以將投影移動(dòng)到不同的焦距,這使用戶能夠在采集后自由地重新聚焦圖像。此外,還可以更改捕獲場(chǎng)景的視角。目前已逐漸應(yīng)用于工業(yè)、虛擬現(xiàn)實(shí)、生命科學(xué)和三維流動(dòng)測(cè)試等領(lǐng)域,幫助快速獲得真實(shí)的光場(chǎng)信息和復(fù)雜三維空間信息。其技術(shù)路線如圖4所示。
圖4光場(chǎng)成像技術(shù)路線
光譜成像(spectrum imaging)由傳統(tǒng)彩色成像技術(shù)發(fā)展而來(lái),能夠獲取目標(biāo)物體的光譜信息。每個(gè)物體都有自己獨(dú)特的光譜特征,就像每個(gè)人擁有不同的指紋一樣,光譜也因此被視為目標(biāo)識(shí)別的“指紋”信息。通過(guò)獲取目標(biāo)物體在連續(xù)窄波段內(nèi)的光譜圖像,組成空間維度和光譜維度的數(shù)據(jù)立方體信息,可以極大地增強(qiáng)目標(biāo)識(shí)別和分析能力。光譜成像可作為科學(xué)研究、工程應(yīng)用的強(qiáng)有力工具,已經(jīng)廣泛應(yīng)用于軍事、工業(yè)、民用等諸多領(lǐng)域,對(duì)促進(jìn)社會(huì)經(jīng)濟(jì)發(fā)展和保障國(guó)家安全具有重要作用。例如,光譜成像對(duì)河流、沙土、植被、巖礦等地物都具有很好的識(shí)別效果,因此在精準(zhǔn)農(nóng)業(yè)、環(huán)境監(jiān)控、資源勘查、食品安全等諸多方面都具有重要應(yīng)用。特別地,光譜成像還有望用于手機(jī)、自動(dòng)駕駛汽車等終端。當(dāng)前,光譜成像已成為計(jì)算機(jī)視覺(jué)和圖形學(xué)研究的熱點(diǎn)方向之一。
無(wú)透鏡成像(lensless imaging)技術(shù)為進(jìn)一步壓縮成像系統(tǒng)的尺寸提供了一種全新的思路(Boominathan等,2022)。傳統(tǒng)的成像系統(tǒng)依賴點(diǎn)對(duì)點(diǎn)的成像模式,其系統(tǒng)極限尺寸仍受限于透鏡的焦距、孔徑、視場(chǎng)等核心指標(biāo)。無(wú)透鏡成像摒棄了傳統(tǒng)透鏡中點(diǎn)對(duì)點(diǎn)的映射模式,而是將物空間的點(diǎn)投影為像空間的特定圖案,不同物點(diǎn)在像面疊加編碼,形成了一種人眼無(wú)法識(shí)別,但計(jì)算算法可以通過(guò)解碼復(fù)原圖像信息。其在緊湊性方面具有極強(qiáng)的競(jìng)爭(zhēng)力,而且隨著解碼算法的發(fā)展,其成像分辨率也得到大大提升。因此,在可穿戴相機(jī)、便攜式顯微鏡、內(nèi)窺鏡、物聯(lián)網(wǎng)等應(yīng)用領(lǐng)域極具發(fā)展?jié)摿?。另外,其?dú)特的光學(xué)加密功能,能夠?qū)δ繕?biāo)中敏感的生物識(shí)別特征進(jìn)行有效保護(hù),在隱私保護(hù)的人工智能成像方面也具有重要意義。
低光照成像(low light imaging)也是計(jì)算攝影里的研究熱點(diǎn)一。手機(jī)攝影已經(jīng)成為了人們用來(lái)記錄生活的最常用的方式之一,手機(jī)的攝像功能也是每次發(fā)布會(huì)的看點(diǎn),夜景模式也成了各大手機(jī)廠商爭(zhēng)奪的技術(shù)制高點(diǎn)。不同手機(jī)的相機(jī)在白天的強(qiáng)光環(huán)境下拍照差異并不明顯,然而在夜晚弱光情況下則差距明顯。其原因是,成像依賴于鏡頭收集物體發(fā)出的光子,且傳感器由光電轉(zhuǎn)換、增益、模數(shù)轉(zhuǎn)換一系列過(guò)程會(huì)有不可避免的噪聲;白天光線充足,信號(hào)的信噪比高,成像質(zhì)量很高;晚上光線微弱,信號(hào)的信噪比下降數(shù)個(gè)數(shù)量級(jí),成像質(zhì)量低;部分手機(jī)搭載使用計(jì)算攝影算法的夜景模式,比如基于單幀、多幀、RYYB陣列等的去噪,有效地提高了照片的質(zhì)量。但目前依舊有很大的提升空間。低光照成像按照輸入分類可以分為單幀輸入、多幀輸入( burst imaging)、 閃光燈輔助拍攝和傳感器技術(shù),技術(shù)路線如圖2所示。技術(shù)路線如圖5所示。
圖5低光照成像技術(shù)路線
主動(dòng)三維成像(active 3D imaging)以獲取物體或場(chǎng)景的點(diǎn)云為目的,被動(dòng)方法以雙目立體匹配為代表,但難以解決無(wú)紋理區(qū)域和有重復(fù)紋理區(qū)域的深度。主動(dòng)光方法一般更為魯棒,能夠在暗處工作,且能夠得到稠密的、精確的點(diǎn)云。主動(dòng)光方法根據(jù)使用的光的性質(zhì)可分為基于光的直線傳播如結(jié)構(gòu)光,基于光速如Time-of-fligt(TOF),包括連續(xù)波TOF(iTOF)和直接TOF(dTOF),和基于光的波的性質(zhì)如干涉儀,其中前兩種方法的主動(dòng)三維成像已廣泛使用在人們的日常生活中。雖然主動(dòng)方法通過(guò)打光的方式提高了準(zhǔn)確性,但也存在由于環(huán)境光(主要是太陽(yáng)光)、多路徑干擾(又稱做非直接光干擾)引起的問(wèn)題,這些都在近些年的研究過(guò)程中有了很大的進(jìn)展,如圖6和圖7所示。
圖6抗環(huán)境光技術(shù)路線
圖7抗非直接光技術(shù)路線
計(jì)算攝影學(xué)(computational photography)是計(jì)算成像的一個(gè)分支學(xué)科,它從傳統(tǒng)攝影學(xué)發(fā)展而來(lái)。傳統(tǒng)攝影學(xué)主要著眼于使用光學(xué)器件更好地進(jìn)行成像,如佳能、索尼等相機(jī)廠商對(duì)于鏡頭的研究;與之相比,計(jì)算攝影學(xué)則更側(cè)重于使用數(shù)字計(jì)算的方式進(jìn)行圖像拍攝。在過(guò)去10年中,隨著移動(dòng)端設(shè)備計(jì)算能力的迅速發(fā)展,手機(jī)攝影逐漸成為了計(jì)算攝影學(xué)研究的主要方向:在光學(xué)鏡片的物理尺寸、成像質(zhì)量受限的情況下,如何使用合理的計(jì)算資源,繪制出用戶最滿意的圖像。計(jì)算攝影學(xué)在近年來(lái)得到了長(zhǎng)足的發(fā)展,其研究問(wèn)題的范圍也所有擴(kuò)展,如:夜空攝影、人臉重光照、照片自動(dòng)美化等。受圖像的算法,其中重點(diǎn)介紹:自動(dòng)白平衡、自動(dòng)對(duì)焦、人工景深模擬以及連拍攝影。篇幅所限,本報(bào)告中僅介紹目標(biāo)為還原拍攝真實(shí)場(chǎng)景的真實(shí)信息的相關(guān)研究。
-
圖像傳感器
+關(guān)注
關(guān)注
68文章
1827瀏覽量
129244 -
成像技術(shù)
+關(guān)注
關(guān)注
4文章
279瀏覽量
31393 -
計(jì)算
+關(guān)注
關(guān)注
2文章
437瀏覽量
38604
原文標(biāo)題:?最新綜述:計(jì)算成像前沿進(jìn)展
文章出處:【微信號(hào):vision263com,微信公眾號(hào):新機(jī)器視覺(jué)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論