陣列型光場(chǎng)相機(jī)實(shí)現(xiàn)圖像遮擋物移除實(shí)驗(yàn)研究

摘要：針對(duì)光路中前景遮擋物影響感興趣信息采集的問題，本文對(duì)應(yīng)用相機(jī)陣列的遮擋物移除算法進(jìn)行實(shí)驗(yàn)研究。用陣列型光場(chǎng)相機(jī)采集四維光場(chǎng)數(shù)據(jù)，然后用數(shù)字重聚焦技術(shù)進(jìn)行不同深度的重聚焦，突出目標(biāo)物細(xì)節(jié)特征。利用圖像重構(gòu)技術(shù)合成子圖像陣列，選擇最小誤差閾值分割法標(biāo)記遮擋物區(qū)域并復(fù)現(xiàn)原圖像的細(xì)節(jié)特征。實(shí)驗(yàn)結(jié)果證明了應(yīng)用陣列型光場(chǎng)相機(jī)移除遮擋物的可行性，及其改善圖像質(zhì)量、復(fù)現(xiàn)遮擋區(qū)域圖像、提高圖像可讀性、降低噪聲影響的能力。依據(jù)無(wú)參考的圖像質(zhì)量評(píng)價(jià)指標(biāo)，本文算法在重構(gòu)圖像質(zhì)量上SNR與PSNR分別提升了17.3%與77.6%。
? ? ? ? 01 引言

? 在計(jì)算機(jī)視覺領(lǐng)域中，目標(biāo)物前出現(xiàn)遮擋與目標(biāo)物出現(xiàn)混疊時(shí)都會(huì)對(duì)數(shù)據(jù)采集造成影響。多數(shù)傳統(tǒng)相機(jī)設(shè)備采集數(shù)據(jù)時(shí)僅可以記錄場(chǎng)景的二維信息，當(dāng)目標(biāo)物前出現(xiàn)遮擋時(shí)，單視角成像設(shè)備在數(shù)據(jù)采集時(shí)由于遮擋物的影響，會(huì)造成信息的大量丟失。多視角的合成孔徑技術(shù)則可以同時(shí)記錄空間中光線的四維信息，包括方向信息與角度信息［1］，利用更高維度的信息量減少遮擋物帶來(lái)的影響。相機(jī)陣列法以斯坦福大學(xué)提出的 128 臺(tái)相機(jī)陣列為代表，相機(jī)采用不同的排列方式，獲得多種不同角度的子圖像陣列，同時(shí)利用相機(jī)陣列的景深特點(diǎn)，通過(guò)數(shù)字重聚焦技術(shù)與合成孔徑技術(shù)可實(shí)現(xiàn)類似“透視”的效果［2］。相機(jī)陣列相比于傳統(tǒng)相機(jī)多記錄了兩個(gè)維度的信息，為后續(xù)有效地移除遮擋物、獲得高還原度的目標(biāo)信息提供了理論基礎(chǔ)。

? 近年來(lái)，去遮擋物算法被國(guó)內(nèi)外眾多學(xué)者廣泛研究，并提出了具有高參考價(jià)值的理論。劉嚴(yán)羊碩等［3］提出一種先利用EPI的邊緣特征估計(jì)景深范圍，再進(jìn)行光場(chǎng)重建的算法。此方法需要遮擋物與目標(biāo)物存在明顯不同的深度特性，否則影響遮擋物的識(shí)別與移除。張世輝等［4］提出一種利用隨機(jī)森林檢測(cè)深度圖像中遮擋物的方法。其方法是基于機(jī)器學(xué)習(xí)思想，在圖像檢測(cè)時(shí)需要選擇通用性較好的夾角特性。陳先鋒等［5］提出一種基于先驗(yàn)信息的去遮擋物算法。該方法對(duì)遮擋區(qū)域具有低敏感度，對(duì)于非遮擋區(qū)域具有高敏感度的特性。劉潤(rùn)興等［6］提出一種聚焦式光場(chǎng)去混疊的方法移除遮擋。此方法對(duì)圖像合成有較為良好的改善，但計(jì)算量大，實(shí)時(shí)性還有待提高。Bobick等［7］提出了加入順序約束條件的動(dòng)態(tài)規(guī)劃算法。該方法受限于物體的大小，無(wú)法有效處理孔狀和窄物體區(qū)域。Egnal等［8］基于唯一性約束條件提出交叉驗(yàn)證算法，受限于唯一性約束，該方法無(wú)法使用在水平傾斜表面。

? 遮擋物移除算法大多著重于遮擋物移除的完全性和精確性，忽略了重構(gòu)圖像的質(zhì)量，不利于圖像細(xì)節(jié)部分的還原。本文提出一種應(yīng)用相機(jī)陣列系統(tǒng)，基于光場(chǎng)數(shù)據(jù)采集與數(shù)字重聚焦技術(shù)，并通過(guò)SEEQ圖像質(zhì)量評(píng)價(jià)算法評(píng)估圖像質(zhì)量從而選擇最佳的傾斜因子，并利用最小誤差法分割遮擋物，最后通過(guò)圖像增強(qiáng)與形態(tài)學(xué)處理還原完整的目標(biāo)圖像的方法。遮擋物移除技術(shù)在國(guó)防軍事、公共安全、航天遙感等領(lǐng)域都有著很好的發(fā)展前景。

? 02 基于相機(jī)陣列的遮擋物移除算法

? 本文首先利用數(shù)字重聚焦技術(shù)，根據(jù)遮擋物與目標(biāo)物體深度上的不同選擇合適的深度重聚焦，突出目標(biāo)物體細(xì)節(jié)信息。根據(jù)子圖像陣列與相機(jī)陣列的位置關(guān)系，利用幾何特征連續(xù)迭代選擇效果最佳的傾斜因子，得到重構(gòu)圖像。利用最小誤差法選擇合理的閾值進(jìn)行遮擋區(qū)域的分割。最后移除遮擋區(qū)域像素，恢復(fù)目標(biāo)物圖像的細(xì)節(jié)信息，具體流程如圖1所示。

?2.1光場(chǎng)成像與數(shù)字重聚焦

? 如圖2所示，本文采用雙平面參數(shù)法來(lái)表征光場(chǎng)。該方法依據(jù)Levoy等［1］提出的光場(chǎng)渲染理論，分別在主透鏡與傳感器處建立兩個(gè)二維平面，設(shè)一條同時(shí)穿過(guò)兩個(gè)平面的光線，分別交兩個(gè)平面于（u，v）和（s，t）兩點(diǎn)，由（u，v）和（s，t）描述這條光線的二維位置信息與二維方向信息，光線與主透鏡平面和傳感器平面相交的兩坐標(biāo)點(diǎn)共同構(gòu)成了光場(chǎng)的四維函數(shù)L（u，v，s，t），其中函數(shù)值L是光線的輻射通量。?

應(yīng)用光場(chǎng)數(shù)字重聚焦技術(shù)可以做到先利用陣列相機(jī)采集信息，再根據(jù)目標(biāo)物與遮擋物的深度特性進(jìn)行數(shù)據(jù)重聚焦，利用相機(jī)的景深特性可以有效突出目標(biāo)物的細(xì)節(jié)信息，減小障礙物帶來(lái)的影響［9］。這里將光場(chǎng)成像系統(tǒng)中的光線用四維光場(chǎng)函數(shù) L（u，v，s，t）表征［10］，其中u-v面是光學(xué)系統(tǒng)主平面，s-t面是探測(cè)器所在平面，L（u，v，s，t）代表給定光線的光輻射量，下標(biāo)F代表上述兩平面間的距離，像面上接受到的輻射量可表示為
?

? 在此基礎(chǔ)上，通過(guò)積分求解可以得到一幅數(shù)字圖像。由于透鏡平面和探測(cè)器平面定義的光場(chǎng)函數(shù)與透鏡平面和重聚焦平面定義的光場(chǎng)函數(shù)之間的關(guān)系可以通過(guò)構(gòu)建相似三角形的幾何變換得到，四維光場(chǎng)函數(shù)在空間中的傳播可以表示為

? 在這里α為兩相似三角形的比例系數(shù)，調(diào)整比例系數(shù)的大小控制重聚焦的深度。

? 2.2傾斜因子的確定

? 單視角相機(jī)僅記錄二維信息，在面對(duì)感興趣區(qū)域被遮擋時(shí)具有較大的局限性［12］，面對(duì)動(dòng)態(tài)的目標(biāo)物時(shí)可采用連續(xù)多次拍攝的方式來(lái)復(fù)現(xiàn)目標(biāo)物，但面對(duì)目標(biāo)物與遮擋物都為靜態(tài)的情況，應(yīng)用單視角相機(jī)移除遮擋物則十分困難。然而使用多視角合成孔徑技術(shù)可以利用光場(chǎng)成像獲得豐富的四維信息，為遮擋物的移除提供基礎(chǔ)。通過(guò)相機(jī)陣列采集子孔徑圖像集，選取中心圖像并使其他圖形根據(jù)視差的幾何關(guān)系進(jìn)行平移。根據(jù)幾何關(guān)系選擇合適的傾斜因子重構(gòu)圖像，當(dāng)子圖像經(jīng)過(guò)聯(lián)合位移后，選擇不同傾斜因子的狀態(tài)會(huì)有所不同，導(dǎo)致重構(gòu)圖像輪廓不清晰。

? 如圖3所示，本文假設(shè)同一排陣列相機(jī)鏡頭間距為Δm，其中第i的相機(jī)相對(duì)坐標(biāo)原點(diǎn)的位置為mi并建立坐標(biāo)系表征傾斜因子，根據(jù)幾何關(guān)系有

? 其中：θ為傾斜因子，Δθ為兩圖像沿n軸方向的間距，這里定義則有Δn=1，tanθn=Δm。

? 其中：σ為修正因子，本文中取σ=0.008多次迭代尋找重構(gòu)效果最好的傾斜因子。

?

2.3圖像重構(gòu)及其質(zhì)量分析

? 劉利雄等［11］提出了一個(gè)有效的通用無(wú)參考（NR）圖像質(zhì)量評(píng)估（IQA）模型，該模型利用畸變圖像的局部空間和光譜熵特征。采用一個(gè)基于失真分類和質(zhì)量評(píng)估的兩階段框架，利用支持向量機(jī)（SVM）訓(xùn)練圖像失真和質(zhì)量預(yù)測(cè)引擎。被稱為基于空間光譜熵的質(zhì)量指數(shù)（SSEQ），能夠跨多個(gè)失真類別評(píng)估失真圖像的質(zhì)量。其中空間熵為

? 其中：x是塊內(nèi)的像素值，p（x）為經(jīng)驗(yàn)概率密度。失真的引入會(huì)導(dǎo)致空間熵的變化，噪聲導(dǎo)致局部空間熵的降低，通過(guò)研究空間熵的變化特征可以反應(yīng)出圖像扭曲的類型。該模型利用下采樣響應(yīng)作為輸入，從輸入中提取12維局部熵特征向量，并從這些特征中學(xué)習(xí)預(yù)測(cè)圖像質(zhì)量分?jǐn)?shù)。

? 按照如圖4所示的裝置圖進(jìn)行數(shù)據(jù)采集，該實(shí)驗(yàn)選擇室內(nèi)場(chǎng)景拍攝目標(biāo)物飛機(jī)模型，遮擋物為樹枝，構(gòu)建10×10的相機(jī)陣列，單次拍攝采集不同角度及不同位置子圖像100張。如圖5所示，本文選擇子圖像陣列中一行圖像進(jìn)行圖像重構(gòu)，以第5張圖像為中心其余圖像分別向兩側(cè)平移。利用修正因子進(jìn)行多次迭代，每次迭代后應(yīng)用SEEQ圖像質(zhì)量評(píng)估模型進(jìn)行質(zhì)量評(píng)估，從而確定最適合此相機(jī)陣列的傾斜因子。觀察重構(gòu)圖像，雖然重構(gòu)后遮擋范圍變大，但經(jīng)過(guò)加權(quán)平均后，原被遮擋物完全覆蓋住的部分已經(jīng)被很好地復(fù)現(xiàn)與還原。

2.4遮擋物區(qū)域標(biāo)記

? 在計(jì)算機(jī)視覺中，圖像分割一直是一個(gè)熱門的研究方向，同時(shí)也是多數(shù)圖像處理問題的關(guān)鍵步驟。其中經(jīng)典的閾值分割算法有最小誤差法、最大熵法和最大類間方差法［12-14］等，本文應(yīng)用的是龍建武等提出的一種自適應(yīng)最小誤差閾值分割算法［19］。假設(shè)轉(zhuǎn)換為灰度圖像后由暗遮擋物和亮目標(biāo)物組成，且遮擋物與目標(biāo)物滿足高斯分布。其中，P0和P1分別為遮擋物C0和C1各自分布的先驗(yàn)概率，且C0C1各自分布均服從均值為μj和方差為σJ2的正態(tài)分布，則有

? 其中：J(t)為最小誤差函數(shù)，最佳閾值在其取最小值時(shí)獲得。圖6所示為利用最小誤差閾值分割法，經(jīng)過(guò)圖像增強(qiáng)、形態(tài)學(xué)處理后得到的遮擋物標(biāo)記圖像。

? 2.5遮擋物區(qū)域移除與還原

? 如圖7所示，應(yīng)用相機(jī)陣列采集數(shù)據(jù)后進(jìn)行圖像重構(gòu)，移除目標(biāo)圖像前被標(biāo)記的圖像，并用重構(gòu)圖像進(jìn)行還原。按本文2.3節(jié)所提出的重構(gòu)方式得到的重構(gòu)圖像整體質(zhì)量不高，因?yàn)槲覀冎豢紤]了感興趣區(qū)域的重構(gòu)質(zhì)量。本文將2.4節(jié)所標(biāo)記的前景區(qū)域作為重點(diǎn)，只保留此區(qū)域重構(gòu)質(zhì)量?jī)?yōu)秀的圖像組成新的子圖像陣列，提取相機(jī)陣列中心相機(jī)所拍攝的圖像并標(biāo)記前景區(qū)域。同時(shí)保留未被標(biāo)記區(qū)域的全部元素，只對(duì)被遮擋區(qū)域進(jìn)行計(jì)算，本文提出的方法只對(duì)遮擋區(qū)域進(jìn)行相關(guān)計(jì)算，在最大程度上保證了圖像質(zhì)量。將感興趣區(qū)域中每一個(gè)像素點(diǎn)進(jìn)行替換，得到遮擋物移除后的重構(gòu)圖像。

? ? 03 實(shí)驗(yàn)結(jié)果分析

? 本文實(shí)驗(yàn)所使用的相機(jī)陣列中單相機(jī)型號(hào)為Canon EOS 6D型，搭載了一個(gè)2020萬(wàn)像素的CMOS感光組件與DIGIC5+圖像處理器核心，圖像感應(yīng)器尺寸為35.8mm×23.9mm，采集圖像最大尺寸為5472×3648。鏡頭型號(hào)為EF24~105mmf/4。

? 如圖8所示，本文提出的應(yīng)用陣列型相機(jī)實(shí)現(xiàn)遮擋物移除的方法，對(duì)于不涉及目標(biāo)物細(xì)節(jié)處的圖像有較強(qiáng)的移除遮擋物的能力，并在移除后不會(huì)造成明顯的圖像重影與分辨率丟失。對(duì)于目標(biāo)物細(xì)節(jié)處的還原，利用基于相機(jī)陣列采集的大量數(shù)據(jù)有較強(qiáng)的還原細(xì)節(jié)能力。圖8（a）為未處理的原始圖像，部分細(xì)節(jié)信息完全被遮住且無(wú)法辨認(rèn)。圖8(b)為文獻(xiàn)［3］所提出的算法經(jīng)處理后則可以復(fù)現(xiàn)被遮擋部分細(xì)節(jié)信息，使得字體可以辨認(rèn)，但重構(gòu)圖像較為模糊，部分細(xì)節(jié)無(wú)法辨認(rèn)。圖8（c）為本文提出的遮擋物移除算法，通過(guò)合理的傾斜因子選擇很好地根據(jù)幾何關(guān)系消除了圖像的扭曲，同時(shí)還原了圖像的細(xì)節(jié)信息，保證了圖像質(zhì)量。

? 如表1所示，為證實(shí)本文所提出算法的優(yōu)勢(shì)，本文選取有參考的客觀評(píng)價(jià)指標(biāo)MSE、SNR、PSNR、MAE進(jìn)行比較。在數(shù)值上，本文算法的MSE與MAE均小于文獻(xiàn)［3］的結(jié)果，在SNR與PSNR上分別提升了17.3%與77.6%。實(shí)驗(yàn)證實(shí)了本文提出的算法在細(xì)節(jié)的還原度上優(yōu)于其他算法，同時(shí)有效提升的重構(gòu)圖像的信噪比。為了應(yīng)對(duì)實(shí)際應(yīng)用中無(wú)參考圖像的情況，我們對(duì)比了6組無(wú)參考的評(píng)級(jí)指標(biāo)，分別為EOG、Brenner、Robters算子與劉利雄等提出的基于空間光譜熵的質(zhì)量評(píng)價(jià)方法（SSEQ），Wang等提出的無(wú)參考的彩色圖像質(zhì)量評(píng)價(jià)方法（CCF）［16］以及Anush?Krishna Moorthy等提出的構(gòu)造盲圖像質(zhì)量指數(shù)的兩步框架（BIQI）［18］方法對(duì)3幅圖像進(jìn)行質(zhì)量評(píng)價(jià)。其中分?jǐn)?shù)區(qū)間為0~50，0分為質(zhì)量最佳。對(duì)比10種客觀評(píng)價(jià)標(biāo)準(zhǔn)，本文算法相對(duì)文獻(xiàn)［3］在細(xì)節(jié)復(fù)現(xiàn)與圖像質(zhì)量上都有明顯改善，獲得了輪廓清晰、可信度高的重構(gòu)圖像。

? 此外，同時(shí)采集圖像與光場(chǎng)數(shù)據(jù)的方案很好地解決了目標(biāo)物或遮擋物為動(dòng)態(tài)物體的情況，但是應(yīng)用陣列型光場(chǎng)相機(jī)的遮擋物移除算法需要反復(fù)計(jì)算得到最佳的傾斜因子，這種方法的計(jì)算量較大，無(wú)法做到實(shí)時(shí)移除遮擋物。

? 04 結(jié)論

? 本文提出一種應(yīng)用陣列型光場(chǎng)相機(jī)的遮擋物移除算法。實(shí)驗(yàn)結(jié)果證明該方法與文獻(xiàn)［3］提出的前景移除算法相比，不需要目標(biāo)物與遮擋物之間存在較為明顯的深度區(qū)別，而且僅對(duì)遮擋區(qū)域進(jìn)行計(jì)算，減少了圖像重構(gòu)導(dǎo)致未被遮擋區(qū)域的像素?fù)p失。本算法應(yīng)用范圍更廣，實(shí)用性更強(qiáng)。在圖像重構(gòu)中選擇合理的傾斜因子，可以有效降低目標(biāo)區(qū)域的模糊與噪聲的引入，細(xì)節(jié)上目標(biāo)物邊緣輪廓也有較為明顯的改善。依據(jù)無(wú)參考的圖像質(zhì)量評(píng)價(jià)指標(biāo)，本文算法在重構(gòu)圖像質(zhì)量上SNR與PSNR分別提升了17.3%與77.6%。本文提出的算法仍具有一定的局限性，在遮擋物分割方面采用最小誤差的閾值分割法，面對(duì)目標(biāo)物與遮擋物灰度范圍較為接近有可能產(chǎn)生分割區(qū)域不準(zhǔn)確而過(guò)度復(fù)現(xiàn)原圖導(dǎo)致圖像模糊的現(xiàn)象，今后將針對(duì)上述問題做進(jìn)一步研究。

? 參考文獻(xiàn)：

? ［1］LEVOY MH，ANRAHAN P. Light field rendering［C］//Proceedings of the 23rd Annual Conference on Computer Graphics and Interactive Techniques. New Orleans：ACM，1996：31-42.

? ［2］WILBURN B，JOSHI N，VAISH V，et al. High performance imaging using large camera arrays［J］. ACM Transactions on Graphics，2005，24（3）：765-776.

? ［3］劉嚴(yán)羊碩，劉賓，潘晉孝基于前景移除的合成孔徑成像算法［J］光學(xué)學(xué)報(bào)，2018，38（6）：0611002.

? LIU Y Y S，LIU B，PAN J X. Synthetic aperture imaging algorithm via foreground removing［J］. Acta Optica Sinica，2018，38（6）：0611002.（in Chinese）

? ［4］張世輝，劉建新，孔令富.基于深度圖像利用隨機(jī)森林實(shí)現(xiàn)遮擋檢測(cè)［J］.光學(xué)學(xué)報(bào)，2014，34（9）：0915003.ZHANG S H，LIU J X，KONG L F. Using random forest for occlusion detection based on depth image［J］. ActaOptica Sinica，2014，34（9）：0915003.（in Chinese）

? ［5］陳先鋒，郭正華，伍俊龍，等.基于區(qū)域先驗(yàn)信息的去遮擋立體匹配算法［J］.激光與光電子學(xué)進(jìn)展，2019，56（19）：191001.

? CHEN X F，GUO Z H，WU J L，et al. De-occlusion stereo matching algorithm based on regional prior informa?tion［J］. Laser & Optoelectronics Progress，2019，56（19）：191001.（in Chinese） ［6］劉潤(rùn)興，任明俊，肖高博.一種聚焦式光場(chǎng)成像去混疊方法［J］光學(xué)學(xué)報(bào)，2018，38（6）：0611001.

? LIU R X，REN M J，XIAO G B. A method of eliminating artifacts in focused light field imagin［J］.ActaOptica Sinica，2018，38（6）：0611001.（in Chinese）

? ［7］BOBICK A F，INTILLE S S. Large occlusion stereo［J］. International Journal of Computer Vision，1999，33（3）：181-200.

? ［8］EGNAL G，WILDES R P. Detecting binocular half-occlusions：empirical comparisons of four approaches［C］//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Hilton Head：IEEE，2000：466-473.

? ［9］張春萍，王慶.光場(chǎng)相機(jī)成像模型及參數(shù)標(biāo)定方法綜述［J］.中國(guó)激光，2016，43（6）：0609004.

? ZHANG C P，WANG Q. Survey on imaging model and calibration of light field camera［J］. Chinese Journal of Lasers，2016，43（6）：0609004.（in Chinese）

? ［10］聶云峰，相里斌，周志良.光場(chǎng)成像技術(shù)進(jìn)展［J］.中國(guó)科學(xué)院研究生院學(xué)報(bào)，2011，28（5）：563-572.

? NIE Y F，XIANG L B，ZHOU Z L. Advances in light field photography technique［J］. Journal of the Graduate School of the Chinese Academy of Sciences，2011，28（5）：563-572.（in Chinese）

? ［11］LIU L X，LIU B，HUANG H，et al. No-reference image quality assessment based on spatial and spectral entropies［J］. Signal Processing：Image Communication，2014，29（8）：856-863.

? ［12］KITTLER J，ILLINGWORTH J. Minimum error thresholding［J］. Pattern Recognition，1986，19（1）：41-47.

? ［13］KAPUR J N，SAHOO P K，WONG A K. A new method for grey-level picture thresholding using the entropy of the histogram［J］. Computer Vision，Graphics and Image Processing，1985，29（3）：273-285.

? ［14］OTSU N. A threshold selection method from gray-level histograms［J］. IEEE Transactions on Systems，Man，and Cybernetics，1979，9（1）：62-66.

? ［15］龍建武，申鉉京，陳海鵬.自適應(yīng)最小誤差閾值分割算法［J］. 自動(dòng)化學(xué)報(bào)，2012，38（7）：1134-1144.

? LONG J L，SHEN X J，CHEN H P. Adaptive minimum error thresholding algorithm［J］.Acta Automatica Sinica，2012，38（7）：1134-1144.（in Chinese）

? ［16］WANG Y，LIN，LIZY，etal.An imaging-inspired no-reference underwater color image quality assessment metric［J］. Computers & Electrical Engineering，2018，70：904-913.

? ［17］ MOORTHY A K，BOVIK A C. A two-step framework for constructing blind image quality indices［J］. IEEE Signal Processing Letters，2010，17（5）：513-516.

? 轉(zhuǎn)自：光場(chǎng)視覺 來(lái)源：期刊《液晶與顯示》? 作者：楊墨軒，趙源萌* ，朱鳳霞，張宏飛，張存林

審核編輯：黃飛

?