基于特征深度學(xué)習(xí)重建網(wǎng)絡(luò)來(lái)恢復(fù)通暢的圖像

今年來(lái)溫哥華參加的siggraph也是第二次參加這種檔次的會(huì)議，我比較關(guān)注計(jì)算影像學(xué)。

1. Centimeter-Wave Free-Space Time-of-Flight Imaging

深度相機(jī)正在成為一種基石模式，具有直接或間接依賴于測(cè)量深度的多種應(yīng)用，包括個(gè)人設(shè)備、機(jī)器人和自動(dòng)駕駛汽車。盡管飛行時(shí)間 （ToF） 方法推動(dòng)了這些應(yīng)用，但 ToF 方法的精度和魯棒性受到依賴于光子時(shí)間標(biāo)記或光轉(zhuǎn)換后調(diào)制的限制。成功的光調(diào)制方法有大耦合損耗的受限光纖耦合調(diào)制或亞厘米范圍的干涉調(diào)制，干涉方法與ToF方法之間的精度差距超過(guò)三個(gè)數(shù)量級(jí)。在這項(xiàng)工作中，我們縮小了這一差距，并提出了一種用于光轉(zhuǎn)換前的全光學(xué)自由空間相關(guān)的計(jì)算成像方法，該方法通過(guò)傳統(tǒng)的硅強(qiáng)度傳感器實(shí)現(xiàn)了微米級(jí)深度分辨率，并對(duì)表面反射率和環(huán)境光具有魯棒性。為此，我們解決了兩個(gè)技術(shù)挑戰(zhàn)：以 GHz 速率調(diào)制和計(jì)算相位展開(kāi)。我們提出了一種具有諧振偏振調(diào)制器的成像方法，并設(shè)計(jì)了一種新穎的光學(xué)雙通倍頻，可在超過(guò) 10GHz 時(shí)實(shí)現(xiàn)高調(diào)制對(duì)比度。同時(shí)，厘米波調(diào)制以及較小的調(diào)制帶寬使現(xiàn)有的相位展開(kāi)方法無(wú)效。我們使用一種神經(jīng)相位展開(kāi)方法來(lái)解決這個(gè)問(wèn)題，該方法利用相鄰的包裹通常高度相關(guān)。我們?cè)?a href="http://www.ttokpm.com/analog/" target="_blank">模擬和實(shí)驗(yàn)中驗(yàn)證了所提出的方法，它達(dá)到了微米級(jí)的深度精度。我們展示了獨(dú)立于表面紋理和環(huán)境光的精確深度感應(yīng)，并與現(xiàn)有的模擬解調(diào)方法進(jìn)行了比較，我們?cè)谒袦y(cè)試場(chǎng)景中都表現(xiàn)出色。

2. Blending Camera and 77 GHz Radar Sensing for Equitable， Robust Plethysmography.

隨著因 COVID-19 大流行而導(dǎo)致的非接觸式生命體征傳感的復(fù)蘇，遠(yuǎn)程心率監(jiān)測(cè)已獲得顯著的重視。許多現(xiàn)有方法使用相機(jī)；然而，之前的工作顯示較深膚色的性能損失。在本文中，我們通過(guò)光傳輸分析表明，相機(jī)模式從根本上偏向于較深的膚色。我們建議通過(guò)多模態(tài)融合與互補(bǔ)和更公平的模態(tài)——雷達(dá)來(lái)減少這種偏差。通過(guò)一種新穎的面向去偏的融合框架，我們?cè)谒袦y(cè)試基線上實(shí)現(xiàn)了性能提升，并在 RGB 模態(tài)上實(shí)現(xiàn)了膚色公平性改進(jìn)。此外，與基于雷達(dá)的方法相比，性能得到了改進(jìn)，但公平性方面的權(quán)衡很小。我們還開(kāi)源了最大的多模式遠(yuǎn)程心率估計(jì)數(shù)據(jù)集，其中包括配對(duì)相機(jī)和雷達(dá)測(cè)量，重點(diǎn)是膚色表示。

3. Seeing Through Obstructions With Diffractive Cloaking

我們提出了一種計(jì)算單目相機(jī)，它可以在光學(xué)上隱藏不需要的障礙物，例如鏡頭蓋玻璃上的雨滴或污漬，或相機(jī)附近的柵欄。我們沒(méi)有在捕獲后修復(fù)被遮擋的信息，而是學(xué)習(xí)了一個(gè)定制的衍射光學(xué)元件，當(dāng)它放置在相機(jī)鏡頭前時(shí)，它充當(dāng)了一個(gè)與深度相關(guān)的散射體。學(xué)習(xí)到的光學(xué)元件位于現(xiàn)有相機(jī)設(shè)置的孔徑平面上，并產(chǎn)生一個(gè)點(diǎn)擴(kuò)散函數(shù)，為近距離物體提供大空間支持，將光線從焦點(diǎn)處散射出去。同時(shí)在不增加相機(jī)占用空間的情況下保持長(zhǎng)距離的空間分辨率。結(jié)合光學(xué)元件，我們共同優(yōu)化了一個(gè)基于特征的深度學(xué)習(xí)重建網(wǎng)絡(luò)來(lái)恢復(fù)通暢的圖像。

4. Optical Aberrations Correction in Postprocessing Using Imaging Simulation

隨著移動(dòng)攝影的不斷普及，人們正在投入大量精力來(lái)重建退化的圖像。由于在鏡頭設(shè)計(jì)過(guò)程中無(wú)法避免的光學(xué)像差的空間變化，最近的商用相機(jī)已將其中一些校正任務(wù)從光學(xué)設(shè)計(jì)轉(zhuǎn)移到后處理系統(tǒng)。然而，在不涉及光學(xué)參數(shù)的情況下，這些系統(tǒng)只能實(shí)現(xiàn)有限的像差校正。

在這項(xiàng)工作中，我們提出了一種實(shí)用的方法來(lái)恢復(fù)由光學(xué)像差引起的退化。具體來(lái)說(shuō)，我們建立了基于我們提出的光學(xué)點(diǎn)擴(kuò)散函數(shù)模型的成像模擬系統(tǒng)。給定相機(jī)的光學(xué)參數(shù)，它會(huì)生成這些特定設(shè)備的成像結(jié)果。為了進(jìn)行恢復(fù)，我們?cè)诔上衲M系統(tǒng)生成的合成數(shù)據(jù)對(duì)上設(shè)計(jì)了一個(gè)空間自適應(yīng)網(wǎng)絡(luò)模型，消除了通過(guò)大量拍攝和配準(zhǔn)捕獲訓(xùn)練數(shù)據(jù)的開(kāi)銷。

此外，我們分別使用定制的數(shù)字單鏡頭反光相機(jī)鏡頭和 HUAWEI HONOR 20 在模擬和實(shí)驗(yàn)中全面評(píng)估了所提出的方法。實(shí)驗(yàn)表明，我們的解決方案成功地消除了空間變化的模糊和色散。與最先進(jìn)的去模糊方法相比，所提出的方法以更低的計(jì)算開(kāi)銷實(shí)現(xiàn)了更好的結(jié)果。此外，重建技術(shù)沒(méi)有引入人工紋理，便于移植到當(dāng)前的商用相機(jī)中。