研究人員提出了一種多尺度高效率的新模型FAMED-Net

空氣質(zhì)量對于照片的圖像質(zhì)量有著很大的影響，不僅是北方的霧霾讓相機無法看清世界，高山海邊的濃霧也會遮擋相機探索世界的好奇眼睛。這些天氣狀況會造成圖像對比對下降、模糊和噪聲，不僅大大削弱了圖像的觀感，同時也為高級機器視覺任務(wù)造成了很大的困難。

如果能將圖像中的濃霧或霧霾去除，對于物體識別、目標(biāo)跟蹤檢測等任務(wù)都有極大的提升。先前基于機器學(xué)習(xí)的方法在模型復(fù)雜度、計算效率和表達能力上都有著各自的缺點。

為了提高模型的表達能力和效率，來自悉尼大學(xué)的研究人員提出了一種多尺度高效率的新模型FAMED-Net，實現(xiàn)了輕量化高精度的單張圖像去霧。

圖像去霧

霧霾對于成像的影響主要來自于空氣中的懸浮顆粒對于光線的吸收和散射，這些顆粒包括了微小液滴、灰塵和懸浮顆粒等，它們對于光線的影響造成了圖像質(zhì)量的退化。為了削減或去除這些影響，研究人員們開發(fā)出了一系列圖像去霧算法，從單張或者多張霧霾圖像中恢復(fù)出清晰的圖像。

目前主流的方法分為三類：

一類是利用深度圖等信息來輔助清晰圖像的重建；

另一類方法是利用圖像序列來重建某一場景的清晰圖像；

最后一種方法是直接從單張RGB圖像中重建出清晰的圖像，而這也是最具實用性和應(yīng)用前景的方法，更適合在多樣性的條件下實時使用。

但由于從退化圖像中恢復(fù)是一個ill-posed問題，圖像去霧依舊面臨著諸多挑戰(zhàn)。為了同時考慮吸收引起的衰減和散射引起的散射效應(yīng)，人們發(fā)現(xiàn)通過透射率圖來間接實現(xiàn)清晰圖像的估計，只要通過圖像估計出了環(huán)境的透射率圖、就可以根據(jù)圖像退化的逆過程計算出清晰的圖像。

人們從成像過程和基于學(xué)習(xí)的方式出發(fā)，分別提出了多種估計估算透射率和圖像去霧的方法。其中有著名的暗通道去霧方法、色彩衰減先驗方法、非局域先驗假設(shè)等。雖然這些方法簡單且有效，但它們都是基于某些統(tǒng)計特征的描述，對于某些比較特殊的圖像就會失效。

清晰圖像與霧圖的暗通道，以及典型的暗通道去霧算法

而基于學(xué)習(xí)的方法采用了數(shù)據(jù)驅(qū)動的方法來學(xué)習(xí)出圖像特征和透射率之間的關(guān)系，克服了手工選取先驗特征的不足。隨著深度學(xué)習(xí)的方法，這種方法朝著更強大的模型、更有效的合成方法與數(shù)據(jù)以及端到端的訓(xùn)練發(fā)展。

其中著名的方法包括從霧圖中直接學(xué)習(xí)透射率的DehazeNet，多尺度架構(gòu)的MSCNN，用于在不同的尺度上進行由粗糙到精細(xì)的回歸過程。為了顧及大氣光的影響，研究人員還提出了可以同時學(xué)習(xí)透射率圖、大氣光照和去霧圖像的DCPDN網(wǎng)絡(luò)。此外還包括了AOD-Net，GFN等方法使用了編碼器解碼器架構(gòu)和對抗方法得到了很好的結(jié)果。

但這些方法卻需要較大的內(nèi)存和計算開銷，使其在資源受限系統(tǒng)上應(yīng)用受到了限制。為了解決這些問題實現(xiàn)快速高效的圖像去霧，研究人員提出了一種適用于任意尺寸的單圖像去霧方法FAMED-Net，其中包含了三個不同尺度的解碼器以及融合模塊用于直接學(xué)習(xí)除去霧后的圖像。每個解碼器由級聯(lián)的逐點卷積和池化層構(gòu)成并通過稠密鏈接復(fù)用特征信息。由于沒有大型卷積的加入使得整個網(wǎng)絡(luò)十分輕量和高效。

FAMED-Net

這一模型的主要思想是通過顧及霧圖的透射率來計算去霧后的圖像的，在了解網(wǎng)絡(luò)架構(gòu)之前我們需要先復(fù)習(xí)下圖像在霧中的成像模型：

其中I是相機接受到的霧圖，而J是場景原始信號，t代表環(huán)境的透射率，A則代表了大氣光線。所有的lamda表示這些項都與波長相關(guān)，在圖像中與RGB三個通道相關(guān)。研究人員將上面的模型進行了改進融合了大氣光照影響和透射率圖，并用統(tǒng)一的參數(shù)K表示，只要得到了K我們就可以通過觀測到的霧圖重建出清晰的圖像：

于是FMAMED-Net的主要工作變成了從霧圖中估計出場景對應(yīng)的K map。

研究人員首先探索了從單尺度霧圖中恢復(fù)清晰圖像的過程。這一架構(gòu)中，研究人員基于概率統(tǒng)計分析驗證了基于統(tǒng)計學(xué)理論恢復(fù)清晰圖像的過程，利用網(wǎng)絡(luò)模型學(xué)習(xí)出不同層級的特征恢復(fù)場景中的K，隨后基于上面的公式到場景的清晰圖像。模型主要分為K編碼器和K融合及解碼器模塊。在編碼器部分通過稠密連接將不同層級的特征銜接在了一起，基于逐點卷積和池化操作在保持模型容量的同時代替了操作更為復(fù)雜的卷積操作，實現(xiàn)了更為緊致的結(jié)構(gòu)。

為了處理不同尺度帶來的距離效應(yīng)，研究人員還引入了高斯金字塔和拉普拉斯金字塔架構(gòu)來得到更好的性能。在原圖1/2，1/4高斯金字塔尺度上對K進行估計，并根據(jù)融合后的多尺度特征估計出更為可靠的K map。

如上圖所示，不同尺度的圖像分別估計自身尺度的K并與對應(yīng)尺度的清晰圖像計算L2損失。最后不同尺度下估計的K疊加并融合的到最終的Kfusion。拉普拉斯金字塔也基于相同的原理，與高斯金字塔唯一不同的是它的目標(biāo)在于學(xué)習(xí)K的殘差。這種多尺度的架構(gòu)將為模型提供較大的感受野，在GP,LP模式下達到了52*52的大小。

結(jié)果

隨后研究人員在RESIDE數(shù)據(jù)上進行了訓(xùn)練和測試，得到了很好的結(jié)果。

在真實世界圖像上與不同算法的比較：

我們可以看到環(huán)境中估計出的透射率圖，與直觀感覺十分相近：

在實驗中研究人員還發(fā)現(xiàn)，使用批歸一化將有效提高模型的表現(xiàn)。同時更多的通道會為模型帶來更強的表達能力。為了克服逐點卷積對于結(jié)構(gòu)特征學(xué)習(xí)的劣勢，研究人員在最開始加入了3*3的卷積層有效提升了模型的恢復(fù)能力。

這種基于多尺度編解碼器的架構(gòu)可以直接得到清晰的圖像，通過逐點卷積和池化以及全連接的組合實現(xiàn)了高效運行和信息共享，能高速、準(zhǔn)確地從霧圖中得到清晰的圖像。