基于深度學習的圖像去模糊算法及應用

本文提出了一個圖像去模糊方向的綜述，來自澳大利亞國立大學、中山大學、美國加州大學 Merced 分校、日本樂天研究所的研究者回顧了基于深度學習的圖像去模糊技術研究進展，回顧了圖像去模糊的研究歷史，總結了當前的研究進展，并進行了展望。該綜述近期被計算機視覺旗艦期刊 International Journal of Computer Vision 接收。

圖像去模糊是計算機底層視覺中的一個經(jīng)典問題，它的目標是將輸入的模糊圖像中恢復成清晰的圖像。近些年，基于深度學習的神經(jīng)網(wǎng)絡在該任務上取得了重大進展。本文對最近發(fā)表的基于深度學習的圖像去模糊方法進行了全面的回顧，主要看點如下：

1.闡述圖像去模糊的研究背景，包括如何定義去模糊、模糊產(chǎn)生的原因、去模糊的方法、質量評估的指標、常見的數(shù)據(jù)集。

2.討論了近些年基于深度學習在圖像去模糊領域中取得的進展，對當前的深度去模糊方法進行全面回顧。

3.分析了當前圖像去模糊存在的挑戰(zhàn)以及未來的研究課題。

背景知識

圖像模糊是由拍攝圖像過程中的各種因素引起，包括相機抖動、目標運動以及離焦等。根據(jù)模糊圖片的不同，一般將模糊圖片分為如下幾類：運動模糊，離焦模糊，高斯模糊，以及混合模糊。

（1）運動模糊：在光照充足的條件下，當曝光時間足夠短時，相機可以捕捉到清晰的圖像。但是，當曝光時間相對于物體或者相機運動過長的時候，圖像會產(chǎn)生模糊，該模糊圖片一般被稱為運動模糊。

（2）離焦模糊：除了運動模糊之外，圖像清晰度還受到目標位置以及相機焦距的影響。在相機的成像區(qū)域中，不同目標的景深是不同的，當相機的對焦系統(tǒng)無法對焦到某些目標時，相機就會拍攝到離焦模糊的圖片。

（3）高斯模糊：高斯模糊是通過高斯卷積得到的一種模糊圖像。

（4）混合模糊：當一個圖片同時被多種因素影響時，造成的模糊就是混合模糊，比如相機拍攝在離焦狀態(tài)下的高速運動物體時，得到的模糊就是一種混合模糊。

為了評估去模糊的效果，通常采用一些圖片評估算法，這些算法包括基于主觀和基于客觀的評測。主觀方法是不需要清晰圖像作參考的，一個具有代表性的指標是 MOS，評測者用 1-5 的等級對圖像質量進行評分，之后對分數(shù)進行平均。對于圖像去模糊的問題，大多數(shù)現(xiàn)有方法都是根據(jù)基于客觀的指標進行評測，該方法可以進一步分為兩類：有參考和無參考的指標。有參考的指標通過將恢復的圖像與清晰圖進行比較來評估圖像質量，包括 PSNR，SSIM, WSNR, MS-SSIM、IFC、NQM、UIQI、VIT、LPIPS 等等，其中 PSNR 跟 SSIM 是最常用的指標。

與有參考的指標不同，無參考指標僅使用去模糊的圖像就可以衡量其質量。常見的指標包括 BIQI、BLINDS、BRISQUE、CORNIA、NIQE、SSEQ 等。此外，也有人通過測量去模糊算法對不同視覺任務（例如目標檢測和識別）準確性的影響，來評估圖像去模糊算法的性能。

非盲圖像去模糊

圖像去模糊的任務是根據(jù)給定的模糊圖像，恢復潛在的清晰圖像。當已知圖片模糊核的情況下，則該問題也可以被稱為非盲圖像去模糊。盡管已知了模糊核，但是由于傳感器噪聲和高頻信息的丟失，該任務仍然具有挑戰(zhàn)性。

一些基于非深度學習的方法通常使用自然圖像先驗，例如全局或者局部圖像先驗，在空間域 或頻域中重建清晰的圖像。為了恢復出更好的圖片，近些年，一些基于空間反卷積和深度神經(jīng)網(wǎng)絡的方法相繼被提出。本文在下面表格中總結了現(xiàn)有的基于深度學習的非盲方法，這些方法可以大致分為兩組：第一組是基于反卷積去噪，而第二組是基于先驗去噪聲：

盲圖像去模糊

當模糊圖的模糊核未知時，圖像去模糊任務被稱為盲圖像去模糊。早期的盲圖像去模糊方法側重于去除均勻的模糊核。然而，真實世界的模糊圖像，其不同區(qū)域通常是由不同的模糊核生成，因此其模糊核是非均勻的。為了解決盲圖像的去模糊任務，多種基于深度學習的圖像去模糊算法被提出。本文在下面表格中總結了現(xiàn)有的基于深度學習的盲圖像去模糊方法，這些方法通常采用各種不同的網(wǎng)絡框架，包括多尺度網(wǎng)絡、對抗神經(jīng)網(wǎng)絡、級聯(lián)網(wǎng)絡、再模糊網(wǎng)絡等等。

損失函數(shù)

為了更好的訓練深度去模糊網(wǎng)絡，各種各樣的損失函數(shù)被提出。早期的方法大部分是基于像素級內容的損失函數(shù)，用于測量網(wǎng)絡訓練過程中的去模糊圖片跟清晰圖片的重建誤差?？紤]到像素級內容的損失不能準確衡量去模糊圖像的質量，各種其他的損失函數(shù)被提出，包括基于對抗的損失函數(shù)、基于感知的損失函數(shù)、基于相對模糊的損失函數(shù)、基于光流的損失函數(shù)等等。

模型性能對比

本本總結了具有代表性的圖像去模糊跟視頻去模糊算法在主流數(shù)據(jù)集上的 PSNR/SSIM 指標。

此外，本文總結了不同損失函數(shù)對去模糊方法的影響，模型在 non-reference 的評價指標上的表現(xiàn)，以及模型的速度。

特定場景的圖像去模糊

當前，絕大部分基于深度學習的圖像去模糊算法是不區(qū)分場景的，也就是他們是對常見的自然與人為設計的場景進行去模糊。但是，在現(xiàn)實生活中，經(jīng)常會遇到一些特定場景的圖像去模糊。比如人臉去模糊、文本去模糊、雙目去模糊。本文總結了這些不同場景的特點，以及各自的深度去模糊算法。

機遇與挑戰(zhàn)

盡管圖像去模糊算法在主流數(shù)據(jù)集上取得了重大進展，但把真實世界的模糊圖恢復成清晰的圖像仍然具有挑戰(zhàn)性。本文最后總結了圖像去模糊算法現(xiàn)在面臨的挑戰(zhàn)并討論了未來可能的研究機會，包括真實數(shù)據(jù)采集、損失函數(shù)、評價指標、模型規(guī)模、無監(jiān)督學習等等。

審核編輯：郭婷