圖像恢復(fù)這個(gè)任務(wù)，如何使用深度圖像先驗(yàn)來解決此任務(wù)

本文重點(diǎn)介紹了圖像恢復(fù)這個(gè)任務(wù)，以及如何使用深度圖像先驗(yàn)來解決此任務(wù)。

圖像恢復(fù)介紹

圖像恢復(fù)是指從其劣質(zhì)圖像中恢復(fù)未知真實(shí)圖像的任務(wù)。 圖像損耗可能在圖像形成，傳輸和存儲(chǔ)期間發(fā)生。 該任務(wù)廣泛的用于衛(wèi)星成像，低光攝影。由于數(shù)字技術(shù)的進(jìn)步，計(jì)算和通信技術(shù)從退化圖像恢復(fù)清晰圖像非常重要。

圖像恢復(fù)主要有三個(gè)任務(wù)：

圖像去噪：

圖像去噪是指恢復(fù)受附加噪聲污染的圖像。 這是圖像恢復(fù)中最簡單的任務(wù)，因此已被多個(gè)技術(shù)社區(qū)廣泛研究。

超分辨率：

超分辨率是指從一組低分辨率圖像產(chǎn)生高分辨率圖像（或一系列高分辨率圖像）的過程。

圖像重建：

繪畫中的圖像是重建圖像劣化部分丟失的過程。 繪畫實(shí)際上是一種古老的藝術(shù)，需要人類繪制繪畫中和丟失的部分。 但在今天的世界研究中，已經(jīng)提出了許多方法來使用深度卷積網(wǎng)絡(luò)自動(dòng)完成這項(xiàng)任務(wù)。

什么是Deep Image Prior？

隨著Alexnet在2012年圖像網(wǎng)絡(luò)競爭中的成功，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)變得非常流行并且已經(jīng)被用于每個(gè)計(jì)算機(jī)視覺和圖像處理任務(wù)中。

深度卷積網(wǎng)絡(luò)因其能夠從大量圖像數(shù)據(jù)集中學(xué)習(xí)而獲得成功。 Dmitry Ulyanov的論文“Deep Image Prior”表明，為了解決像圖像恢復(fù)這樣的逆問題，網(wǎng)絡(luò)的結(jié)構(gòu)已經(jīng)足夠，并且足以從劣質(zhì)圖像恢復(fù)原始圖像。本文強(qiáng)調(diào)，為了執(zhí)行這些任務(wù)，不需要預(yù)訓(xùn)練網(wǎng)絡(luò)或大圖像數(shù)據(jù)集，并且可以僅考慮劣質(zhì)圖像來執(zhí)行。

為了完成圖像恢復(fù)的任務(wù)，學(xué)習(xí)先驗(yàn)和顯式先驗(yàn)是兩種研究人員流行和主要使用的方法。

學(xué)習(xí)先驗(yàn)是一種直接的方法，訓(xùn)練深度卷積網(wǎng)絡(luò)通過數(shù)據(jù)集了解世界，數(shù)據(jù)集將噪聲圖像作為輸入，清晰圖像作為所需輸出。

另一方面，顯式先驗(yàn)或人為的先驗(yàn)方法，其中我們嵌入硬約束并且從合成數(shù)據(jù)教導(dǎo)什么類型的圖像是自然的等。在數(shù)學(xué)上表達(dá)像自然這樣的約束是非常困難的。

在深度圖像先驗(yàn)中，作者試圖通過構(gòu)造一個(gè)新的顯式先驗(yàn)，使用卷積神經(jīng)網(wǎng)絡(luò)來彌合兩種流行方法之間的差距。

理論基礎(chǔ)

x→原始圖像

?→劣質(zhì)圖像

x *→恢復(fù)圖像

我們可以使用最大后驗(yàn)分布來估計(jì)經(jīng)驗(yàn)數(shù)據(jù)中的未觀察值

使用貝葉斯規(guī)則，我們可以將其表示為先驗(yàn)。

我們可以將方程式表示為優(yōu)化問題，而不是單獨(dú)使用分布：

E（x;?）是數(shù)據(jù)項(xiàng)，它是似然的負(fù)對數(shù)，R（x）是圖像先前項(xiàng)，它是先驗(yàn)的負(fù)對數(shù)。

現(xiàn)在的任務(wù)是最小化圖像x上的Eq（2）。 傳統(tǒng)方法是用隨機(jī)噪聲初始化x，然后計(jì)算函數(shù)相對于x的梯度并遍歷圖像空間直到我們收斂到某個(gè)點(diǎn)。

另一種方法是構(gòu)造函數(shù)g，其用隨機(jī)θ初始化，來自不同空間的輸出可以被映射到圖像x并使用梯度下降來更新θ，直到它在某個(gè)點(diǎn)收斂。 因此，我們可以優(yōu)化θ，而不是優(yōu)化圖像空間。

但是，為什么這種方法可行，我們?yōu)槭裁匆褂盟兀?這是可能的，因?yàn)閺睦碚撋现v，如果g是滿射g：θ?x（如果至少一個(gè)θ映射到圖像x）那么這個(gè)優(yōu)化問題是等價(jià)的，即它們具有相同的解。 但實(shí)際上，g會(huì)極大地改變優(yōu)化方法搜索圖像空間的方式。 我們實(shí)際上可以將g視為超參數(shù)并對其進(jìn)行調(diào)整。 如果我們觀察到，g（θ）作為一個(gè)先驗(yàn)，它有助于選擇一個(gè)良好的映射，給出一個(gè)所需的輸出圖像，并防止使用得到錯(cuò)誤的圖像。

現(xiàn)在，方程2可以表示為，

其中，z是隨機(jī)固定輸入圖像，θ是隨機(jī)初始化的權(quán)重，將使用梯度下降更新以獲得所需的輸出圖像。

但是，為什么我們應(yīng)該考慮這種參數(shù)化方法仍然不明顯。 理論上乍一看，它似乎會(huì)產(chǎn)生原始的嘈雜圖像。 在論文中，作者進(jìn)行了一項(xiàng)實(shí)驗(yàn)，該實(shí)驗(yàn)表明，當(dāng)使用梯度下降來優(yōu)化網(wǎng)絡(luò)時(shí)，卷積神經(jīng)網(wǎng)絡(luò)不會(huì)產(chǎn)生噪聲圖像，并且更快速，更容易地下降到自然的圖像。

Deep Image Prior 步驟

? = corrupted image(observed)

1.初始化z。 ：用均勻噪聲或任何其他隨機(jī)圖像填充輸入z。

2.使用基于梯度的方法求解和優(yōu)化函數(shù)。

3.最后，當(dāng)我們找到最佳θ時(shí)，我們可以通過將固定輸入z向前傳遞到具有參數(shù)θ的網(wǎng)絡(luò)來獲得最佳圖像。

結(jié)論

本文試圖證明構(gòu)造具有隨機(jī)權(quán)重的隱式先驗(yàn)內(nèi)部深度卷積神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)的方法非常適合于圖像恢復(fù)任務(wù)。 本文中顯示的結(jié)果主要表明，適當(dāng)?shù)?a target="_blank">手工制作的網(wǎng)絡(luò)架構(gòu)足以解決圖像恢復(fù)任務(wù)。