到底誰可以產(chǎn)生更好的圖像修復(fù)結(jié)果？什么是圖像修補(bǔ)？

過去幾年中，深度學(xué)習(xí)在計(jì)算機(jī)視覺和圖像處理方面取得了令人矚目的成功。 對(duì)于許多此類給定的任務(wù)，深度學(xué)習(xí)方法的表現(xiàn)優(yōu)于其他人工方法，甚至優(yōu)于人類專家。 例如，GoogleNet在ImageNet基準(zhǔn)測(cè)試中的表現(xiàn)超過了人類。本文我們將在圖像修補(bǔ)領(lǐng)域展開一場(chǎng)人機(jī)大戰(zhàn)，比較專業(yè)藝術(shù)家和計(jì)算機(jī)算法（包括基于深度神經(jīng)網(wǎng)絡(luò)）的表現(xiàn)，以確定到底誰可以產(chǎn)生更好的圖像修復(fù)結(jié)果？

什么是圖像修補(bǔ)？

圖像修復(fù)是重建圖像缺失部分的過程，以達(dá)到以假亂真的目的。 此技術(shù)通常用于兩種類型。

修復(fù)：從圖像中去除雜質(zhì)或多余的部分。

恢復(fù)：舊照片，舊畫作修復(fù)損壞部分。

圖像修復(fù)是一種古老的藝術(shù)，最初需要藝術(shù)家們花費(fèi)大量的心力，手工完成這項(xiàng)工作。 但是今天，研究人員提出了許多自動(dòng)修復(fù)方法。 除了圖像之外，這些方法中的大多數(shù)還需要輸入掩模來顯示需要修復(fù)的區(qū)域。 這里，我們將九種自動(dòng)修復(fù)方法與專業(yè)藝術(shù)家的結(jié)果進(jìn)行了比較。

數(shù)據(jù)集

為了創(chuàng)建一組測(cè)試圖像，我們從私人收藏中挑選了三十三個(gè)512×512大小的圖像片。 然后我們?cè)诿總€(gè)圖片的中心用填充180×180像素的黑色正方形。自動(dòng)修復(fù)方法與專業(yè)藝術(shù)家的任務(wù)是通過僅改變黑色方塊中的像素來恢復(fù)扭曲圖像的自然外觀。

我們使用了未經(jīng)發(fā)布的私人照片集，以確保原始圖片是沒有被神經(jīng)網(wǎng)絡(luò)看到過的。 盡管在現(xiàn)實(shí)世界的修復(fù)中，不規(guī)則的掩模是典型的，但我們選擇了在圖像的中心處貼有方形掩模。

以下是我們數(shù)據(jù)集中圖像的縮略圖。

自動(dòng)修復(fù)方法

我們?cè)谖覀兊臏y(cè)試數(shù)據(jù)集中應(yīng)用了六種基于神經(jīng)網(wǎng)絡(luò)的修復(fù)方法：

Deep Image Prior(Ulyanov, Vedaldi, and Lempitsky, 2017)

全局和本地一致的圖像完成 (Iizuka, Simo-Serra, and Ishikawa, 2017)

高分辨率圖像修復(fù) (Yang et al., 2017)

Shift-Net(Yan et al., 2018)

聯(lián)系上下文的圖像修復(fù)技術(shù)(Yu et al., 2018) - 這種方法在我們的結(jié)果中出現(xiàn)過兩次，因?yàn)槲覀儨y(cè)試了兩個(gè)版本，每個(gè)版本都訓(xùn)練在不同的數(shù)據(jù)集上（ImageNet和Places2）

使用部分卷積修復(fù)不規(guī)則孔的圖像 (Liu et al., 2018)

作為基準(zhǔn)線，我們測(cè)試了在深度學(xué)習(xí)方法爆發(fā)之前提出的三種修復(fù)方法：

基于范例的圖像修復(fù) (Criminisi, Pérez, and Toyama, 2004)

圖像完成的補(bǔ)丁偏移統(tǒng)計(jì) (He and Sun, 2012)

基于內(nèi)容感知填寫的Adobe Photoshop CS5

藝術(shù)家組表現(xiàn)：專業(yè)的藝術(shù)家

我們聘請(qǐng)了三位專業(yè)藝術(shù)家進(jìn)行照片修飾和修復(fù)，并要求他們每個(gè)人從我們的數(shù)據(jù)集中隨機(jī)選擇三張圖像。 為了鼓勵(lì)他們產(chǎn)生最好的結(jié)果，我們還告訴每位藝術(shù)家，如果他或她的作品超過了競(jìng)爭(zhēng)對(duì)手，我們會(huì)增加50％的獎(jiǎng)勵(lì)。 雖然我們沒有嚴(yán)格的時(shí)間限制，但藝術(shù)家們都在大約90分鐘內(nèi)完成了作業(yè)。

以下是他們的作品：

人類vs 算法

我們使用Subjectify.us平臺(tái)比較了三位專業(yè)藝術(shù)家的修復(fù)結(jié)果和自動(dòng)修復(fù)方法的結(jié)果與原始的，未失真的圖像。

該平臺(tái)成對(duì)的向研究參與者呈現(xiàn)結(jié)果，要求他們從每對(duì)中選擇具有最佳視覺質(zhì)量的圖像。 該平臺(tái)總共收集了來自215名參與者的6,945項(xiàng)成對(duì)判斷結(jié)果。

以下是此比較的整體和每圖像主觀質(zhì)量得分：

藝術(shù)家們?cè)谡w上都大大優(yōu)于自動(dòng)化方法。但是在一個(gè)案例中，算法擊敗了藝術(shù)家：由非神經(jīng)方法繪制的“城市花朵”圖像補(bǔ)丁偏移統(tǒng)計(jì)（He和Sun，2012）獲得的排名高于1號(hào)藝術(shù)家修補(bǔ)的圖像。此外，只有藝術(shù)家繪畫的圖像與原始未失真的圖像相比或者看起來更好：2號(hào)和3號(hào)藝術(shù)家繪制的“Splashing Sea”圖像甚至獲得了比原圖更高的質(zhì)量得分。

在自動(dòng)識(shí)別方法中：排名第一的是深度學(xué)習(xí)方法-基于生成的圖像修復(fù)方法。但這不是一次壓倒性的勝利，因?yàn)檫@個(gè)算法從未達(dá)到我們研究中任何圖像的最佳分?jǐn)?shù)。 “城市花朵”和“海浪飛濺”圖的第一名分別用于非神經(jīng)方法補(bǔ)丁補(bǔ)償和基于范例的修補(bǔ)統(tǒng)計(jì)，并且“森林步道”的第一名用于深度學(xué)習(xí)方法Partial Convolutions。值得注意的是，根據(jù)整體排行榜，其他深度學(xué)習(xí)方法的表現(xiàn)優(yōu)于非神經(jīng)學(xué)方法。

有趣的例子

幾個(gè)結(jié)果引起了我們的注意。上文中提到的非神經(jīng)方法中的片元偏移統(tǒng)計(jì)方法（He和Sun，2012）產(chǎn)生的圖像，獲得了高于藝術(shù)家修補(bǔ)的圖像的分?jǐn)?shù)。

此外，來自排名靠前的神經(jīng)方法Generative Image Inpainting的圖像得分低于非神經(jīng)方法補(bǔ)丁偏移統(tǒng)計(jì)(Statistics of Patch Offsets)。

另一個(gè)令人驚訝的結(jié)果是，在2018年提出的神經(jīng)方法生成圖像修復(fù)得分低于2014年前提出的非神經(jīng)方法（Exemplar-Based Image Inpainting）。

算法與算法間比較

為了進(jìn)一步比較神經(jīng)圖像修復(fù)方法和非神經(jīng)圖像方法，我們使用Subjectify.us進(jìn)行了額外的比較。 與第一次比較不同，我們使用整個(gè)33圖像數(shù)據(jù)集來比較這些方法。

以下是使用來自147名研究參與者的3,969對(duì)成對(duì)判斷計(jì)算的總體主觀評(píng)分：

第一名的算法是： Place2數(shù)據(jù)集上進(jìn)行訓(xùn)練的Generative Image Inpainting算法；排名第二的算法是：Photoshop CS5中的內(nèi)容感知填充工具，它不使用神經(jīng)網(wǎng)絡(luò)，僅略微落后于第一名。 在ImageNet上訓(xùn)練的Generative Image Inpainting獲得第三名。

值得注意的是，所有其他深度學(xué)習(xí)方法的表現(xiàn)都不及非神經(jīng)學(xué)網(wǎng)絡(luò)的方法。

結(jié)論

我們對(duì)自動(dòng)圖像修復(fù)方法與專業(yè)藝術(shù)家的研究使我們得出以下結(jié)論：

藝術(shù)家們的修復(fù)仍然是獲得與原圖質(zhì)量相似的圖片的唯一途徑。

僅僅對(duì)于某些特定的圖像，使用機(jī)器修復(fù)得效果可以與人工修復(fù)相媲美。

雖然自動(dòng)方法中的第一位是深度學(xué)習(xí)算法，但非神經(jīng)算法在許多測(cè)試中保持了強(qiáng)大的地位并且超越了深度學(xué)習(xí)方法。

雖然非深度學(xué)習(xí)方法可以修復(fù)任意形狀的區(qū)域，但大多數(shù)基于神經(jīng)的方法對(duì)掩模形狀施加了嚴(yán)格的限制。這種約束進(jìn)一步縮小了這些方法的現(xiàn)實(shí)適用性。因此，我們強(qiáng)調(diào)使用部分卷積的不規(guī)則孔的圖像修復(fù)方法，該方法可以針對(duì)性的解決任意形狀掩模問題。

我們相信該領(lǐng)域的未來研究以及GPU計(jì)算能力和RAM大小的增長(zhǎng)將使深度學(xué)習(xí)算法能夠超越其傳統(tǒng)競(jìng)爭(zhēng)對(duì)手，并提供與人類藝術(shù)家相同的圖像修復(fù)效果。然而，在現(xiàn)在的情況下，選擇經(jīng)典的圖像或視頻處理方法可能比盲目選擇新的深度學(xué)習(xí)方法更好。