AI修復(fù)的林青霞猝不及防上了熱搜

前不久，AI換臉楊冪，“復(fù)活”哥哥都火了一把。近幾日，氣質(zhì)美女林青霞也被AI舊照換新顏，猝不及防的上了熱搜?？靵?lái)一睹林青霞的傾國(guó)容顏吧！

AI修復(fù)的林青霞猝不及防上了熱搜。

網(wǎng)友們紛紛感嘆好美好有氣質(zhì)，甚至還有人起哄說(shuō)道：“趕緊把7080年代的時(shí)候的港臺(tái)男女明星都修復(fù)一下，那時(shí)候顏值基本上個(gè)個(gè)都賞心悅目?！?/p>

先給大家上一波福利。

上圖中既有林青霞拍電影時(shí)的劇照，也有日常生活的照片。經(jīng)過(guò)AI修復(fù)后，原本模糊，噪點(diǎn)極大照片變得相對(duì)較為清晰。用網(wǎng)友的話說(shuō)，大方立體的五官，富有線條感的臉部輪廓，AI修復(fù)的林青霞，真的美到讓人驚嘆！

圖像修復(fù)術(shù)與一鍵磨皮不同

在一片拜倒、贊美的聲浪中，也有網(wǎng)友提出了疑問(wèn)：“這就是一鍵磨皮”？

盡管修復(fù)老照片，一鍵磨皮，都利用了卷積神經(jīng)網(wǎng)絡(luò)，但二者并不一樣。

修復(fù)老照片是利用AI算法替代圖像數(shù)據(jù)中缺失或者損壞的部分。而一鍵磨皮是在保護(hù)頭發(fā)、眼睛等細(xì)節(jié)部位外，其它部位進(jìn)行模糊處理，相當(dāng)于是一種粗糙的去噪聲的方式，并不能很好的去除模糊和提升清晰度。

常用的磨皮算法包括均值模糊、高斯模糊、中值濾波等，它們的去噪效果很好，但視覺(jué)效果太差。效果比較好的去噪算法是雙邊濾波算法。

一位接受采訪的圖像識(shí)別專(zhuān)家告訴我們，AI修復(fù)的林青霞照片采用的算法包括，人物區(qū)域監(jiān)測(cè)，任務(wù)區(qū)域去噪音，去模糊等算法。

通常來(lái)說(shuō)，圖像修復(fù)包括多種任務(wù)：降噪/去噪、超分辨率重建、圖像填充、圖像去模糊、JPEG去塊等。

傳統(tǒng)上，圖像修復(fù)可以使用基于擴(kuò)散方法來(lái)處理，這種方法將局部結(jié)構(gòu)傳播到位置部分，或者基于示例的方法，每一次構(gòu)建缺失部分的一個(gè)像素點(diǎn)（塊）同時(shí)保持和周?chē)袼攸c(diǎn)的一致性。

當(dāng)缺失部分很大時(shí)，這些方法會(huì)失效，因此需要一個(gè)額外的部件提供合理的想象力（來(lái)自機(jī)器的幻覺(jué)）。這些附加的信息可能是由自然圖像的高階模型提供，例如由深度神經(jīng)網(wǎng)絡(luò)計(jì)算的那些。

依賴(lài)預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的幻覺(jué)來(lái)填補(bǔ)圖像中的大洞。深度神經(jīng)網(wǎng)絡(luò)使用監(jiān)督圖像分類(lèi)。在監(jiān)督圖像分類(lèi)中，每個(gè)圖像都有一個(gè)特定的標(biāo)簽，并且神經(jīng)網(wǎng)絡(luò)通過(guò)一連串的基本操作運(yùn)算來(lái)學(xué)習(xí)圖像到標(biāo)簽之間的映射。

當(dāng)在巨大的數(shù)據(jù)集（數(shù)百萬(wàn)張帶有成千個(gè)的標(biāo)簽的圖像）上被訓(xùn)練后，神經(jīng)網(wǎng)絡(luò)具有卓越的分類(lèi)表現(xiàn)并且偶爾可以超越人類(lèi)的準(zhǔn)確率。實(shí)施一個(gè)判別式預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)來(lái)指導(dǎo)圖像重建，其中神經(jīng)網(wǎng)絡(luò)的最后一層在圖像修復(fù)問(wèn)題中被直接運(yùn)用。

在圖像修復(fù)過(guò)程中，最值得關(guān)注的信息有哪些呢？上述接受采訪的圖像識(shí)別專(zhuān)家告訴我們，“圖像修復(fù)過(guò)程中，人物區(qū)域的識(shí)別信息，相關(guān)圖片的噪聲強(qiáng)度，模糊程度信息很關(guān)鍵?！?/p>

結(jié)合深度學(xué)習(xí)的圖像修復(fù)是如何實(shí)現(xiàn)的？知乎答主QZhang 為大家整理了13篇論文，供學(xué)習(xí)參考：

CVPR 2016的Context-Encoders（CNN+GAN， 鼻祖級(jí)的 NN修復(fù)方法）。

鏈接：

https://arxiv.org/abs/1604.07379

CVPR 2017的High Resolution Inpainting(Context-Encoders+CNNMRF框架)，結(jié)合了風(fēng)格遷移的思路。

鏈接：

https://arxiv.org/abs/1611.09969

ICCV 2017的on demanding learning(本質(zhì)上還是Context-Encoders的衍生版)。

鏈接：

http://vision.cs.utexas.edu/projects/on_demand_learning/

SIGGRAPH 2017 (ACM ToG)的Globally and Locally Consistent Image Completion (CE中加入Global+Local兩個(gè)判別器的改進(jìn))。

Github代碼：

https://github.com/satoshiiizuka/siggraph2017_inpainting

ECCV 2018的Image Inpainting for Irregular Holes Using Partial Convolutions （引入了局部卷積，能夠修復(fù)任意非中心、不規(guī)則區(qū)域）。

鏈接：https://arxiv.org/abs/1804.07723

CVPR 2018的Generative Image Inpainting with Contextual Attention，一作大佬jiahui Yu 后續(xù)還有個(gè)工作: Free-Form Image Inpainting with Gated Convolution。

Github代碼：

https://github.com/JiahuiYu/generative_inpainting

ECCV 2018的Shift-Net: Image Inpainting via Deep Feature Rearrangement （哈工大 左旺孟教授組的工作）效果也不錯(cuò)。

Github代碼：

https://github.com/Zhaoyi-Yan/Shift-Net_pytorch

ECCV 2018的Contextual-based Image Inpainting，inpainting大佬Chao Yang(NPS的一作)等人的又一力作。

鏈接：

https://arxiv.org/pdf/1711.08590.pdf

ACM MM 2018的Semantic Image Inpainting with Progressive Generative Networks，簡(jiǎn)稱(chēng)PGN，采用了由外至內(nèi)的步進(jìn)式修補(bǔ)策略。

Github代碼：

https://github.com/crashmoon/Progressive-Generative-Networks

NIPS 2018的Image Inpainting via Generative Multi-column Convolutional Neural Networks，用了不少trick。

Github代碼：

https://github.com/shepnerd/inpainting_gmcnn

ArXiv 2019（不清楚作者投哪了）的EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning, 采用邊緣推斷信息的思路進(jìn)行重建。

Github代碼：

https://github.com/knazeri/edge-connect

CVPR 2019的Foreground-aware Image Inpainting, 思路類(lèi)似于上面的工作，也是先推斷生成輪廓邊緣，輔助缺失區(qū)域進(jìn)行修復(fù)。

鏈接：https://arxiv.org/abs/1901.05945

CVPR 2019的Pluralistic Image Completion。

鏈接：https://arxiv.org/abs/1903.04227