Python+OpenCV 十幾行代碼模仿世界名畫

現(xiàn)在很多人都喜歡拍照（自拍）。有限的濾鏡和裝飾玩多了也會膩，所以就有 APP 提供了模仿名畫風(fēng)格的功能，比如 prisma、versa 等，可以把你的照片變成梵高、畢加索、蒙克等大師的風(fēng)格。

這種功能叫做“圖像風(fēng)格遷移”，幾乎都是基于 CVPR 2015 的論文《A Neural Algorithm of Artistic Style》和 ECCV 2016 的論文《Perceptual Losses for Real-Time Style Transfer and Super-Resolution》中提出的算法，以及后續(xù)相關(guān)研究的基礎(chǔ)上開發(fā)出來的。

通俗來講，就是借助于神經(jīng)網(wǎng)絡(luò)，預(yù)先將名畫中的風(fēng)格訓(xùn)練成出模型，在將其應(yīng)用在不同的照片上，生成新的風(fēng)格化圖像。

而因為神經(jīng)網(wǎng)絡(luò)在計算機(jī)視覺方面的應(yīng)用越來越廣，著名的視覺開發(fā)庫 OpenCV 在 3.3 版本中正式引入DNN（深度神經(jīng)網(wǎng)絡(luò)），支持 Caffe、TensorFlow、Torch/PyTorch 等主流框架的模型，可用以實現(xiàn)圖像的識別、檢測、分類、分割、著色等功能。

我最近才發(fā)現(xiàn)在 OpenCV 的 Sample 代碼中就有圖像風(fēng)格遷移的 Python 示例（原諒我的后知后覺），是基于 ECCV 2016 論文中的網(wǎng)絡(luò)模型實現(xiàn)。所以，即使作為人工智能的菜鳥，也可以拿別人訓(xùn)練好的模型來玩一玩，體會下神經(jīng)網(wǎng)絡(luò)的奇妙。

（相關(guān)代碼和模型的獲取見文末）

OpenCV 官方代碼地址：https://github.com/opencv/opencv/blob/3.4.0/samples/dnn/fast_neural_style.py

目錄下通過執(zhí)行命令運行代碼：

pythonfast_neural_style.py--modelstarry_night.t7

model參數(shù)是提供預(yù)先訓(xùn)練好的模型文件路徑，OpenCV 沒有提供下載，但給出的參考項目 https://github.com/jcjohnson/fast-neural-style 中可以找到

其他可設(shè)置參數(shù)有：

• input可以指定原始圖片/視頻，如果不提供就默認(rèn)使用攝像頭實時采集。

• width、height，調(diào)整處理圖像的大小，設(shè)置小一點可以提高計算速度。在我自己的電腦上，300x200 的轉(zhuǎn)換視頻可以達(dá)到 15 幀/秒。

• median_filter中值濾波的窗口大小，用來對結(jié)果圖像進(jìn)行平滑處理，這個對結(jié)果影響不大。

執(zhí)行后的效果（取自 jcjohnson/fast-neural-style）：

原始圖像

ECCV16 models

instance_norm models

核心代碼其實很短，就是加載模型 -> 讀取圖片 -> 進(jìn)行計算 -> 輸出圖片，我在官方示例基礎(chǔ)上進(jìn)一步簡化了一下：

importcv2
#加載模型
net=cv2.dnn.readNetFromTorch('the_scream.t7')
net.setPreferableBackend(cv2.dnn.DNN_BACKEND_OPENCV);
#讀取圖片
image=cv2.imread('test.jpg')
(h,w)=image.shape[:2]
blob=cv2.dnn.blobFromImage(image,1.0,(w,h),(103.939,116.779,123.680),swapRB=False,crop=False)
#進(jìn)行計算
net.setInput(blob)
out=net.forward()
out=out.reshape(3,out.shape[2],out.shape[3])
out[0]+=103.939
out[1]+=116.779
out[2]+=123.68
out/=255
out=out.transpose(1,2,0)
#輸出圖片
cv2.imshow('Styledimage',out)
cv2.waitKey(0)

執(zhí)行結(jié)果：

另外還改了個多效果實時對比的版本（計算量大了，很卡頓），也一并上傳在代碼中。

PS：前兩天看趙雷演唱會的時候我還說：他演唱會的背景 MV 大量使用了 圖像二值化、邊緣檢測 等操作，讓我想到以前數(shù)字圖像處理課的大作業(yè)……現(xiàn)在圖像風(fēng)格遷移的效率達(dá)到了實時，想必以后也會經(jīng)常被使用吧

參考文獻(xiàn)：
fast-neural-style jcjohnson
https://github.com/jcjohnson/fast-neural-style

Perceptual Losses for Real-Time Style Transfer and Super-Resolution（ECCV 2016）
Justin Johnson, Alexandre Alahi, Li Fei-Fei

A Neural Algorithm of Artistic Style（CVPR 2015）
Leon A. Gatys, Alexander S. Ecker, Matthias Bethge

Neural Style Transfer with OpenCV - Adrian Rosebrock
https://www.pyimagesearch.com/2018/08/27/neural-style-transfer-with-opencv/

無需GPU，只用OpenCV和Python實現(xiàn)圖像和視頻的風(fēng)格遷移（譯） - 論智 Bing
https://mp.weixin.qq.com/s/KXA6b-ckttBSQR5DvS3SBg

可以用 Python 編程語言做哪些神奇好玩的事情？- 知乎回答 @楊航鋒
https://www.zhihu.com/question/21395276/answer/115805610

用processing代碼模仿梵高畫楊超越 - 算法藝術(shù)實驗室AALab Alice
https://mp.weixin.qq.com/s/UOVww7IgCteuQ6Bsbf0yEA