解密：“無中生有”的計算機(jī)視覺

計算機(jī)視覺（Computer Vision，CV）是一門研究如何使機(jī)器“會看”的科學(xué)。1963年來自MIT的Larry Roberts發(fā)表了該領(lǐng)域第一篇博士論文《Machine Perception of Three-Dimensional Solids》，標(biāo)志著CV作為一門新興人工智能方向研究的開始。在發(fā)展了50多年后的今天，我們就來聊聊最近讓計算機(jī)視覺擁有“無中生有”能力的幾個有趣嘗試：

超分辨率重建；
圖像著色；
看圖說話；
人像復(fù)原；
圖像自動生成。

可以看出，這五個嘗試層層遞進(jìn)，難度和趣味程度也逐步提升。由于篇幅有限，本文在此只談視覺問題，不提太過具體的技術(shù)細(xì)節(jié)，若大家對某部分感興趣，以后再來單獨(dú)寫文章討論。

超分辨率重建（Image Super-Resolution）
去年夏天，一款名為“waifu 2x”的島國應(yīng)用在動畫和計算機(jī)圖形學(xué)中著實火了一把。waifu 2x借助深度“卷積神經(jīng)網(wǎng)絡(luò)”(Convolutional Neural Network，CNN)技術(shù)，可以將圖像的分辨率提升2倍，同時還能對圖像進(jìn)行降噪。簡單來說，就是讓計算機(jī)“無中生有”地填充一些原圖中并沒有的像素，從而讓漫畫看起來更清晰真切。大家不妨看看圖1、圖2，真想童年時候看的就是如此高清的龍珠??！

圖1 《龍珠》超分辨率重建效果。右側(cè)為原畫，左側(cè)為waifu 2x對同幀動畫超分辨率重建結(jié)果

圖2 waifu 2x超分辨率重建對比，上方為低分辨率且有噪聲的動畫圖像，左下為直接放大的結(jié)果，右下為waifu 2x去噪和超分辨率結(jié)果

不過需要指出的是，圖像超分辨率的研究始于2009年左右，只是得力于“深度學(xué)習(xí)”的發(fā)展，waifu 2x才可以做出更好的效果。在具體訓(xùn)練CNN時，輸入圖像為原分辨率，而對應(yīng)的超分辨率圖像則作為目標(biāo)，以此構(gòu)成訓(xùn)練的“圖像對”（Image Pair），經(jīng)過模型訓(xùn)練便可得到超分辨率重建模型。waifu 2x的深度網(wǎng)絡(luò)原型基于香港中文大學(xué)湯曉歐教授團(tuán)隊的成果（如圖3所示）。有趣的是，這一研究指出可以用傳統(tǒng)方法給予深度模型以定性的解釋。在圖3中，低分辨率圖像通過CNN的卷積（Convolution）和池化（Pooling）操作后可以得到抽象后的特征圖（Feature Map）?；诘头直媛侍卣鲌D，同樣可以利用卷積和池化實現(xiàn)從低分辨率到高分辨率特征圖的非線性映射（Non-Linear Mapping）。最后的步驟則是利用高分辨率特征圖重建高分辨率圖像。實際上，這三個步驟與傳統(tǒng)超分辨率重建方法的三個過程是一致的。

圖3 超分辨率重建算法流程。從左至右依次為：低分辨率圖像（輸入）、經(jīng)過若干卷積和池化操作得到的低分辨率特征圖、低分辨率特征圖經(jīng)過非線性映射得到的高分辨率特征圖、高分辨率重建圖像（輸出）

圖像著色（Image Colorization）
顧名思義，圖像著色是將原本“沒有”顏色的黑白圖像進(jìn)行彩色填充。圖像著色同樣借助卷積神經(jīng)網(wǎng)絡(luò)，輸入為黑白和對應(yīng)彩色圖像的“圖像對”，但僅僅通過對比黑白像素和RGB像素來確定填充的顏色，效果欠佳。因為顏色填充的結(jié)果要符合我們的認(rèn)知習(xí)慣，比如，把一條“汪星人”的毛涂成鮮綠色就會讓人覺得很怪異。于是近期，早稻田大學(xué)發(fā)表在2016年計算機(jī)圖形學(xué)國際頂級會議SIGGRAPH上的一項工作就在原來深度模型的基礎(chǔ)上，加入了“分類網(wǎng)絡(luò)”來預(yù)先確定圖像中物體的類別，以此為“依據(jù)”再做以顏色填充。圖4就分別展示了模型結(jié)構(gòu)圖和顏色恢復(fù)示例，其恢復(fù)效果還是頗為逼真的。另外，此類工作還可用于黑白電影的顏色恢復(fù)，操作時只需簡單將視頻中逐幀拿來做著色即可。