新GAN技術(shù)應(yīng)用多層次特征的風格遷移人臉生成器你了解嗎

GAN 自 2014 年提出以來得到了廣泛應(yīng)用。前不久效果令人震驚的 ICLR 2019 論文 BigGAN 引發(fā)了眾多關(guān)注。去年英偉達投稿 ICLR 2018 的論文《Progressive Growing of GANs for Improved Quality, Stability, and Variation》效果也很驚艷。近日 PGGAN 的作者再發(fā)論文，這次的效果更加真實。

是的，這些圖片都是由 GAN 生成的。

這款新型 GAN 生成器架構(gòu)借鑒了風格遷移研究，可對高級屬性（如姿勢、身份）進行自動學習和無監(jiān)督分割，且生成圖像還具備隨機變化（如雀斑、頭發(fā)）。該架構(gòu)可以對圖像合成進行直觀、多尺度的控制，在傳統(tǒng)的分布質(zhì)量指標上達到了當前最優(yōu)，展示了更好的插值屬性，并且能夠更好地將潛在的變差因素解糾纏。

下圖展示了這款新型生成器的風格效果。它將隱編碼生成的風格（source）疊加在另一種隱編碼的風格子集（destination）上。

對空間分辨率較低（4^2 – 8^2）的層的風格進行疊加的效果見「Coarse styles copied」部分：生成圖像從 source 中復(fù)制了姿勢、大致發(fā)型、臉形和眼鏡等高級屬性，但保留了 destination 圖像的所有顏色（眼睛、頭發(fā)、光線）和細節(jié)臉部特征。

對空間分辨率為 16^2 – 32^2 的層的風格進行疊加的效果見「Middle styles copied」部分：復(fù)制了 source 圖像的細微面部特征、發(fā)型、眼睛睜開的狀態(tài)，同時保留了 destination 圖像的姿勢、臉形和眼鏡。

對高分辨率 (64^2 – 1024^2) 的層的風格進行疊加的效果見「Fine styles」：主要保留了 source 圖像的顏色和微小特征。

基于風格的生成器

如下圖所示，（a）PGGAN 生成器將隱編碼僅饋入輸入層，而（b）英偉達最近提出的基于風格的生成器首先將輸入映射到中間潛在空間 W，W 控制生成器在每個卷積層的自適應(yīng)實例歸一化（adaptive instance normalization，AdaIN）。然后在應(yīng)用非線性激活之前在每個卷積層之后添加高斯噪聲。圖中 A 表示學到的仿射變換，B 表示學到的每個通道對噪聲輸入的比例因子。映射網(wǎng)絡(luò) f 包含 8 個層，合成網(wǎng)絡(luò) g 包含 18 個層（4^2、8^2、16^2、32^2、64^2、128^2、256^2、512^2、1024^2 這九種分辨率中每種分辨率有兩個層）。使用互相分離的 1 × 1 卷積將最后一層的輸出轉(zhuǎn)換成 RGB，與前作 PGGAN 類似。

基于風格的生成器的屬性

該生成器架構(gòu)通過對風格的尺度調(diào)整來控制圖像合成。映射網(wǎng)絡(luò)和仿射變換用來從學到的分布中獲取每種風格的采樣，合成網(wǎng)絡(luò)用來基于多種風格生成新圖像。每種風格的效果都在該網(wǎng)絡(luò)內(nèi)有呈現(xiàn)，即修改多種風格的特定子集以影響圖像的某些特定屬性。

該研究介紹了該生成器的三個屬性，分別是風格混合、隨機變化（Stochastic variation）和全局效應(yīng)與隨機性的分離。

風格混合

上圖展示了在多種分辨率情況下混合兩種隱編碼合成的圖像示例。可以看到風格的每個子集控制圖像的有意義高級屬性。

隨機變化

圖 4. 隨機變化的示例。（a）兩張生成的圖像。（b）放大輸入噪聲的不同實現(xiàn)。盡管整體外觀大致相同，但個體毛發(fā)細節(jié)還是有不同。（c）100 個不同實現(xiàn)中像素的標準偏差，高亮處為圖像受噪聲影響的區(qū)域。主要區(qū)域是頭發(fā)、輪廓和部分背景，但眼睛的反射也有有趣的隨機變化。身份和姿勢等全局特征不受隨機變化的影響。

圖 5：生成器不同層的輸入噪聲對生成結(jié)果的影響。（a）噪聲被應(yīng)用到所有層；（b）沒有噪聲；（c）噪聲僅應(yīng)用到（64^2 - 1024^2）分辨率的精細層；（d）噪聲僅應(yīng)用到（4^2 - 32^2）分辨率的粗糙層。我們可以看到人工消除噪聲可以讓圖像看起來更正常，粗糙噪聲會導(dǎo)致大幅度的頭發(fā)和背景扭曲；精細噪聲帶來的頭發(fā)變形更加細致，背景細節(jié)更加豐富，甚至能看到皮膚毛孔。

全局效應(yīng)與隨機性的分離

前文及隨附的視頻說明，雖然改變風格會產(chǎn)生全局效應(yīng)（global effect），如改變姿勢、ID 等，但噪聲只會影響無關(guān)緊要的隨機變化（如發(fā)型、胡子等）。這個觀察結(jié)果與風格遷移文獻一致，后者已經(jīng)確定了空間不變的統(tǒng)計數(shù)據(jù)（格拉姆矩陣、通道均值、方差等）能夠可靠地編碼圖像的風格 [17, 33]，同時空間變化的特征編碼特定實例。

在本文基于風格的生成器中，風格會影響整個圖像，因為整個特征圖會以同樣的值進行縮放和偏移。因此，姿勢、光線或背景風格等全局效應(yīng)可以得到連貫的控制。同時，噪聲被單獨添加到每個像素中，因此非常適于控制隨機變化。如果該網(wǎng)絡(luò)試圖用噪聲控制姿勢，那將會導(dǎo)致空間不一致的決策，然后被判別器懲罰。因此該網(wǎng)絡(luò)學會了在沒有明確指導(dǎo)的情況下適當?shù)厥褂萌趾途植客ǖ馈?/p>

此外，英偉達還提出兩種可應(yīng)用于任意生成器架構(gòu)的新型自動化方法，并創(chuàng)建了一個包含千差萬別、高質(zhì)量人臉圖像的新型數(shù)據(jù)集 FlickrFaces-HQ（FFHQ）。該數(shù)據(jù)集中的圖像來自于 Flickr 網(wǎng)站，并經(jīng)過自動對齊和剪裁。該數(shù)據(jù)集包含 70000 張分辨率為 1024^2 的高質(zhì)量圖像，其中的圖像在年齡、種族、圖像背景等方面比 CelebA-HQ [26] 具備更寬泛的變化，且涵蓋更多配飾，如眼鏡、太陽鏡、帽子等。