一個(gè)two-stage框架，允許用戶直接操作自然場(chǎng)景的高級(jí)屬性

編者按：近日，來自Hacettepe大學(xué)和阿姆斯特丹大學(xué)的研究人員在網(wǎng)上發(fā)布了一個(gè)短視頻，在外網(wǎng)引起極大反響。視頻中展示的是一個(gè)新型圖像編輯工具，不少人把它稱為“未來的Photoshop”，因?yàn)橹恍柽x擇天氣、季節(jié)、時(shí)間段等屬性，它就能即時(shí)改變圖片內(nèi)容，把春天變成冬天，把中午變成黃昏，同時(shí)原圖語義細(xì)節(jié)也會(huì)被極大保留。更驚人的是，只需選中繪制目標(biāo)，比如“樹”，待研究人員在圖中畫出一篇區(qū)域后，這塊區(qū)域就會(huì)被樹填充，效果自然逼真。

目前作者只公布了調(diào)整圖像自然屬性的研究論文：Manipulating Attributes of Natural Scenes via Hallucination，其Pytorch代碼會(huì)在近期放出，有興趣的讀者可以關(guān)注Hacettepe大學(xué)的相關(guān)網(wǎng)頁。

下面是論文的大致內(nèi)容：

摘要

在本研究中，我們探索構(gòu)建了一個(gè)two-stage框架，允許用戶直接操作自然場(chǎng)景的高級(jí)屬性。這種方法的關(guān)鍵在于深層生成網(wǎng)絡(luò)，它能基于原始圖像生成“幻覺”，即好像是在不同季節(jié)、不同天氣條件、一天中的不同時(shí)間段下拍攝的同一場(chǎng)景。

一旦根據(jù)給定自然屬性生成了“幻覺”場(chǎng)景，這個(gè)“幻覺”就能結(jié)合輸入圖像做風(fēng)格遷移，同時(shí)保持完整的語義細(xì)節(jié)，輸出逼真的圖像屬性調(diào)整效果。和大多數(shù)風(fēng)格遷移方法不同，由于輸入圖像的目標(biāo)高級(jí)屬性來自“幻覺”，它無需額外的參考圖像。此外，它允許在單個(gè)模型內(nèi)基于瞬態(tài)屬性集同時(shí)操縱給定場(chǎng)景，因此可以避免訓(xùn)練多個(gè)神經(jīng)網(wǎng)絡(luò)。

根據(jù)全面定性定量實(shí)驗(yàn)的結(jié)果，我們提出的方法很有競爭力

簡介

園里樹木有的枝枒還覆蓋著積雪，影影綽綽顯現(xiàn)在多云的天幕上。月光慘淡?！蜖栐恕端_拉金》

在我們的生活中，視覺世界會(huì)隨著時(shí)間和季節(jié)不斷變化其外觀。比如在日落時(shí)，太陽靠近地平線，這時(shí)西方天空會(huì)呈現(xiàn)宜人的紅色色調(diào)；隨著夏季到來，草地上原本鮮嫩的黃綠色被綠色取代，整體更明亮，而夏去秋來，棕色色調(diào)開始慢慢出現(xiàn)在各種自然風(fēng)景中。

在時(shí)間、天氣和季節(jié)的影響下，自然界幾乎無時(shí)無刻不在發(fā)生視覺上的變化。我們把這種高級(jí)變化稱為瞬態(tài)場(chǎng)景屬性——例如陰天、霧天、夜晚、白天、日落、冬天、夏天……

圖像生成是一項(xiàng)非常具有挑戰(zhàn)性的任務(wù)，因?yàn)樗哪繕?biāo)是輸出逼真圖像。現(xiàn)在，如果要實(shí)現(xiàn)圖像場(chǎng)景屬性變化，比較常見的方法是風(fēng)格遷移，但這種方法需要我們提供帶有目標(biāo)屬性的樣本素材。雖然有人也提出了自動(dòng)風(fēng)格遷移，可以讓模型自動(dòng)檢索符合的素材，但它也產(chǎn)生了新的問題，就是我們?cè)撊绾卧O(shè)計(jì)一種可以根據(jù)期望屬性和語義分布檢索圖像的算法。

為了克服這一點(diǎn)，我們提出了一種結(jié)合神經(jīng)圖像生成和風(fēng)格遷移的方法。首先，我們?cè)O(shè)計(jì)了一個(gè)條件圖像合成模型，它能夠在目標(biāo)場(chǎng)景中生成具有輸入圖像類似語義內(nèi)容的“幻覺”；其次，我們?cè)儆脠D像風(fēng)格遷移的方法，把“幻覺”移植到原始圖像中，最終輸出逼真的效果。

本研究主要貢獻(xiàn)：

提出了一種新的two-stage視覺屬性操作框架，用于更改給定室外圖像的高級(jí)屬性。

開發(fā)了一個(gè)條件GAN的變體，用于生成忠實(shí)于原圖語義分布的、帶有目標(biāo)瞬態(tài)場(chǎng)景屬性的“幻覺”場(chǎng)景。

構(gòu)建一個(gè)用布局和瞬態(tài)屬性標(biāo)簽注釋的室外場(chǎng)景數(shù)據(jù)集。

網(wǎng)絡(luò)細(xì)節(jié)

上圖是本文提出框架的整體圖解，它的關(guān)鍵組件是下方這個(gè)黃色的場(chǎng)景生成網(wǎng)絡(luò)?？梢园l(fā)現(xiàn)，輸入圖像后，模型會(huì)先用簡單色塊模擬原圖語義分布，并把它作為場(chǎng)景生成網(wǎng)絡(luò)的第一個(gè)輸入。場(chǎng)景生成網(wǎng)絡(luò)的第二個(gè)輸入是瞬態(tài)屬性的連續(xù)值向量。

有了這兩個(gè)輸入，這個(gè)生成網(wǎng)絡(luò)能輸出和輸入圖像語義分布一致，且具有所需瞬態(tài)屬性的合成場(chǎng)景。在這幅新圖的基礎(chǔ)上，結(jié)合輸入圖像，模型就能用遷移學(xué)習(xí)生成逼真圖像。

上圖是生成網(wǎng)絡(luò)的整體圖解?？梢园l(fā)現(xiàn)，整個(gè)框架延續(xù)了GAN的一般特征，由一個(gè)生成器G和一個(gè)判別器D組成，兩者都以語義分布和瞬態(tài)場(chǎng)景屬性維條件。在模型中，語義分布被編碼為8位二進(jìn)制碼，而瞬態(tài)場(chǎng)景屬性被編碼為40維向量。

在圖的左側(cè)，模型連接語義分布S、空間復(fù)制屬性向量a和z，將它門串聯(lián)饋送進(jìn)G中獲得輸出。隨后，這個(gè)輸出再和S、a一起輸入右側(cè)的D，由判別器確定這幅圖像是否既符合原圖的語義分布，又帶有期望的瞬態(tài)場(chǎng)景屬性。

結(jié)果

在上述研究過程中，作者制作了ALS17K數(shù)據(jù)集，它包含17,772幅室外圖像，其中訓(xùn)練集16,434幅，測(cè)試集1,338幅，有150個(gè)語義類別和40個(gè)瞬態(tài)場(chǎng)景屬性。目前這個(gè)數(shù)據(jù)集還沒有公開。

結(jié)合網(wǎng)站上的測(cè)試工具，我們檢驗(yàn)了論文的具體生成效果，如下所示：

原圖

日落

冬季

多云

青蔥

在示例的兩幅圖中，霧天效果都不是很明顯，因此這里不再展示。下面是論文中的一些圖片。