基于生成對(duì)抗網(wǎng)絡(luò)對(duì)隨機(jī)變化進(jìn)行建模

在這項(xiàng)工作中，我們使用一種新穎的風(fēng)格特征表示學(xué)習(xí)方法來(lái)解決任意圖像風(fēng)格轉(zhuǎn)移的挑戰(zhàn)性問(wèn)題。作為圖像風(fēng)格化任務(wù)中的關(guān)鍵組成部分，合適的風(fēng)格表示對(duì)于獲得令人滿意的結(jié)果至關(guān)重要?，F(xiàn)有的基于深度神經(jīng)網(wǎng)絡(luò)的方法在二階統(tǒng)計(jì)（如內(nèi)容特征的 Gram 矩陣）的指導(dǎo)下取得了合理的結(jié)果。但是，它們沒(méi)有利用足夠的樣式信息，這會(huì)導(dǎo)致局部失真和樣式不一致等偽影。為了解決這些問(wèn)題，我們建議通過(guò)分析多種風(fēng)格之間的異同并考慮風(fēng)格分布，直接從圖像特征而不是二階統(tǒng)計(jì)中學(xué)習(xí)風(fēng)格表示。具體來(lái)說(shuō)，我們提出了對(duì)比任意風(fēng)格遷移（CAST），這是一種通過(guò)對(duì)比學(xué)習(xí)的新風(fēng)格表示學(xué)習(xí)和風(fēng)格遷移方法。我們的框架由三個(gè)關(guān)鍵組件組成，即用于樣式代碼編碼的多層樣式投影儀、用于有效學(xué)習(xí)樣式分布的域增強(qiáng)模塊以及用于圖像樣式遷移的生成網(wǎng)絡(luò)。我們?nèi)孢M(jìn)行定性和定量評(píng)估，以證明與通過(guò)最先進(jìn)的方法獲得的方法相比，我們的方法取得了明顯更好的結(jié)果。

延時(shí)圖像序列為動(dòng)態(tài)過(guò)程提供了視覺(jué)上引人注目的洞察力，這些過(guò)程太慢而無(wú)法實(shí)時(shí)觀察。然而，由于隨機(jī)效應(yīng)（如天氣）以及循環(huán)效應(yīng)（如晝夜循環(huán)），將較長(zhǎng)的延時(shí)序列作為視頻播放通常會(huì)導(dǎo)致分散注意力的閃爍。我們以一種允許對(duì)圖像中的整體趨勢(shì)、循環(huán)效應(yīng)和隨機(jī)效應(yīng)進(jìn)行單獨(dú)的事后控制的方式引入了解開(kāi)延時(shí)序列的問(wèn)題，并描述了一種基于數(shù)據(jù)驅(qū)動(dòng)的生成模型的技術(shù)，該技術(shù)可以實(shí)現(xiàn)這個(gè)目標(biāo)。這使我們能夠以單獨(dú)使用輸入圖像無(wú)法實(shí)現(xiàn)的方式“重新渲染”序列。例如，我們可以穩(wěn)定一個(gè)長(zhǎng)序列，在可選擇的、一致的天氣下，在幾個(gè)月內(nèi)專注于植物生長(zhǎng)。

我們的方法基于生成對(duì)抗網(wǎng)絡(luò) （GAN），它以延時(shí)序列的時(shí)間坐標(biāo)為條件。我們的架構(gòu)和訓(xùn)練程序的設(shè)計(jì)使網(wǎng)絡(luò)學(xué)習(xí)使用 GAN 的潛在空間對(duì)隨機(jī)變化（例如天氣）進(jìn)行建模，并通過(guò)使用具有特定頻率的傅立葉特征將調(diào)節(jié)時(shí)間標(biāo)簽饋送到模型來(lái)解開(kāi)整體趨勢(shì)和循環(huán)變化。

我們展示了我們的模型對(duì)訓(xùn)練數(shù)據(jù)中的缺陷具有魯棒性，使我們能夠修正捕捉長(zhǎng)延時(shí)序列的一些實(shí)際困難，例如臨時(shí)遮擋、幀間距不均勻和幀丟失。

我們展示了Shoot360，一個(gè)高效生成多鏡頭的系統(tǒng)， 給定不同環(huán)境下的 360 度視頻錄制集合，具有所需內(nèi)容呈現(xiàn)和各種電影風(fēng)格的普通視圖視頻。我們系統(tǒng)的核心是一個(gè)三步?jīng)Q策過(guò)程： 1）首先對(duì)內(nèi)容進(jìn)行語(yǔ)義分析，基于鏡頭單元的每個(gè)全景環(huán)境的興趣，以及根據(jù)用戶對(duì)內(nèi)容呈現(xiàn)和電影風(fēng)格的規(guī)范，生成一個(gè)指導(dǎo)，指定其輸出鏡頭的語(yǔ)義焦點(diǎn)和運(yùn)動(dòng)類(lèi)型。 2）基于獲得的指導(dǎo)，它為每個(gè)鏡頭生成具有鏡頭級(jí)別控制參數(shù)的視頻候選，用于遵循拍攝規(guī)則的視圖投影。 3）系統(tǒng)進(jìn)一步聚合投影的正常視圖鏡頭與施加的局部和全局約束，其中結(jié)合了從示例視頻和專業(yè)拍攝規(guī)則中學(xué)習(xí)的外部知識(shí)。廣泛的實(shí)驗(yàn)驗(yàn)證了我們系統(tǒng)設(shè)計(jì)的有效性，我們總結(jié)了有希望的擴(kuò)展，以將其應(yīng)用于更通用的場(chǎng)景。