一種在生成對抗性學(xué)習(xí)框架下的新穎的視頻合成方法

我們研究視頻到視頻的合成問題，其目的是學(xué)習(xí)從輸入源視頻（例如，一系列語義分割掩碼）到精確描述源視頻內(nèi)容的輸出真實感視頻的映射功能。

雖然它的圖像對應(yīng)物（圖像到圖像合成問題）是一個受歡迎的話題，但是視頻到視頻合成問題在文獻(xiàn)中很少探討。在不了解時間動態(tài)的情況下，將現(xiàn)有的圖像合成方法直接應(yīng)用于輸入視頻通常會導(dǎo)致視覺質(zhì)量低下的時間不連貫視頻。

在本文中，我們提出了一種在生成對抗性學(xué)習(xí)框架下的新穎的視頻合成方法。通過精心設(shè)計的生成器和鑒別器架構(gòu)以及時空對抗目標(biāo)，我們可以通過多種輸入格式（包括分割蒙版，草圖和姿勢）獲得高分辨率，逼真的，時間上連貫的視頻結(jié)果。在多個基準(zhǔn)上進(jìn)行的實驗表明，與強基準(zhǔn)相比，我們的方法具有優(yōu)勢。

尤其是，我們的模型能夠合成長達(dá)30秒的街道場景的2K分辨率視頻，從而大大提高了視頻合成的最新水平。最后，我們將我們的方法應(yīng)用于未來的視頻預(yù)測，其性能超過了幾個最先進(jìn)的競爭系統(tǒng)。

我們的模型能夠合成長達(dá)30秒的街道場景的2K分辨率視頻，從而大大提高了視頻合成的最新水平。最后，我們將我們的方法應(yīng)用于未來的視頻預(yù)測，其性能超過了幾個最先進(jìn)的競爭系統(tǒng)。

我們的模型能夠合成長達(dá)30秒的街道場景的2K分辨率視頻，從而大大提高了視頻合成的最新水平。最后，我們將我們的方法應(yīng)用于未來的視頻預(yù)測，其性能超過了幾個最先進(jìn)的競爭系統(tǒng)。