使用Pytorch實(shí)現(xiàn)頻譜歸一化生成對(duì)抗網(wǎng)絡(luò)(SN-GAN)

自從擴(kuò)散模型發(fā)布以來(lái)，GAN的關(guān)注度和論文是越來(lái)越少了，但是它們里面的一些思路還是值得我們了解和學(xué)習(xí)。所以本文我們來(lái)使用Pytorch 來(lái)實(shí)現(xiàn)SN-GAN

譜歸一化生成對(duì)抗網(wǎng)絡(luò)是一種生成對(duì)抗網(wǎng)絡(luò)，它使用譜歸一化技術(shù)來(lái)穩(wěn)定鑒別器的訓(xùn)練。譜歸一化是一種權(quán)值歸一化技術(shù)，它約束了鑒別器中每一層的譜范數(shù)。這有助于防止鑒別器變得過于強(qiáng)大，從而導(dǎo)致不穩(wěn)定和糟糕的結(jié)果。

SN-GAN由Miyato等人(2018)在論文“生成對(duì)抗網(wǎng)絡(luò)的譜歸一化”中提出，作者證明了sn - gan在各種圖像生成任務(wù)上比其他gan具有更好的性能。

SN-GAN的訓(xùn)練方式與其他gan相同。生成器網(wǎng)絡(luò)學(xué)習(xí)生成與真實(shí)圖像無(wú)法區(qū)分的圖像，而鑒別器網(wǎng)絡(luò)學(xué)習(xí)區(qū)分真實(shí)圖像和生成圖像。這兩個(gè)網(wǎng)絡(luò)以競(jìng)爭(zhēng)的方式進(jìn)行訓(xùn)練，它們最終達(dá)到一個(gè)點(diǎn)，即生成器能夠產(chǎn)生逼真的圖像，從而欺騙鑒別器。

以下是SN-GAN相對(duì)于其他gan的優(yōu)勢(shì)總結(jié):

• 更穩(wěn)定，更容易訓(xùn)練
• 可以生成更高質(zhì)量的圖像
• 更通用，可以用來(lái)生成更廣泛的內(nèi)容。

模式崩潰

模式崩潰是生成對(duì)抗網(wǎng)絡(luò)(GANs)訓(xùn)練中常見的問題。當(dāng)GAN的生成器網(wǎng)絡(luò)無(wú)法產(chǎn)生多樣化的輸出，而是陷入特定的模式時(shí)，就會(huì)發(fā)生模式崩潰。這會(huì)導(dǎo)致生成的輸出出現(xiàn)重復(fù)，缺乏多樣性和細(xì)節(jié)，有時(shí)甚至與訓(xùn)練數(shù)據(jù)完全無(wú)關(guān)。

GAN中發(fā)生模式崩潰有幾個(gè)原因。一個(gè)原因是生成器網(wǎng)絡(luò)可能對(duì)訓(xùn)練數(shù)據(jù)過擬合。如果訓(xùn)練數(shù)據(jù)不夠多樣化，或者生成器網(wǎng)絡(luò)太復(fù)雜，就會(huì)發(fā)生這種情況。另一個(gè)原因是生成器網(wǎng)絡(luò)可能陷入損失函數(shù)的局部最小值。如果學(xué)習(xí)率太高，或者損失函數(shù)定義不明確，就會(huì)發(fā)生這種情況。

以前有許多技術(shù)可以用來(lái)防止模式崩潰。比如使用更多樣化的訓(xùn)練數(shù)據(jù)集?；蛘呤褂谜齽t化技術(shù)，例如dropout或批處理歸一化，使用合適的學(xué)習(xí)率和損失函數(shù)也很重要。

Wassersteian損失

Wasserstein損失，也稱為Earth Mover’s Distance(EMD)或Wasserstein GAN (WGAN)損失，是一種用于生成對(duì)抗網(wǎng)絡(luò)(GAN)的損失函數(shù)。引入它是為了解決與傳統(tǒng)GAN損失函數(shù)相關(guān)的一些問題，例如Jensen-Shannon散度和Kullback-Leibler散度。

Wasserstein損失測(cè)量真實(shí)數(shù)據(jù)和生成數(shù)據(jù)的概率分布之間的差異，同時(shí)確保它具有一定的數(shù)學(xué)性質(zhì)。他的思想是最小化這兩個(gè)分布之間的Wassersteian距離(也稱為地球移動(dòng)者距離)。Wasserstein距離可以被認(rèn)為是將一個(gè)分布轉(zhuǎn)換為另一個(gè)分布所需的最小“成本”，其中“成本”被定義為將概率質(zhì)量從一個(gè)位置移動(dòng)到另一個(gè)位置所需的“工作量”。

Wasserstein損失的數(shù)學(xué)定義如下:

對(duì)于生成器G和鑒別器D, Wasserstein損失(Wasserstein距離)可以表示為:

Jensen-Shannon散度(JSD): Jensen-Shannon散度是一種對(duì)稱度量，用于量化兩個(gè)概率分布之間的差異

對(duì)于概率分布P和Q, JSD定義如下:

JSD(P∥Q)=1/2(KL(P∥M)+KL(Q∥M))

M為平均分布，KL為Kullback-Leibler散度，P∥Q為分布P與分布Q之間的JSD。

JSD總是非負(fù)的，在0和1之間有界，并且對(duì)稱(JSD(P|Q) = JSD(Q|P))。它可以被解釋為KL散度的“平滑”版本。

Kullback-Leibler散度(KL散度):Kullback-Leibler散度，通常被稱為KL散度或相對(duì)熵，通過量化“額外信息”來(lái)測(cè)量?jī)蓚€(gè)概率分布之間的差異，這些“額外信息”需要使用另一個(gè)分布作為參考來(lái)編碼一個(gè)分布。

對(duì)于兩個(gè)概率分布P和Q，從Q到P的KL散度定義為:KL(P∥Q)=∑x P(x)log(Q(x)/P(x))。KL散度是非負(fù)非對(duì)稱的，即KL(P∥Q)≠KL(Q∥P)。當(dāng)且僅當(dāng)P和Q相等時(shí)它為零。KL散度是無(wú)界的，可以用來(lái)衡量分布之間的不相似性。

1-Lipschitz Contiunity

1- lipschitz函數(shù)是斜率的絕對(duì)值以1為界的函數(shù)。這意味著對(duì)于任意兩個(gè)輸入x和y，函數(shù)輸出之間的差不超過輸入之間的差。

數(shù)學(xué)上函數(shù)f是1-Lipschitz，如果對(duì)于f定義域內(nèi)的所有x和y，以下不等式成立:

|f(x) — f(y)| <= |x — y|

在生成對(duì)抗網(wǎng)絡(luò)(GANs)中強(qiáng)制Lipschitz連續(xù)性是一種用于穩(wěn)定訓(xùn)練和防止與傳統(tǒng)GANs相關(guān)的一些問題的技術(shù)，例如模式崩潰和訓(xùn)練不穩(wěn)定。在GAN中實(shí)現(xiàn)Lipschitz連續(xù)性的主要方法是通過使用Lipschitz約束或正則化，一種常用的方法是Wasserstein GAN (WGAN)。

在標(biāo)準(zhǔn)gan中，鑒別器(也稱為WGAN中的批評(píng)家)被訓(xùn)練來(lái)區(qū)分真實(shí)和虛假數(shù)據(jù)。為了加強(qiáng)Lipschitz連續(xù)性，WGAN增加了一個(gè)約束，即鑒別器函數(shù)應(yīng)該是Lipschitz連續(xù)的，這意味著函數(shù)的梯度不應(yīng)該增長(zhǎng)得太大。在數(shù)學(xué)上，它被限制為:

∥∣D(x)?D(y)∣≤K?∥x?y∥

其中D(x)是評(píng)論家對(duì)數(shù)據(jù)點(diǎn)x的輸出，D(y)是y的輸出，K是Lipschitz 常數(shù)。

WGAN的權(quán)重裁剪:在原始的WGAN中，通過在每個(gè)訓(xùn)練步驟后將鑒別器網(wǎng)絡(luò)的權(quán)重裁剪到一個(gè)小范圍(例如，[-0.01,0.01])來(lái)強(qiáng)制執(zhí)行該約束。權(quán)重裁剪確保了鑒別器的梯度保持在一定范圍內(nèi)，并加強(qiáng)了利普希茨連續(xù)性。

WGAN的梯度懲罰: WGAN的一種變體，稱為WGAN-GP，它使用梯度懲罰而不是權(quán)值裁剪來(lái)強(qiáng)制Lipschitz約束。WGAN-GP基于鑒別器的輸出相對(duì)于真實(shí)和虛假數(shù)據(jù)之間的隨機(jī)點(diǎn)的梯度，在損失函數(shù)中添加了一個(gè)懲罰項(xiàng)。這種懲罰鼓勵(lì)了Lipschitz約束，而不需要權(quán)重裁剪。

譜范數(shù)

從符號(hào)上看矩陣