基于使用對(duì)比學(xué)習(xí)和條件變分自編碼器的新穎框架ADS-Cap

01

研究動(dòng)機(jī)

在本文中，我們研究了圖像描述（Image Captioning）領(lǐng)域一個(gè)新興的問題——圖像風(fēng)格化描述（Stylized Image Captioning）。隨著深度學(xué)習(xí)的發(fā)展，自動(dòng)圖像描述吸引了計(jì)算機(jī)視覺和自然語言處理領(lǐng)域研究者們的廣泛關(guān)注?，F(xiàn)在的圖像描述模型可以為圖像生成準(zhǔn)確的文本表述，但在日常生活中，人們?cè)诒磉_(dá)想法的同時(shí)通常還會(huì)帶有自己的情感或者風(fēng)格，為此研究者們提出了圖像風(fēng)格化描述任務(wù)，希望模型在準(zhǔn)確描述視覺內(nèi)容的同時(shí)也能在描述中融入指定的語言風(fēng)格。例如對(duì)于圖1展示的圖片，下面列出了傳統(tǒng)的事實(shí)性描述和四種風(fēng)格帶有風(fēng)格的描述，即幽默的、浪漫的、積極的和消極的，其中畫紅線的部分是體現(xiàn)風(fēng)格的部分。圖像風(fēng)格化描述也有許多下游應(yīng)用，例如在聊天機(jī)器人中生成更吸引用戶的圖像描述、以及在社交媒體上通過有吸引力的描述啟發(fā)用戶。

圖1圖像風(fēng)格化描述（Stylized Image Captioning）任務(wù)

該任務(wù)的一個(gè)困難在于，收集圖片和對(duì)應(yīng)人工標(biāo)注的風(fēng)格化描述是代價(jià)高昂的，為此我們希望能夠僅利用非成對(duì)的風(fēng)格文本語料庫，讓圖像描述模型在這些風(fēng)格文本上自動(dòng)學(xué)習(xí)語言風(fēng)格知識(shí)。因此在訓(xùn)練時(shí)，我們提供事實(shí)性的圖像-描述對(duì)數(shù)據(jù)集以及不包含圖片的非成對(duì)的風(fēng)格文本語料庫，希望模型通過前者學(xué)習(xí)如何準(zhǔn)確描述圖像內(nèi)容，通過后者學(xué)習(xí)如何在描述中融入指定語言風(fēng)格。

在上述設(shè)定下，該任務(wù)的一個(gè)關(guān)鍵問題是：如何高效利用成對(duì)的事實(shí)性數(shù)據(jù)和非成對(duì)的風(fēng)格數(shù)據(jù)。多數(shù)以往工作遵循傳統(tǒng)的方法論：首先在大規(guī)模的成對(duì)事實(shí)性數(shù)據(jù)上預(yù)訓(xùn)練一個(gè)編碼器-解碼器模型，之后在非成對(duì)的風(fēng)格數(shù)據(jù)上，以語言模型的方式微調(diào)解碼器，例如StyleNet[1]和MSCap[2]。然而，我們認(rèn)為在非成對(duì)風(fēng)格數(shù)據(jù)上按照語言模型微調(diào)會(huì)導(dǎo)致模型過于關(guān)注語言風(fēng)格，而忽略了生成描述和圖像內(nèi)容的一致性，因?yàn)樵谖⒄{(diào)時(shí)解碼器完全與視覺輸入無關(guān)。這最終導(dǎo)致了圖像風(fēng)格化描述模型無法生成切合圖像內(nèi)容的描述。MemCap[3]提出利用場景圖作為中間媒介，將成對(duì)和非成對(duì)數(shù)據(jù)的訓(xùn)練過程統(tǒng)一為根據(jù)場景圖生成描述；然而，由于不同模態(tài)間的差異，文本和圖像抽取的場景圖依然是不一致的，這導(dǎo)致模型在測試時(shí)仍然無法很好地兼顧描述圖像內(nèi)容的準(zhǔn)確性和融入語言風(fēng)格。

另一個(gè)重要問題是，目前的工作基本上忽略了生成風(fēng)格表達(dá)的多樣性。如圖2所示，對(duì)于三張相似場景的圖片，基線模型生成了完全相同的風(fēng)格短語“to meet his lover”，而當(dāng)為一張圖片生成多個(gè)風(fēng)格化描述時(shí)，基線模型生成的風(fēng)格表述也缺乏變化。這樣的結(jié)果極大偏離了圖像風(fēng)格化描述任務(wù)的初衷：我們希望得到生動(dòng)多樣的描述，而不僅僅是幾個(gè)固定的表達(dá)。我們認(rèn)為造成這一問題的原因是風(fēng)格語料規(guī)模較小，使得傳統(tǒng)的編碼器-解碼器模型難以生成多樣的風(fēng)格模式。

圖2：傳統(tǒng)編碼器-解碼器框架難以建模多樣化的風(fēng)格表達(dá)

為了解決上面提到的兩方面問題，我們提出了全新的ADS-Cap框架：通過對(duì)比學(xué)習(xí)對(duì)齊圖像文本兩種模態(tài)，使模型能夠?qū)⒊蓪?duì)數(shù)據(jù)和非成對(duì)數(shù)據(jù)統(tǒng)一為條件生成的模式，使得模型能夠在準(zhǔn)確描述圖像內(nèi)容的同時(shí)融入指定語言風(fēng)格；通過條件變分自編碼器架構(gòu)，引導(dǎo)隱空間記憶多種多樣的風(fēng)格表達(dá)，有效增強(qiáng)生成時(shí)的多樣性。

02

貢獻(xiàn)

1.我們提出了一個(gè)新穎的使用對(duì)比學(xué)習(xí)和條件變分自編碼器的圖像風(fēng)格化描述框架ADS-Cap。

2.當(dāng)使用非成對(duì)風(fēng)格文本語料庫訓(xùn)練時(shí)，對(duì)比學(xué)習(xí)模塊有效地提升了生成描述與圖像內(nèi)容的一致性。

3.條件變分自編碼器框架通過在隱空間中記憶風(fēng)格表達(dá)并在測試時(shí)采樣，顯著提升了圖像風(fēng)格化描述生成的多樣性。

4.在兩個(gè)benchmark圖像風(fēng)格化描述數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，我們的方法在準(zhǔn)確性和多樣性上達(dá)到SOTA。

03

解決方案

整體模型架構(gòu)如下圖3所示，主要由一個(gè)條件變分自編碼器框架和一個(gè)對(duì)比學(xué)習(xí)模塊組成。藍(lán)色部分代表模型的輸入和輸出，黃色部分代表模型的可學(xué)習(xí)參數(shù)，紅色部分是我們模型編碼風(fēng)格表達(dá)的隱空間。

圖3：ADS-Cap框架示意圖

3.1對(duì)比學(xué)習(xí)

我們首先通過一個(gè)目標(biāo)對(duì)象詞詞表（來自VG數(shù)據(jù)集），從非成對(duì)數(shù)據(jù)的描述中抽取目標(biāo)對(duì)象詞，這樣我們就能夠?qū)⒊蓪?duì)數(shù)據(jù)和非成對(duì)數(shù)據(jù)的訓(xùn)練統(tǒng)一為條件生成的模式：對(duì)于成對(duì)的事實(shí)性數(shù)據(jù)，我們根據(jù)圖像特征生成事實(shí)性的描述；對(duì)于非成對(duì)的風(fēng)格數(shù)據(jù)，我們根據(jù)目標(biāo)對(duì)象詞生成風(fēng)格化的描述。然而，在測試時(shí)，我們需要根據(jù)圖像特征生成風(fēng)格化的描述，如下圖4黃色箭頭所示。為此我們的解決方案是，使用對(duì)比學(xué)習(xí)將圖像特征和目標(biāo)對(duì)象詞特征編碼到同一個(gè)共享的多模態(tài)特征空間，從而對(duì)于解碼器來說，根據(jù)圖像生成和根據(jù)目標(biāo)對(duì)象詞生成將不再有差異。

圖4：使用非成對(duì)風(fēng)格文本語料庫帶來的問題

具體而言，對(duì)比學(xué)習(xí)損失最大化一個(gè)batch內(nèi)匹配樣本間的余弦相似度，同時(shí)最小化不匹配樣本間的余弦相似度[4]，從而對(duì)齊圖像和目標(biāo)對(duì)象詞兩種模態(tài)的特征到同一個(gè)共享的多模態(tài)特征空間中。

3.2條件變分自編碼器框架

為了提高生成描述的多樣性，我們使用條件變分自編碼器（CVAE）代替了傳統(tǒng)的編碼器-解碼器架構(gòu)，主要是因?yàn)镃VAE在許多生成任務(wù)上多樣性表現(xiàn)較好，而且對(duì)于圖像風(fēng)格化描述任務(wù)來說，可以利用隱空間自動(dòng)記憶多種多樣的風(fēng)格表達(dá)，從而在測試時(shí)在隱空間不同區(qū)域采樣就可以生成帶有不同風(fēng)格短語的描述。如圖5所示，CVAE的編碼器將樣本的風(fēng)格表達(dá)編碼到隱變量，解碼器通過該隱變量輔助嘗試還原輸入樣本。之后，CVAE的訓(xùn)練原理也就是KL散度損失和重建損失使得各種各樣的風(fēng)格表達(dá)能夠均勻地分布在隱空間中。

除此之外，我們?cè)陔[變量上增加了一個(gè)風(fēng)格分類器，以隱變量為輸入，預(yù)測該隱變量對(duì)應(yīng)樣本的風(fēng)格。這樣一個(gè)輔助損失有兩方面好處，一個(gè)是可以引導(dǎo)隱空間編碼與風(fēng)格相關(guān)的信息；另外這個(gè)單層神經(jīng)網(wǎng)絡(luò)+softmax的分類器實(shí)際上也將整個(gè)隱空間按風(fēng)格劃分了，這樣在測試時(shí)，我們就可以通過拒絕采樣得到我們想要風(fēng)格的隱變量。

圖5：條件變分自編碼器框架及風(fēng)格分類器

04

實(shí)驗(yàn)

我們?cè)趫D像風(fēng)格化描述的兩個(gè)benchmark數(shù)據(jù)集FlickrStyle10K[1]和SentiCap[5]上進(jìn)行實(shí)驗(yàn)。前者包含幽默和浪漫兩種風(fēng)格，各7000張圖片和對(duì)應(yīng)的風(fēng)格化描述；后者包含積極和消極兩種風(fēng)格，共2360張圖片以及9513個(gè)風(fēng)格化描述。數(shù)據(jù)集劃分以及實(shí)驗(yàn)設(shè)定上，我們與MSCap[2]和MemCap[3]保持一致。

4.1內(nèi)容準(zhǔn)確性&風(fēng)格準(zhǔn)確性

在性能方面，我們首先比較了之前工作采用的內(nèi)容準(zhǔn)確率和風(fēng)格準(zhǔn)確率。其中內(nèi)容準(zhǔn)確率采用Bleu、CIDEr這類計(jì)算和參考句子間n元組重復(fù)度的指標(biāo)，風(fēng)格準(zhǔn)確率則使用生成句子的困惑度ppl、以及一個(gè)預(yù)訓(xùn)練好的風(fēng)格判別器給出的風(fēng)格準(zhǔn)確率cls?？梢钥吹饺绫?所示，我們的方法相比之前工作在幾乎所有指標(biāo)上取得了顯著的提升，特別是在FlickrStyle這個(gè)風(fēng)格更復(fù)雜的數(shù)據(jù)集上。這也側(cè)面證實(shí)了以往工作忽略了生成描述和圖像內(nèi)容一致性這個(gè)問題，而我們的方法能夠在融入語言風(fēng)格的同時(shí)保持和圖像內(nèi)容的一致性。

表1：內(nèi)容準(zhǔn)確性和風(fēng)格準(zhǔn)確性

4.2多樣性

我們比較將我們的方法與編碼器-解碼器基線模型在兩類多樣性上進(jìn)行了比較。圖6展示了兩類多樣性以及我們方法的效果。

圖6：兩類多樣性及樣例展示

第一類是圖像間的多樣性（Diversity across Images），也就是我們希望同一場景下不同圖像生成的風(fēng)格化描述應(yīng)該是多樣的。為此我們考慮了：1.唯一性，不同的風(fēng)格短語戰(zhàn)全部風(fēng)格短語的比例；2.均勻性，風(fēng)格詞概率分布的熵（下式）。從下表2結(jié)果中可以看到，在七種典型場景下（各種人物以及動(dòng)物），我們的CVAE模型均顯著高于編碼器-解碼器基線，但距離人類的表現(xiàn)還有不少距離。

表2：相似場景下風(fēng)格化描述多樣性

第二類是經(jīng)典的為一張圖像生成多個(gè)風(fēng)格化描述的多樣性。為此我們考慮了圖像描述領(lǐng)域中量此類多樣性的兩個(gè)指標(biāo)：Distinct和Div-n，前者計(jì)算不同的風(fēng)格短語的比例，后者計(jì)算不同的n元組的比例。從表2中可以看到，我們的方法同樣優(yōu)于基線模型。

表3：為一張圖像生成多個(gè)風(fēng)格化描述的多樣性

4.3效果分析

為了展示分析對(duì)比學(xué)習(xí)和條件變分自編碼器框架的效果，我們進(jìn)行了一些可視化。

圖7給出了使用對(duì)比學(xué)習(xí)前后的特征空間分析，綠色代表的是目標(biāo)對(duì)象詞特征，紅色是圖像特征?？梢钥吹綄?duì)比學(xué)習(xí)很好地對(duì)齊了兩類特征（例如狗的目標(biāo)對(duì)象詞特征和對(duì)應(yīng)圖像特征十分相近），從而成功統(tǒng)一了成對(duì)事實(shí)性數(shù)據(jù)和非成對(duì)風(fēng)格數(shù)據(jù)的訓(xùn)練。

圖7：對(duì)比學(xué)習(xí)效果

如圖8所示，訓(xùn)練好的CVAE隱空間實(shí)際上被按照風(fēng)格劃分為不同的區(qū)域，并且在每個(gè)區(qū)域中編碼了多種多樣的風(fēng)格表達(dá)，例如對(duì)于浪漫的風(fēng)格，這里展示了其中幾個(gè)點(diǎn)對(duì)應(yīng)的風(fēng)格表達(dá)，有enjoying the beauty of nature、with full joy等等；因此，測試時(shí)在每個(gè)區(qū)域中采樣即可得到多樣化的風(fēng)格描述。

圖8：條件變分自編碼器隱空間

05

總結(jié)

本工作為圖像風(fēng)格化描述任務(wù)提出了一個(gè)使用對(duì)比學(xué)習(xí)和條件變分自編碼器的新穎框架ADS-Cap。我們的模型能夠高效地利用非成對(duì)風(fēng)格文本語料庫訓(xùn)練，并能夠生成視覺內(nèi)容準(zhǔn)確、文本風(fēng)格可控且風(fēng)格表達(dá)多樣的圖像風(fēng)格化描述。在兩個(gè)圖像風(fēng)格化描述benchmark上的實(shí)驗(yàn)證明了我們方法的有效性。