AI為表情包生成搞笑文字說(shuō)明

制作表情包還能獲得研究生學(xué)分？如果使用深度學(xué)習(xí)技術(shù)來(lái)實(shí)現(xiàn)的話，是有可能的。

23歲的Lawrence Peirson正在攻讀斯坦福大學(xué)的理論天體物理學(xué)博士學(xué)位，但今年卻決定進(jìn)修幾門(mén)AI課程。在一個(gè)班級(jí)項(xiàng)目中，他和自己的同班同學(xué)E.Meltem Tolunay開(kāi)發(fā)了一個(gè)神經(jīng)網(wǎng)絡(luò)，可為表情包生成說(shuō)明文字。他們發(fā)布了一份關(guān)于該網(wǎng)絡(luò)的白皮書(shū)，其標(biāo)題十分貼切：“Dank Learning”（“Dank”是“Cool”的同義詞）。

雖然現(xiàn)在已經(jīng)存在很多訓(xùn)練深度學(xué)習(xí)模型為圖片生成文字說(shuō)明的例子。例如，準(zhǔn)確地為一張圖片生成說(shuō)明性文字“踏著沖浪板的男人”或“拿著蛋卷冰淇淋的孩子”。但對(duì)于表情包，Peirson想挑戰(zhàn)一下神經(jīng)網(wǎng)絡(luò)能否突破字面解釋，創(chuàng)造出具有幽默感的文字說(shuō)明。

盡管一開(kāi)始Peirson對(duì)所生成表情包的趣味性持懷疑態(tài)度，但最終他發(fā)現(xiàn)深度學(xué)習(xí)模型確實(shí)可以生成“一些非常有趣的原創(chuàng)幽默內(nèi)容”。

獲得“深度表情包”

該神經(jīng)網(wǎng)絡(luò)為一類流行的動(dòng)物表情包生成說(shuō)明文字。為了收集用于訓(xùn)練該深度學(xué)習(xí)模型所需的數(shù)據(jù)，Peirson從memegenerator.net網(wǎng)站上搜集了大約40萬(wàn)個(gè)由用戶生成的表情包。該網(wǎng)站提供各類表情包模板，并允許用戶自己搭配文字說(shuō)明。

該數(shù)據(jù)集包含大約3000個(gè)基本圖像，每個(gè)圖像都配有多種不同的文字說(shuō)明。由于輸入數(shù)據(jù)均來(lái)自用戶，深度學(xué)習(xí)模型所處理的表情包文字說(shuō)明的質(zhì)量良莠不齊。

“我們使用了40萬(wàn)個(gè)表情包，其中的大部分沒(méi)有那么有趣，但是至少它們能夠教會(huì)系統(tǒng)表情包是什么，以及什么樣的笑話才是與圖片內(nèi)容相關(guān)的，”他說(shuō)道。

互聯(lián)網(wǎng)表情包在網(wǎng)絡(luò)上早已流傳多年，Reddit、Facebook、9GAG和Quick Meme等網(wǎng)站是它們的大本營(yíng)。最火爆的表情包可能會(huì)配有超過(guò)200萬(wàn)種原創(chuàng)文字說(shuō)明。

表情包引用的通常是流行文化、時(shí)事或某個(gè)特定的互聯(lián)網(wǎng)亞文化群體才明白的“梗”。（Peirson創(chuàng)建了一個(gè)名為“The specific heat capacity of europium at standard temperature and pressure”的表情包頁(yè)面。）

這些表情包同時(shí)汲取了數(shù)字文化的精華與糟粕。其論文指出，訓(xùn)練數(shù)據(jù)中大多是關(guān)于咒罵、種族主義和性別歧視的表情包。Peirson覺(jué)得需要在未來(lái)訓(xùn)練中過(guò)濾掉這些內(nèi)容，但他指出這一問(wèn)題并不是表情包所獨(dú)有的，“這在自然語(yǔ)言處理中是一個(gè)普遍存在的大問(wèn)題”。

該深度學(xué)習(xí)模型利用CUDA語(yǔ)言編寫(xiě)，使用了一塊NVIDIA GPU。Peirson和Tolunay同時(shí)嘗試了使用無(wú)標(biāo)記的數(shù)據(jù)和標(biāo)有表情包標(biāo)題的數(shù)據(jù)（例如，成功小子或暴走漫畫(huà)），但并沒(méi)有發(fā)現(xiàn)表情包的質(zhì)量有任何顯著差異。

“這些表情包非常有趣，不過(guò)是‘也還說(shuō)得過(guò)去，但其實(shí)并不是那么搞笑’這種程度，” Peirson說(shuō)道，“表情包就是借用了這種幽默感。

該神經(jīng)網(wǎng)絡(luò)為此類動(dòng)物表情包生成了說(shuō)明文字。

讓表情包變酷可不容易

為了評(píng)估深度學(xué)習(xí)模型成功與否，兩人開(kāi)發(fā)了一個(gè)“困惑指數(shù)”（perplexity score），用其檢查神經(jīng)網(wǎng)絡(luò)是否可以明確識(shí)別出數(shù)據(jù)的模式。他們針對(duì)幾百?gòu)垘в蓄A(yù)設(shè)格式的表情包計(jì)算出了“困惑指數(shù)”。如Boromir（電影《魔戒》中的角色）表情包，該表情包的文字說(shuō)明始終都帶有“one does not simply”的字樣。

但對(duì)于表情包的真正考驗(yàn)在于其是否搞笑。

在一項(xiàng)定性調(diào)查中，Peirson與其白皮書(shū)的共同作者同時(shí)向受訪者展示了人類創(chuàng)作的表情包和深度學(xué)習(xí)模型生成的表情包。他們向受訪者提出了兩個(gè)問(wèn)題：“表情包是由人類創(chuàng)作的還是由計(jì)算機(jī)創(chuàng)作的？”，以及“如何評(píng)價(jià)表情包的幽默程度？”。

Peirson表示，訪問(wèn)結(jié)果顯示深度學(xué)習(xí)模型創(chuàng)作的表情包“與人類創(chuàng)作的表情包幾乎無(wú)法區(qū)分”。

他們還研究了其神經(jīng)網(wǎng)絡(luò)如何為訓(xùn)練數(shù)據(jù)集之外的表情包生成文字說(shuō)明。在這種情況下，算法會(huì)基于其在訓(xùn)練數(shù)據(jù)中看到的內(nèi)容推理未知圖像的模式。為了測(cè)試這一點(diǎn)，Peirson甚至向深度學(xué)習(xí)系統(tǒng)展示了他自己的照片，生成的文字也相當(dāng)有趣。

Peirson在深度學(xué)習(xí)模型中輸入了自己的照片，模型生成了這張表情圖。

表情包通常會(huì)進(jìn)行病毒式傳播，并成為“網(wǎng)紅”，而以表情包為主題的白皮書(shū)也受到了歡迎。當(dāng)該項(xiàng)目獲得媒體報(bào)道并受到關(guān)注時(shí)，Peirson表示自己“倍感震驚”。一款名為Dank Learning的移動(dòng)應(yīng)用也即將登陸App Store。

他說(shuō)，這個(gè)項(xiàng)目讓他打開(kāi)了新的視角：原來(lái)表情包的影響力如此巨大。每天，全球有數(shù)百萬(wàn)用戶在社交媒體網(wǎng)站上傳播表情包。

在Peirson看來(lái)，強(qiáng)大的AI有潛力根據(jù)時(shí)事“突發(fā)奇想”，生成表情包，從而影響公眾認(rèn)知。而廣告主也可以使用表情包提升品牌知名度：“讓表情包進(jìn)行病毒式傳播是一種絕妙的營(yíng)銷方式。”