基于深度學(xué)習(xí)的智能社會(huì)媒體挖掘

社會(huì)媒體的重要性眾所周知。全球人口中，一半人是網(wǎng)民，網(wǎng)民中的三分之二是社會(huì)媒體用戶。常見社會(huì)媒體包括Facebook，twitter，國(guó)內(nèi)的微信和微博也是常用的社會(huì)媒體。我們?cè)谏鐣?huì)媒體能夠做各種各樣的事情，包括和親友交流溝通、獲取信息，分享或者表達(dá)我們的觀點(diǎn)。

從事社會(huì)媒體研究開發(fā)具有商業(yè)價(jià)值和社會(huì)價(jià)值。以各種媒體的廣告份額為例，電視媒體廣告的份額只有社會(huì)媒體廣告份額的一小部分，更何況是報(bào)紙和廣播等傳統(tǒng)媒體。因此從商業(yè)價(jià)值上社會(huì)媒體就是一個(gè)很值得我們研究的對(duì)象。這里我們可以用一個(gè)例子來(lái)展示：一個(gè)新浪微博用戶在頭天晚上晚上九點(diǎn)多發(fā)了條微博，表示想采購(gòu)一款筆記本電腦，隔天早晨9點(diǎn)多就有促銷商要給他推銷產(chǎn)品了，可見從社會(huì)媒體上可以挖掘很多有價(jià)值的商業(yè)信息。統(tǒng)計(jì)結(jié)果表明，在社交媒體上的購(gòu)買意向，最終轉(zhuǎn)化率超過(guò)了一半以上。社會(huì)媒體的社會(huì)價(jià)值更是毋庸置疑，以學(xué)術(shù)微博為例，學(xué)術(shù)研究人員可以在微博上推廣自己、結(jié)交朋友和獲取信息，政務(wù)微博的社會(huì)價(jià)值也是顯而易見。

下面從建模角度介紹如何對(duì)社會(huì)媒體進(jìn)行描述。社會(huì)媒體可用一個(gè)異構(gòu)網(wǎng)絡(luò)表示，異構(gòu)網(wǎng)絡(luò)存在著兩種節(jié)點(diǎn)，一類是信息節(jié)點(diǎn)，實(shí)際上就是我們所發(fā)布的內(nèi)容，比如文字、圖片、視頻、音頻；另一類節(jié)點(diǎn)是用戶節(jié)點(diǎn)，也就是發(fā)表信息的人，從普通的用戶、網(wǎng)紅一直到更權(quán)威的媒體和機(jī)構(gòu)。同時(shí)網(wǎng)絡(luò)中存在著三種異構(gòu)的邊：信息之間是有關(guān)聯(lián)的，一條微博后面跟著很多評(píng)論，這是信息間的關(guān)系。用戶間存在社會(huì)關(guān)系，例如粉絲關(guān)系。人和信息之間也存在關(guān)系，一條信息可以艾特給特定用戶，用戶也可以發(fā)布微博，這樣就構(gòu)成一個(gè)非常復(fù)雜的異構(gòu)網(wǎng)絡(luò)，也就是計(jì)算機(jī)所處理的對(duì)象。

我們實(shí)驗(yàn)室做的研究工作主要集中在社會(huì)媒體用戶行為理解和預(yù)測(cè)方面，我們?cè)诿襟w上試圖給用戶建模，理解用戶行為，預(yù)測(cè)接下來(lái)會(huì)有什么樣的行為模式。

社交媒體上的用戶行為非常復(fù)雜，以歌手和影星林志穎為例，他的微博經(jīng)常發(fā)布使用蘋果手機(jī)的體驗(yàn)。如何理解他的行為呢？最表層的行為是，他在使用蘋果手機(jī)，往深里看，他是蘋果手機(jī)的粉絲，再往深看，他很可能是蘋果手機(jī)的代言人。所以我們要看用戶真正表達(dá)什么樣的內(nèi)容。

用戶行為受到四個(gè)因素影響，第一是用戶發(fā)表內(nèi)容，第二是用戶是處在什么樣的社交關(guān)系之間，第三是當(dāng)前時(shí)刻有哪些熱點(diǎn)事件，第四是用戶發(fā)布這條微博處在什么時(shí)空環(huán)境。社會(huì)媒體用戶的建模和預(yù)測(cè)需要聽其言和觀其行。所謂聽其言，就是利用各種技術(shù)分析用戶發(fā)布的數(shù)據(jù)，主要是自然語(yǔ)言處理技術(shù)，也包括語(yǔ)音識(shí)別、圖像視頻處理等。所謂觀其行，就是要分析結(jié)構(gòu)，利用社區(qū)分析技術(shù)，定位人物所在的社交圈；利用關(guān)系分析技術(shù)，分析人物的朋友圈及其疏密度，利用信息傳播分析技術(shù)，分析人物的社會(huì)影響力。

社會(huì)媒體上的行為非常豐富，具體則取決于不同媒體，但也大同小異，例如在facebook上可以發(fā)表帖子，可以表示喜歡，可以評(píng)論，可以分享；在Twitter上可以表示轉(zhuǎn)發(fā)，可以點(diǎn)贊。過(guò)去幾年我跟復(fù)旦大學(xué)的同事張奇、博士生丁卓冶、宮葉云、桂韜，碩士生黃浩然、馬仁峰，朱亮，在社會(huì)媒體挖掘方面做了一些工作，主要是用戶行為建模和預(yù)測(cè)，包括微博標(biāo)簽推薦、艾特用戶(公司)推薦、轉(zhuǎn)發(fā)行為預(yù)測(cè)、用戶話題參與預(yù)測(cè)，以及如何在社會(huì)媒體挖掘中融入多模態(tài)信息。在研究方法上，早期主要采用主題模型和機(jī)器學(xué)習(xí)的方法，這幾年逐漸轉(zhuǎn)到深度學(xué)習(xí)之上。

我們做的第一塊工作是微博標(biāo)簽推薦。新浪微博的標(biāo)簽是用兩個(gè)#符號(hào)標(biāo)記的詞語(yǔ)或者短語(yǔ)，可以認(rèn)為就是微博的關(guān)鍵詞，用來(lái)對(duì)微博的上下文內(nèi)容做出提示，便于我們?cè)诙虝r(shí)間了解微博的內(nèi)容。微博標(biāo)簽推薦任務(wù)就是為每一條微博去推薦少許關(guān)鍵詞。統(tǒng)計(jì)結(jié)果表明只有15%的微博包含關(guān)鍵詞，因此這樣一塊工作是有一定意義的。接下來(lái)介紹我們?cè)趺礃幼鑫⒉?biāo)簽推薦這件工作，主要介紹我們的研究思路，而不是具體的實(shí)現(xiàn)細(xì)節(jié)。給定一條微博，我們先要判斷這條微博中哪些詞有可能成為微博的關(guān)鍵詞，這種詞叫觸發(fā)詞。觸發(fā)詞的識(shí)別比較簡(jiǎn)單，首先抓取大量微博，其中出現(xiàn)在微博標(biāo)簽的詞語(yǔ)就是候選詞，也就是觸發(fā)詞。如何判斷微博中的哪些觸發(fā)詞可以推薦為微博標(biāo)簽，還需要看觸發(fā)詞出現(xiàn)在微博的具體位置。同時(shí)考慮觸發(fā)詞和觸發(fā)詞的上下文，我們提出了一個(gè)雙通道的深度學(xué)習(xí)模型，一個(gè)通道抽取觸發(fā)詞特征，另一個(gè)通道抽取全局特征，然后結(jié)合兩部分特征，對(duì)標(biāo)簽進(jìn)行推薦。

眾所周知，深度學(xué)習(xí)在過(guò)去幾年是非常熱門的研究方法，所謂的深度學(xué)習(xí)，實(shí)際上就是多層的神經(jīng)網(wǎng)絡(luò)，從06年開始被廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)，之后在語(yǔ)音識(shí)別中取得了長(zhǎng)足的進(jìn)步，從13、14年開始在自然語(yǔ)言處理領(lǐng)域得到廣泛運(yùn)用。自然語(yǔ)言處理中的深度學(xué)習(xí)主要有兩類工作，第一類是表示學(xué)習(xí)，給定句子、篇章、微博，如何用一個(gè)低維稠密的向量去表達(dá)它，怎么從字詞表示通過(guò)組合方式得到整個(gè)微博的表示。另一類工作是如何利用語(yǔ)言文字天生具有的序列信息完成各種語(yǔ)言處理任務(wù)。

怎樣用深度學(xué)習(xí)來(lái)進(jìn)行標(biāo)簽推薦呢？我們?cè)谖⒉┲袑ふ矣|發(fā)詞，在局部通道中通過(guò)注意力機(jī)制判斷這些觸發(fā)詞是不是重要的詞語(yǔ)，通過(guò)全局通道得到微博的全局表示，利用卷積神經(jīng)網(wǎng)絡(luò)融合局部和全部?jī)蓚€(gè)通道的信息。為了評(píng)價(jià)標(biāo)簽推薦的效果，我們使用精度、召回率和F值作為評(píng)價(jià)指標(biāo)。精度就用來(lái)表示算法推薦的標(biāo)簽中有多少是微博原作者給定的標(biāo)簽，召回率表示微博原作者給定的標(biāo)簽有多少比例被算法推薦，F(xiàn)值則是精度和召回率的調(diào)和平均。我們選取了11萬(wàn)條帶有標(biāo)簽的微博數(shù)據(jù)，隨機(jī)選取其中的1萬(wàn)條作為測(cè)試。實(shí)驗(yàn)結(jié)果表明雙通道模型的F值達(dá)到了40%，這是相當(dāng)不錯(cuò)的結(jié)果。

微博用戶行為建模僅僅考慮微博本身內(nèi)容是不夠充分的，之前關(guān)于標(biāo)簽推薦的研究工作主要只利用了微博本身的信息，未充分考慮微博作者的興趣特點(diǎn)。一個(gè)作者的興趣點(diǎn)是有限的，發(fā)文范圍也是有限的。標(biāo)簽也是用戶的興趣體現(xiàn)，所以兩者也是緊密相關(guān)的。用戶興趣點(diǎn)可以從用戶歷史微博挖掘。我們采用記憶神經(jīng)網(wǎng)絡(luò)存儲(chǔ)用戶的歷史微博。記憶神經(jīng)網(wǎng)絡(luò)通過(guò)引入一個(gè)外部?jī)?chǔ)存器來(lái)對(duì)數(shù)據(jù)進(jìn)行長(zhǎng)時(shí)儲(chǔ)存、檢索與更新，已經(jīng)被成功應(yīng)用到不同的自然語(yǔ)言處理任務(wù)中。我們提出的層次記憶網(wǎng)絡(luò)模型將用戶歷史發(fā)文儲(chǔ)存在外部記憶儲(chǔ)存單元，利用層次化注意力機(jī)制構(gòu)建用戶歷史興趣，輔助標(biāo)簽推薦。記憶的查找過(guò)程中采用層次式的方式，首先考慮詞級(jí)別的相似程度，然后考慮句子級(jí)別的相似程度，之后獲得用戶興趣的表示，再和當(dāng)前這條微博的表示進(jìn)行匹配，從中可以發(fā)現(xiàn)當(dāng)前微博中哪些詞適合表征用戶的興趣和微博的內(nèi)容，并選擇作為標(biāo)簽。實(shí)驗(yàn)結(jié)果表明，記憶神經(jīng)網(wǎng)絡(luò)獲得的精度和召回率都比僅考慮內(nèi)容的模型有所提高。

接下來(lái)考慮艾特用戶推薦。在一些社交媒體，如Twitter、Facebook或微博中，用戶會(huì)發(fā)表推文并“@”他們的朋友或者名人，借以宣傳產(chǎn)品, 參與話題討論, 吸引注意力, 求助等。如何在發(fā)布微博的時(shí)候推薦合適的用戶？我們也采用神經(jīng)網(wǎng)絡(luò)方法，綜合微博內(nèi)容、歷史、作者、興趣等信息，在記憶模塊記錄用戶興趣和潛在可艾特的用戶。在推薦艾特用戶的時(shí)候，要考慮到用戶發(fā)帖的歷史，因此我們把用戶發(fā)布的微博歷史存于記憶網(wǎng)絡(luò)。同時(shí)用另外一個(gè)記憶模型存儲(chǔ)艾特用戶的發(fā)帖歷史，表明他們對(duì)什么事件關(guān)注。如果用戶發(fā)布的微博和艾特用戶發(fā)布的微博類似，說(shuō)明他們可能關(guān)心同一個(gè)領(lǐng)域或事件，艾特給這樣的用戶就有可能得到正面的反饋。實(shí)驗(yàn)結(jié)果表明，艾特用戶的推薦能夠達(dá)到80%以上的精度，推薦結(jié)果比微博標(biāo)簽的結(jié)果高很多。這里的原因也是顯而易見的，因?yàn)橛脩魧懳⒉┑臅r(shí)候，選擇哪些關(guān)鍵詞是一個(gè)開放集合，甚至是微博原文中沒(méi)出現(xiàn)的詞語(yǔ)，不太好做非常精確的判斷；當(dāng)艾特用戶的時(shí)候，潛在的對(duì)象是個(gè)有限集，至少必須擁有微博賬號(hào)，所以就相對(duì)精確些。

接下來(lái)介紹如何預(yù)測(cè)用戶的轉(zhuǎn)發(fā)行為。普通用戶，即使以信息檢索領(lǐng)域國(guó)際專家酒井為例，他發(fā)布的帖子經(jīng)常只有幾人轉(zhuǎn)發(fā)。另一位用戶，發(fā)了個(gè)帖子，只有一句話“給一起長(zhǎng)大的你們”，就被轉(zhuǎn)發(fā)一百多萬(wàn)次，原因是因?yàn)樗敲餍锹龟?。所以微博是否?huì)被轉(zhuǎn)發(fā)不僅取決于微博本身的內(nèi)容是否精彩，是否會(huì)引起別人興趣，也取決于發(fā)布微博的用戶是誰(shuí)。為了預(yù)測(cè)用戶轉(zhuǎn)發(fā)行為，我們選擇200個(gè)用戶作為第一層種子節(jié)點(diǎn)，轉(zhuǎn)發(fā)帖子的8萬(wàn)個(gè)用戶作為第二層節(jié)點(diǎn)，構(gòu)建了含有8千多萬(wàn)條微博的數(shù)據(jù)集。我們采取的方法也還是雙通道神經(jīng)網(wǎng)絡(luò)方法，通過(guò)基于注意力的神經(jīng)網(wǎng)絡(luò)對(duì)用戶歷史微博進(jìn)行建模，通過(guò)神經(jīng)網(wǎng)絡(luò)計(jì)算用戶興趣點(diǎn)以及待預(yù)測(cè)的目標(biāo)微博之間的相似度。結(jié)合用戶、用戶歷史興趣點(diǎn)、興趣點(diǎn)與微博內(nèi)容的相似度、待預(yù)測(cè)的微博內(nèi)容、待預(yù)測(cè)微博的作者等信息對(duì)轉(zhuǎn)發(fā)行為進(jìn)行預(yù)測(cè)。根據(jù)這樣的一個(gè)模型，我們?cè)诰取⒄倩芈屎虵值都達(dá)到70%以上性能，相當(dāng)不錯(cuò)。我們還注意到，偶爾轉(zhuǎn)發(fā)微博的用戶不太愿意轉(zhuǎn)發(fā)，但是對(duì)于經(jīng)常轉(zhuǎn)發(fā)微博的用戶，我們能夠做出更加精確的估計(jì)。

下面一塊工作關(guān)注于用戶話題預(yù)測(cè)問(wèn)題的研究。我們想要預(yù)測(cè)在一些社交媒體，如Twitter、Facebook或微博中，哪一些話題是一個(gè)用戶會(huì)去參與的。和別的一些微博推薦任務(wù)、熱點(diǎn)檢測(cè)任務(wù)不同的是，在這個(gè)任務(wù)中，我們關(guān)注的是預(yù)測(cè)用戶和話題之間的關(guān)系。因此，我們將其轉(zhuǎn)換成了匹配問(wèn)題，并提出了一種匹配模型去解決它。我們提出了一個(gè)高效的基于卷積神經(jīng)網(wǎng)的網(wǎng)絡(luò)模型，并且在模型中引入了記憶儲(chǔ)存器，利用注意力機(jī)制進(jìn)行更好的匹配建模。在這個(gè)框架中，用戶發(fā)文興趣、用戶話題參與歷史兩種信息被充分利用，分別和話題相關(guān)的文本等信息進(jìn)行興趣匹配建模。為了訓(xùn)練與評(píng)估我們的模型，我們利用Twitter構(gòu)建了一個(gè)超過(guò)一千四百萬(wàn)條tweets的數(shù)據(jù)集，并對(duì)比了多種推薦方法，實(shí)驗(yàn)結(jié)果表明我們的模型在該任務(wù)上都比之前的方法取得了很大的提升。

除了以上的推薦任務(wù)，我們還關(guān)注對(duì)于多模態(tài)推文的推薦。如一個(gè)用戶發(fā)布了關(guān)于mac的微博，如果只看作者的推文，我們可能誤以為作者買了一臺(tái)MAC電腦，但結(jié)合了圖片的信息，我們可以知道，作者其實(shí)是買了一個(gè)MAC化妝品牌的口紅。為了處理多模態(tài)信息，我們將其轉(zhuǎn)換成了匹配問(wèn)題，并提出了一種匹配模型去解決。我們?cè)谀Ｐ椭幸肓擞洃泝?chǔ)存器，利用注意力機(jī)制進(jìn)行更好的匹配建模。在匹配框架中利用了用戶多模態(tài)歷史發(fā)文和作者多模態(tài)歷史發(fā)文兩種信息，分別和待進(jìn)行艾特推薦的多模態(tài)推文進(jìn)行興趣匹配建模。實(shí)驗(yàn)結(jié)果表明多模態(tài)信息能更好地提高艾特推薦的效率，并且我們的模型在該任務(wù)上都比之前的方法取得了很大的提升。

我們還可以綜合利用推文中文字跟圖片信息去判斷某個(gè)用戶是不是有抑郁傾向。比如某個(gè)用戶發(fā)了條微博，文字內(nèi)容是“每個(gè)人這么快樂(lè)，看上去很快樂(lè)”，但她配了張很抑郁的圖片。我們?cè)谧鲆钟魴z測(cè)的時(shí)候，不僅要看用戶說(shuō)了什么，還要看她發(fā)了什么樣的圖片。我們所提出的模型也是考慮到多模態(tài)信息，一個(gè)通道是文字信息，另一個(gè)通道是圖片信息，結(jié)合文字跟圖片，取得了較為滿意的預(yù)測(cè)精度。

經(jīng)常有人跟我探討，女性是不是適合做人工智能，是不是適合做深度學(xué)習(xí)。實(shí)際上有些女性對(duì)于研究深度學(xué)習(xí)有一定壓力，因?yàn)橛泻芏鄶?shù)學(xué)公示要推導(dǎo)，需要寫很多代碼。但實(shí)際上我們有很多開源工具可以使用，對(duì)于編程能力要求并不是非常高，數(shù)學(xué)方面，像梯度計(jì)算、優(yōu)化計(jì)算都可以用開源工具來(lái)做。所以我們女性不要有太大壓力。另一方面，我們也有自己的優(yōu)點(diǎn)。女性非常細(xì)致和敏感，會(huì)很細(xì)致地去發(fā)現(xiàn)和分析問(wèn)題，會(huì)很細(xì)致地研究實(shí)驗(yàn)結(jié)果，然后去看這個(gè)結(jié)果中間有什么是我們所不滿意的，分析錯(cuò)誤可能來(lái)源于什么地方。女性的語(yǔ)文文字能力和表達(dá)也有優(yōu)勢(shì)。也因此，在人工智能領(lǐng)域，活躍著許多女科學(xué)工作者，也有了咱們今天的人工智能女科技工作者專題論壇。