如何使用狄利克雷多項(xiàng)分配模型進(jìn)行多源文本主題挖掘模型

　　隨著文本數(shù)據(jù)來(lái)源渠道越來(lái)越豐富，面向多源文本數(shù)據(jù)進(jìn)行主題挖掘已成為文本挖掘領(lǐng)域的研究重點(diǎn)。由于傳統(tǒng)主題模型主要面向單源文本數(shù)據(jù)建模，直接應(yīng)用于多源文本數(shù)據(jù)有較多的限制。針對(duì)該問(wèn)題提出了基于狄利克雷多項(xiàng)分配（ DMA）模型的多源文本主題挖掘模型——多源狄利克雷多項(xiàng)分配模型（MSDMA）。通過(guò)考慮主題在不同數(shù)據(jù)源的詞分布的差異性，結(jié)合DMA模型的非參聚類性質(zhì)，模型主要解決了如下三個(gè)問(wèn)題：1）能夠?qū)W習(xí)出同一個(gè)主題在不同數(shù)據(jù)源中特有的詞分布形式；2）通過(guò)數(shù)據(jù)源之間共享主題空間和詞項(xiàng)空間，使得數(shù)據(jù)源間可進(jìn)行主題知識(shí)互補(bǔ)，提升對(duì)高噪聲、低信息量的數(shù)據(jù)源的主題發(fā)現(xiàn)效果；3）能自主學(xué)習(xí)出每個(gè)數(shù)據(jù)源內(nèi)的主題數(shù)量，不需要事先給定主題個(gè)數(shù)。最后通過(guò)在模擬數(shù)據(jù)集和真實(shí)數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明，所提模型比傳統(tǒng)主題模型能更有效地對(duì)多源數(shù)據(jù)進(jìn)行主題信息挖掘。

　　在互聯(lián)網(wǎng)發(fā)展早期，網(wǎng)絡(luò)上可獲取文本數(shù)據(jù)的渠道（數(shù)據(jù)源）較少，文本挖掘任務(wù)主要面向單源文本數(shù)據(jù)。隨著互聯(lián)網(wǎng)的快速發(fā)展，特別是移動(dòng)互聯(lián)網(wǎng)的普及率越來(lái)越高，幾乎每個(gè)人都能上網(wǎng)獲取資訊和發(fā)表觀點(diǎn)，因此出現(xiàn)了各種各樣的文本數(shù)據(jù)生產(chǎn)渠道，如各種社交媒體、新聞門戶、博客及論壇等。這些渠道時(shí)刻都在產(chǎn)生海量的文本數(shù)據(jù)，同時(shí)對(duì)這些文本數(shù)據(jù)源進(jìn)行主題信息提取通常具有比較重要的應(yīng)用價(jià)值，如在網(wǎng)絡(luò)新聞采編和網(wǎng)絡(luò)輿情分析應(yīng)用中，需要知道在每個(gè)渠道的主題分布，以及某個(gè)關(guān)注的主題在每個(gè)渠道的表現(xiàn)方式等。