基于Hadoop平臺(tái)的LDA算法的并行化實(shí)現(xiàn)

　　隨著互聯(lián)網(wǎng)的飛速發(fā)展，需要處理的數(shù)據(jù)量不斷增加，在互聯(lián)網(wǎng)數(shù)據(jù)挖掘領(lǐng)域中傳統(tǒng)的單機(jī)文本聚類(lèi)算法無(wú)法滿(mǎn)足海量數(shù)據(jù)處理的要求，針對(duì)在單機(jī)情況下，傳統(tǒng)LDA算法無(wú)法分析處理大規(guī)模語(yǔ)料集的問(wèn)題，提出基于MapReduce計(jì)算框架，采用Gibbs抽樣方法的并行化LDA主題模型的建立方法。利用分布式計(jì)算框架MapReduce研究了LDA主題模型的并行化實(shí)現(xiàn)，并且考察了該并行計(jì)算程序的計(jì)算性能。通過(guò)對(duì)Hadoop并行計(jì)算與單機(jī)計(jì)算進(jìn)行實(shí)驗(yàn)對(duì)比，發(fā)現(xiàn)該方法在處理大規(guī)模語(yǔ)料時(shí)，能夠較大地提升算法的運(yùn)行速度，并且隨著集群節(jié)點(diǎn)數(shù)的增加，在加速比方面也有較好的表現(xiàn)?；贖adoop平臺(tái)并行化地實(shí)現(xiàn)LDA算法具有可行性，解決了單機(jī)無(wú)法分析大規(guī)模語(yǔ)料集中潛藏主題信息的問(wèn)題。