基于Spark的動(dòng)態(tài)聚類算法研究

　　針對(duì)數(shù)據(jù)流的聚類算法，近年來(lái)取得了有效的進(jìn)展，出現(xiàn)了許多卓有成效的算法。隨著信息采集技術(shù)的進(jìn)步，需要處理的數(shù)據(jù)量越來(lái)越大，需要研究針對(duì)數(shù)據(jù)流的并行聚類算法。本文基于串行的數(shù)據(jù)流聚類算法D-Stream作出并行化改進(jìn)，用通用的大數(shù)據(jù)處理框架Spark設(shè)計(jì)了一個(gè)基于分布式架構(gòu)運(yùn)行的動(dòng)態(tài)數(shù)據(jù)聚類算法PDStream。實(shí)驗(yàn)結(jié)果表明，該算法具有更高的效率和良好的擴(kuò)展性，能夠?qū)崿F(xiàn)分布式架構(gòu)下的流數(shù)據(jù)動(dòng)態(tài)聚類。