Spark分布式下的模糊C均值算法

　　針對聚類算法需要處理數(shù)據(jù)集的規(guī)模越來越大、時效性要求越來越高，對算法的大數(shù)據(jù)適應(yīng)能力和性能要求更高的問題，提出一種在Spark分布式內(nèi)存計算平臺下的模糊C均值（FCM）算法Spark-FCM。首先對矩陣通過水平分割實(shí)現(xiàn)分布式存儲，不同向量存儲在不同節(jié)點(diǎn)；然后基于FCM算法的計算特點(diǎn)，設(shè)計了分布式和緩存敏感的常用矩陣操作，包括乘法、轉(zhuǎn)置和加法等；最后基于矩陣操作和Spark平臺特點(diǎn)，設(shè)計了Spark-FCM算法，主要數(shù)據(jù)結(jié)構(gòu)采用分布式矩陣存儲，具有節(jié)點(diǎn)間數(shù)據(jù)移動少和每個步驟分布式計算特點(diǎn)。通過在單機(jī)和集群環(huán)境下測試，算法具有良好的可擴(kuò)展性，并可以適應(yīng)大規(guī)模數(shù)據(jù)集，算法性能與數(shù)據(jù)量成線性關(guān)系，集群環(huán)境下性能比單機(jī)提高2-3倍。