一種大數(shù)據(jù)的密度統(tǒng)計合并算法

　　針對處理大數(shù)據(jù)時傳統(tǒng)聚類算法失效或效果不理想的問題，提出了一種大數(shù)據(jù)的密度統(tǒng)計合并算法（density-based statistical merging algorithm for large data sets，簡稱DSML）．該算法將數(shù)據(jù)點(diǎn)的每個特征看作一組獨(dú)立隨機(jī)變量，并根據(jù)獨(dú)立有限差分不等式獲得統(tǒng)計合并判定準(zhǔn)則．首先，使用統(tǒng)計合并判定準(zhǔn)則對Leaders算法做出改進(jìn)，獲得代表點(diǎn)集；隨后，結(jié)合代表點(diǎn)的密度和鄰域信息，再次使用統(tǒng)計合并判定準(zhǔn)則完成對整個數(shù)據(jù)集的聚類．理論分析和實驗結(jié)果表明，DSML算法具有近似線性的時間復(fù)雜度，能處理任意形狀的數(shù)據(jù)集，且對噪聲具有良好的魯棒性，非常有利于處理大規(guī)模數(shù)據(jù)集．