您好,歡迎來電子發(fā)燒友網(wǎng)! ,新用戶?[免費注冊]

您的位置:電子發(fā)燒友網(wǎng)>源碼下載>數(shù)值算法/人工智能>

改進布隆過濾器算法在服務器去重中應用

大小:0.67 MB 人氣: 2017-11-22 需要積分:0

  針對服務器中存儲的大量重復和相似數(shù)據(jù)造成的空間浪費問題,改進的布隆過濾器( Bloom Filter)算法通過增加位數(shù)組并根據(jù)位數(shù)組的重復命中次數(shù)所計算的權(quán)重來動態(tài)優(yōu)化重復數(shù)據(jù)的副本數(shù),然后在Hadoop分布式集群下對改進的算法進行并行實現(xiàn),以進一步提高作業(yè)處理效率。實驗結(jié)果表明,與傳統(tǒng)網(wǎng)頁去重算法相比,改進的Bloom Filter算法的并行實現(xiàn)不僅提高了作業(yè)的處理效率,而且通過基于位數(shù)組下動態(tài)重復次數(shù)對副本數(shù)的優(yōu)化,在一定程度上節(jié)省了服務器的存儲空間。

改進布隆過濾器算法在服務器去重中應用

非常好我支持^.^

(0) 0%

不好我反對

(0) 0%

      發(fā)表評論

      用戶評論
      評價:好評中評差評

      發(fā)表評論,獲取積分! 請遵守相關(guān)規(guī)定!

      ?