查重元數(shù)據(jù)去冗算法設(shè)計(jì)

　　隨著重復(fù)數(shù)據(jù)刪除次數(shù)的增加，系統(tǒng)中用于存儲指紋索引的清單文件等元數(shù)據(jù)信息會不斷累積，導(dǎo)致不可忽視的存儲資源開銷。因此，如何在不影響重復(fù)數(shù)據(jù)刪除率的基礎(chǔ)上，對重復(fù)數(shù)據(jù)刪除過程中產(chǎn)生的元數(shù)據(jù)信息進(jìn)行壓縮，從而減小查重索引，是進(jìn)一步提高重復(fù)數(shù)據(jù)刪除效率和存儲資源利用率的重要因素。針對查重元數(shù)據(jù)中存在大量冗余數(shù)據(jù)，提出了一種基于壓縮近鄰的查重元數(shù)據(jù)去冗算法Dedup2。該算法先利用聚類算法將查重元數(shù)據(jù)分為若干類，然后利用壓縮近鄰算法消除查重元數(shù)據(jù)中相似度較高的數(shù)據(jù)以獲得查重子集，并在該查重子集上利用文件相似性對數(shù)據(jù)對象進(jìn)行重復(fù)數(shù)據(jù)刪除操作。實(shí)驗(yàn)結(jié)果表明，Dedup2可以在保持近似的重復(fù)數(shù)據(jù)刪除比的基礎(chǔ)上，將查重索引大小壓縮50%以上。