基于概率的大數(shù)據(jù)查詢系統(tǒng)

　　針對大數(shù)據(jù)環(huán)境下完整性查詢時(shí)間代價(jià)消耗過高的問題，提出了一種采用近似完整性查詢方法的系統(tǒng)-Probery。Probery所采用的近似完整性查詢方法不同于傳統(tǒng)的近似查詢，其近似性主要體現(xiàn)為數(shù)據(jù)查全的可能性，是一種新型的數(shù)據(jù)查詢方法。Probery首先將存入系統(tǒng)的數(shù)據(jù)劃分為多個(gè)數(shù)據(jù)分段；然后，根據(jù)概率放置模型將各個(gè)數(shù)據(jù)分段的數(shù)據(jù)存儲在分布式文件系統(tǒng)中；最后，對于給定的查詢條件，Probery采用一種啟發(fā)式查詢方法進(jìn)行概率查詢。通過與其他主流的非關(guān)系型數(shù)據(jù)管理系統(tǒng)的查詢性能進(jìn)行比較，對Probery進(jìn)行驗(yàn)證，Probery在損失8%查詢完整性的情形下，查詢時(shí)間較HBase相比節(jié)約了51%，較Cassandra相比節(jié)約了23%，較MongoDB相比節(jié)約了12%，較Hive相比節(jié)約了3%。實(shí)驗(yàn)結(jié)果表明，Probery可以適當(dāng)?shù)負(fù)p失查詢完整性來提高數(shù)據(jù)的查詢性能，具有較好的通用性、適應(yīng)性和可擴(kuò)展性。