Spark環(huán)境結(jié)合MDBF的星型連接算法

　　為了適應(yīng)聯(lián)機分析處理（ OLAP）系統(tǒng)中實時數(shù)據(jù)高性能分析需求不斷提高的需求，提出一種能夠適合Spark環(huán)境并結(jié)合多維Bloom Filter（ MDBF）的星型連接算法SMDBFSJ。首先，根據(jù)多個維表構(gòu)建MDBF，利用其占用空間小的特點，廣播到所有節(jié)點；然后，在本地節(jié)點完成事實表過濾操作，事實表不需要在節(jié)點間移動數(shù)據(jù)；最后，過濾后的事實表與維表采用重劃分方式進行連接，進而得到最終結(jié)果。SMDBFSJ算法避免了事實表數(shù)據(jù)移動，通過MDBF減小了需要廣播的數(shù)據(jù)量，充分結(jié)合了廣播連接和重劃分連接的優(yōu)勢。實驗結(jié)果表明了該算法的有效性，在單機和集群環(huán)境下，該算法相比重劃分連接均獲得了3倍左右的性能提升。