基于Hadoop的空間科學(xué)大數(shù)據(jù)的區(qū)域檢索算法

　　針對(duì)空間科學(xué)大數(shù)據(jù)的快速檢索需求，提出了分布式區(qū)域檢索算法。算法主要包括四維空間科學(xué)數(shù)據(jù)的索引方法和分布式四維空間科學(xué)數(shù)據(jù)的索引架構(gòu)兩部分。在KTS存儲(chǔ)結(jié)構(gòu)下，通過(guò)基于立方體的Block-Grid三維網(wǎng)格剖分方法建立兩級(jí)空間索引結(jié)構(gòu)，包括分布式節(jié)點(diǎn)間的全局索引和分布式節(jié)點(diǎn)內(nèi)的局部索引；在分布式系統(tǒng)架構(gòu)下，確定了索引在分布式主從節(jié)點(diǎn)的分布策略以及數(shù)據(jù)在分布式環(huán)境下的容錯(cuò)機(jī)制?；贖adoop基礎(chǔ)架構(gòu)設(shè)計(jì)了NSSC-Hadoop系統(tǒng)，通過(guò)多組試驗(yàn)數(shù)據(jù)測(cè)試算法效率，并與直接基于Hadoop無(wú)索引遍歷數(shù)據(jù)方式相比較，數(shù)據(jù)檢索效率提高了將近50倍，隨著數(shù)據(jù)量的增大，算法優(yōu)勢(shì)會(huì)更加明顯。