分布式數(shù)據(jù)恢復(fù)-hbase+hive分布式存儲誤刪除文件的數(shù)據(jù)恢復(fù)方案

hbase+hive分布式存儲數(shù)據(jù)恢復(fù)環(huán)境：
16臺某品牌R730XD服務(wù)器節(jié)點(diǎn)，每臺物理服務(wù)器節(jié)點(diǎn)上有數(shù)臺虛擬機(jī)，虛擬機(jī)上配置的分布式，上層部署hbase數(shù)據(jù)庫+hive數(shù)據(jù)倉庫。

hbase+hive分布式存儲故障&初檢：
數(shù)據(jù)庫文件被誤刪除，數(shù)據(jù)庫無法使用。
通過現(xiàn)場對該分布式環(huán)境的初步檢測，發(fā)現(xiàn)虛擬機(jī)還可以正常啟動，虛擬機(jī)里面的數(shù)據(jù)庫塊文件丟失。好在塊文件丟失之后沒有對集群環(huán)境寫入數(shù)據(jù)，底層數(shù)據(jù)損壞可能性比較小。

hbase+hive分布式存儲數(shù)據(jù)恢復(fù)方案：
1、備份。
A、從物理服務(wù)器底層做備份，將設(shè)備斷電、關(guān)機(jī)。將所有磁盤編號后從服務(wù)器/存儲中取出。
B、從虛擬機(jī)層面?zhèn)浞?，通過網(wǎng)絡(luò)直接備份虛擬機(jī)底層磁盤文件。
C、北亞企安數(shù)據(jù)恢復(fù)中心準(zhǔn)備一臺服務(wù)器以只讀方式掛載服務(wù)器硬盤，對所有磁盤進(jìn)行扇區(qū)對扇區(qū)的全盤鏡像備份。
D、備份完成后提供詳細(xì)報(bào)告，內(nèi)容涉及所有磁盤的健康狀態(tài)和存在的壞道列表。
E、將服務(wù)器硬盤按照編號還原到原服務(wù)器/存儲設(shè)備中，之后數(shù)據(jù)分析和數(shù)據(jù)恢復(fù)操作都基于鏡像文件進(jìn)行，避免對原始磁盤數(shù)據(jù)造成二次破壞。

2、基于鏡像文件分析塊文件結(jié)構(gòu)。
A、分析每個(gè)虛擬機(jī)磁盤的塊文件。
B、分析文件底層的聚合方式。
C、分析磁盤中數(shù)據(jù)分布情況。

3、分析Block文件key。
A、定位數(shù)據(jù)庫文件中的key信息。
B、提取并解析數(shù)據(jù)庫文件中key信息。
C、整合數(shù)據(jù)庫文件key信息。

4、拼接Block文件。
A、根據(jù)Block文件的key信息提取文件片段。
B、拼接Block文件的片段。
C、校驗(yàn)拼接后的Block文件的正確性。

5、導(dǎo)入Block文件。
A、校驗(yàn)提取出來的Block文件完整性和正確性。
B、把提取出來的Block文件導(dǎo)入到hbase和hive數(shù)據(jù)倉庫中。

6、驗(yàn)證數(shù)據(jù)。
由用戶對數(shù)據(jù)進(jìn)行詳細(xì)驗(yàn)證。如果發(fā)現(xiàn)問題則重新檢驗(yàn)上面的恢復(fù)流程。

審核編輯 黃宇