【服務(wù)器數(shù)據(jù)恢復(fù)】EMC Isilon(OneFS)存儲(chǔ)數(shù)據(jù)恢復(fù)案例

EMC Isilon存儲(chǔ)結(jié)構(gòu)：
Isilon群集存儲(chǔ)系統(tǒng)使用的是分布式文件系統(tǒng)OneFS。Isilon群集存儲(chǔ)系統(tǒng)的每個(gè)節(jié)點(diǎn)均為單一OneFS文件系統(tǒng)，Isilon在進(jìn)行橫向擴(kuò)展時(shí)不會(huì)影響數(shù)據(jù)的正常使用。Isilon群集存儲(chǔ)系統(tǒng)所有節(jié)點(diǎn)在工作時(shí)都提供相同的功能，節(jié)點(diǎn)沒有主備之分。Isilon群集存儲(chǔ)系統(tǒng)在存儲(chǔ)文件時(shí)，OneFS層會(huì)將文件分成128K的片段分別存放到不同的節(jié)點(diǎn)中，節(jié)點(diǎn)層又會(huì)將128K的片段分成8K的小片段分別存放到該節(jié)點(diǎn)的不同硬盤中，用戶文件的Indoe信息、目錄項(xiàng)及數(shù)據(jù)MAP則會(huì)分別存放在所有節(jié)點(diǎn)中。Isilon群集存儲(chǔ)系統(tǒng)的這個(gè)特性可以讓用戶從任何一個(gè)節(jié)點(diǎn)訪問到所有數(shù)據(jù)。Isilon群集存儲(chǔ)系統(tǒng)在初始化時(shí)會(huì)讓用戶選擇相應(yīng)的存儲(chǔ)冗余模式，不同的冗余模式所提供的數(shù)據(jù)安全級(jí)別也不一樣（默認(rèn)3個(gè)節(jié)點(diǎn)采用N+2:1模式）。

北亞企安數(shù)據(jù)恢復(fù)——OneFS數(shù)據(jù)恢復(fù)

服務(wù)器數(shù)據(jù)恢復(fù)環(huán)境：
EMC Isilon S系列群集存儲(chǔ)系統(tǒng)，3個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)配置12塊STAT硬盤。該存儲(chǔ)系統(tǒng)存放的數(shù)據(jù)是vmware虛擬機(jī)（WEB服務(wù)器）和視頻文件。vmware虛擬機(jī)通過NFS協(xié)議共享到ESX主機(jī)，視頻文件通過CIFS協(xié)議共享給vmware虛擬機(jī)（WEB服務(wù)器）。

北亞企安數(shù)據(jù)恢復(fù)——OneFS數(shù)據(jù)恢復(fù)

服務(wù)器故障：
管理員由于誤操作將該存儲(chǔ)系統(tǒng)中NFS協(xié)議共享的vmware虛擬機(jī)、MSSQL數(shù)據(jù)庫以及大量的MP4、ASF和TS類型的視頻文件刪除。

服務(wù)器數(shù)據(jù)恢復(fù)過程：
1、通過Isilon的web管理界面的集群關(guān)閉功能將存儲(chǔ)設(shè)備正常關(guān)機(jī)，將存儲(chǔ)系統(tǒng)中所有硬盤編號(hào)取出。由硬件工程師對所有磁盤進(jìn)行硬件故障檢測，經(jīng)過檢測所有磁盤均可正常讀取，無物理故障。以只讀方式將所有磁盤做全盤鏡像，后續(xù)數(shù)據(jù)分析和數(shù)據(jù)恢復(fù)操作都基于鏡像文件進(jìn)行，避免對原始磁盤數(shù)據(jù)造成二次破壞。鏡像完成后將所有磁盤按照編號(hào)還原到存儲(chǔ)設(shè)備中。

北亞企安數(shù)據(jù)恢復(fù)——OneFS數(shù)據(jù)恢復(fù)

2、基于鏡像文件分析所有硬盤中的數(shù)據(jù)。由于數(shù)據(jù)是被人為手動(dòng)刪除的，不用考慮存儲(chǔ)的冗余級(jí)別。需要分析的是文件被刪除后文件Indoe及數(shù)據(jù)MAP是否發(fā)生變化。
3、經(jīng)過溝通和分析，發(fā)現(xiàn)被刪除的虛擬磁盤文件都在64G或以上，并且存儲(chǔ)中沒有其他類型的大文件。北亞企安數(shù)據(jù)恢復(fù)工程師編寫文件Indoe掃描程序，將文件大小64G或以上的Indoe都掃描出來。
4、對掃描出來的Indoe進(jìn)行分析，發(fā)現(xiàn)Indoe中記錄的數(shù)據(jù)MAP位置，其index指向的內(nèi)容已不再是正常的數(shù)據(jù)。所有節(jié)點(diǎn)上的Indoe均是同樣的情況。
5、繼續(xù)分析Inode，發(fā)現(xiàn)大文件的數(shù)據(jù)MAP有多層（樹結(jié)構(gòu)），數(shù)據(jù)MAP中會(huì)記錄文件的唯一ID，可以嘗試找到文件最底層的數(shù)據(jù)MAP。對文件最底層的數(shù)據(jù)MAP做遍歷跟蹤操作，所幸找到最低層的數(shù)據(jù)MAP。
6、從文件Inode中取出文件的唯一ID，聚合所有符合該ID的數(shù)據(jù)MAP。根據(jù)數(shù)據(jù)MAP中的VCN號(hào)做排序，發(fā)現(xiàn)每個(gè)文件的前一萬多項(xiàng)數(shù)據(jù)MAP都不存在，意味著每個(gè)文件的前一萬多項(xiàng)數(shù)據(jù)沒法恢復(fù)。
7、丟失的數(shù)據(jù)MAP項(xiàng)大小不到1G，被刪除的文件全是虛擬機(jī)的vmdk文件，里面都是NTFS文件系統(tǒng)，而NTFS文件系統(tǒng)的MFT基本都在3G的位置。只需要在每個(gè)vmdk文件的頭部手動(dòng)偽造一個(gè)MBR和DBR就可以解釋vmdk里面的數(shù)據(jù)。
8、對掃描到的數(shù)據(jù)MAP做解釋，并根據(jù)VCN號(hào)的順序?qū)С鰯?shù)據(jù)，沒有MAP的情況保留為零。先導(dǎo)出一個(gè)vmdk文件做測試，結(jié)果導(dǎo)出的vmdk文件比實(shí)際情況要小，并且vmdk中MFT的位置也與自身描述不符。隨機(jī)驗(yàn)證了幾個(gè)MPA發(fā)現(xiàn)都能指向數(shù)據(jù)區(qū)，程序解釋MAP的方式也都沒有問題。所以猜測可能為文件稀疏。
9、將代碼進(jìn)行調(diào)整后重新導(dǎo)出剛才的vmdk，這次導(dǎo)出的vmdk大小符合實(shí)際大小，且MFT的位置也與描述相符。手工偽造一個(gè)MBR、分區(qū)表和DBR，使用北亞企安自主開發(fā)的文件系統(tǒng)解釋工具解釋其文件系統(tǒng)，然后導(dǎo)出vmdk里面的數(shù)據(jù)庫及視頻文件。
10、對vmdk中的數(shù)據(jù)庫及視頻文件進(jìn)行驗(yàn)證沒有發(fā)現(xiàn)問題后，批量導(dǎo)出所有vmdk文件，再手工逐個(gè)去修改每個(gè)vmdk文件。

北亞企安數(shù)據(jù)恢復(fù)——OneFS數(shù)據(jù)恢復(fù)

11、將所有數(shù)據(jù)恢復(fù)出來之后，交由用戶方工程師對數(shù)據(jù)做完整性及準(zhǔn)確性檢測，經(jīng)過反復(fù)檢測，確認(rèn)恢復(fù)出來的數(shù)據(jù)完整有效。本次數(shù)據(jù)恢復(fù)工作完成

審核編輯黃宇