服務(wù)器數(shù)據(jù)恢復(fù)—RAID5陣列硬盤離線但熱備盤未激活的數(shù)據(jù)恢復(fù)案例

服務(wù)器數(shù)據(jù)恢復(fù)環(huán)境：
一臺(tái)服務(wù)器上有一組由5塊硬盤（4塊數(shù)據(jù)盤+1塊熱備盤）組建的raid5陣列。服務(wù)器安裝Linux Redhat操作系統(tǒng)，運(yùn)行一套基于oracle數(shù)據(jù)庫(kù)的OA系統(tǒng)。

服務(wù)器故障：
這組raid5陣列中一塊磁盤離線，但是熱備盤并沒有自動(dòng)激活rebuild，當(dāng)另外一塊數(shù)據(jù)盤發(fā)生故障離線后，raid崩潰。
用戶方要求恢復(fù)raid數(shù)據(jù)，同時(shí)要求還原操作系統(tǒng)。經(jīng)過初步觀察，raid中的這些硬盤沒有表現(xiàn)出存在明顯的物理故障的特征，也沒有明顯的同步表現(xiàn)，數(shù)據(jù)恢復(fù)的可能性很大。

服務(wù)器數(shù)據(jù)恢復(fù)過程：
1、關(guān)閉服務(wù)器，將所有磁盤標(biāo)記后取出并掛到一個(gè)只讀環(huán)境上進(jìn)行完整磁盤鏡像。鏡像完成后將所有磁盤按照原樣還原到原服務(wù)器中，后后續(xù)的數(shù)據(jù)分析和數(shù)據(jù)恢復(fù)操作都基于鏡像文件進(jìn)行，避免對(duì)原始磁盤數(shù)據(jù)造成二次破壞。
2、鏡像過程中在后掉線的硬盤中發(fā)現(xiàn)了幾十個(gè)壞扇區(qū)，其他硬盤都沒有發(fā)現(xiàn)問題?；阽R像文件分析所有磁盤底層數(shù)據(jù)，或者重組raid所需要的信息（盤序、塊大小、數(shù)據(jù)校驗(yàn)方式、條帶方向等）。

北亞企安數(shù)據(jù)恢復(fù)—RAID5數(shù)據(jù)恢復(fù)

3、嘗試重組raid。重組完成后驗(yàn)證數(shù)據(jù)，發(fā)現(xiàn)數(shù)據(jù)量在200M以上壓縮包解壓正常，說明raid結(jié)構(gòu)是正確的。按照這個(gè)結(jié)構(gòu)在一塊單盤上生成raid并嘗試打開，沒有報(bào)錯(cuò)。
4、將生成raid的這塊單盤接入到原服務(wù)器。用linux SystemRescueCd啟動(dòng)，然后通過dd命令進(jìn)行全盤回寫。啟動(dòng)操作系統(tǒng)出現(xiàn)報(bào)錯(cuò)：/etc/rc.d/rc.sysinit:Line 1:/sbin/pidof:Permission denied，
初步判斷這個(gè)文件權(quán)限出了問題。使用SystemRescueCd重啟檢查后發(fā)現(xiàn)該文件的權(quán)限、大小、時(shí)間都存在明顯的錯(cuò)誤，節(jié)點(diǎn)損壞。
5、重新分析重組數(shù)據(jù)中的根分區(qū)，定位出錯(cuò)的/sbin/pidof，發(fā)現(xiàn)導(dǎo)致問題出現(xiàn)的原因就是那塊后掉線磁盤上的壞道。使用另外幾塊完好的數(shù)據(jù)盤對(duì)后掉線的那塊盤的損壞區(qū)域進(jìn)行xor補(bǔ)齊，可是補(bǔ)齊之后校驗(yàn)文件系統(tǒng)依然報(bào)錯(cuò)。再一次檢查iNode表發(fā)現(xiàn)后掉線的那塊盤的損壞區(qū)域有部分節(jié)點(diǎn)表現(xiàn)為55 55 55部分。

北亞企安數(shù)據(jù)恢復(fù)—RAID5數(shù)據(jù)恢復(fù)

6、節(jié)點(diǎn)中描述的uid雖然看起來正常，但是大小、屬性、最初分配塊都是錯(cuò)誤的。分析了所有的可能性方案，發(fā)現(xiàn)都無法將這個(gè)損壞節(jié)點(diǎn)找回來，只能嘗試修復(fù)或者以相同文件代替。
7、通過日志將所有可能有錯(cuò)的文件原節(jié)點(diǎn)塊的節(jié)點(diǎn)信息確定出來，然后進(jìn)行修正。修正之后重新dd根分區(qū)，然后執(zhí)行fsck -fn /dev/sda5，仍然報(bào)錯(cuò)。

北亞企安數(shù)據(jù)恢復(fù)—RAID5數(shù)據(jù)恢復(fù)

8、根據(jù)報(bào)錯(cuò)提示重新分析，發(fā)現(xiàn)系統(tǒng)中有多個(gè)節(jié)點(diǎn)共用同樣的數(shù)據(jù)塊，原來是第一塊離線硬盤的掉線時(shí)間比較早，導(dǎo)致出現(xiàn)節(jié)點(diǎn)信息新舊交集的情況。將錯(cuò)誤節(jié)點(diǎn)清除后再次執(zhí)行fsck -fn /dev/sda5，依然報(bào)錯(cuò)。
好在這些節(jié)點(diǎn)大多是在doc目錄下，不影響系統(tǒng)啟動(dòng)。于是強(qiáng)行修復(fù)&重啟系統(tǒng)，進(jìn)入桌面啟動(dòng)數(shù)據(jù)庫(kù)和應(yīng)用軟件，無報(bào)錯(cuò)。
9、用戶方仔細(xì)檢測(cè)后，確認(rèn)重要數(shù)據(jù)都在，認(rèn)可數(shù)據(jù)恢復(fù)結(jié)果。

審核編輯 黃宇