【服務(wù)器數(shù)據(jù)恢復(fù)】硬盤壞道掉線導(dǎo)致服務(wù)器崩潰的數(shù)據(jù)恢復(fù)案例

服務(wù)器數(shù)據(jù)恢復(fù)環(huán)境：
一臺(tái)IBM某型號(hào)服務(wù)器上有16塊FC硬盤組建RAID陣列。上層linux操作系統(tǒng)，ext3文件系統(tǒng)，部署有oracle數(shù)據(jù)庫(kù)。

服務(wù)器故障&檢測(cè)：
服務(wù)器上跑的業(yè)務(wù)突然崩潰，管理員發(fā)現(xiàn)服務(wù)器上有2塊磁盤的指示燈顯示黃色。
通過(guò)IBM storage manager查詢服務(wù)器狀態(tài)，發(fā)現(xiàn)服務(wù)器報(bào)告邏輯卷狀態(tài)失敗。物理硬盤狀態(tài)為：一塊盤報(bào)告“警告”，指示燈顯示黃色的2塊盤報(bào)告“失敗”。通過(guò)IBM storage manager將當(dāng)前服務(wù)器的日志完整備份。北亞企安數(shù)據(jù)恢復(fù)工程師在備份服務(wù)器日志的同時(shí)分析日志內(nèi)容，獲取數(shù)據(jù)恢復(fù)所需要的邏輯卷信息。

服務(wù)器數(shù)據(jù)恢復(fù)過(guò)程：
1、將服務(wù)器中所有硬盤編號(hào)標(biāo)記后從服務(wù)器內(nèi)取出，由硬件工程師對(duì)所有硬盤進(jìn)行硬件故障檢測(cè)，經(jīng)過(guò)檢測(cè)發(fā)現(xiàn)16塊盤均可以讀取。針對(duì)16塊盤的SMART狀態(tài)進(jìn)行檢測(cè)，經(jīng)過(guò)檢測(cè)發(fā)現(xiàn)在IBM storage manager中報(bào)告“警告”的那塊盤的SMART狀態(tài)也報(bào)告為“警告”，結(jié)果一致。
2、在windows環(huán)境下將識(shí)別出來(lái)的FC盤在磁盤管理器中標(biāo)記為脫機(jī)狀態(tài)，然后對(duì)這些磁盤進(jìn)行扇區(qū)級(jí)別全盤鏡像，將原始磁盤中的所有物理扇區(qū)鏡像到windows系統(tǒng)下的邏輯磁盤并以文件形式保存。在鏡像過(guò)程中發(fā)現(xiàn)SMART狀態(tài)報(bào)告為“警告”的磁盤鏡像速度異常，windows環(huán)境下的一般應(yīng)用軟件無(wú)法對(duì)其進(jìn)行操作，結(jié)合前面的檢測(cè)結(jié)果可以判斷該盤應(yīng)該存在損壞/不穩(wěn)定的扇區(qū)。
3、使用專業(yè)硬盤鏡像設(shè)備對(duì)這塊SMART狀態(tài)報(bào)告為“警告”的磁盤進(jìn)行鏡像，在鏡像過(guò)程中觀察發(fā)現(xiàn)該盤的壞道并不多，但是存在大量的讀取響應(yīng)時(shí)間長(zhǎng)的不穩(wěn)定扇區(qū)，于是調(diào)整鏡像策略，修改“遇到壞道跳過(guò)扇區(qū)數(shù)”和“響應(yīng)等待時(shí)間”等參數(shù)后繼續(xù)對(duì)該盤進(jìn)行鏡像。
4、所有其他磁盤（除了SMART狀態(tài)報(bào)告為“警告”的磁盤）鏡像完成后，查看鏡像過(guò)程中生成的日志，發(fā)現(xiàn)在IBM storage manager和硬盤SMART狀態(tài)中均沒(méi)報(bào)錯(cuò)的另外一塊磁盤中也存在壞道，指示燈顯示黃色的2塊盤也存在大量不規(guī)律的壞道分布，根據(jù)壞道列表定位到目標(biāo)鏡像文件分析發(fā)現(xiàn)，ext3文件系統(tǒng)的一些關(guān)鍵源數(shù)據(jù)信息已經(jīng)被壞道破壞，只能等待SMART狀態(tài)報(bào)告為“警告”的磁盤鏡像完畢后，通過(guò)同一條帶進(jìn)行xor以及根據(jù)文件系統(tǒng)上下文關(guān)系手動(dòng)修復(fù)被損壞的文件系統(tǒng)。
5、SMART狀態(tài)報(bào)告為“警告”的磁盤鏡像完成，但是之前為了最大限度做出有效扇區(qū)以及為了保護(hù)磁頭而設(shè)置的拷貝策略會(huì)自動(dòng)跳過(guò)一些不穩(wěn)定扇區(qū)，所以該盤的鏡像是不完整的。調(diào)整拷貝策略，繼續(xù)鏡像被跳過(guò)的扇區(qū)，直到該盤所有扇區(qū)全部鏡像出來(lái)。
6、將服務(wù)器中16塊硬盤的物理扇區(qū)鏡像完成后，在windows平臺(tái)下使用軟件將所有鏡像文件全部展開(kāi)。經(jīng)過(guò)對(duì)ext3文件系統(tǒng)的逆向分析以及對(duì)日志文件的分析，獲取到16塊FC盤的盤序，RAID的塊大小，RAID的校驗(yàn)走向和方式等信息。
7、利用這些raid相關(guān)信息虛擬重組RAID，RAID重構(gòu)完成后對(duì)ext3文件系統(tǒng)進(jìn)行解析。
8、和用戶溝通后，數(shù)據(jù)恢復(fù)工程師提取出了一些oracle的dmp文件，由用戶嘗試進(jìn)行恢復(fù)?；謴?fù)的過(guò)程中oracle報(bào)告imp-0008錯(cuò)誤。北亞企安數(shù)據(jù)庫(kù)工程師仔細(xì)分析導(dǎo)入dmp文件的日志文件，發(fā)現(xiàn)提取出來(lái)的dmp文件存在問(wèn)題。
9、重新分析raid結(jié)構(gòu)，進(jìn)一步確定ext3文件系統(tǒng)被破壞的程度。又經(jīng)過(guò)數(shù)小時(shí)的努力，北亞企安數(shù)據(jù)恢復(fù)工程師重新提取了dmp文件和dbf原始庫(kù)文件。將恢復(fù)出來(lái)的dmp文件移交給用戶進(jìn)行導(dǎo)入，這次導(dǎo)入一切順利，沒(méi)有報(bào)錯(cuò)。對(duì)恢復(fù)出來(lái)的dbf原始庫(kù)文件進(jìn)行校驗(yàn)，結(jié)果所有文件均通過(guò)測(cè)試。經(jīng)過(guò)仔細(xì)核檢測(cè)后，用戶認(rèn)可數(shù)據(jù)恢復(fù)結(jié)果，本次服務(wù)器數(shù)據(jù)恢復(fù)工作完成。

審核編輯 黃宇