智能運維第一步：HDD磁盤故障預(yù)測

當(dāng)今數(shù)字化時代，信息技術(shù)扮演著企業(yè)和組織運營的關(guān)鍵角色。然而，隨著IT環(huán)境不斷復(fù)雜化和數(shù)據(jù)量激增，傳統(tǒng)的運維管理方法已經(jīng)無法滿足日益增長的需求。為應(yīng)對這一挑戰(zhàn)，智能運維（Artificial intelligence for IT operations，簡稱AIOPS）應(yīng)運而生。

AIOPS融合了人工智能、自動化和數(shù)據(jù)分析等技術(shù)，旨在優(yōu)化IT運維的效率、可靠性和可用性。在AIOPS的范疇內(nèi)，硬盤驅(qū)動器（HDD）故障預(yù)測是其中一個至關(guān)重要的組成部分。在數(shù)字化時代，數(shù)據(jù)被譽為“新時代的石油”，HDD作為數(shù)據(jù)存儲的基礎(chǔ)設(shè)備，在數(shù)據(jù)中心、服務(wù)器和個人計算機(jī)中廣泛使用，扮演著關(guān)鍵角色。然而其敏感、精確、結(jié)構(gòu)復(fù)雜的特性往往也使得某些故障難以避免。因此，通過AIOPS來實現(xiàn)HDD故障預(yù)測，避免數(shù)據(jù)丟失、業(yè)務(wù)中斷、維護(hù)成本上升，從而保障數(shù)據(jù)可用性和系統(tǒng)穩(wěn)定性，逐漸成為保障業(yè)務(wù)正常運轉(zhuǎn)的重要手段。

為什么硬盤會出現(xiàn)故障？

由旋轉(zhuǎn)磁盤和漂浮在其上方的讀/寫頭組合而成的硬盤驅(qū)動器盡管結(jié)構(gòu)復(fù)雜，但它們已經(jīng)證明了自己作為數(shù)據(jù)載體的價值。然而，引起機(jī)械硬盤發(fā)生故障的原因有多種：首先，如高溫、濕度、機(jī)械磨損、讀寫操作頻率等，這些因素之間的相互作用使得故障模式變得更為復(fù)雜，大大提高了預(yù)測難度。其次，溫度、振動、讀寫速度、錯誤率等多樣性HDD性能數(shù)據(jù)在規(guī)模龐大的數(shù)據(jù)存儲環(huán)境中對進(jìn)行有效利用和分析，無疑也是一個挑戰(zhàn)。

傳統(tǒng)的故障預(yù)測方法主要基于固定的閾值和經(jīng)驗判斷，存在明顯的限制：傳統(tǒng)方法只能在故障已經(jīng)發(fā)生或接近發(fā)生時才采取行動，無法預(yù)測性地防止故障；基于閾值的警報往往容易誤報，因為某些參數(shù)可能因正常使用而產(chǎn)生波動；傳統(tǒng)方法通常需要大量的人工干預(yù)，增加管理成本。相比之下，智能算法的引入為HDD故障預(yù)測帶來諸多可能性，利用大數(shù)據(jù)和機(jī)器學(xué)習(xí)技術(shù)，其強大的學(xué)習(xí)和自適應(yīng)能力可以更好地利用和分析這些多樣化的數(shù)據(jù)，從海量的硬盤驅(qū)動器數(shù)據(jù)中提取有價值的信息，進(jìn)而更加準(zhǔn)確地進(jìn)行故障預(yù)測。

HDD故障預(yù)測解決方案

方案主要包含兩部分：模型離線訓(xùn)練以及實時監(jiān)測和警報。首先通過離線訓(xùn)練得到可用的預(yù)測模型，然后將模型運用到實際生產(chǎn)環(huán)境中進(jìn)行實時故障預(yù)測。

模型離線訓(xùn)練

模型離線訓(xùn)練整體流程如圖1所示。模型所需數(shù)據(jù)為S.M.A.R.T.（Self-Monitoring Analysis and Reporting Technology，自我監(jiān)測、分析及報告技術(shù)，即一種自動的硬盤狀態(tài)檢測與預(yù)警系統(tǒng)和規(guī)范）數(shù)據(jù)，主要指硬盤運行過程中的指標(biāo)值。在數(shù)據(jù)預(yù)處理階段，由于并非所有原始屬性都是機(jī)器學(xué)習(xí)模型的可用特征，因此需要先去除冗余和不相關(guān)的特征并選擇與預(yù)測結(jié)果相關(guān)的特征，然后對于空缺的數(shù)據(jù)進(jìn)行向前補全。同時，故障盤最后兩周的樣本均為潛在故障樣本（預(yù)示著該硬盤可能隨時會發(fā)生故障），即需要將最后兩周的樣本設(shè)置為故障盤樣本標(biāo)簽。最后，二維數(shù)據(jù)類圖構(gòu)建則是將時間作為第二維度(SMART屬性作為第一維度)，使用滑動窗口的方式，構(gòu)建出二維數(shù)據(jù)圖，如圖2所示。經(jīng)過此階段處理能夠保持SMART數(shù)據(jù)的時間局部性，有利于磁盤故障預(yù)測。最后將得到的數(shù)據(jù)進(jìn)行數(shù)據(jù)劃分，分別組成訓(xùn)練集、驗證集和測試集用于模型訓(xùn)練和評估。

圖1 模型離線訓(xùn)練

圖2 滑動窗口構(gòu)建數(shù)據(jù)類圖

在故障預(yù)測模型訓(xùn)練過程中（圖3中虛線框所示），只使用健康硬盤的樣本。編碼器GE用來對原始輸入圖片x進(jìn)行編碼，得到圖片特征z，解碼器GD對編碼后的圖片特征z`進(jìn)行解碼。得到重構(gòu)圖片x`。為檢測異常，添加一個編碼器E來學(xué)習(xí)重構(gòu)樣本x`的特征表示z`。對于原始樣本x和生成圖片x`，交由判別網(wǎng)絡(luò)D來判別真?zhèn)?，這樣，在判別網(wǎng)絡(luò)進(jìn)行更新時，判別網(wǎng)絡(luò)的判別能力會得到提升。

圖3 故障預(yù)測模型

在模型預(yù)測過程中（圖3中實線框所示），無判別網(wǎng)絡(luò)，只利用生成網(wǎng)絡(luò)。將硬盤當(dāng)前的二維SMART數(shù)據(jù)類圖作為輸入，經(jīng)過模型中生成網(wǎng)絡(luò)的處理，得到輸入類圖的特征表示z和生成網(wǎng)絡(luò)的特征表示z`。其預(yù)測原理是，利用z和z`之間的差異來衡量樣本生成的有效性，且兩者差異越小，樣本生成越好。因此，兩者的L2范式A(X)=||z-z`||2被用于衡量樣本的異常度，即當(dāng)值大于某一閾值時，表示樣本異常，即該硬盤將發(fā)生故障。其背后原因是，在訓(xùn)練過程中只利用和學(xué)習(xí)健康硬盤樣本的分布，則使得健康硬盤樣本的差異更小，即z和z`的差距更小。在預(yù)測時，如果輸入樣本來自故障硬盤，則會因為故障樣本偏離健康樣本的分布，導(dǎo)致z和z`差異更顯著。

模型每次迭代訓(xùn)練使用AUC（Area Under Curve，接受者操作特征曲線下面積）區(qū)域預(yù)測效果最好的模型參數(shù)進(jìn)行保存并供后續(xù)預(yù)測使用。模型訓(xùn)練完成后使用準(zhǔn)確率對模型的性能進(jìn)行評估，經(jīng)評估模型的預(yù)測準(zhǔn)確性可達(dá)99%。

實時監(jiān)測和警報

當(dāng)模型訓(xùn)練完成后將HDD故障預(yù)測引擎順利整合到多設(shè)備管理軟件InView端，允許實時采集硬盤SMART數(shù)據(jù)，并利用模型進(jìn)行在線推理預(yù)測未來兩周內(nèi)硬盤發(fā)生故障可能性（如圖4所示）。當(dāng)系統(tǒng)檢測到硬盤出現(xiàn)故障風(fēng)險立即觸發(fā)告警機(jī)制，及時通知用戶進(jìn)行換盤處理。此機(jī)制不僅能夠確保數(shù)據(jù)的安全可靠性，還提高了硬盤驅(qū)動器的整體性能和維護(hù)效率，強力保障了業(yè)務(wù)的連續(xù)性和數(shù)據(jù)管理的穩(wěn)定性。

圖4 InView端HDD故障預(yù)測

通過AIOPS技術(shù)，浪潮信息HDD磁盤故障預(yù)測解決方案不僅實現(xiàn)了業(yè)界領(lǐng)先的預(yù)測準(zhǔn)確性，還成功整合預(yù)測引擎和實時監(jiān)測系統(tǒng)，能夠在故障風(fēng)險出現(xiàn)時采取及時的措施，保護(hù)數(shù)據(jù)的安全和業(yè)務(wù)的連續(xù)性。

未來，將繼續(xù)優(yōu)化和拓展HDD磁盤故障預(yù)測能力：

除SMART數(shù)據(jù)外拓展更多類型數(shù)據(jù)，全方位多角度評估硬盤健康狀況；

通過機(jī)器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)的發(fā)展為識別和預(yù)測復(fù)雜的故障模式提供更多工具；

進(jìn)一步改進(jìn)實時監(jiān)測和警報系統(tǒng)，提高智能化和自適應(yīng)性，使系統(tǒng)學(xué)習(xí)并適應(yīng)不斷變化的硬盤性能和環(huán)境條件；

研究自動化響應(yīng)機(jī)制，實現(xiàn)更快速的故障處理，進(jìn)一步降低業(yè)務(wù)中斷的風(fēng)險。

面對生成式AI掀起的變革浪潮，5G、AI大語言模型、自動駕駛等各類新技術(shù)融合，大容量HDD依然是企業(yè)級數(shù)據(jù)中心、云服務(wù)提供商以及超大規(guī)模云業(yè)務(wù)領(lǐng)域的首選，浪潮信息將繼續(xù)秉承“極致存儲，智慧有數(shù)”的理念，基于自身技術(shù)優(yōu)勢不斷創(chuàng)新，持續(xù)推動該領(lǐng)域的技術(shù)發(fā)展，以可靠高效的一體式解決方案守護(hù)企業(yè)數(shù)據(jù)安全，助力千行百業(yè)數(shù)字化轉(zhuǎn)型。

審核編輯：湯梓紅