【AIOps】一種全新的日志異常檢測評估框架：LightAD，相關(guān)成果已被軟工頂會ICSE 2024錄用

本文對現(xiàn)有的基于經(jīng)典機器學(xué)習(xí)和深度學(xué)習(xí)方法的日志異常檢測方法進行了實證研究，并提出了一種自動化日志異常檢測評估框架LightAD。

日志是AIOps領(lǐng)域需要處理的常見數(shù)據(jù)，是程序運行過程中由代碼打印出的一些非結(jié)構(gòu)化的文本信息，日志通常由時間戳和文本信息組成。日志實時記錄了系統(tǒng)的運行狀態(tài)，包括正常運行狀態(tài)和故障發(fā)生時的狀態(tài)。因此通過收集和分析日志，可以快速檢測和定位出系統(tǒng)中存在的異常。

本文研究了深度學(xué)習(xí)方法在日志異常檢測中與更簡單技術(shù)相比的優(yōu)越性，在五個公共的日志異常檢測數(shù)據(jù)集上對輕量級傳統(tǒng)機器學(xué)習(xí)方法（如KNN、SLFN）和深度學(xué)習(xí)方法（如CNN、NeuralLog）進行了全面的評估。

本文的研究結(jié)果表明，通過合適的數(shù)據(jù)處理方式，輕量級機器學(xué)習(xí)方法能夠在時間效率和準確性方面都優(yōu)于深度學(xué)習(xí)方法。為了評估深度學(xué)習(xí)方法的必要性，本文提出了一種自動化的日志異常檢測模型評估框架LightAD。LightAD是一種基于貝葉斯優(yōu)化器的優(yōu)化訓(xùn)練時間、推斷時間和性能得分的評估框架。通過自動化超參數(shù)調(diào)優(yōu)，LightAD可以實現(xiàn)在日志異常檢測模型之間進行公正的比較，使運維工程師能夠針對不同的在線異常檢測目標來選擇合適的異常檢測模型。

模型收益的多目標優(yōu)化公式如下：

下圖是在去除重復(fù)數(shù)據(jù)的HDFS數(shù)據(jù)集上使用LightAD進行異常檢測方法優(yōu)化和評估的結(jié)果，最高模型收益的分數(shù)由黑色加粗標識。從圖中可以看出，LightAD挑選出的模型都是輕量級的機器學(xué)習(xí)方法。

本文來自華為云PaaS技術(shù)創(chuàng)新Lab和香港中文大學(xué)（深圳）賀品嘉助理教授團隊合作項目成果產(chǎn)出，相關(guān)研究成果已被軟件工程領(lǐng)域頂會ICSE 2024（CCF A類）正式錄用，文章詳細內(nèi)容即將公開，敬請關(guān)注。