對于大規(guī)模系統(tǒng)日志的日志模式提煉算法的優(yōu)化

　　LARGE框架是部署在中國科學(xué)院超級計算環(huán)境中的日志分析系統(tǒng)，通過日志收集、集中分析、結(jié)果反饋等步驟對環(huán)境中的各種日志文件進(jìn)行監(jiān)控和分析。在對環(huán)境中系統(tǒng)日志的監(jiān)控過程中，系統(tǒng)維護(hù)人員需要通過日志模式提煉算法將大量的過往系統(tǒng)日志記錄縮減為少量的日志模式集合。然而隨著日志規(guī)模的增長以及messages日志文件的特殊性，原有的日志模式提煉算法已經(jīng)難以滿足對大規(guī)模日志快速處理的需要。介紹了一種對于日志模式提煉算法的優(yōu)化方法，通過引入MapReduce機(jī)制實現(xiàn)在存在多個日志輸入文件的情況下對日志處理和模式提煉的流程進(jìn)行加速。實驗表明，當(dāng)輸入文件較多時，該優(yōu)化方法能夠顯著提高詞匯一致率算法的運行速度，大幅減少運行時間。此外，還對使用詞匯轉(zhuǎn)換函數(shù)時的算法運行時間和提煉效果進(jìn)行了驗證。