基于機(jī)器學(xué)習(xí)的日志解析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

　　針對(duì)現(xiàn)有日志分類(lèi)方法只適用于格式化的日志，且性能依賴于日志結(jié)構(gòu)的問(wèn)題，基于機(jī)器學(xué)習(xí)方法對(duì)日志信息解析算法LogSig進(jìn)行了擴(kuò)展改進(jìn)，并設(shè)計(jì)開(kāi)發(fā)了一個(gè)集數(shù)據(jù)處理與結(jié)果分析于一體的日志解析系統(tǒng)，包括原始數(shù)據(jù)預(yù)處理、日志解析、聚類(lèi)分析評(píng)價(jià)、聚類(lèi)結(jié)果散點(diǎn)圖顯示等功能，在VAST 2011挑戰(zhàn)賽的開(kāi)源防火墻日志數(shù)據(jù)集上進(jìn)行了測(cè)試。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的算法在歸類(lèi)整理日志事件時(shí)的平均準(zhǔn)確性達(dá)到85%以上；與原LogSig算法相比，日志解析精度提高了50%，同時(shí)解析時(shí)間僅為原先的25%，可用于大數(shù)據(jù)環(huán)境下高效準(zhǔn)確地對(duì)多源非結(jié)構(gòu)化日志數(shù)據(jù)進(jìn)行解析。