人工智能在網(wǎng)絡流量安全智能分析系統(tǒng)中實現(xiàn)和驗證

摘? 要：網(wǎng)絡流量分析是安全威脅檢測的一個重要研究方向。當前流量分析主要采取事件特征信息與特征庫匹配的方式，然而該方式存在特征庫組織簡單和更新不及時的缺點。此外，持續(xù)攻擊技術(shù)更新快，容易規(guī)避現(xiàn)有規(guī)則，從而導致檢測的漏報和誤報率較高。為此提出并設計了一種網(wǎng)絡流量安全智能分析系統(tǒng)。該系統(tǒng)能夠自動學習網(wǎng)絡流量的特征，智能地識別出異常并進行深度分析，從而可以準確快速定位問題并提高安全防護能力。

伴隨著互聯(lián)網(wǎng)技術(shù)與應用的快速發(fā)展，網(wǎng)絡流量迎來爆炸式增長。安全方面，網(wǎng)絡邊界模糊給流量監(jiān)測帶來了一定的挑戰(zhàn)，同時惡意流量的增加提高了安全防護的難度。近年來，以機器學習為核心的人工智能（Artificial Intelligence，AI）技術(shù)在計算機視覺、語音識別、自然語言處理等方面取得了較好的應用效果，展現(xiàn)了機器學習在分類、預測及輔助決策方面的能力優(yōu)勢，也為解決網(wǎng)絡空間安全問題帶來了新的途徑。目前，機器學習技術(shù)在惡意樣本檢測、域名生成算法（Domain Generation Algorithms，DGA）域名檢測、域名系統(tǒng)（Domain Name System，DNS）隧道檢測、惡意加密流量檢測、威脅情報挖掘等領(lǐng)域都有一定的應用。根據(jù)高德納咨詢公司（Gartner）的定義，網(wǎng)絡流量分析技術(shù)是以網(wǎng)絡流量為基礎，應用 AI、大數(shù)據(jù)處理等先進技術(shù)，基于流量行為數(shù)據(jù)進行實時分析并展示異常事件的客觀事實的技術(shù)。

本文主要對網(wǎng)絡流量安全智能分析系統(tǒng)中的AI 關(guān)鍵技術(shù)應用及系統(tǒng)的實現(xiàn)和驗證進行全面的闡述。本文通過研究實時流量的采集、存儲、分析過程，構(gòu)建安全數(shù)據(jù)分析模型，將智能化的分析方法應用到網(wǎng)絡流量采集與分析中，提高網(wǎng)絡威脅與違規(guī)行為的精準識別研判能力，從而能夠及時發(fā)現(xiàn)并追蹤溯源潛伏周期更長、攻擊手段更加隱蔽的威脅，為應急響應與預警處置提供有力的數(shù)據(jù)支撐。?

１AI 在安全領(lǐng)域的應用

AI 在安全領(lǐng)域的應用是當前國內(nèi)外企業(yè)技術(shù)創(chuàng)新和應用創(chuàng)新的重點。中國工程院院士方濱興指出了新技術(shù)和安全之間存在的兩種關(guān)系：第一種是新技術(shù)服務于安全即新技術(shù)賦能安全，既可以服務于防御，也可以服務于攻擊；第二種是新技術(shù)引入新的安全問題，即新技術(shù)和安全是伴生關(guān)系。AI 作為新技術(shù)，既可以賦能網(wǎng)絡安全，提升網(wǎng)絡防護能力，也可以被惡意利用，增強攻擊性和破壞影響力 。同時，AI 技術(shù)自身存在脆弱性，如果被攻擊者利用，可能會引發(fā)新的安全風險 。

近年來，AI 的發(fā)展得益于 3 個主要驅(qū)動力：（1）特征降維、人工神經(jīng)網(wǎng)絡、概率圖形模型、強化學習和元學習等方面的新理論和新技術(shù)層出不窮，在學術(shù)和工業(yè)領(lǐng)域都取得明顯突破；（2）計算能力的進步使許多計算資源消耗型機器學習算法可以大規(guī)模普及；（3）在大數(shù)據(jù)時代，數(shù)據(jù)資源的極大豐富可以讓機器學習模型泛化能力更強，尤其是深度學習技術(shù)使學者們能夠基于更多數(shù)據(jù)來構(gòu)建合理的 AI模型，讓機器發(fā)揮更大的潛力，也讓各種任務取得更好的結(jié)果 。

AI 的安全應用是指以 AI 相關(guān)技術(shù)為支撐的安全應用，具體分為安全防御和安全攻擊兩個方面的應用。安全防御是指基于 AI 的安全檢測、安全防護等應用，比如入侵檢測、入侵防御；安全攻擊是指基于 AI 的入侵隱藏、行為欺騙等應用，比如社會工程攻擊。

２AI 在安全領(lǐng)域應用的現(xiàn)狀

隨著網(wǎng)絡安全技術(shù)向動態(tài)防御和主動防御演進，AI 以其對網(wǎng)絡安全威脅的快速識別和反應以及自主學習的巨大潛力，成為推動網(wǎng)絡安全技術(shù)創(chuàng)新的重要引擎。當前，AI 已從初期的惡意軟件監(jiān)測廣泛應用到入侵檢測、態(tài)勢分析、云防御、反欺詐、物聯(lián)網(wǎng)安全、移動終端安全、安全運維等諸多領(lǐng)域 。例如，在入侵檢測方面，以色列 Hexadite公司利用 AI 來自動分析威脅，迅速識別和解決網(wǎng)絡攻擊，幫助企業(yè)內(nèi)部安全團隊管理和優(yōu)先處理潛在威脅；我國山石網(wǎng)科公司研發(fā)的智能防火墻，可基于行為分析技術(shù)，幫助客戶發(fā)現(xiàn)未知網(wǎng)絡威脅，且能夠在遭受攻擊的全過程中提供防護和檢測。在終端安全方面，美國 CrowdStrike 公司開發(fā)了基于大數(shù)據(jù)分析的終端主動防御平臺，可以識別移動終端的未知惡意軟件，監(jiān)控企業(yè)的數(shù)據(jù)，偵測零日威脅，并形成一套快速響應措施，提高黑客開展攻擊的風險和代價。在安全運維方面，美國的 Jask 公司采用 AI 算法對日志和事件等數(shù)據(jù)進行優(yōu)先級排序并逐一分析，以協(xié)助安全分析師發(fā)現(xiàn)網(wǎng)絡中有攻擊性的威脅，提高安全運營中心的運營效率。從應用深度看，AI 在網(wǎng)絡安全的應用程度仍處于前期積累階段，除可提升部分網(wǎng)絡安全防護產(chǎn)品性能外，基于 AI 技術(shù)的網(wǎng)絡安全防護體系的創(chuàng)新仍在研究和試驗階段。目前，國外安全企業(yè)起步較早，如英國DarkTrace 公司基于劍橋大學的機器學習和 AI 算法仿生人類免疫系統(tǒng)，致力于實現(xiàn)網(wǎng)絡自動自主防御潛在威脅，能夠幫助企業(yè)快速識別并應對人為制造的網(wǎng)絡攻擊，同時還能預防基于機器學習的網(wǎng)絡攻擊。相比之下，國內(nèi)基于 AI 技術(shù)的網(wǎng)絡安全防護整體解決方案尚處于研究階段，仍需繼續(xù)探索如何利用 AI 技術(shù)實現(xiàn)整體網(wǎng)絡安全防護體系和架構(gòu)的創(chuàng)新優(yōu)化。

３AI 在網(wǎng)絡流量智能分析中的應用

網(wǎng)絡流量作為記錄和反映網(wǎng)絡及其用戶活動的重要載體，幾乎可以跟所有與網(wǎng)絡相關(guān)的活動聯(lián)系在一起。對于網(wǎng)絡威脅而言，網(wǎng)絡流量特征正是黑客入侵及其他威脅行為發(fā)生時會隨之產(chǎn)生的重要特征。對于網(wǎng)絡攻擊而言，不論攻擊成功與否，攻擊行為的載體只可能是網(wǎng)絡流量；因此，對海量的網(wǎng)絡流量數(shù)據(jù)進行收集和處理后，經(jīng)由系統(tǒng)智能分析模型的分析，可以自動感知網(wǎng)絡明文流量中的異常行為、異常流量并及時報警，達到識別非法應用協(xié)議、網(wǎng)絡攻擊行為的目的，提升用戶應對應用系統(tǒng)異常行為的效率。

3.1　系統(tǒng)功能架構(gòu)

通過對積累的異常行為和網(wǎng)絡攻擊的數(shù)據(jù)特征進行深入研究，將研究結(jié)果用于網(wǎng)絡流量深度檢測，可以突破目前的瓶頸，增強對未知威脅的識別能力和上報能力。按照流程，網(wǎng)絡安全流量智能分析系統(tǒng)需將采集到的數(shù)據(jù)進行處理后入庫，然后從數(shù)據(jù)庫中提取要分析的數(shù)據(jù)，使用智能分析模塊進行分析，最終提供異常行為監(jiān)測、威脅監(jiān)測，以及數(shù)據(jù)共享配置管理。系統(tǒng)功能架構(gòu)如圖 1 所示。

圖 1　功能架構(gòu)

數(shù)據(jù)采集模塊收取探針發(fā)送的流量數(shù)據(jù)，實現(xiàn)網(wǎng)絡全流量采集功能；數(shù)據(jù)處理模塊對收取的流量數(shù)據(jù)進行預處理，包括標準化和格式化，保證數(shù)據(jù)的完整性和可用性。智能分析模塊負責提供智能分析的基本方法，即作為系統(tǒng)內(nèi)置的智能分析工具箱，提供包括但不限于關(guān)聯(lián)分析、檢索分析、機器學習、行為分析、AI 分析、可視化建模分析等分析方法。異常行為監(jiān)測模塊對各種異常行為的特征進行深入研究，融合構(gòu)建出異常行為數(shù)據(jù)模型，實現(xiàn)對網(wǎng)絡內(nèi)違規(guī)行為的識別，可以識別的網(wǎng)絡的違規(guī)行為包括但不限于失竊密檢測、失陷賬號分析、離群分析、虛擬專用網(wǎng)絡（Virtual Private Network，VPN）登陸地域賬號分析、合規(guī)分析、異常賬號登錄分析、特權(quán)濫用分析、資產(chǎn)外聯(lián)分析等。

威脅監(jiān)測模塊對收取到的全流量數(shù)據(jù)基于數(shù)據(jù)特征進行智能分析，識別當前網(wǎng)絡中存在的威脅。針對復雜的安全場景，首先可基于單條數(shù)據(jù)特征、周期、頻率等簡單分析邏輯進行分析建模，發(fā)現(xiàn)潛在威脅；其次，通過基于時間序列的多條數(shù)據(jù)關(guān)聯(lián)分析建模，對數(shù)據(jù)和數(shù)據(jù)之間的因果依賴、發(fā)生順序、上下文進行分析以發(fā)現(xiàn)潛在威脅?？梢宰R別的威脅包括但不限于外聯(lián)流量攻擊、異常流量、暴力破解，僵尸主機、結(jié)構(gòu)化查詢語言（Structured Query Language，SQL）注入攻擊等。此外，支持自學習的流量分析模型，能夠動態(tài)優(yōu)化或修正模型的參數(shù)、閾值，能夠識別流量型攻擊和應用型攻擊等。數(shù)據(jù)共享配置管理模塊接收管理系統(tǒng)下發(fā)的策略，進行軟件配置、狀態(tài)檢測和信息收集上報，并為了滿足多個系統(tǒng)之間的數(shù)據(jù)交互與共享，制定數(shù)據(jù)共享規(guī)范，對數(shù)據(jù)外發(fā)的接口、參數(shù)、協(xié)議進行標準化，從而實現(xiàn)多系統(tǒng)流量數(shù)據(jù)共享。

3.2 　系統(tǒng)軟件架構(gòu)

按照體系架構(gòu)的設計，軟件實現(xiàn)上劃分為數(shù)據(jù)采集、數(shù)據(jù)匯入、存儲計算、數(shù)據(jù)智能分析、安全應用 5 個部分。軟件架構(gòu)如圖 2 所示。

圖 2 系統(tǒng)軟件架構(gòu)

數(shù)據(jù)采集層通過探針實時接收全流量數(shù)據(jù)，并實時進行流量智能識別。收集到的數(shù)據(jù)，通過數(shù)據(jù)接入接口，進入數(shù)據(jù)匯入層。在數(shù)據(jù)匯入層實現(xiàn)數(shù)據(jù)的預處理、數(shù)據(jù)入庫，并進行相應的數(shù)據(jù)治理，比如提供數(shù)據(jù)源的管理和監(jiān)控。

存儲計算層，提供分布式的存儲與計算環(huán)境，以及資源調(diào)度機制。

數(shù)據(jù)智能分析層可以提供檢索分析、智能安全分析和調(diào)查分析。其中的智能安全分析，可以在智能模型的基礎上，提供關(guān)聯(lián)分析、深度分析、行為分析、機器學習等分析類型。同時可以對模型進行統(tǒng)一的任務管理、調(diào)控和智能修正等操作。

安全應用層使用基礎的智能分析工具，提供專項監(jiān)測，如異常行為監(jiān)測、威脅監(jiān)測、安全監(jiān)測，并提供數(shù)據(jù)共享的配置管理。

3.3　系統(tǒng)關(guān)鍵技術(shù)

網(wǎng)絡流量安全智能分析中，主要結(jié)合并應用的AI 關(guān)鍵技術(shù)如下文所述。

3.3.1　基于自學習的網(wǎng)絡威脅特征輪廓掃描技術(shù)

流量自學習掃描是為了掃描出正常狀態(tài)下的網(wǎng)絡基線，在流量學習中最重要的是學習配置結(jié)構(gòu)。學習配置結(jié)構(gòu)是描述學習方式及學習結(jié)果應用方式，主要包含配置學習周期時長、學習次數(shù)（包括無限次）、掃描策略生成方式、掃描策略自動生成條件等。

3.3.2　隱蔽惡意流量檢測技術(shù)

很多惡意攻擊者對安全規(guī)則、內(nèi)控措施非常了解，他們很清楚哪種操作實施到哪種程度會觸發(fā)報警。因此，惡意人員會通過降低非法操作行為的次數(shù)和規(guī)模，潛藏在正常流量中以避免被傳統(tǒng)安全系統(tǒng)檢測到，達到隱蔽攻擊的目的，而傳統(tǒng)的檢測方式難以檢測此類隱蔽威脅。隱蔽惡意流量檢測技術(shù)通過利用長周期分流量行為進行構(gòu)建，將行為特征進行橫向與縱向?qū)Ρ?，檢測長期低頻等隱蔽惡意流量行為。

3.3.3　基于隱馬爾科夫的行為序列建模技術(shù)

基于隱馬爾科夫的行為序列建模技術(shù)首先提取網(wǎng)絡流量數(shù)據(jù)中的行為特征作為當前被檢測用戶的行為特征；其次提取訓練序列的行為特征，建立正常序列庫，并訓練序列的馬爾科夫鏈狀態(tài)集，計算該馬爾科夫鏈狀態(tài)的轉(zhuǎn)移概率矩陣，以此來描述用戶的正常行為 ；最后將被檢測用戶的行為特征與歷史行為特征進行對比，判斷當前行為是否為異常行為：如果兩者的偏離超過一定閾值，則認為是異常的；如果兩者的偏離在正常范圍內(nèi)，則認為正常。

3.3.4　異常登陸行為檢測技術(shù)

針對賬號的異地登陸、頻繁登陸進行檢測，通過對安全域過濾、維度過濾、條件過濾等算子的研究，對異常登陸行為進行識別。

3.3.5　惡意鏈接檢測技術(shù)

常見的網(wǎng)絡攻擊中，惡意鏈接經(jīng)常扮演著重要角色，并被廣泛應用到各種類型的攻擊中，如釣魚、垃圾郵件、SQL 注入以及惡意軟件。傳統(tǒng)的識別方法是基于黑名單檢測和規(guī)則檢測，但黑名單具有漏判嚴重、時效性低的缺點，而規(guī)則檢測容易被攻擊者繞過。惡意鏈接檢測技術(shù)基于機器學習算法，通過分析惡意鏈接的特點提取關(guān)鍵特征進行訓練，可以彌補黑名單和規(guī)則檢測的不足。

3.3.6　基于大數(shù)據(jù)的分布式關(guān)聯(lián)分析技術(shù)

將異常流量、異常行為、潛在威脅等分析結(jié)果作為輸入數(shù)據(jù)的同時，接入各種其他類型的數(shù)據(jù)，如安全日志、流量數(shù)據(jù)、資產(chǎn)數(shù)據(jù)、漏洞數(shù)據(jù)、威脅情報數(shù)據(jù)等，并使用基于大數(shù)據(jù)的分布式關(guān)聯(lián)分析技術(shù)、圖計算技術(shù)等，實現(xiàn)追蹤溯源，以及實現(xiàn)高級持續(xù)性攻擊、定向攻擊等場景分析。

４系統(tǒng)的實現(xiàn)、演示和驗證

4.1　演示驗證環(huán)境

為了驗證網(wǎng)絡流量安全智能分析系統(tǒng)的數(shù)據(jù)采集、存儲、深度分析、智能識別威脅和實時監(jiān)測異常流量的能力，需對網(wǎng)絡流量安全智能分析系統(tǒng)進行功能驗證與安全場景的演示驗證。網(wǎng)絡流量安全智能分析系統(tǒng)在實際驗證過程中，部署于單位網(wǎng)絡出口處。網(wǎng)絡流量安全智能分析系統(tǒng)在演示驗證環(huán)節(jié)，使用系統(tǒng)最小部署模式，如圖 3 所示。

圖 3 網(wǎng)絡流量安全智能分析系統(tǒng)演示驗證部署

4.2　系統(tǒng)分析模型

通過針對網(wǎng)絡特點進行安全場景的構(gòu)建和對數(shù)據(jù)分析模型的研究，并綜合運用通用的智能分析方法和威脅識別技術(shù)，如表 1 所示，構(gòu)建了網(wǎng)絡流量安全智能分析系統(tǒng)中常用的網(wǎng)絡安全場景下的數(shù)據(jù)分析模型、實現(xiàn)思路和運用的智能算子的對應關(guān)系。

表 1? 數(shù)據(jù)模型、實現(xiàn)思路和運用的智能算子對應表

4.3 　關(guān)鍵指標驗證

在試驗環(huán)境下，結(jié)合對網(wǎng)絡流量安全智能分析系統(tǒng)的要求，可以對以下 4 個方面的關(guān)鍵指標進行驗證：（1）能夠根據(jù)網(wǎng)絡業(yè)務對網(wǎng)絡流量情況進行智能分析，自動生成流量行為模型，根據(jù)該模型及時發(fā)現(xiàn)網(wǎng)絡中的異常流量行為。在相對獨立和封閉的一些專用網(wǎng)絡中，無法借助互聯(lián)網(wǎng)上的多種手段進行網(wǎng)絡內(nèi)的異常發(fā)現(xiàn)，只有借助流量數(shù)據(jù)進行分析，因此對流量的智能分析非常重要。因此，通過智能化的方法從流量數(shù)據(jù)中分析出日常的規(guī)律，將其作為基線，當有不符合該基線的流量出現(xiàn)時，說明有疑似異常的行為出現(xiàn)。（2）機器學習算法支持的屬性至少包括應用協(xié)議類型，源目的地址，數(shù)據(jù)包數(shù)，數(shù)據(jù)包字節(jié)發(fā)現(xiàn)分布，網(wǎng)絡流向，時間維度，數(shù)據(jù)類型等 7 種維度屬性。發(fā)生異常行為時，體現(xiàn)在流量數(shù)據(jù)特征上的可能有多種維度，比如使用了非法的協(xié)議、產(chǎn)生了過大的流量、錯誤的時間序列等。因此，需要智能分析行為基線的機器學習方法，且至少能夠支持流量數(shù)據(jù)的 7 個基本維度屬性。（3）支持自學習的流量分析模型，能夠動態(tài)優(yōu)化或修正模型的參數(shù)和閾值，能夠識別流量型攻擊和應用型攻擊。在實際的業(yè)務運轉(zhuǎn)過程中，不同階段、不同時期、不同區(qū)域、不同業(yè)務系統(tǒng)，對正常流量的標準可能會不同。因此，需要流量分析模型具備動態(tài)調(diào)整參數(shù)和基線的功能。（4）網(wǎng)絡行為數(shù)據(jù)的特征建模方式不少于 5種。網(wǎng)絡中的異常行為都有其特征，識別異常行為的模型也是依據(jù)數(shù)據(jù)特征進行匹配和計算。根據(jù)業(yè)務的需要，能夠識別出的異常行為不少于 5 種，至少包括非法賬戶、非法權(quán)限等類型。（5）能夠識別至少 4 種網(wǎng)絡流量攻擊。網(wǎng)絡中的攻擊行為也會在網(wǎng)絡流量數(shù)據(jù)中體現(xiàn)其相應的特征，需要能識別不少于 4 種常見的攻擊行為。

５應用場景

本系統(tǒng)的研究成果可應用于以下場景：（1）面向大規(guī)模網(wǎng)絡的全維流量智能分析。可進行分布式的、多網(wǎng)絡節(jié)點的全維流量采集，由系統(tǒng)生成分析模型，自動感知網(wǎng)絡明文流量中的異常行為、異常流量并及時報警，識別非法應用協(xié)議、網(wǎng)絡攻擊行為，提升用戶應對應用系統(tǒng)異常行為的處理效率。（2）面向網(wǎng)絡空間作戰(zhàn)的未知威脅深度檢測。利用該系統(tǒng)可提升未知威脅的發(fā)現(xiàn)能力，并且可以靈活擴展威脅識別算法，從而提高檢測的準確性，并能夠告警上報未知的惡意代碼和異常行為。（3）面向高級持續(xù)性威脅的網(wǎng)絡攻擊溯源分析。系統(tǒng)使用智能化的數(shù)據(jù)模型從全流量數(shù)據(jù)中分析出攻擊者的路徑和所處的攻擊階段，對持續(xù)性威脅進行追蹤和溯源分析。（4）全局網(wǎng)絡安全預警。系統(tǒng)可對網(wǎng)內(nèi)各個關(guān)鍵節(jié)點中的潛在惡意行為、攻擊行為綜合監(jiān)測，對監(jiān)測結(jié)果及時響應和上報，通過協(xié)同防御手段進行安全預警，實現(xiàn)全局防護。

６結(jié)　語

本文將智能化分析方法應用到網(wǎng)絡流量采集與分析中，可以提高復雜網(wǎng)絡的實時監(jiān)測能力，提高網(wǎng)絡威脅與違規(guī)行為精準識別研判能力，能應對潛伏周期更長、攻擊手段更加隱蔽的威脅。本文設計的網(wǎng)絡流量安全智能分析系統(tǒng)能夠及時發(fā)現(xiàn)安全威脅并追蹤溯源，可以為應急響應與預警處置提供有力的數(shù)據(jù)支撐。本文方案的應用目標是達到網(wǎng)絡流量分析的智能化，通過建立網(wǎng)絡流量安全智能分析模型，自動感知網(wǎng)絡明文流量中的異常行為、異常流量并及時報警，識別非法應用協(xié)議、網(wǎng)絡攻擊行為。

引用本文：羅秀春 , 陳睿智 . 人工智能在網(wǎng)絡流量分析中的研究與應用 [J]. 通信技術(shù) ,2022,55(2):258-264.

作者簡介 >>>

羅秀春，女，碩士，工程師，主要研究方向為網(wǎng)絡安全；

陳睿智，男，本科，工程師，主要研究方向為網(wǎng)絡安全。

編輯：黃飛

?