基于大數據技術的網絡異常行為分析監測系統

馬立新，許 報，李黎濱，曹 源，鄭 磊

（國網吉林省電力有限公司信息通信公司，吉林 長春 130000）

0 引 言

現代科學技術的持續更新和進步，為當前社會各行各業的發展提供了良好的前提條件。但是，網絡攻擊技術也在不斷發展，一些黑客采用的攻擊手段隱蔽程度逐漸提升，攻擊行為越來越復雜，且具有較長的潛伏周期，容易給人們的網絡安全造成較大威脅。現階段，基于特征檢測的方式已經無法發揮切實有效的作用，只能夠檢測出已經出現的入侵行為模式，而面對一些新型入侵形式的網絡攻擊時將難以發揮積極效果。

1 網絡異常行為分析監測系統的總體目標

大數據技術手段的不斷更新和優化，在處理海量數據方面的優勢不斷凸顯。將它作為網絡異常行為分析監測系統構建的重要基礎，能夠起到良好的效果。網絡異常行為分析監測系統中，全面采集和分析各項應用信息、實時網絡流量信息、資產信息、安全事件信息以及地域信息等方面內容，挖掘已經收集的各項信息的歷史數據，開展全面深入的對比分析，將正常的網絡訪問行為作為重要基準，判斷異常攻擊行為，最終通過可視化形式，針對異常警告和訪問路徑情況進行更直觀、準確的反映，為有效應對和處理這些網絡異常行為提供信息支撐。

2 網絡異常行為分析監測系統的架構設計

以大數據為基礎的網絡異常行為分析監測系統，在實際開展系統架構設計工作的過程中，主要包含了以下幾個方面。第一，數據采集層。這是網絡異常行為分析監測系統實際運行過程中的重要基礎性內容，能夠從不同數據源出發，針對各項網絡行為和數據進行收集。通常情況下，網絡上部署的WAF、IDS、防病毒以及防火墻等安全設備和網絡核心交換機鏡像網絡流量等，都是重要的數據源[1]。第二，數據預處理層。在全面收集各項數據后，需要及時開展初步的過濾工作。這個環節主要是針對原始數據進行初級解析、提取，并開展豐富化和歸一化的處理工作，奠定后續數據分析處理的基礎。第三，數據分析層。這個環節以預處理層作為重要前提，主要劃分為實時分析和離線分析兩個方面。前者從實時數據流處理技術出發，關聯對比和統計各項數據信息，按照相關標準和分析規則，確定網絡異常行為告警事件。后者則全面綜合已經收集的數據和信息再開展分析。第四，數據持久化層。從存儲數據的實際類型和使用情況出發，按照其不同的表現，在實際存儲時選擇不同的數據庫。第五，展示平臺層。當完成各項信息和數據的收集和分析工作后，明確網絡異常行為告警事件，需要針對這些事件進行管理和操作，通過挖掘歷史數據為后續環節的處理提供信息支撐。展示平臺層是一個人機交互的Web應用，在開展模型管理、信息登記和系統管理相關工作方面能夠發揮積極作用[2]。

3 網絡異常行為分析監測系統功能模塊設計

全面細致剖析網絡異常行為分析監測系統中的各類功能模塊，為充分發揮該系統的設計優勢和檢測作用提供前提條件。首先，數據采集和預處理模塊。這個模塊與系統架構的數據采集層和數據預處理層保持著一定的一致性，是全面實現數據采集和接收工作的重要接口。在syslog的幫助下，它能接收流量前段、安全設備等方面上報的各項數據，并且發揮日志文件讀取的作用，更好地匹配和提取相應的事件內容。該模塊能夠有效開展多種信息的標準化處理工作，主要是針對一些異常事件發生時間格式、名稱和等級等方面的信息。歸一化處理工作完成后，再推進豐富化處理環節的良好開展，保證預處理完成的數據已經具備了較高的準確性。其次，實時異常檢測模塊[3]。這一模塊能夠通過Spark steaming系統科學有效地處理好實時事件流，并將已經預處理過的各項數據放入kafka系統，實現各項消息數據的交換，全面按照相應的檢測規則，細致檢測各項數據中存在的不合理情況。最后，機器學習模塊。這一模塊充分結合了多種先進的流量數據查詢和訪問方式構建起科學、完善的業務訪問模型，以此為根據轉換為相應的檢測規則，發揮出實時異常檢測模塊的優勢和作用，實現各項數據內容的實時性分析[4]。

4 網絡異常行為分析監測系統中的關鍵性技術分析

以大數據技術作為重要支撐，構建科學、有效的網絡異常行為分析監測系統，需要針對其中涉及的各方面關鍵性技術進行詳細剖析，切實有效提升該項系統的總體利用優勢和效果。

4.1 大規模監控采集技術

數據的監控、收集和分析，是網絡異常行為分析監測系統充分發揮有效作用的重要內容。其中，積極利用大規模監控采集技術，能夠起到良好的效果。首先，優先開展主動上報工作。在實際針對各項信息數據進行監控和收集的過程中，需要將本地代理Agent上報作為主要上報形式，將遠程探針Probe采集作為輔助形式[5]。主動上報作為信息收集和監控的優先級內容，需要將采集顆粒度不斷深入發展，從本地數據采集的實時性出發，將其作為重要的優勢支撐，盡可能減少一些復雜安全認證環節的出現。將網絡異常行為分析監測系統設置為開機自啟的模式，解放人工勞動力。其次，實現匯聚壓力分攤的效果。監控系統本身服務端需要處理大量的數據，為了有效減少接入壓力，借助于分布式匯聚技術，減輕系統接入壓力。它主要是按照需求適當增加匯聚代理，開展于服務端和Agent、Probe之間，能夠有效推進數據預處理環節的良好實現。面對一些異地環境和復雜形勢下的網絡安全環境，開展信息采集工作，發揮分布式采集匯聚技術的優勢，將Agent、Probe通過匯聚代理開展間接性的上報數據連接工作，能夠起到良好的實施效果[6]。

4.2 大數據存儲技術

面對海量事件和信息，開展檢索工作需要借助于Elasticsearch技術。在處理一些經常開展頁面交互查詢工作所形成的分析告警結果數據時，將其放置在Elasticsearch中，能夠起到十分有效的作用。對于HDFS來說，Hadoop分布式文件系統在有效存儲大規模的數據集時具有明顯優勢。對此，在網絡異常行為分析監測系統實際運行過程中，通常會選擇將全面收集的各方面原始數據和預處理結果數據放入HDFS中，并發揮Spark技術的作用。Spark技術是一種快速通用的計算引擎，專門為有效處理大規模數據而開發，能夠更深入地挖掘到歷史數據。同時，大數據技術中還包含了Redis和MySQL技術方面的內容。前者是重要的存儲系統，在實時分析從而尋找到相關聯信息方面具有良好的效果，多應用于關聯性較強的信息分析處理過程。后者是關系數據庫，存儲了海量的報告數據、統計結果數據和系統管理類數據[7]。

4.3 實時流事件處理技術

實時流事件處理技術，在網絡異常行為分析監測系統中占據著重要地位，能夠針對實時性的相關數據和信息流進行充分收集和分析，并將其作為重要的信息基礎。將它和既定的檢測規則、相關信息數據進行細致對比，可發現一些不合常理的信息和數據，為準確判斷告警事件和網絡異常行為提供基礎。Spark steaming是一種重要的流式處理系統，在處理實時數據方面優勢明顯，主要體現在高通量和較高容錯率方面，并且能夠和多種數據源進行合理對接[8]。

5 結 論

網絡異常行為分析監測系統從大數據基礎出發，充分結合現階段社會發展過程中的多項先進科學技術，全面挖掘、分析、關聯性對比海量的數據和信息，如漏掃結果、接入網絡流量、安全日志以及資產信息等，從而能夠更準確有效地檢測和識別網絡異常行為。網絡異常行為分析監測系統充分采用了大規模監控采集技術、大數據存儲技術以及實時流事件處理技術等，能夠更好地應對一些復雜度高、隱蔽性高的攻擊行為，保障人們的網絡安全。需要注意到的是，這項系統的應用在檢測無需預置特征網絡行為時效果更好。