面向大數據環境的網絡安全態勢感知平臺研究

◆朱義杰 楊玉龍 李 帥 成建宏

面向大數據環境的網絡安全態勢感知平臺研究

◆朱義杰 楊玉龍 李 帥 成建宏

(貴州航天計量測試技術研究所 貴州 550009)

針對傳統的網絡安全態勢感知架構難以適應大數據環境下的網絡安全態勢感知的問題，本文提出了一種面向大數據環境的網絡安全態勢感知平臺架構，并從數據獲取、數據融合、數據分析、態勢評估、自動預警、自主防御和數據可視化多個方面闡述了態勢感知平臺所需的關鍵技術，為構建集數據采集、處理、分析，安全風險監測、評估，網絡威脅主動報警、預判和網絡攻擊自主防御于一體的大數據環境下的網絡安全態勢感知平臺提供技術思路和解決方法。

大數據；網絡安全；態勢感知；態勢評估

0 引言

伴隨著互聯網技術的迅速發展，信息網絡在各領域、各行業實現了全覆蓋、全普及、全應用，導致數據量呈現爆炸式增長，大數據已成為一種新型資源[1]。網絡的新發展、新應用所帶來的問題是：數據的數量級迅速加大、數據類型更為復雜、數據來源愈加多樣、攻擊手段日趨多元化、安全漏洞和安全事件大幅增加，可以說隨著信息網絡的深入應用和大數據時代的到來，網絡安全問題有愈演愈烈之勢。

為了及時應對大數據環境下的網絡安全威脅，有效遏制各類網絡攻擊，亟需研究大數據環境下的網絡安全態勢感知技術，發揮大數據技術的海量存儲、并行計算、高效查詢等特點優勢，突破傳統態勢感知模型的數據融合能力差、數據挖掘水平弱、數據展示類型簡單等“瓶頸”問題，構建面向大數據環境的網絡安全態勢感知平臺，實現多源多類型數據高效獲取、海量數據高速融合、數據挖掘準確可靠、態勢展示類型豐富、應急響應決策合理的目標要求，為各領域信息技術的應用研究、信息產業的快速發展保駕護航[2]。

1 態勢感知平臺框架

目前傳統的網絡安全態勢感知主要針對單一網絡環境，在設計上僅實現了對網絡攻擊行為的數據收集和檢測結果的歸納總結，網絡的安全態勢評估是基于某種特定的理論模型檢測結果的歸納總結，且未考慮網絡安全態勢感知的預測。同時，傳統的網絡安全態勢感知未建立網絡安全指標體系，僅針對特定的網絡攻擊行為進行檢測，態勢感知評估結果單一，無法從整體上全面評估網絡的安全狀態，存在局限性和不準確性[3]。隨著網絡規模的不斷擴大，個別網絡安全態勢感知開始建立相應的指標體系，但指標不全面，精準性與實時性方面存在缺陷。圖1是傳統的網絡態勢感知框架。

圖 1 傳統的網絡態勢感知框架

通過分析目前國內網絡安全態勢感知與評估系統的能力和特點，發現已有態勢感知評估系統不適應大數據環境下的網絡安全，未建立完善的網絡安全指標體系，未充分利用大數據技術的海量存儲、并行計算、高效查詢的特點優勢進行數據融合、數據分析，實時性和精確性欠缺，缺乏系統設計的規范性。因此，需要開展新一代面向大數據環境的網絡安全態勢感知平臺研究，建立完善的網絡安全指標體系，解決大數據環境下的網絡安全態勢感知實時性、精確性問題，填補大數據環境下網絡安全態勢評估的空白，以此提升大數據環境下網絡及信息系統的安全預警及防御能力。圖2是新一代面向大數據環境的網絡安全態勢感知框架。

圖2 面向大數據環境的網絡安全態勢感知框架

從上面可以發現，在新一代面向大數據環境的網絡安全態勢感知框架中增加了網絡的主動預警和自主防御功能，決策執行也不再只簡單針對威脅評估，而擴展到對網絡威脅的主動預警和自主防御上。從而實現網絡狀態實時感知、網絡威脅的主動預警和網絡攻擊的自主防御。

2 網絡安全態勢感知平臺技術架構設計

面向大數據環境的網絡安全態勢感知與態勢評估系統是以當前復雜網絡環境為應用背景，將態勢感知與預警系統、自主防御技術、態勢評估、可視化等緊密結合，利用大數據技術的海量存儲、并行計算、高效查詢的特點優勢，從而實現適應復雜網絡環境的網絡安全態勢感知與評估一體化系統。它可以實時監控網絡的安全狀態，保證網絡的安全性能，為網絡安全管理相關人員提供對應的決策支撐。

其中，態勢感知主要用于對各種類型的網絡數據進行采集、融合和分析，得出的分析結果即為網絡安全態勢感知的結果。數據采集主要是針對傳感器網絡、有線網絡、無線網絡、網絡設備、網絡服務器、用戶終端等的數據進行采集，采用多源日志收集技術實現與網絡安全指標體系相關的數據提取；數據融合的目的是統一數據格式，獲取融合后的數據源；預警系統和自主防御技術通過建立相應的特征庫，采用機器學習方法不斷訓練匹配規則，提升匹配度；態勢評估技術對態勢感知的各項結果進行評估得出發生的概率或權重；可視化是對態勢感知的結果、預警、自主防御和評估結果等進行展示的過程。圖3是面向大數據環境的網絡安全態勢感知平臺技術架構。

面向大數據環境的網絡安全態勢感知平臺最終形成態勢感知系統、態勢評估系統、預警系統、防御系統四個子系統。態勢感知系統實時展示網絡安全的狀態；態勢評估系統對當前的網絡安全狀態給出定性分析和評估結果；預警系統對發現的網絡威脅進行自動識別，并實時主動預警；防御系統對發現的網絡攻擊行為進行自動識別，并給出防御方案。

圖3 面向大數據環境的網絡安全態勢感知平臺技術架構

3 網絡安全態勢感知關鍵技術

網絡安全態勢感知要素指的是用來支持數據分析和態勢感知的各個原始的安全數據。基于多源日志的網絡安全態勢感知是對部署在網絡中的多種設備提供的日志信息進行提取、分析和處理，與僅基于單一日志源分析網絡的安全態勢相比，可以提高網絡安全態勢的全面性和準確性。

基于多源日志的網絡安全態勢感知需要獲取的數據類型多、分布廣、數量大，因此需要對數據源進行分類。按數據來源一般可分為安全設備、網絡設備、應用系統、網絡流量等；按信道種類一般可分為有線網、無線網等；按數據結構一般可分為結構化、半結構化、非結構化、數據流等；按協議類型一般可分為SNMP、Syslog等。

態勢感知要素獲取需針對不同類型的數據采取不同的數據獲取方法。（1）自動獲取：通過服務器自身的審計功能，采集網絡系統、安全系統、數據庫系統以及事件采集代理產生的日志信息或安全事件信息，經過過濾、歸一化等預處理之后，形成信息事件傳送到態勢感知系統。（2）代理獲取：通過安裝在主機操作系統上的事件代理軟件，采集Windows系統產生的事件信息，或者采集應用服務器產生的日志信息。（3）主動獲取：通過在網關處部署監聽或抓包軟件，對經過網關的數據進行獲取和預處理，形成相關事件信息。（4）聯動獲取：通過態勢感知系統與安全設備（防火墻、漏洞掃描、入侵檢測等）、安全產品（殺毒軟件、主機監控與審計系統）聯動，實現對安全設備的安全監測、審計數據的實時獲取。

3.1 多源多類型海量日志數據融合分析技術

由于態勢感知采集的網絡數據來自眾多的設備（如傳感器、防火墻、網絡設備等），數據類型多樣，數據格式、數據內容、數據質量千差萬別，存儲形式各異，表達的語義也不盡相同，因此需借助數據融合技術，使多個數據源之間取長補短，進行歸一化融合操作。為得到網絡安全態勢感知結果，需采用數據分析技術對融合后的數據進行數據挖掘，得出網絡的安全狀態。現有的技術難以滿足基于大數據的網絡安全態勢感知平臺對實時性和高效性的要求，因此需研究解決大數據環境下多源多類型海量日志的數據融合，為網絡安全態勢感知提供更為全面、精準的數據源，同時需研究大數據分析技術，實現網絡安全態勢感知結果的實時性、準確性。

數據融合，首先按信息抽象程度的高低，將數據融合從低到高分成三個層次：數據級融合、特征級融合和決策級融合，其中特征級融合和決策級融合是該項目主要使用的融合方法，在此基礎上，有針對性地統一數據格式，進而通過網絡中具有相似或不同特征模式的多源信息進行互補集成，完成對數據的自動監測、關聯、相關、估計及組合等處理，實現數據的融合。

數據分析，可利用關聯分析、數據融合、態勢要素分析等方式，并結合大數據所提供的基礎平臺和大數據技術進行網絡安全態勢的分析處理。該過程可基于Spark框架實現，采集完成后的數據經ETL對多源異構的原始數據進行預處理后，存儲到Hive數據庫中，再通過Hive的HQL解析，把HQL翻譯成Spark上的RDD操作，然后通過Hive的metadata獲取數據庫里的表信息，取出相關文件、數據等放到Spark中進行計算分析[4]。

3.2 網絡安全態勢評估技術

態勢評估是對當前整個網絡安全狀態進行量化操作的過程，也可對態勢感知的每項結果進行量化操作。為實現對網絡安全的態勢評估，需建立網絡安全態勢評估指標體系，研究基于大數據技術的適用于復雜網絡環境的網絡安全態勢評估技術，解決現有的評估方法實時性、準確性差的問題。

指標體系的建立是網絡安全態勢評估的基礎，在指標體系的選取上，將參考信息安全風險評估的BS 7799(ISO/IEC17799)評估標準，網絡安全態勢評估的指標識別應遵循科學性、全面性、目的性、實用性、可操作性等原則。針對網絡安全態勢風險的特點，結合文獻研究法和歸納法形成了一種風險因素識別的方法。首先采用文獻分析法，研究各種指標體系建立方案，歸納出各種風險因素指標；然后分析網絡安全態勢，對歸納出的各種風險因素進行篩選，得到網絡安全態勢的風險因素；最后邀請相關專家對篩選出的風險因素進行討論研究修改完善，最終構建得到基于大數據的網絡安全態勢評估指標體系。

圖4 指標體系建立流程圖

3.3 網絡安全主動預警及自主防御技術

網絡安全態勢感知預警能夠根據態勢感知分析處理的結果（如威脅、漏洞情況），對使用單位、部門開展預警和通報工作，能夠實時發布預警信息，對安全態勢進行趨勢分析、預測及總結。態勢感知預警系統將態勢感知和掃描檢測到的威脅和漏洞情況進行分類、總結、預判。主動預警主要采用機器學習的方法實現，通過建立網絡安全威脅特征庫，并進行匹配訓練加以完善，當系統感知到異常數據時，系統自動與特征庫進行匹配，給出預判結果和預警信息，然后通過終端、短信、郵件、手機APP等方式向單位、部門和個人發布預警信息，并且會把預警信息發送至自主防御系統，以便于盡快形成應急處置預案。

大數據環境下的網絡安全自主防御技術是對態勢感知的網絡威脅進行應急處理的過程，在傳統的態勢感知系統中，對感知到的威脅進行分析時，僅將分析的結果（威脅、漏洞等情況）展示給相關人員，未實現對網絡威脅和漏洞的自動應急處置。在大數據環境下，為保證網絡的安全可靠，抵御惡意網絡攻擊，避免不必要的損失，研究網絡的安全自主防御技術，采用機器學習的方法，建立網絡安全態勢感知應急處置方案庫，當系統感知到威脅和漏洞時，系統自動匹配出處置方案，并及時通告給管理人員，并實現與主機防御、防火墻等網絡安全管控設備的聯動，快速阻斷網絡攻擊行為。

3.4 網絡安全態勢感知可視化技術

在網絡安全態勢感知中應用可視化技術，將網絡安全態勢合并為連貫的網絡安全態勢圖，可快速發現網絡安全威脅，直觀把握網絡安全狀況。通過傳統的文本或簡單圖形表示網絡的安全態勢，在尋找有用、關鍵信息時非常困難，可讀性差，不夠直觀，無法展示網絡未來的變化趨勢。將可視化技術應用于網絡安全態勢感知與評估領域，在網絡安全態勢感知的每一個階段都充分利用可視化方法，最終形成連貫的網絡安全態勢圖，可快速發現網絡安全威脅，直觀把握網絡安全狀況。

由于網絡數據是一種具有層次結構和多維屬性的復雜數據，針對復雜網絡環境下的網絡安全態勢感知與評估數據可視化問題，可采用一種樹圖中的多維坐標MCT（multi-coordinate in treemap）技術解決[5]，可滿足網絡安全數據具有層次和多維兩種屬性數據的可視化分析要求，將其應用在基于大數據的網絡安全態勢感知與評估系統中，更加直觀地展示網絡安全狀態，使得態勢展示類型更加豐富。

4 結束語

態勢感知是網絡安全的“眼睛”，而從海量數據中發現安全威脅是安全態勢感知的基礎。本文從大數據環境下網絡安全的需求出發，分析了傳統的網絡安全態勢感知框架的不足及應用大數據技術進行網絡安全態勢感知、態勢評估、自動預警、自主防御的架構，在此基礎上提出了一種面向大數據環境的網絡安全態勢感知平臺，并給出了平臺的技術架構，從數據獲取、數據融合、數據分析、態勢評估、自動預警、自主防御和數據可視化多個方面闡述了態勢感知平臺所需的關鍵技術，為構建集數據采集、處理、分析，安全風險監測、評估，網絡威脅主動報警、預判和網絡攻擊自主防御于一體的大數據環境下的網絡安全態勢感知平臺提供技術、思路和方法。

[1]張鋒軍.大數據技術研究綜述[J].通信技術，2014.

[2]陳建昌.大數據環境下的網絡安全分析[J].中國新通信，2013.

[3]賈焰，王曉偉，韓偉紅等.YHSSAS：面向大規模網絡的安全態勢感知系統[J].計算機科學，2011.

[4]Zaharia M,Chowdhury M,Das T, et al. Fast and interactive analytics over Hadoop data with Spark[J].USENIX，2012.

[5]陳誼，甄遠剛，胡海云等.一種層次結構中多維屬性的可視化方法[J].軟件學報，2016.

[6]朱亮，王慧強，鄭麗君.網絡安全態勢可視化研究評述[DB/OL].http://www.paper.edu.cn.

[7]龔正虎，卓瑩.網絡態勢感知研究[J].軟件學報，2010.

[8]王娟，張鳳荔，傅翀等.網絡態勢感知中的指標體系研究[J].計算機應用，2007.

貴州省科技計劃課題（黔科合重大專項[2017]3004號）。