基于大數據技術的網絡安全態勢感知研究

卞春花

（南京機電職業技術學院，江蘇 南京 211306）

1 網絡安全態勢感知的內涵

網絡安全態勢感知是從互聯網環境中獲取、理解各種變化所包含的安全因素信息，通過安全因素信息推斷和預測網絡環境的發展趨勢。大數據時代，互聯網環境已經形成相當大的規模，大量數據處于持續的流動及變化中，黑客也會從大數據中尋找安全漏洞進行惡意入侵，而大數據安全管理技術可以做到“聽其聲、辨其形”。在這種情況下，網絡安全態勢感知就成為抵御新型安全威脅的重要技術，可以幫助網絡安全管理人員更清晰地了解到實時的網絡安全狀態，及時采取針對性的防護措施，提高網絡環境的安全性。態勢感知技術從系統軟件硬件信息、服務進程、配置信息、數據信息以及安全日志信息中分析網絡安全狀況，并準確預判網絡安全狀況的變化，不僅能夠根據網絡安全設備的告警信息及其他信息進行實時的關聯歸并、數據融合，將網絡實際的運行情況實時反映出來，而且能夠對歷史數據進行離線分析，從而發現數據中潛在的可能威脅[1]。

具體技術應用過程中，首先要提取網絡安全要素，收集各相關元素的狀態、屬性、動態信息等，如Web服務日志、防火墻日志、安全情報等，所收集的信息數據覆蓋網絡環境中的每個節點、網絡元素、監視數據及連接渠道。為保證數據信息的完整性，網絡安全態勢感知除了監控環境數據外，還要對動態數據、靜態數據進行監控，并對這些信息進行集成[2]。其次，評估網絡安全態勢。評估網絡安全態勢就是分析某個時段時黑客攻擊行為對網絡造成的威脅程度。黑客的攻擊一般分成多個階段逐步深入系統，利用系統漏洞對系統產生持續的、漸進式的攻擊，隨著攻擊階段不斷深入，網絡系統所受到的各類威脅越來越大，系統的安全性受到直接影響。網絡安全態勢評估可以根據攻擊信息源的不同分為2種：一種是搜集實際的攻擊信息，通過大數據技術分析其中潛在的各類安全威脅；另一種不僅會對系統受到的潛在威脅做出評估，而且會對攻擊后續的發展態勢、影響程度做出預測分析。最后，進行網絡安全態勢的預測。網絡安全態勢預測是根據檢測得到的報告信息利用安全事件預警技術對未來的攻擊行為做出準確預測，為用戶提供高效的響應速度及實時、動態、主動的安全屏障[3]。

2 大數據安全面臨的問題

大數據技術發展十分迅速，雖然促進了信息技術的進步，但是信息安全保障技術稍顯滯后。大數據環境中，數據源不再局限于傳統的類型，還包括交易數據、聯機數據、系統采集原始數據、用戶在系統應用過程中報告的主動數據以及各類新聞媒體、社會媒體交互過程中產生的各類數據。數據信息具有復雜性，導致大數據技術的應用環境面臨著以下幾個問題。

一是系統復雜性導致脆弱性增加，不斷增加的系統應用及不斷擴展的系統服務使得系統間的互連越來越復雜，無形中也增加了遭受非法攻擊的風險。二是虛擬化的環境模糊了安全邊界[4]。大數據、云計算等技術的核心以虛擬化為主，而虛擬化又導致安全邊界模糊，一旦一個系統被非法入侵者攻破，就有可能導致更多的虛擬機被入侵，引發災難性后果。三是數據共享過程中存在安全隱患。大數據的信息共享需要通過跨部門、跨系統甚至跨機構進行數據融合與交換，這個過程導致數據管理難度增加，數據泄露的概率也變大。四是隱私信息的分散存儲與收集增加了保護隱私數據的難度，提高了個人隱私信息泄露的風險。五是用戶群體對信息安全的敏感性及知識水平存在較大差異，一些缺乏基本信息安全知識、信息安全意識不強的用戶就會成為非法入侵者的突破口，直接影響到整個系統的安全性。六是傳感器等采集設備很大可能成為大數據安全的短板，在大數據系統中，傳感層的主要作用就是采集、上傳終端設備的運行數據，如果這些信息采集設備未得到有效的物理保護，也會導致大數據系統遭受非法攻擊。

3 基于大數據技術的網絡安全態勢感知平臺分析

在大規模的網絡環境中，基于大數據技術的網絡安全態勢感知平臺對各類感知數據源進行數據分析與挖掘。其中，感知數據源包括用戶終端、網絡鏈路、應用系統及數據流量等，通過智能算法與安全模型將這些混亂無序、毫無關聯的數據轉換為可視化信息，通過各安全要素的理解及顯示準確發現威脅，并做出精準預警與態勢感知。

3.1 技術整體架構

網絡安全態勢感知平臺構建過程中，需要應用大數據技術對整個防御鏈條各個環節中的各類數據進行采集、分析、處理，包括各類終端、邊界、系統服務與應用等環節。其中，與網絡安全相關的各類威脅信息是收集與處理的重點對象，這些信息收集完成后再統計存儲于安全數據庫中[5]。利用大數據安全模型、分析算法及安全規劃等方法，將數據庫中海量的安全數據挖掘出來，對安全事件的發生與發展、潛在的威脅因素及發展趨勢等做出分析、預判，最終生成網絡威脅情報；以網絡威脅情報為依據，實時監測網絡安全威脅報警、重要的安全系統等，并做出網絡風險預警，感知網絡安全態勢。

整個網絡安全態勢感平臺技術架構主要包括3個層面：一是網絡安全威脅數據匯聚與存儲層，主要用于收集、存儲各類網絡安全威脅信息數據；二是大數據分析層，主要針對收集到的各類威脅情報進行分析處理；三是態勢感知與預警業務應用層，主要生成各類預警業務報告、感知網絡安全態勢等。基于大數據技術的網絡安全態勢感知平臺架構如圖1所示。

圖1 網絡安全態勢感知平臺整體技術架構

3.2 網絡安全威脅數據匯聚與存儲層

各類數據由數據匯聚層與存儲層負責采集與存儲，大數據數據庫存儲采集到的原始數據并形成網絡安全威脅信息數據庫。具體網絡攻擊追蹤過程包括多個環節，首先系統會對網絡攻擊的身份進行認證，授權應用訪問，檢測終端的操作行為及網絡流量特征，其次發現惡意代碼后發出風險報警，最后再進行安全審計[6]。由此可見，系統一旦受到網絡攻擊，所有環節均會有信息記錄，因此態勢感知數據源要盡量覆蓋整個攻擊操作鏈條的每個環節及要素。應用大數據存儲與管理技術對分布式文件系統進行整合，如關系數據庫、數據庫集群等，存儲海量感知數據源，并進行集中管理，以滿足結構化數據、非結構化數據及半結構化數據的存儲需求。

3.3 面向威脅情報的大數據分析層

將安全數據轉化為威脅情報的主要方法就是數據挖掘分析，而數據挖掘分析則包括數據預處理、模型設計、數據分析等3個環節。

3.3.1 數據預處理

數據預處理即將格式復雜、類型多樣的原始數據轉換成與系統數據規則相匹配的數據，這個過程即也可稱為數據清洗。通過數據處理，原始數據就會轉換成為更適用于網絡安全態勢感知平臺的基礎安全數據，將這些基礎安全數據按照已知特征合并在一起，形成數據族，其中的數據都有著相同的屬性。最后再對數據按照時序關系、交互特征、網際互連協議（Internet Protocol，IP）關系等關聯起來，形成基礎的數據關系網絡圖譜[7,8]。

3.3.2 模型設計

大數據模型設計的主要目的是將其所收集到的看似毫無關系的安全數據利用特定的計算與分析規則轉化成可視化的信息。在網絡安全態勢感知平臺中應用大數據技術構建的信息模型包括3種，即數值統計模型、算法挖掘模型與攻擊樹推理模型。大數據所面對的工作對象是海量的、混亂無序的安全數據，這些信息會體現出某些特定的統計特征，系統能夠通過分析統計特征發現與之對應的網絡攻擊。算法挖掘模型是分析海量數據中潛在的安全風險。攻擊樹推理模型是在海量信息數據中將原子級攻擊識別并標記出來。在具體工作中分析這些步驟、原子攻擊的先后關系等因素，可以將實際的網絡攻擊行為抽象為攻擊鏈。由于攻擊鏈中包括多個原子級攻擊動作、多個基本攻擊行為，這些動作、行為按照先后關系、時序關系及因果關系組成，攻擊起點、攻擊手法及攻擊流程不同，所產生的攻擊結構也有所不同，根據攻擊樹模型確定每個攻擊行為在整個攻擊鏈中的大致位置[9]。

3.3.3 數據分析

數據分析的主要作用就是分析數據的流向、行為、脈絡及層次，以算法程序層面的數據、實時模型設計及離線數據為主要依據，能夠更好地發現海量數據中可能會對網絡安全產生威脅的安全風險因素。一般情況下，數據分析包括在線實時挖掘分析與離線挖掘分析2個環節。在線實時挖掘就是基于Spark框架即時分析實時數據，先收集整個安全區域內各防護設備及安全系統的節點數據，利用數據倉庫技術（Extract Transform Load，ETL）預處理多源異構原始數據，將處理過的數據存儲于Hive數據庫，通過命令接口的解析將其翻譯成Spark實時計算框架上的RDD操作，再獲取數據庫里的表信息，從中取出相關文件、數據進行計算。離線挖掘分析的主要數據是數據庫中的歷史數據，對數據庫中歷史數據循環、反復的挖掘實現深加工及累加利用。離線分析模型還需要維護一個來自離線分析的結果與實時分析反饋結果的已知安全事件倉庫。

4 結 論

綜上所述，大數據技術的飛速發展形成新的網絡安全形勢，即海量的數據不僅數量大，而且類型多，必然會帶來諸如數據分布式存儲、數據標準化處理等一系列問題，其中數據源安全問題也是一個重要挑戰。態勢感知的部署有利于統一管理機構內部的網絡安全，實時掌握網絡運行的安全狀況，并進一步優化網絡安全策略。雖然現在各類信息化技術的發展日新月異，如大數據技術、人工智能技術、機器學習技術以及云計算技術的應用也越來越普及，基于這種信息環境中，網絡安全態勢感知也取得了可喜的成績，但是目前網絡安全態勢感知技術、理論的研究才剛剛起步，后續需要廣大研究者針對網絡安全態勢感知做更深入的研究，以進一步提高感知的精確度，優化安全事件的響應方式等，以提高網絡安全態勢感知的實用性、有效性。