基于大數據技術的可視化安全態勢感知

0 引言

近幾年來，信息化應用水平提升到了一個更高的層次，如何從整體上動態反映網絡安全狀況，并對網絡安全的發展趨勢進行預測和預警是目前的難題。大數據技術特有的海量存儲、并行計算、高效查詢等特點，為大規模網絡安全態勢感知技術的突破創造了機遇，借助大數據分析對成千上萬的網絡日志等信息進行自動分析處理與深度挖掘，對網絡的安全狀態進行分析評價，感知網絡中的異常事件與整體安全態勢。

1 基于大數據技術的態勢感知

網絡安全態勢感知的主要任務包括風險感知和事件感知兩個方面。風險感知包括網絡資產感知和網絡脆弱性感知，網絡資產感知是自動、快速發現和收集大規模網絡資產的分布情況、更新情況、屬性等信息網絡脆弱性感知是分析、發現網絡的脆弱性對脆弱性進行統一標識和管理。網絡脆弱性包括不可見脆弱性和可見脆弱性。事件感知主要包括安全事件感知和異常行為感知，安全事件感知是指能夠確定安全事件發生的時間、地點、起因、經過和結果，異常行為感知是指通過異常行為判定風險，以彌補對不可見脆弱性、未知安全事件發現的不足，主要面向的是感知未知的攻擊。

2 網絡安全態勢感知的相關技術

實現基于多源日志的網絡安全態勢感知，采集了多種安全設備上多樣的檢測方式和事件報告機制生成的海量數據，而這些原始的日志信息存在海量、冗余和錯誤等缺陷不能作為態勢感知的直接信息來源，必須進行關聯分析和數據融合等處理。

關聯分析。網絡中的防火墻日志和入侵檢測日志都是對進入網絡的安全事件的流量的刻畫針對某一個可能的攻擊事件會產生大量的日志和相關報警記錄，這些記錄存在著很多的冗余和關聯。因此首先要對得到的原始日志進行單源上的關聯分析，把海量的原始日志轉換為直觀的、能夠為人所理解的、可能對網絡造成危害的安全事件?；诙嘣慈罩镜木W絡安全態勢感知采用基于相似度的報警關聯可以較好地控制關聯后的報警數量，有利于減少復雜度。其處理過程是：

首先，提取報警日志中的主要屬性，形成原始報警，再通過重復報警聚合生成聚合報警，對聚合報警的各個屬性定義相似度的計算方法，并分配權重，計算兩個聚合報警的相似度，通過與相似度閥值的比較來決定是否對聚合報警進行超報警，最終輸出屬于同一類報警的地址范圍和報警信息，生成安全事件。

融合分析。多源日志存在冗余性、互補性等特點，態勢感知借助數據融合技術，能夠使得多個數據源之間取長補短，從而為感知過程提供保障，以便更準確地生成安全態勢。經過單源日志報警關聯過程，分別得到各自的安全事件。

態勢要素分析。通過對網絡入口處安全設備日志的安全分析，得到的只是進入目標網絡的可能的攻擊信息，而真正對網絡安全狀況產生決定性影響的安全事件，則需要通過綜合分析攻擊知識庫和具體的網絡環境進行最終確認。主要分為三個步驟：一是通過對大量網絡攻擊實例的研究，得到可用的攻擊知識庫，主要包括各種網絡攻擊的原理、特點以及它們的作用環境等；二是分析關鍵主機上存在的系統漏洞和承載的服務的可能漏洞，建立當前網絡環境的漏洞知識庫分析當前網絡環境的拓撲結構、性能指標等得到網絡環境知識庫；三是通過漏洞知識庫來確認安全事件的有效性，也即對當前網絡產生影響的網絡攻擊事件。在網絡安全事件生成和攻擊事件確認的過程中，提取出用于對整個網絡安全態勢進行評估的態勢要素主要包括整個網絡面臨的安全威脅、分支網絡面臨的安全威脅、主機受到的安全威脅以及這些威脅的程度等。

3 安全風險態勢感知的預警分析技術

對于海量網絡安全日志信息，僅通過網絡安全設備提供的網絡安全日志分析網絡安全事件通常是滯后的，因此利用大數據分析技術針對海量網絡安全日志 數據進行深層次的分析，從中發現有價值的信息。發現數據中存在的關系和規則，根據現有的數據預測未來的發展趨勢，從海量的安全數據中發現潛在的安全威脅和攻擊。

網絡安全事件預警分析技術采用基于動態基線的方法并結合數據挖掘算法進行預警分析。通過設置的20種指標項，利用以存儲的海量日志數據獲取網絡安全事件的標準差及標準誤差，最終針對指標項計算其置信區間，系統針對存儲的歷史數據進行機器學習，分析日志特征并對于置信區間進行動態規則設置，利用置信區間及置信區間規則，分析實時采集的日志數據，如果在置信區間范圍外的數據或置信區間內匹配異常場景的數據進行攻擊場景及資產脆弱性關聯分析，為用戶提供對應的預警信息。預警分為安全事件預警和重要信息系統預警。

安全事件預警流程為當發生安全事件時，首先判定事件等級，根據事件等級選擇通知相應的負責人處理，處置完成后判斷系統運行是否正常，如果正常則通知系統管理員填寫信息安全事件和系統故障處理記錄單并結束流程，并將此次處理填入值班記錄；如果處置完成后系統沒有正常運行，則重新判斷事件等級進行處理。

重要信息系統預警流程為當發生系統故障時，首先判斷故障等級，根據故障等級選擇通知相應的負責人處理，處置完成后判斷系統運行是否正常，如果正常則通知系統管理員填寫信息安全事件和系統故障處理記錄單并結束流程，并將此次處理填入值班記錄；如果處置完成后系統沒有正常運行，則重新判斷故障等級進行處理。

4 尚存在的技術難題分析

由于目前用戶普遍網絡規模較大，結構復雜，網絡數據還存在實時可變的特征，網絡系統安全態勢的可視化是實現網絡態勢感知的難點。基于主機的數據顯示和基于網絡的數據顯示是態勢可視化的兩大方面，可視化的結果既要反應區域內主機網絡安全威脅等級，也要從宏觀上對整個網絡的安全態勢進行描繪?？梢暬€需考慮人機交互的可操作性，基于多數據源，多視圖的可視化系統才能滿足態勢可視化要求。

5 總結

網絡安全態勢感知基于全網海量多源異構各類告警數據、業務數據、網絡數據、網管與運維數據和內控數據，通過數據的集中分析，構建安全場景分析，實現安全風險與態勢的實時感知。將事前風險合規性管理運維流程成果量化、事中發生的各類安全告警和異常行為及時感知，事后網管系統監測到的業務異動和事件處置運維流程情況，全部匯總統一成風險感知的業務數據鏈。