基于大數據的網絡安全監控平臺在企業網中的應用研究

宋文凱，李 帥，孫加萌

（南京電子技術研究所，江蘇 南京 210039）

隨著數字化轉型進程的推進，企業的信息資產數量增長迅速，信息系統架構漸趨復雜，同時面臨更加復雜多樣的網絡安全威脅，給網絡安全防護工作帶來巨大壓力。為了及時發現和防范安全風險，更好地監控和保障信息系統運行，亟需建立集預警、監控、分析等功能為一體的網絡安全監控平臺，提升企業對于復雜網絡安全威脅的應對能力。

本文提出了一套基于大數據的網絡安全監控平臺的架構。大數據技術具有海量數據存儲、高效數據查詢等優勢，基于大數據技術構建的網絡安全監控平臺，則具有多源多類型數據高效獲取及融合、海量數據高速融合、數據分析準確可靠、數據展示類型豐富等優勢。

1 網絡安全監控需求

1.1 安全態勢感知

在復雜的企業網絡環境下，構建全面的網絡安全監控是一項艱巨的工程，網絡安全運營人員難以控制本單位的整體網絡安全態勢。傳統的技術防護手段大多是利用現有的攻擊特征庫對行為數據進行簡單的模式匹配，側重識別單次攻擊行為，對于長期攻擊行為鏈的還原能力有限。因此，對于高級持續性威脅，傳統防護手段無論是在攻擊行為的檢測、識別還是響應、溯源等方面，都存在嚴重不足[1]。為提高對高級持續性威脅的監測預警能力，需要將對威脅的單點性描述升級為多維度關聯分析，在分析過程中結合強關聯性、體系完整的威脅情報，從威脅目標、途徑、背景組織、相關關系、技術指標、決策依據等多個層面從戰略或戰術上進行威脅感知，通過威脅情報驅動對高級網絡安全威脅的檢測識別，預警可疑的網絡攻擊。

1.2 安全事件監控

安全事件監控是網絡安全監控平臺的核心需求，精準全面的監控和保護是安全事件監控能力的重點。監控平臺在發現可疑網絡攻擊時應及時進行告警，盡可能減小網絡攻擊帶來的安全風險和損失，系統在偵測到可疑攻擊行為或違規訪問時，除能夠利用遠程通信方式向安全運維人員發出告警信息外，對于特征顯著且處置措施明確的安全事件，安全設備應當具備主動響應能力并對相應安全事件進行聯動響應，如終端發現病毒木馬后，安全設備可直接向終端下發清理病毒指令進行殺毒，并對染毒終端進行暫時斷網以控制事態擴大。

1.3 安全事件分析

在發現真實的網絡攻擊后，安全分析人員通常需要對安全事件進行調查取證和溯源分析，獲得攻擊者的攻擊意圖、攻擊路徑和攻擊工具等，進行攻擊者畫像，評估事件的安全風險等級和影響范圍，以便針對性地采取加固措施，搜集相關攻擊日志，為執法部門偵破案件提供更加有效的數據支持。但在進行調查取證和溯源分析時，僅依賴本地的相關日志往往無法取得實質性進展，應充分利用專業安全廠商提供的云端安全大數據（域名信息、IP屬地、代碼樣本庫、DNS查詢記錄等），提高事件分析的成功率，還原攻擊過程[2]。

2 基于大數據的網絡安全監控平臺

2.1 技術架構

基于大數據的網絡安全監控平臺是一個完整的數據管理平臺框架，從最初的數據采集到最終的數據應用，對數據進行全生命周期的管理。按照企業網的網絡安全監控需求，網絡安全監控平臺的技術架構分為數據采集層、數據存儲與分析層、應用服務層，如圖1所示。數據采集層通過多種數據采集方式，獲取網絡設備、安全設備、應用系統、服務器等日志信息和告警信息，再將數據按照一定的規則做歸一化處理，進行分布式存儲。數據分析層利用關聯分析規則對采集到的海量數據進行挖掘和分析，將風險分析、脆弱性分析、態勢分析、資產分析等分析結果以事件的形式輸出。應用層根據分析結果，按需實現數據可視化及交互應用。

圖1 基于大數據的網絡安全監控平臺技術架構

2.2 數據采集

數據采集層主要功能是對網絡內各業務應用系統、安全設備、服務器、終端等設備通過主動采集或被動接收等方式對日志和告警信息進行采集并進行歸一化預處理，以便數據流后面的關聯規則和數據分析能夠快速使用。數據采集層獲取數據的方式包含

SYSLOG、FTP、SFTP、SNMP Trap、JDBC、ODBC、Net flow等多種日志采集方式。由于各個數據源的數據千差萬別，需要對數據提供統一的數據描述和信息關聯，即通過歸一化處理將所有關聯的數據置于同一個數據量級。在對數據進行歸一化之后還要對數據做過濾和歸并處理[3]，包括數據一致性檢查、無效值過濾、同類型的關鍵數據合并、非關鍵屬性的剔除等，以降低數據存儲與分析的壓力。

2.3 數據存儲與分析

數據存儲與分析層通過對采集到的安全日志、服務器日志、漏洞數據等數據進行存儲和關聯分析，以發現網絡攻擊、僵尸網絡、業務違規事件和遠控木馬等高級威脅事件。傳統的技術架構面臨復雜網絡和大量數據時，高負載所帶來的性能壓力往往是瓶頸所在。為了突破性能瓶頸和擴展性問題，基于大數據的網絡安全平臺采用可靈活水平擴展的分布式文件存儲架構和分布式數據分析架構，可根據實際計算資源需求和數據量靈活增加節點，以實現性能和資源的擴展。

基于Hadoop的分布式文件存儲系統（HDFS）是實現海量安全數據存儲管理的有效途徑。HDFS具有高吞吐量、高容錯性的技術優勢。HDFS會將文件數據劃分為若干個數據塊，為每一個數據塊創建、維護多個副本，并將這些副本存儲到不同的節點上，以實現數據的容錯或災備[4]。采集完成后的數據經過預處理后，存儲到Hive數據庫中，并通過HQL解析，將HQL轉換為Spark中的RDD操作，然后利用Hive的metadata獲取數據庫中的數據表信息，實現Spark對數據的分析與計算。

網絡安全監控平臺的數據存儲與分析層所采用的Spark技術，啟用了內存分布數據集，在并發內存處理機制方面的性能可以達到MapReduce等采用磁盤訪問方式的解決方案的數倍甚至數十倍[5]。通過分布式部署的方式，Spark可實現每秒數十萬條的日志數據分析處理，為大規模、超大規模的企業網提供高性能日志分析處理能力。

數據存儲與分析層通過規則建模，包括日志關聯規則建模、統計規則建模、序列規則建模、自定義關聯規則建模，針對不同威脅場景建模分析。日志關聯規則建模，是指在一定的時間范圍內，對多種日志類型計算單元進行關聯，以發現可信度更高的威脅告警。例如，當IPS和防火墻基于相同源IP地址同時產生一條日志告警記錄，觸發一條威脅告警。統計規則建模，是在指定的時間范圍內，對符合過濾條件的日志中數字類字段進行求和、求平均、最大值和最小值計算，將其與閾值進行比較以發現異常威脅事件。例如，發現當前一小時內的TCP平均流量超過一周時間內TCP平均流量的40%，觸發一條威脅告警。序列規則建模，是在指定的時間范圍內，對多種日志類型計算單元輸出事件發生的順序進行判斷，以發現復雜場景下的威脅事件。例如，對“永恒之藍”勒索病毒攻擊的一系列先后發生的事件進行判斷，觸發威脅告警。自定義關聯規則建模，是指用戶自定義選擇不同的日志類型計算單元，定義告警規則，通常用于特殊威脅場景。

2.4 應用服務

2.4.1 資產及脆弱性管理

為了使運維人員隨時掌握網內資產IP、名稱、脆弱性、可用性等參數信息，監控平臺可展示資產的基本信息、漏洞信息以及漏洞的歷史變更記錄等信息，并可手動修改相關信息。

2.4.2 網絡安全威脅告警

網絡安全威脅告警為網絡安全監控平臺的核心應用，旨在對使用單位、部門開展網絡安全告警和通報工作，指導單位、部門分析、預測、總結實時安全態勢，做好針對性威脅防控。

2.4.3 告警響應與運維處置快速定位、解決問題和阻止安全態勢惡化，是安全事件發生后挽回損失的主要途徑。通過告警響應與運維處置，實現人為阻斷攻擊源、清理木馬及異常程序，修復已知漏洞等，降低安全事件影響范圍。

2.4.4 數據統計與可視化

數據統計與可視化功能可以通過自定義統計規則查看各個維度的統計數據，并以圖表的形式呈現，幫助管理者掌控全網絡的安全狀態與安全態勢。

3 應用場景

3.1 多元異構的日志管理和審計

企業網內部部署了大量的交換機、路由器、安全設備、服務器設備、數據庫、中間件，由于存在各種品牌和廠商，日志格式不能完全統一，可讀性較差，海量日志無法及時有效的存儲，日志難于管理，基于大數據的網絡安全監控平臺能夠將分散在各個設備的日志統一集中管理，便于IT運維人員進行快速分析和查詢。

3.2 精準的告警和響應

通過對平臺安全規則的篩選和過濾，利用大數據分析平臺將采集到的數據按照多個維度進行關聯分析，達到類似漏斗的效果，實現威脅快速感知，保證安全告警的精確性和有效性。通過對入侵威脅、僵尸木馬、蠕蟲病毒、非正常流量、主機日志等進行多維度分析，通過量化的評判指標評估當前態勢情況，獲取企業內部整體安全信息[6]。

3.3 溯源分析和調查取證

通過Hive數據庫記錄與安全事件相關的數據，安全分析人員可以精確定位和查詢攻擊時間和位置，掌握攻擊者的提權（提高自己在服務器中的權限）等可疑操作行為，從而快速地構建惡意攻擊的概要信息，重新還原攻擊鏈條。通過鏈條式分析將入侵路徑銜接起來，識別出感染源和影響范圍，形成分析報告，并將結果作為證據移交至執法部門。

4 結束語

本文從企業網安全監控的需求出發，提出了一種基于大數據的網絡安全監控平臺的技術和功能架構，從多個層面闡述了構建集安全數據采集、存儲、分析和應用于一體的監控平臺所需的技術、思路和方法。最后，列舉了三個典型場景作為大數據環境下網絡安全監控平臺在企業網中的應用，為具備相關需求的企業提供一定的參考。