網絡日志和流量關聯分析的必要性

文/楊連群 宋津旭 李翔宇

網絡日志和流量關聯分析的必要性

文/楊連群 宋津旭 李翔宇

針對日益頻繁的信息安全事件，基于日志和基于流量的分析工具都已經有成熟的產品，但是都各有優勢和局限性。本文從將網絡日志與流量關聯分析的必要性和可能性出發，結合大數據技術的發展，提出了基于大數據架構的網絡日志和流量關聯分析平臺，為信息安全分析的發展方向提供參考。

日志分析 流量分析 關聯分析 威脅 檢測大數據

21世紀以來，互聯網技術取得了快速的發展，人們在生活時也深深的受到互聯網的影響。4G網絡、Wi-Fi等技術也伴隨著移動無線技術的發展被廣泛的應用到各領域中，方便了人們日常工作和生活所需。但當人們在享受這些互聯網移動技術帶來的方便的時候，各種信息技術安全問題也日益突出。隨著網絡安全事件爆發的次數日益增加，事件的影響和造成的損失也越來越大，人們逐漸開始認識到了網絡攻擊或者黑客入侵對人們的工作和生活造成了嚴重的威脅。因此，安全監測的意義也變得越來越重要。目前信息安全監控主要分為兩個主要的方向，一是基于網絡日志的分析，另一種是基于網絡流量的分析。

1 網絡日志分析系統

日志，是一種對于計算機系統運行中所產生的事件性記錄。通過對這些日志的分析，IT的管理人員可以有效的了解目前系統運行的狀況，而對這些日志進行有效的分析，IT從業管理者可以對信息系統的安全性做出有效的分析，并能從中發現網絡中的不足之處。目前市場上基于網絡日志的安全分析已經非常成熟，產品也非常豐富。

基于日志的安全分析系統依賴傳統安全設備的日志，通個日志的歸并和去噪，將安全設備日志中的關鍵信息及時通過告警呈現出來。針對一些不能提供安全日志或者因為其他原因無法獲取日志的設備和系統，日志分析則無用武之地。

2 網絡流量分析

以往對流量的分析只是為了更快的掌握網絡流量的屬性及性能，可以使網絡的帶寬配置得到最優化，最大化的解決了網絡各方面性能的問題，因此采集到Netfolw信息就夠了。隨著各種高級威脅的出現，由于基本規則的安全設備不能及時發現，就開始引入全流量存儲分析，通過全流量的深度檢測技術，安全分析人員可以對已經發生的攻擊行為進行多角度、全方位、可反復回溯的深度檢測，從而更容易檢測出潛在的入侵行為，發現被其他工具漏掉的攻擊。

對于各類網絡流量的分析，不但可以有效的查看各類應用的服務、服務器的漏洞、主機間的連接，還可以有效的監視網絡中的各類活動，讓萬一發生故障可以第一時間的查找并得到排除，找到當前所處網絡存在的一些問題，并從中來提升網絡的性能，最終識別有問題的主機以免讓漏洞、木馬、APT功擊有機可乘，已知和未知的安全威脅，并對網絡攻擊進行定位和取證。幫助用戶提升安全分析能力和響應能力，最終降低安全損失。

由于流量數據的采集采用旁路的方式，并不需要對原有網絡結構做調整，因此無法通過安全日志進行分析的設備或系統，可以通過流量分析的方式來檢測其中的威脅。

3 網絡日志和流量關聯分析的必要性

基于日志和基于網絡流量的分析在安全方面均有各自的優勢和局限，隨著計算和存儲能力的發展，將網絡日志和網絡流量進行集中收集，關聯分析逐漸成為信息安全技術的發展方向。

3.1 強化威脅發現和預警能力

通過安全日志關聯分析技術，發現各類已知威脅；通過網絡深度包檢測分析模型，實現對未知高級網絡攻擊的預警；通過網絡深度流檢測分析技術，對可疑IP/主機進行畫像分析，及時發現各類威脅。

3.2 提升安全事件研判能力，構建發現、取證、研判、處置的閉環體系

針對日志或流量分析發現的疑似安全事件，通過高效的數據挖掘和查詢能力，對事件的相關原始日志進行查詢，對事件的網絡行為進行網絡流量回放，對原始數據包采用解碼分析技術進行完整分析和數字取證，最終幫助安全人員采取針對性響應措施對安全事件進行處置。

3.3 實現全天候全方位的威脅態勢感知

提供豐富的安全態勢感知展示界面，通過基于日志分析的安全態勢和基于網絡流量的安全態勢，實現整體網絡安全態勢。通過整體態勢、攻擊源分布、重點資產態勢、攻擊關聯圖等展現方式，使管理者對組織內部網絡安全態勢一覽無遺，有效輔助決策。

3.4 合并建設，降低資源投入，提升利用率

通過日志分析系統和網絡系統功能對比來看，很多功能模塊都是相同的，比如數據存儲，事件告警，報表管理等；只是日志和流量的采集方式不同，分析方式和模型有所差異，因此合并建設不僅可以節約建設階段的資源投入，還可以減少將來安全運維人員的投入。

雖然，將日志和流量進行關聯分析有諸多好處，但是由于企業和組織安全體系架構日趨復雜，各種類型的安全數據越來越多，傳統的數據庫面對這么多種類和這么大量級的數據明顯力不從心。

4 大數據為網絡日志和流量關聯分析提供了技術基礎

惡意代碼檢測、入侵檢測作為傳統的基于特征的信息安全分析技術已經廣泛被應用等，但是伴隨著數據量越來越龐大和一些新型的信息安全攻擊的出現，傳統的安全技術已經很難應付，所以應用大數據分析技術對新型信息安全攻擊進行分析已成為業界研究熱點。Gartner在 2012 年的報告中明確指出"信息安全正在變成一個大數據分析問題"信息安全變成一個大數據分析問題主要體現在以下三個方面：

（1）數據量越來越大：網絡已經從千兆邁向了萬兆，網絡安全設備要分析的數據包數據量急劇上升。

（2）速度越來越快：對于網絡設備而言，包處理和轉發的速度需要更快；對于安管平臺、事件分析平臺而言，數據源的事件發送速率（EPS，Event per Second，事件數每秒）也越來越快。

（3）種類越來越多：除了流量數據包、日志、資產數據，還加入了漏洞信息、配置信息、身份與訪問信息、用戶行為信息、應用信息、業務信息、外部情報信息等。

目前市場上，傳統安全廠商都在向大數據安全方向轉型，但是大部分只是將傳統的安全分析功能移植到大數據的基礎架構上，只有小部分廠商開始在基于大數據的基礎架構上，進一步對各類安全日志和流量進行關聯分析，相信這一小部分的探索，才是大數據安全或者安全分析的發展方向。

[1]李天楓.大規模網絡異常流量云檢測平臺研究[D].天津理工大學,2015.

[2]張淑英.網絡安全事件關聯分析與態勢評測技術研究[D].吉林大學,2012.

[3]陳吉榮,樂嘉錦.基于Hadoop生態系統的大數據解決方案綜述[J].計算機工程與科學,2013(10)：25-35.

作者單位 天津市濱海新區公安局 天津市 300450