網絡安全分析中大數據技術的應用

摘要：本文首先介紹了大數據技術在網絡安全領域應用的重要性，并介紹了大數據技術在網絡安全中的具體應用，從收到采集、數據存儲、數據檢索、網絡安全等方面的分析，最后利用大數據技術構建了一個網絡安全平臺。本文以網絡安全需求的實際應用為出發點，對大數據技術進行了簡要的描述，在實際應用中可以有助于創建一個安全的網絡環境。

關鍵詞：大數據；網絡安全分析；攻擊檢測

網絡安全數據分析與網絡結構越來越復雜，來源越來越豐富，數量呈現指數曲線增長、從TB到PB量級，內容越來越具體，范圍越來越大；網絡設備的性能越來越強，數據傳輸速度更快，安全信息的采集速度要求越來越高；網絡安全漏洞逐漸增多，影響范圍廣。此外，一些有組織、有預謀、高度持久的攻擊非常猖獗，需要多種類型的安全信息和多樣的網絡安全維護手段。

1大數據技術在網絡安全分析中的應用

日志和流量是網絡安全分析的主要數據對象，資產、配置、漏洞、訪問、應用程序行為、用戶行為、業務行為、外部報告等都是輔助信息。在大數據技術的分析下，其原理是將日志和流量數據集中在一起，利用高效的采集、存儲、分析和檢索技術，提高網絡安全的分析和處理效果，縮短分析時間。在使用信息關聯、階段組合、場景關聯等手段進行分析時，發現了安全事件、安全漏洞預測、高持久性攻擊和數據泄露等安全事件之間的關聯，可以很快從被動防御轉變為主動防御。

1.1信息的采集

數據采集可以使用Chukwa等工具，使用分布采集的手段進行對于日志信息每秒數百找的采集；通過傳統的數據鏡像的采集方式，可以采集全流量數據。

1.2信息的存儲

面對復雜的數據類型和各種應用方式，為了滿足所有分析數據存儲的需要，提高檢索和分析的速度，我們應該采用不同的存儲方法來存儲不同類型的數據。

供檢索的原始安全數據，如日志信息、流量歷史數據等，可使用GBase、Hbase等列式存儲，其具有快速索引的特性，能夠快速響應數據檢索。

1.3信息的檢索

安全數據的查詢與檢索可以使用以MapReduce為基礎的檢索架構，把數據查詢的請求主語各個分析節點進行處理，利用分布式的并行計算方法，將安全數據的檢索速度有效提升。

1.4數據的分析

實時數據分析可以利用Storm或者Spark等流式計算架構為基礎，聯合復雜事件處理技術和定制的電聯分析計算方法。采用以上方法對于實時分析數據內存、實時監控與關聯安全信息，能夠及時捕捉異常行為。非實時數據的分析可采取Hadoop架構，利用HDFS分布式存儲和MapReduce分布式計算，聯合數據聚合、數據挖掘、數據抽取等技術，離線統計風險、分析事態、尋找攻擊源。

1.5多源數據與多階段組合的關聯分析

多源數據與多階段組合的關聯分析。大數據技術可以有效地提高存儲和分析的速度，多源異構數據挖掘和分析用時更短，關聯挖掘大規模系統的安全隱患、關聯不同階段的攻擊行為特征等可能性存在。例如，對僵尸網絡進行分析，不僅可以結合DNS的流量特性，還可以對數據進行進一步的擴展和來源分析，將全分組數據集合、對溯源數據和莫管數據進行攻擊、深度關聯分析外界情報等信息。

2基數大數據技術的網絡安全平臺建設

2.1基于大數據的網絡安全平臺架構

該平臺由數據采集層、大數據存儲層、數據挖掘分析層和數據表示層組成。數據采集層可以根據流量、用戶身份信息、事件和威脅信息收集多源異構信息。大數據存儲層可用于分布式文件系統長期總存儲大量的信息，并能實現結構化、半結構化和非結構化數據存儲，分布式文件系統使用真實的數據均勻分布的均衡算法，為今后提高數據檢索的速度。數據挖掘分析層能夠實將時數據分析關聯、分析情境、提取特征，以此來實現安全事件的挖掘，迅速發現異常網絡行為并追溯其根源，同時搜索信息數據的查詢和定位。數據呈現層能夠將大數據分析結構進行可視化的呈現，通過多種維度展現網絡安全狀態。

2.2平臺實現的技術支持

2.2.1數據采集技術。本平臺采取Flume、Kafka、Storm結合的形式進行數據采集。使用Flume進行海量安全數據的采集、整合與傳輸具有可呈現分布式、可靠性高、可用性高的特點，利用定制的數據，讓發送方能夠手機到源自不同數據源的數據，把數據簡單處理后發送給各個數據的定制方。

2.2.2數據存儲技術。使用HDFS進行采集后的數據存儲，HDFS分布式文件系統有著高吞吐量和高容錯性的特點，命名空間使用的是元數據管理節點文件系統，數據節點被用來存儲數據文件，將64兆字節的數據塊作為最基本存儲單位。元數據節點的數量與數據文件的大小成粉筆，同一時間如果訪問過多的文件就會造成系統性能的嚴重下降。所以，想要保障數據處理和分析的效率，此平臺使用的存儲單位就是HDFS數據塊存儲，把采集得來的數據歸納處理之后，保證每個文件的大小滿足64兆字節。

2.2.3數據分析技術。此平臺使用Hive完成數據統計與分析，采取類似SQL的HiveQL語言滿足HDFS與HBase對于非結構化的數據進行快速檢索的。該平臺使用Hive對API進行封裝，使用定制的插件開發和實現各種數據的處理、分析與統計。對于數據的挖掘分析，給平臺使用Mahout完成基于Hadoop的機械學習，同時完成數據的挖掘與整理。針對事件流的關聯與分析，該平臺使用了CPE，把系統數據當作是各種類型的事件，對時間之間的關聯性進行分析，構建起分門別類的事件關系序列庫，完成從簡單事件到高級事件的轉化，在大量的信息中尋找到網絡安全隱患。

3結束語

大數據技術在網絡安全中的應用，實現了準確、快速、低價格的目的。在這個階段，如何在網絡安全中更有效地利用大數據技術已成為業界關注的熱點和焦點。本文以當前針對網絡漏洞與攻擊的情況的防御需求為出發點，討論了將大數據技術應用到網絡安全領域的收集、存儲、檢索以及分析的應用手段，有效地提升了網絡安全防御的準確度和效率。

參考文獻：

[1]孫玉. 淺談網絡安全分析中的大數據技術應用[J]. 網絡安全技術與應用，2017，（04）：102+106.

[2]賈衛. 網絡安全分析中的大數據技術應用探討[J]. 網絡安全技術與應用，2016，（11）：96+98.

[3]王帥，汪來富，金華敏，沈軍. 網絡安全分析中的大數據技術應用[J]. 電信科學，2015，31（07）：145-150.

作者簡介：曹琦（1996.03.26）男，民族：漢，籍貫：湖南永州，職務：大學在校，職稱：學生，學歷：高中，研究方向：計算機，單位：陸軍步兵學院石家莊校區。endprint