試論網絡安全分析中大數據技術的應用

◆佟 瑤

（遼東學院信息工程學院信息管理與信息系統系 遼寧 118000）

試論網絡安全分析中大數據技術的應用

◆佟 瑤

（遼東學院信息工程學院信息管理與信息系統系 遼寧 118000）

網絡安全分析工作直接影響數據儲存、數據傳輸等任務的安全性和有效性。基于此，本文主要針對當前網絡安全分析現狀進行分析，對大數據技術在數據采集、數據查詢、數據存儲以及數據處理等網絡安全分析工作中的應用進行細化分析，以期在豐富網絡安全分析方面研究的同時，為大數據技術在網絡安全分析中的實踐應用提供可靠的理論參照依據。

網絡安全；大數據技術；數據采集

0 前言

在互聯網不斷普及的背景中，網絡安全分析工作產生了較為明顯的變化。這種變化主要體現在以下幾方面：第一，數據分析方法方面。互聯網在人們日常工作、生活中得到了廣泛的應用，因此，網絡安全分析中的數據量、數據種類也產生了極大的變化。為了滿足分析要求，需運用多維分析方法開展網絡安全分析工作。第二，分析難度方面。從本質角度來講，可以將網絡安全分析看成是采集數據、處理數據的過程。當數據本身的傳遞速度及數據量發生變化時，網絡安全分析中的數據采集速度、處理速度也需要隨之變動。因此，當前網絡分析的難度相對較高。

1 網絡安全分析中大數據技術的應用

這里主要從以下幾方面入手，對網絡安全分析中大數據技術的應用進行分析和研究：

1.1 數據采集方面

網絡安全分析的數據對象主要包含流量、日志這兩種。大數據技術的引入可以將網絡安全分析中的數據采集工作變得更加快捷：即運用Chukwa等工具，參照日志、流量數據的類型，通過分布采集的方式高速完成數據信息的采集。與傳統技術相比，大數據技術的應用可以有效保障數據采集的完善性，且全流量數據的準確性能夠得到有效保障。

1.2 數據查詢方面

在數據查詢方面，大數據技術的應用可將MapReduce作為數據檢索的基本架構，參照實際要求向所有分析節點發送數據查詢請求主語。當分析節點接受到這一請求后，可通過分布式并行計算方法判斷自身節點是否存在查詢所需數據。若存在，將滿足MapReduce的的查詢請求，為其顯示所需流量、日志等相關數據信息。在這種網絡安全分析模式下，數據的查詢、檢索速度將發生顯著提升。對于網絡安全分析人員而言，大數據技術的應用可有效提高其工作效率，減輕其工作壓力。

1.3 數據存儲方面

在傳統網絡安全分析中，數據存儲的難度主要在于數據的高速傳輸及多樣化的數據種類上。大數據技術的應用通過提供不同儲存方式的工作模式，滿足網絡安全分析工作的數據存儲需求。以供檢索的原始安全數據（如流量歷史數據等），大數據技術借助Hbase列式儲存方法，發揮該方法的快速索引優勢，快速響應數據檢索需求，完成原始安全數據的分類化儲存[1]。從大數據技術儲存原始安全數據的流程來看：大數據技術按照統一標準對原始安全數據進行處理后，利用Hahoop分布式開展構架計算，根據各計算節點的特征完成原始安全數據的分類，進行腳本分析，最后通過對安全數據的挖掘處理，制作出數據統計報告，并將結果置于列式中進行儲存。與常規分析不同的是，若網絡安全分析工作要求實時開展數據分析人物，則利用大數據技術分析原始安全數據的流程將轉化為：通過Spark等相關流式計算方法，事先將待分析原始安全數據置于對應計算節點上。在實時分析過程中，當安全數據流經對應節點時，該計算節點將自動開展數據分析工作，將分析結果轉化為安全警告及數據統計成果，最終將所得安全數據分析結果存放至流式存儲內部。

1.4 數據處理方面

在網絡安全分析中，基于大數據技術的數據處理工作是通過多種不同的處理技術及分析技術完成的。以實時數據分析為例，可將Storm流式計算架構作為實時分析的基礎，借助電聯分析計算法、復雜事件處理法共同對來自用戶的實時安全數據進行分析。大數據技術的應用可以發揮數據實時監控功能及數據內存實時分析功能，精確捕捉網絡安全分析海量數據中的異常行為，并對異常行為進行抑制和處理，有效保障用戶的數據安全及數據傳輸安全。

2 基于大數據技術的網絡安全平臺構建

為了改善網絡安全分析質量，保障數據傳輸安全，可運用大數據技術，構建具有良好安全分析、檢測功能的網絡安全平臺。

2.1 網絡安全平臺架構

基于大數據技術的網絡安全平臺架構主要由以下幾個要素構成：第一，數據呈現層。該層通過安全度量技術、安全預警技術以及可視化引擎等完成原始安全數據的相關處理任務。第二，數據挖掘分析層。該層主要通過對流量、日志等數據的聚類分析、機器學習、關聯分析以及統計分析等，挖掘海量數據、多源異構數據中攻擊行為的特征，為網絡安全分析工作提供良好的數據基礎。第三，大數據存儲層。該層主要負責對不同類型數據進行分類存儲，以便后續數據挖掘分析、數據檢索等工作的順利展開。第四，數據采集層。該層根據數據類型，如用戶行為數據、DNS流量數據、日志數據、鏡像流量數據等，分別開展采集工作。與傳統采集流程相比，基于大數據技術的采集效率相對較高，整個采集階段所用時間相對較少。

2.2 實施安全分析

（1）DDoS攻擊路徑準實時監測

基于大數據的網絡安全平臺的DDoS攻擊路徑準實時監測流程如下所示：第一，新建空活節點隊列A、空攻擊路徑鏈表B；第二，將攻擊告警作為參照對象，提取精確的攻擊源 IP地址等相關信息，利用上述信息開展關聯查詢，獲取精確的攻擊流量大小、流經路由器等內容。第三，上述要素確定完成后，可根據所確定信息內容，進行安全處理。例如，多攻擊源地址位于路由器用戶側端口輸入流量中，則需將攻擊對象路由器的相關連接關系、攻擊源子網等信息納入攻擊路徑鏈表B中[3]。第四，將攻擊對象路由器C作為起點，逐漸開展訪問工作。此時，第一個被訪問的節點為C。該節點的訪問完成后，在該節點的基礎上進行擴展，利用關聯技術分析網絡拓撲關系，將于該節點相鄰的所有節點識別出來，并逐一對其進行訪問。按照隨機性原則從相鄰節點中任意抽取一個，重復上述流程再次進行擴展分析，直至所有節點均被分析完成。

（2）檢測控制源、被入侵主機

基于大數據的網絡安全平臺檢測控制源、被入侵主機的流程為：挖掘DDoS攻擊歷史信息，將最初發動攻擊的IP地址信息識別出來，并將其列入疑似被入侵主機。從 DNS日志數據中查詢疑似被入侵主機的日志記錄，并將所得查詢結果于惡意 URL庫進行合理比對。若 URL庫中有匹配記錄，可確定該主機為被控制主機。此外，在被攻擊期間，還可以利用多源數據關聯分析技術，找出單次攻擊期內與參與攻擊 IP地址信息之間存在交互網絡流量關聯的 IP地址，將其看做疑似控制主機，借助該主機的信息利用網絡安全平臺的數據檢索功能，找出與其之間存在通信記錄的主機，判斷為被控制主機，針對這2個主機制定相應的安全防范方案。

3 結語

通過上述分析可知，大數據技術的應用可以有效提升網絡安全分析工作的效率，改善其工作質量。為了保障數據傳輸的安全進行，還可以將大數據技術作為基本要素，構建基于大數據的網絡安全平臺，利用平臺的綜合分析功能有效監測攻擊路徑，并通過對被入侵主機通信記錄的關聯分析，識別控制主機，制定防范方案，進而保障其他主機數據傳輸工作的順利進行。

[1]王帥，汪來富，金華敏等．網絡安全分析中的大數據技術應用[J]．電信科學，2015．

[2]賈孫玉．淺談網絡安全分析中的大數據技術應用[J]．網絡安全技術與應用，2017．

[3]崔玉禮，黃麗君．網絡安全分析中的大數據技術應用[J]．網絡空間安全，2016．