淺談網絡安全分析中的大數據技術應用

◆孫 玉

（蘇州農業職業技術學院 江蘇 215008）

淺談網絡安全分析中的大數據技術應用

◆孫 玉

（蘇州農業職業技術學院 江蘇 215008）

大數據技術的發展與成熟，進一步促進了互聯網事業的發展，在網絡中的很多方面都能夠發揮一定的作用。本文針對當前網絡安全問題頻發的現狀，分析了大數據技術在網絡安全分析中的應用，并探究了基于大數據技術的網絡安全防御系統的構建。

網絡安全；大數據技術；應用

0 前言

隨著互聯網的應用與發展，網絡中的數據量越來越大，在為人們的工作與生活帶來便利的同時，網絡安全問題也時有發生。網絡安全問題與個人和公司的信息安全息息相關，傳統的網絡安全防護手段已經比較落后，無法起到良好的作用，而大數據技術能夠有效提高網絡安全防護的有效性，其在網絡安全分析中的應用具有重要作用。

1 網絡安全分析中應用大數據技術的意義

當今時代，互聯網發展十分迅速，其中流動的數據量增長速度很快，這雖然能夠有效提升互聯網的服務性能，但也給網絡安全分析工作帶來了巨大的壓力，主要表現在以下兩個方面。其一，讓網絡安全分析工作中需要處理的數據量變得更大，而且數據的種類也更多，需要進行多維分析才能完成有效的處理；其二，隨著數據量的增加以及數據信息傳遞速度的提高，要想及時完成對數據的分析處理，必須提高數據信息的采集和處理速度，而且需要同時保證信息安全分析的有效性，這無疑大幅增加了網絡安全分析工作的難度。在傳統的網絡安全分析系統中，應用結構化數據庫來完成數據的存儲，這樣的數據存儲方式需要很高的成本。一般為了降低成本，會先將數據處理，降低數據的大小，從而在控制成本的情況下，提高數據存儲的容量，但這同時也會讓數據在處理過程中，丟失一部分信息，如果數據入庫存儲的時間較長，很容易出現丟失的情況。而且，傳統的網絡安全分析系統在對于一些非結構化、內容復雜的數據集的處理中，并不能發揮良好的作用，無論是分析速度還是查詢效率都非常差。這些問題在大數據時代的背景下非常明顯，必須得到有效解決。

大數據技術在網絡安全分析中的應用能夠起到良好的效果。首先，大數據技術能夠大幅提升網絡安全分析系統的數據存儲量。大數據技術即使在關于非結構化的海量復雜數據的處理中，依然能夠保證效率和有效性，從而在存儲大量數據的同時，保證數據信息的完整性。第二，大數據技術的應用能夠降低網絡安全分析系統的成本。大數據技術采用分布式數據庫，不僅在經濟成本上遠低于結構化數據庫，而且對硬件要求不高，在性能相對較低的硬件設備上依然能夠穩定運行，從而大幅降低網絡安全分析系統的構建與維護成本。第三，大數據技術的應用能夠提高網絡安全分析系統的運行效率。大數據技術的應用使得網絡安全分析系統能夠完成對異構數據的存儲與處理，而異構數據在存儲和查詢時非常迅速，這使得系統的數據信息分析處理速度進一步提高。第四，應用大數據技術能夠提高網絡安全分析系統的數據處理精度。應用大數據技術，能夠從多層級、多維度進行數據的關聯分析和處理，從而提高系統的數據處理精度。

2 網絡安全分析中應用大數據技術的作用

在網絡安全分析中，需要處理的數據主要包括日志和流量兩項，同時還有訪問、用戶行為、業務行為等相對較少的數據信息。在網絡安全分析中應用大數據技術，能夠有效優化對各類數據的分析處理，通過統籌處理分散性的日志與數據，降低數據采集、分析處理的時間，從而提高網絡安全分析系統的效率；還能通過關聯分析多種安全信息，從多維度處理數據，找出其中可能存在的問題，從而提高安全分析的有效性。大數據技術在網絡安全分析中發揮的作用，主要在以下幾個方面體現。

（1）數據采集。應用大數據技術，能夠通過Flume、Scribe等工具，對數據進行分布式采集，這種高效的數據采集方式，能夠在每秒內完成數百兆的數據采集，在對于日志數據信息的處理中，能夠發揮良好的作用。

（2）數據存儲。在網絡安全分析系統中，需要對安全數據進行存儲，應用大數據技術，能夠針對不同的數據類型，使用不同的存儲方式，從而提高數據查詢和存儲的有序性與效率。對于主要在查詢中發揮作用的日志信息等數據，應用列式存儲方式比較合適，能夠有效提高數據的查詢效率；對于主要用于分析處理的經過標準化處理的數據，先使用分布式計算模式，對數據進行分析處理之后，產生分析結果，存放在列式存儲部分；對于即時的數據，使用流式計算比較合適，同樣在分析處理之后，產生分析記過，存放在列式存儲部分。

（3）數據查詢。應用大數據技術，可以在系統中以MapReduce為基礎構建查詢模塊，在數據查詢時，將指令分別置于相應的節點進行處理，在完成處理之后，整合各個節點的處理結果。這樣的數據查詢處理方式，能夠有效提高系統對于查詢指令的反應與處理速度。

（4）數據分析。網絡安全分析系統對于數據的分析可以分為兩個方面。其一，對于實時數據的分析。可以以流式計算為基礎，同時應用 CEP技術、關聯分析算法等，對實時數據進行即時的分析、監控、處理，能夠在較短時間內查找出數據中存在的異常；其二，對于統計結果、歷史數據的分析處理。這種分析處理對于時效性沒有太高的要求，可以通過分布式存儲與計算，并行應用多種數據處理技術，完成比較深入的數據離線處理，能夠有效完成風險分析、攻擊溯源等功能。

（5）復雜數據分析處理。應用大數據技術，能夠讓系統在數據的存儲、分析、查詢等方面都表現出良好的性能，在對復雜數據的分析處理中，能夠有效完成對多源異構數據、系統安全隱患以及關聯性攻擊行為的分析處理。例如，僵尸網絡是比較典型的一種網絡安全問題，對于這一問題的處理，應用大數據技術，不但能夠從流量和DNS訪問特性出發，還能進行發散性關聯分析，同時結合多方面的數據信息，從而達到全方位分析的效果，提高處理的有效性。又如，在系統存在漏洞時，可以關聯處理內網的各個主機，綜合檢測安全隱患存在的具體位置。

3 基于大數據技術構建網絡安全系統

基于大數據技術構建的網絡安全系統，主要具備以下幾個模塊。第一，數據源模塊。系統通過分布式采集器，對系統內的各個硬件設備和軟件進行行為信息采集，將結果置于存儲部分。隨著科技的發展，網絡安全防御系統的數據源越來越多，除了來自傳統的防火墻、入侵檢測等網絡安全部分，還有對服務器、存儲器等硬件基礎的維護與檢查，系統軟件、數據庫的分析檢查等。第二，數據采集與存儲模塊。應用大數據技術，可以通過數據和元數據分立的方法，優化數據的存儲與采集，構建分布式數據基礎。分布式數據存儲方式，能夠自數據出現到刪除，完成穩定的存儲和訪問功能。在數據量越來越大的今天，分布式數據存儲在網絡安全系統中發揮著不可替代的作用，能夠有效提高系統的數據存儲容量，提高數據庫的穩定性。第三，數據分析模塊。應用大數據技術，能夠讓系統同時在實時數據分析和歷史數據分析中表現出優秀的性能。在大數據的分布式處理基礎上構建的數據分析模塊，能夠提供穩定而高效的數據分析處理功能，從而讓系統能夠在有效時間內完成數據的多維度分析處理、聯合分析處理等。第四，數據展示模塊。這一模塊是從用戶體驗出發，讓用戶能夠通過這一模塊，更好地使用網絡安全系統，完成各項功能。當今時代，互聯網數據量的急劇增加，為網絡安全分析工作帶來了巨大壓力。在網絡安全系統中應用大數據技術，能夠在數據的采集、存儲、分析處理等方面有效地提高系統性能。基于大數據技術構建的網絡安全系統，能夠在網絡安全維護中發揮重要作用，值得深入研究和推廣應用。

[1]程學旗,靳小龍,王元卓.大數據系統和分析技術綜述[J].軟件學報，2014.

[2]孫大為,張廣艷,鄭緯民.大數據流式計算：關鍵技術及系統實例[J].軟件學報，2014.

[3]陳建昌.大數據環境下的網絡安全分析[J].中國新通信，2013.