基于大數據的網絡安全態勢感知系統設計

摘要：針對網絡中復雜多樣的各種攻擊手段以及傳統網絡安全保護措施的不足，本文結合大數據技術提出了一種網絡安全態勢感知系統設計方案，并對系統中的網絡數據收集與預處理模塊、數據挖掘分析模塊、網絡數據分布式存儲模塊、網絡安全態勢評估模塊以及可視化模塊等主要功能模塊和數據庫進行了設計。實驗結果證明，本文提出的系統不僅可以實現對網絡風險的精準感知，還能夠通過對現行網絡情況的準確評估判斷網絡中存在的安全風險，使得網絡安全防護能力得到提升。

關鍵詞：大數據；網絡安全態勢感知；網絡攻擊；安全風險

一、引言

隨著網絡技術的飛速發展，網絡安全問題日益突出。態勢感知作為一種有效的網絡安全管理手段，受到了廣泛關注。然而，傳統的網絡安全態勢感知系統存在數據來源單一、數據處理能力不足等問題，難以應對復雜多變的網絡攻擊。因此，基于大數據的網絡安全態勢感知系統設計成為研究的熱點。如李澤慧等[1]人結合大數據技術提出了一種基于MapReduce并行處理的Apriori算法，實現了網絡安全態勢感知平臺的設計。該平臺利用大數據分析工具和算法實現了對海量安全日志數據的處理，提高了網絡安全攻擊事件的全局感知和預警。沈蓉蓉等[2]人提出了一種基于大數據技術的計算機網絡安全態勢感知方法，該方法主要通過對計算機網絡安全中存在的特征數據進行采集、分析、檢測與分類，完成了對網絡安全態勢的評估。總之，利用大數據技術，能夠有效解決傳統網絡安全中存在的數據分析效率低、防御力差等問題。因此，本文結合大數據技術，提供了一種新型網絡安全態勢感知系統設計方案，并對該系統的主要功能模塊進行了設計，以期以此實現對網絡安全問題的全面檢測，提高網絡的安全防護能力。

二、網絡安全態勢感知技術概述

網絡安全態勢感知是一個復雜而重要的領域，它涉及眾多的技術和方法，但核心目標始終是提高網絡的整體安全性，保護數據和系統的完整性。網絡安全態勢感知是以大數據技術為基礎，從全局視角提升對安全威脅的發現識別、理解分析、響應處置能力的一種方式。其核心目的是決策與行動，是安全能力的落地。態勢感知是主動防御時代最核心的網絡安全平臺，集檢測、預警、響應處置功能于一體，是主動防御體系中的安全大腦。它可以更好地加強縱深防御，通過建設主動防御、持續監測、應急響應、溯源取證、風險預警等安全能力，實現安全運營等的閉環管理[3]（見圖1）。

三、基于大數據的網絡安全態勢感知系統設計研究

（一）總體架構設計

經對網絡安全態勢感知的深入研究，本文根據大數據技術、模塊化技術提出了一種新型的系統，并對系統總體架構進行了設計，具體見圖1所示。本文設計的網絡安全態勢感知系統主要包括用戶管理模塊、網絡數據源模塊、網絡數據采集與預處理模塊、網絡數據挖掘分析模塊、網絡數據分布式存儲模塊、網絡安全態勢感知模塊以及可視化模塊，實現了從數據源獲取到對網絡中存在的安全攻擊的可視化展現的全流程安全管理。且每個功能模塊之間在數據邏輯通路的連接作用下，可實現對網絡安全態勢中存在的攻擊風險的感知預警[4]。

（二）系統主要功能設計

1.用戶管理模塊

該模塊設計主要為用戶登錄系統提供管理，通過將用戶、角色以及權限等三者進行關聯，并給予不同類型的角色用戶對應的權限，讓用戶可以通過網絡安全感知系統實現對態勢信息、網絡安全漏洞以及攻擊信息等日志信息的查詢。同時，系統管理員擁有對不同角色用戶權限分配和管理權限，如用戶信息的添加、查詢、修改、刪除等。

2.網絡數據源

該模塊主要包含了網絡當中所存在的軟、硬件等設備，如路由器、流量采集器、交換機、防火墻和網絡安全防御軟件、系統/應用日志等。同時，數據源中還包含了計算機網絡系統的運維數據和外部攻擊數據等。

3.網絡數據采集與預處理模塊

該模塊主要用于收集網絡中的各種數據，包括網絡流量、安全設備日志、用戶行為數據等。這些數據可以通過網絡爬蟲、日志采集、流量分析等方式獲得，經過整理、分類后，上傳到大數據平臺，由數據預處理工具對數據進行實時分析和處理，再將其傳輸到系統當中。網絡數據采集模塊由傳感器、網絡爬蟲、Flume日志、Kafka消息等組成，以統一化方式對上傳的數據進行預處理、歸并和清洗鞥操作，并結合不同的業務將對應數據存儲到相應的存儲模塊中。同時，還需要對數據進行實時監測，以便及時發現異常數據。

4.數據挖掘分析模塊

基于大數據技術的數據挖掘模塊能夠從海量網絡數據中挖掘信息，并從這些數據信息中發現存在安全風險或者威脅的信息。數據挖掘技術主要分為批量數據分析和實時數據流分析兩種模式。批量數據分析常用于離線數據處理，采用MapReduce編程模型，可以實現對大規模數據的分布式處理。而實時數據流分析則更加注重數據的即時性和動態性，通過Storm架構進行處理，能夠快速響應各種數據變化。網絡安全事件的關聯分析，實現了對不同類型報警信息的真偽識別，完成了網絡數據中的攻擊事件挖掘。同時，設計該模塊時，本文采用Storm作為流數據處理工具，實現了對所接收數據的關聯分析，并將最后的結果以及告警情況存到存儲模塊當中，為后期用戶的查詢分析提供支持[5]。利用大數據分析技術，對數據進行深度挖掘和關聯分析，通過構建安全事件模型、用戶行為模型等，發現潛在的安全威脅和異常行為并及時告警，從而為相關管理人員的安全防護決策提供依據。

5.網絡數據分布式存儲模塊

網絡數據分布式存儲模塊是網絡安全態勢感知系統的存儲核心，主要集合HDFS分布存儲，對采集模塊從海量網絡數據中所采集的數據進行統一存儲和處理，以此支持用戶后續對數據的查詢等數據處理操作。網絡數據分布式存儲模塊采用分布式存儲技術，將采集到的海量數據存儲在高性能的存儲集群中。同時，對數據進行清洗、去重、壓縮等預處理操作，提高數據質量和存儲效率。該模塊還支持對不同類型網絡安全數據、攻擊數據等進行處理，并對最后的結果進行存儲。

6.網絡安全態勢評估模塊

態勢感知是整個系統的核心，其通過分析處理后的數據，識別網絡中存在的安全威脅。要完成態勢感知，就需要對網絡流量、安全事件等進行深度挖掘，利用關聯分析、模式識別等技術，對潛在的安全威脅進行預測。網絡安全態勢評估和預測是該模塊的兩個核心部分，前者通過將網絡安全的狀況抽象成網絡安全態勢指數，以此實現對網絡安全的評估，如對網絡服務、網絡設備以及網絡內部軟件等進行評估計算，從而獲得網絡的綜合態勢結果。網絡安全態勢預測功能，能夠結合網絡系統中的歷史安全態勢數據，對現行計算機網絡安全態勢進行預測，并將預測結果上傳到系統管理員手中，以此實現對網絡中存在的安全威脅進行提前、主動防御。此外，該模塊的設計還支持用戶對評價、預測的結果查詢[6]。同時，為了進一步實現對網絡攻擊的檢測以及分類結果的分析，可以通過從信任測度、似然測度等方面對計算機網絡當中的安全態勢情況進行全面評估分析，并搭建對應的安全態勢評估指標，利用層次分析法將網絡安全態勢評估指標劃分成4個層次，具體見表1所示。

7.可視化模塊

網絡可視化模塊的設計，主要用計算機圖形以及圖像處理技術，以動態化方式將采集的實時數據進行呈現，為用戶觀察實時網絡安全態勢的走向提供支持。并且，由于網絡中的異構數據源以及海量數據的分析，為系統管理人員的工作造成了影響，所以本文選擇利用Kibana可視化技術對系統分析的結果以及網絡安全態勢感知結果進行可視化呈現，為管理員對網絡的安全控制提供幫助。可視化內容包括網絡流量圖、安全事件分布圖、威脅雷達等[7]。

（三）數據庫設計

根據系統功能和需求分析，本文對基于大數據技術的網絡安全態勢感知系統的數據庫表進行了設計。該系統的數據庫表主要包括網絡設備信息表、服務信息表、安全漏洞事件信息表、角色權限表、用戶角色關聯表、網絡層態勢信息表以及系統權限表等，具體功能見表2所示。

（四）仿真測試分析

1.測試環境搭建

為了進一步驗證本文提出的基于大數據的網絡安全態勢感知系統的可行性，對其展開了性能測試。具體測試環境配置如下：64位Windows系統、前端框架Bootstrap、MySQL數據庫、snort入侵檢測系統、nessus漏洞掃描工具和Blade IDS informer攻擊軟件。實驗數據配置：具體實驗數據主要包含了從0.1s、1.5s、2.0s、2.5s等時間窗口中提取出來的不同類型的數據特征，選取COMBO、傳輸控制協議（Transmission Control Protocol，TCP）以及SCAN等3種網絡攻擊類型，來判斷本系統對網絡安全態勢感知的準確率，并將其和基于云計算的網絡安全態勢感知方法以及神經網絡的感知方法進行對比[8]。

2.結果與分析

不同網絡攻擊類型下不同感知方法的感知準確率結果見表3所示。

從表3的實驗結果方面來看，在3種不同網絡攻擊類型下，本文設計的系統的網絡安全態勢感知平均準確率為96.5%。由此說明了基于大數據的網絡安全態勢感知系統的可行性，它不僅能夠實現對網絡中存在的威脅行為進行感知和追蹤溯源，還能夠提高系統的防御能力。

四、結束語

綜上所述，針對海量網絡數據匯總存在的安全風險問題，本文采用大數據技術設計了一種新型的網絡安全態勢感知系統，并實現了系統主要功能模塊和數據庫設計。同時，對網絡安全態勢感知系統進行了仿真測試，結果證明，本系統既實現了對海量網絡數據中存在的安全風險事件的全局感知和預警，還實現了對網絡中存在的攻擊行為的實時監測，并借助可視化方式對結果予以呈現。由此可見，本系統能夠更好地實現對網絡安全中存在的威脅事件的預警和處理，能夠有效確保網絡環境的安全。

作者單位：王克良 新疆科技學院

參考文獻

[1]李澤慧，徐沛東，鄔陽，等. 基于大數據的網絡安全態勢感知平臺應用研究[J].計算機應用與軟件，2023，40（07）：337-341.

[2]沈溶溶.基于大數據技術的計算機網絡安全態勢感知方法[J].信息與電腦，2023，35（03）：71-73.

[3]田進，程江，王許培，索江濤.大數據時代網絡安全態勢感知關鍵技術探析[J].軟件，2023，44（04）：168-171.

[4]劉海霞，許鑫磊，冉宇瑤，等.基于大數據的安全態勢感知系統研究[J].軟件工程，2022，25（03）：13-16.

[5]楊青. 網絡安全態勢感知系統設計與實現[D]. 陜西：西安電子科技大學，2022.

[6]周金全，朱世偉，張建平. 基于大數據和人工智能的網絡安全態勢分析方法研究[J].中國新通信，2022，24（11）：111-113.

[7]周榮娟，李偉，李曉花. 一種基于數據分析的網絡安全態勢感知系統設計與實現[J].信息安全與通信保密，2021，（02）：93-101.

[8]韓曉露.大數據環境網絡安全態勢感知關鍵技術研究[D].北京：北京交通大學，2021.