試論基于大數據的網絡安全與情報分析

鄒勤 余毅 袁俊

摘要：網絡安全與情報工作中存在數據處理效率低下等問題，影響網絡安全的保障效果。基于此，本文從網絡與安全情報工作的不足入手，對大數據技術中能夠應用于網絡安全與情報工作的技術進行分析，并指出大數據技術在網絡安全與情報工作中的具體應用，以期豐富相關理論，為我國網絡安全發展做出貢獻。

關鍵詞：大數據；網絡安全；情報

中圖分類號：TP393 文獻標識碼：A

文章編號：1009-3044（2019）12-0008-02

開放科學（資源服務）標識碼（OSID）：

互聯網在為人們生產生活提供便利的同時，也為人們帶來了網絡威脅，個人信息、企業數據和國家敏感信息很容易被泄漏或篡改，對網絡安全造成不利影響。因此，技術人員需要加強對網絡安全技術的研發，從整體提升網絡安全水平，抵御不法分子的攻擊，保障個人、企業和國家的網絡信息安全，促進網絡的可持續發展。

1網絡安全與情報工作的不足

在信息化程度不斷加深的當下，網絡安全與情報工作的不足逐漸凸顯出來。互聯網的普及是網絡中產生了大量的結構化、半結構化及非結構化的數據信息，傳統的網絡安全技術難以在短時間內處理海量的數據信息，還不能長時間保留數據源，并不能全面分析網絡數據信息，很容易使惡意數據信息成為“漏網之魚”，對網絡及網絡用戶造成不利影響。同時，互聯網的發展也增加了威脅情報信息源的數量，而傳統的網絡情報分析技術難以將大量的威脅情報聯系在一起，在關聯分析和數據源檢測方面存在不足，不能保障網絡安全[1]。因此，對網絡安全與情報工作的創新刻不容緩。

2網絡安全與情報中應用的大數據技術

2.1大數據處理技術

在網絡安全與情報工作中，需要采集并整合海量的數據信息，大數據技術在數據采集與處理方面有顯著優勢。大數據技術在進行數據處理與計算中，主要采用批量計算以及流式計算這兩種模式。常用的數據處理技術包括以下三種：

第一，交互式數據查詢技術，該技術是將HBase、Hive等數據庫作為基礎，實現多個數據庫交互的技術，可以支持多個數據庫的交互式查詢，其數據查詢時間可以控制在幾分鐘內，具有靈活直觀等優勢。目前常用的交互式數據查詢系統有Dremel系統以及Apache Spark系統。

第二，批量數據處理技術，該技術能夠批量進行數據的采集與處理，可以顯著提升數據處理效率。在實際的批量數據處理技術應用中，首先將海量數據信息進行靜態存儲，再開展處理工作，可以顯著提升數據處理的全面性和有效性。一般來說，對于相對復雜的數據信息，批量數據處理技術可以在數小時內完成，效率較高。

第三，流式數據處理技術，該技術能夠開展實時數據計算與處理工作，數據處理結構的反饋效率也很高。在實際的流式數據處理技術應用中，可以直接在內存中開展數據信息的處理工作，具有延遲短和效率高等優勢。

2.2大數據分析技術

在網絡安全與情報工作中，需要對海量的數據信息進行分析，大數據技術在數據分析方面有顯著優勢。常用的數據分析技術包括以下三種：

第一，用戶行為分析技術，在企業經營管理中，如果其內外網難以分開，企業難以通過安全技術抵御黑客的攻擊，這是因為企業內部存在安全隱患。用戶行為分析技術可以對企業內部用戶的網絡行為進行分析，通過UBA技術搜集用戶在網絡流量及日志記錄等方面的行為痕跡，以此構建用戶行為基準線，將基準線和用戶行為進行對比，以此找出用戶存在的異常行為，從而準確識別企業內部存在的安全威脅。

第二，安全可視分析技術，該技術可以實現數據的可視化，確保管理人員直觀地看到數據隱含的信息，可以為安全管理人員提供更為豐富的參考資料，為安全管理人員發現網絡安全問題及黑客攻擊提供便利。在實際的安全可視分析技術應用中，首先要明確網絡安全管理人員的管理問題，即從哪些數據內容中分析隱含信息；再進行數據可視化處理，通過聚焦或者關聯等功能，實現人機交互，完成數據隱含信息的傳遞。

第三，安全事件關聯分析技術，在互聯網越來越普及的背景下，網絡安全事件逐漸增多，不同網絡安全事件中存在密切聯系。安全事件關聯分析技術可以就網絡安全事件開展關聯分析，從網絡安全事件的本質入手，分析網絡攻擊行為，位網絡安全事件的妥善處理提供幫助[2]。常用的安全事件關聯分析技術包括安全設備報警關聯分析技術、不同領域范圍的安全關聯分析技術以及網絡主機關聯分析技術等，可以實現全面的網絡威脅分析。

3基于大數據的網絡安全與情報

通過上述分析可知，大數據技術中的多項技術可以應用于網絡安全與情報工作中，可以將其用于網絡信息安全攻擊檢測、網絡信息風險感知、網絡情報分析及網絡異常檢測等方面，切實發揮出大數據技術的作用，創新網絡安全與情報工作，提升其工作水平和質量。

3.1基于大數據的APT攻擊檢測

隨著信息化的發展，網絡APT攻擊呈現出顯著的滲透性及隱蔽性特征，對國家和企事業單位的網絡安全造成了嚴重的威脅。比如，2010年出現的震網病毒；2012年出現的火焰病毒；2015年出現的黑暗力量入侵烏克蘭礦業系統和鐵路系統事件，均屬于APT攻擊的類型。在網絡攻擊中，APT攻擊具有隱蔽性強、攻擊路徑和渠道難以明確的問題，普通的安全方案難以地域APT攻擊。目前應用效果最佳的APT攻擊抵御方案為數據關聯分析方法，而大數據技術可以提升數據關聯分析方法的應用效果，可以將其用于APT攻擊檢測中。

比如，美國RSA實驗室研發了一種Beehive系統，該系統利用大數據技術對大量的日志信息進行分析，并對組織結構中資源的使用狀況進行檢測，發現該組織結構中存在被惡意軟件感染以及策略違背的內容，將看似孤立的事件進行關聯分析，從而檢測出該組織機構曾被APT攻擊。Giura在2012年發布一項研究成果，結合攻擊樹技術和大數據技術，構建概念攻擊模型，以此檢測并抵御APT攻擊。該概念攻擊模型被稱作攻擊金字塔，其具體應用流程如下：攻擊金字塔共有三個層次，其頂層為潛在的被攻擊目標，涵蓋系統中的敏感數據、數據服務器以及高層職員等數據信息，并通過橫向平面標注和攻擊相關的事件環境，將其劃分為多個場景，根據不同的場景采用相應的Map Reduce進行并行處理，最后通過不同的算法對處理后的信息進行檢測，以此實現APT攻擊的有效檢測。

3.2基于大數據的網絡風險感知

針對網絡中存在的多樣化網絡風險，企事業單位需要加強對網絡風險的重視，實時掌握網絡狀態，確保網絡風險可以及時感知，從而保障網絡安全。在實際的網絡風險感知工作中，需要全面分析多種安全因素，對其開展理解、評估及分析，實現網絡安全狀況的準確評估。在上述過程中，大數據技術的引進可以有效提升工作效率，保障網絡安全。

針對網絡風險感知問題，有很多企業單位都通過大數據技術構建網絡安全數據感知平臺，保障企業單位的網絡安全。比如，阿里巴巴集團建設的阿里云云盾，通過SAAS實現網絡風險的有效感知；360建設的NGSOC平臺，可以通過大數據技術進行本地所有數據的采集和存儲，將情報作為基礎，開展網絡的實時監控及安全分析工作，還支持威脅溯源功能，切實保障了網絡安全；四川大學師生設計了NTCI.NUBA平臺，對校園網進行實時監控，主要監控內容包括網絡流量、數據中心流量以及身份認證數據等，并通過Hadoop及Spark開展數據分析，在很大程度上保障了校園網的安全[3]。

3.3基于大數據的網絡情報分析

在網絡安全與情報工作中，網絡威脅情報的分析主要利用大數據技術、分布式系統進行網絡威脅情報的收集。收集的網絡威脅情報是指涵蓋漏洞、威脅、特征及行為等證據的知識集合。在網絡安全與情報工作中，網絡威脅情報的收集與分析可以有效提升傳統防御技術的防御效果，避免系統受到攻擊。同時，網絡威脅情報的收集能夠加深系統用戶對網絡風險和網絡威脅的認識，引導系統用戶采用更為合理的方式抵御網絡風險及網絡威脅，從而降低網絡攻擊對系統用戶造成的危害。一般來說，完善的網絡威脅情報包括情報源、融合與分析以及事件響應這三個部分。

在人們網絡安全意識提升的當下，國內外出現了大量的網絡安全威脅情報提供企業，包括微步在線、Fire Eye、Symantec等企業，可以為用戶提供多樣化的網絡威脅情報產品和服務，涵蓋惡意軟件清理、網絡犯罪防范以及漏洞檢測等內容，為用戶的網絡安全應用提供了保障。同時，我國有很多研究機構和學者構建了網絡數據采集與管理系統，篩選其中的網絡威脅情報，為系統用戶提供幫助。本文以某研究機構設計的網絡數據采集與分析平臺為例，用戶可以根據工作內容特點，設定不同的平臺主題，平臺會根據主題內容進行相應數據的采集，主要數據采集范圍包括網站、微博、微信和論壇等網絡平臺，保障數據采集的全面性。數據平臺具備熱點話題追蹤與分析以及溯源擴散等功能。

3.4基于大數據的網絡異常檢測

在網絡信息安全管理中，網絡異常檢測屬于基本工作內容，主要對網絡中出現的流量異常、設備失效或者越權資源訪問等問題進行分析。從本質角度而言，網絡異常檢測是根據表征目標對象屬性以及狀態變化忒單，進行相應檢測模型的構建，從而分析網絡中存在的策略違背行為或者非正常行為。在網絡異常檢測中，大數據技術的應用主要集中于網絡用戶行為方面，可以顯著提升網絡異常檢測的準確性。基于大數據的網絡異常檢測是通過行為特征和機器學習，進行網絡數據特征的高效獲取，從而開展網絡異常檢測工作。

以360企業的工程師王占一為例，他在黑帽大會的演講中提到，在網絡流量的異常檢測中，采用深度學習方法可以有效提升異常檢測的準確率，使其高達90%以上。與此同時，基于深度學習的異常檢測能夠在不判斷協議是否加密的情況下，對網絡中的所有網絡流進行識別。其中，網絡流的可識別率近55%[4]。

4結論

綜上所述，數據處理分析能力強大的大數據技術非常適用于網絡安全與情報工作中，需要進一步推廣應用。通過本文的分析可知，技術人員可以將大數據技術應用于網絡安全與情報工作的APT攻擊檢測、網絡風險感知、網絡威脅情報分析以及網絡異常檢測等工作中，提升網絡安全與情報工作水平及質量，促進網絡的健康可持續發展，使其為人們帶來優質的網絡服務。

參考文獻：

[1] 夏傳勇.大數據背景下網絡恐怖主義犯罪對策研究[D].華東政法大學，2018.

[2] 吳桐.大數據背景下的網絡安全與情報分析工作研究[J].技術與市場，2017，24（10）：277-278.

[3] 陳興蜀，曾雪梅，王文賢，邵國林.基于大數據的網絡安全與情報分析[J].工程科學與技術，2017，49（03）：1-12.

[4] 琚安康，郭淵博，朱泰銘.基于開源工具集的大數據網絡安全態勢感知及預警架構[J].計算機科學，2017，44（05）：125-131.

【通聯編輯：光文玲】