探究基于網絡流量元數據的安全大數據

侯璇 劉慶慶

摘要：本文針對網絡流量元數據背景下的信息安全問題，基于流量分析對大數據安全平臺進行了設計，分析網絡流量元數據分發平臺，設計元數據管理模型;構建大數據服務平臺，對大數據進行分析，識別活動數據，并檢測網絡攻擊和異常流量。在實踐中，可以使用元數據來實現標準化的數據操作，并滿足合適的粒度數據服務的需求，從而實現大數據安全平臺，并對其進行推廣，實現信息安全共享。

關鍵詞：數據安全;大數據;網絡流量元數據

一、引言

在諸如大數據和物聯網之類的IT技術不斷發展的過程中，許多行業都沉迷于數據，其存儲消耗大量資源。在受數據限制的未來發展中，數據總量不斷增加，大數據時代已掀起一場空前的革命。大數據被廣泛用于互聯網和傳統商業領域，并且可以執行諸如預測購物行為和挖掘客戶等功能。2013年，美國的Prism事件引起了世界各國的關注。美國政府的機密信息是通過網絡通信傳遞的，盡管美國政府表示，這種行為主要是為了確保國家網絡的安全和采取反恐行動的需要，但是全世界的人們都迫切想要了解大數據技術中的網絡流量元數據機密性漏洞。這樣，每個國家逐步加強自己的信息安全保護體系。大型數據目錄的管理是通過元數據開發數據服務來實現的，該技術解決了傳統的數據存儲和管理問題。這樣，可以更好地共享和存儲信息。

二、網絡流量元數據的過濾平臺

大數據是現代社會發展的核心技術，大數據的來源是高價值的，太小的大數據集無法充分反映網絡數據分析的情況，這是不可能的。使用驗證獲得良好的反饋在專業分析的基礎上，網絡流量傳輸平臺具有靈活性，可以在交換機端口級實現網絡流量的仿真，并符合傳輸源監控系統的要求。網絡數據，例如緩存加速器，病毒入侵檢測系統和應用程序層監視系統，例如不同的業務系統進程。在網絡流量仿真過程中，根據ACL訪問控制列表實現簡單的協議流量過濾過程，以加載流量傳輸平臺業務系統。網絡掉線這樣，網絡可以實現高負荷和低負荷鏈路流量的多次轉換，從而可以多次均衡負荷，提高數據傳輸平臺數據的整體處理能力。網絡另外，利用開關堆疊技術來改善上述工作效果，可以擴大斷裂的數量。

骨干節點路由器為傳統的骨干網安全審計提供NeteFlow輸出數據。監視系統識別全職歷史數據和挖掘數據，檢測網絡流系統中的異常并查找問題。元數據的安全性是通過數據的統計效果來實現的，例如DDoS類型的泛洪攻擊。這樣，在存儲和收集元數據之前，需要對給定端口和DNS進行大型網絡掃描，并開放遞歸NTP來查詢網絡流量分發平臺中流量放大攻擊的不良事件，并與流數據源結合以及時接收警告。那就對了為了滿足網絡流量目標的需求，使用分布式網絡體系結構來創建開源庫和開源軟件，從而可以實現元數據提取過程。通過高速網絡傳輸數據時，元數據將被提取并存儲在文件中。例如，來自“安全性分析”模型的HTTP類型元數據文件為實際用戶生成網絡流量元數據。

今天有大量的網絡流量元數據可供使用。如果將所有網絡流量都用作元數據，那么總共就有五種記錄和計算網絡流量的信息。每月的流量將超過數百億個序列，從而收集元數據。安全的開采和儲存受到一定壓力。

三、大數據交流平臺

幾個不同的信息源就像孤島，集中化和確保數據安全性是研究的重點。為了打破數據障礙并釋放數據的價值，請使用元數據管理技術構建元數據管理平臺，收集元數據并還原、更改和檢索，實現數據提取、轉換和加載。基于元數據共同驅動數據模型管理、質量管理和標準管理可實現電子數據目錄的創建，從而創建統一的外部數據服務。

數據中心資源存儲在集成的ETL過程中，例如企業管理系統和盡??職調查。在此過程中收集元數據，并檢查元數據以實現目錄生成。第三方應用程序可以使用元數據管理平臺檢索元數據和數據服務，以實現數據服務請求的創建和對數據的訪問。應用程序使用自助服務和自動數據。獲取數據可以打破數據障礙，并使數據服務器成為真正的大數據環境。它充分展示了信息的價值。

四、基于挖掘和關聯的大數據分析

初始統計分析的目標是將混合的大數據轉換為小數據，以用于以后的安全分析。在此分析階段，重要的是盡快在IP上創建和創建黑名單。使用白名單機制，您可以在早期階段優化網絡流量，選擇對安全分析沒有意義的大量數據，以減少存儲壓力和以后的分析;使用黑名單機制，您可以專注于區域定位，跟蹤更改和發展趨勢進行更詳細、更深入的安全審核。

對于嚴重的安全漏洞，大數據分析可以快速提供安全警告和大規模安全評估。近年來，一波漏洞。 ApacheStruts2它具有廣泛的影響，在大學網絡上有數十個使用此Java框架的應用程序信息系統。如何從數以千計的網站中快速找到Struts2開發框架的用法，在元數據中搜索某些URL特征字段，通過HIVE訪問HTTP并使用shell腳本進行分析，您將在半小時內得到正確的響應。通過將Python腳本與一系列與POC相關的漏洞結合使用，您可以快速掃描這些網站并確定有多少受返回結果的影響。

對于許多使用網站進行DDoS的Web后門和DDoS特洛伊木馬，觸發元數據的某些字段中的特征也很明顯，可以通過一組算法及時進行檢索。挖掘通過相關性分析，我們可以找出哪些人以及何時插入了這些特洛伊木馬，以及網站上可能存在哪些類型的漏洞導致被利用，并給出了答案。深入分析安全事件發生后，攻擊者有意刪除了主機上的許多入侵痕跡。但是網絡流量元數據仍會記錄當時發生的每個細節。成功的滲透必須伴隨著大規模爬網行為，并且元數據數據集中顯示了多次失敗的掃描和攻擊嘗試。無論您走到哪里，都將留下不同類型的元數據的痕跡，從而提供直接，完整和準確的信息以跟蹤所有安全事件的詳細信息。盡管攻擊者經常更改其IP地址，但這會增加跟蹤的難度，只要他們的行為保持不變，就仍可以通過長期分析來發現它。即使事件修復后安全應急響應處于活動狀態，它也會實時阻止所有攻擊。但這也是非常有價值的，如果沒有積累足夠的元數據，用戶可能仍然對以前的攻擊一無所知，很難避免再次發生。

當今高度可持續的威脅攻擊不只是不僅使用HTTP協議，而且使用SSL加密和其他類型的隱藏隧道進行通信。盡管高校以強大的進攻資源和不對稱的防御能力面對APT攻擊的能力有限。但是，基于存儲在IP流中的長期元數據和一些核心應用程序層協議的深入分析，在最初的攻擊中沒有遺漏任何線索。發現成為可能，協調資源以減少損失并跟蹤和恢復攻擊歷史，處理APT是當前業界的共識。

五、基于大數據的網絡流量元數據分析

數據分析使用大數據分析和數據挖掘技術從根本上聚合收集的流數據，并與專家知識庫集成以創建針對目標問題的分析模型。

（一）活躍數據判斷

資產數據是風險管理過程的基礎。管理者提供的資產列表目前還不是最及時，最準確的，需要流量來識別網絡中的活動資產并使其成為管理資產的一種手段。性能分析五個部分，確定哪些設備打開了高風險的遠程桌面端口和端口80，并將它們與管理器的資產列表結合在一起，以了解哪些設備是新添加到網絡中的，哪些是原本有的用于監視和識別未來風險。

（二）攻擊檢測

網絡攻擊是通過在攻擊過程中隱藏的網絡漏洞和安全漏洞對網絡數據的攻擊。傳統的網絡攻擊檢測工具在網絡攻擊復雜度不斷提高的過程中，使用改進的特征庫來識別網絡攻擊，傳統的網絡攻擊檢測工具無法滿足攻擊者的需求。有使用大數據流量分析和識別攻擊，以提高對新型網絡攻擊的檢測能力;使用聚類分析，從檢測模型分類中檢測異常。異常情況下，相對較高的特征限制能力是有監督的機器學習過程，而監管信息是抽象的特征維度。分類通過其指導作用來控制數據，并在攻擊過程中起重要作用。

隨機森林算法是一種經典的分類方案，它是基于大數據環境的優秀分類器，該算法本身評估變量在分類過程中的重要性。該算法沒有太多的數據相關性，它避免了過多的問題并為不平衡的采樣點平衡了誤差。因此，根據分類，使用隨機森林算法進行異常檢測。生成具有多個決策樹的隨機森林。森林中的所有決策樹都做出決策后，隨機森林算法會對所有決策結果進行計數和求和，以得出最終決策。

（三）流量異常監測

由于網絡流量幾乎相同，因此隨著時間的推移它將遵循該功能。即使網絡流量隨時間增加，曲線仍是自相似的，有關流量的長期統計數據也可以顯示自相似。在正常情況下，使用理想的網絡流量描述曲線描述，可以使用統計方法對大型網絡流量進行數學建模。在任何時候都可以使用流量曲線與正常流量曲線進行比較，以分析流量是否異常，當異常流量達到指定標準時，將成為異常模式。

六、結語

在數據時代的背景下，基于網絡流量元數據分析安全大數據是一個非常重要的主題，如何合理地使用大數據分析平臺來提高分析的質量和效率。數據是相關技術人員的關注重點，對于確保重要數據的安全性至關重要。如何使用大型數據平臺自動檢測漏洞并分析不同類型數據的相關性需要進行分析。深入本文的研究表明，使用有針對性的策略可以維護網絡空間的公正性和公平性，減少手動分析干預的水平，并實現可視化。

參考文獻：

[1]劉皓天，陳楓，吳振勇，等.基于DTU的充電樁電氣安全大數據管控平臺研究[J].微處理機，2020（4）：53-56.

[2]汪偉忠，張國寶.基于Fuzzy-ISM的生產安全大數據共享行為模型構建[J].情報雜志，2018（9）：167-172，147.

[3]江欣國.關于中國道路交通安全大數據發展與應用的若干建議[J].中國發展，2018（1）：88-89.

[4]張丁.試析基于網絡流量元數據的安全大數據分析[J].數字通信世界，2016（11）：263-264.

武漢商貿職業學院侯璇劉慶慶