基于大數據分析技術的遠程網絡攻擊防御軟件開發與設計

榮智坤

（山東維平信息安全測評技術有限公司，山東 濟南 250001）

0 引言

在信息技術高速發展，網絡數據不斷積累，大數據分析技術快速發展的背景下，傳統數據分析技術主要適用于處理結構化數據，在數據分析上存在一定的局限性，并且也難以進行實時決策，因此難以滿足當下實際應用環境。隨著互聯網的發展，用戶對網絡提出了更高的要求，大數據技術應運而生。大數據分析技術在網絡平臺發揮了舉足輕重的作用，特別是在網絡安全領域體現出了巨大的應用價值，目前已在智慧城市、物聯網、社交網絡等方面得到了廣泛應用[1]。

近些年，遠程網絡環境安全問題日益凸顯，基于大數據分析技術，網絡環境內的數據結構更加豐富，故而更易產生安全漏洞，嚴重影響計算機的運行，因此，設計并開發一種防御效果好、處理效率高的防御攻擊系統迫在眉睫[2.3]。與國外相比，我國攻擊防御軟件技術起步較晚，早期主要是通過程序木馬在上位機內彈出攻擊攔截彈窗，在攻擊前期階段實現防御功能，但從目前的攻擊防御系統應用情況來看，存在防御能力不強、攻擊攔截率低、響應時間長、網絡安全防御技術功能單一等問題，難以滿足大數據環境中的網絡安全防御的實際要求。因此，本文設計了一種新型的基于大數據分析技術的遠程網絡攻擊防御軟件，可有效解決現階段大數據環境中的網絡安全問題。

1 大數據分析技術

大數據的主要特點有：體量浩大、生成快速、模態繁多、波動性強、價值巨大，大數據的類型呈多樣化，主要有結構化數據、半結構化數據和非結構化數據。近些年，大數據分析技術在網絡安全領域的重點應用主要有網絡安全態勢感知、設備指紋、APT攻擊檢測、網絡異常檢測等，Hadoop和Spark是典型的大數據分析平臺，其中，Hadoop是用于對大數據進行存儲和處理的開源框架，Hadoop適用于批處理操作，多被用于日志分析、流量分析等，Spark是大數據處理引擎，Spark的應用實現了內存計算機制，省去了磁盤I/O操作，應用程序通過Spark資源管理其申請CPU、內存等資源，在節點啟動相應進程等待主節點分配任務，完成任務后再把結果返回給應用程序，Spark適用于流式或交互式數據查詢，在網絡安全方面應用較多[4]。

在網絡安全威脅日益嚴峻的情況下，大數據分析技術在網絡安全方面（如APT攻擊檢測、網絡安全態勢感知等）起著重要作用[5]。在計算機網絡信息技術高速發展下，病毒、黑客入侵事件頻發，嚴重影響了網絡安全性，并且由于網絡數據體量大，增長快，傳統的網絡攻擊防御系統在攻擊目標檢測上存在弊端，基于大數據分析技術可對大量網絡安全數據深度關聯進行分析，在檢測APT攻擊方面體現出了特有的優勢。

基于大數據技術開發的網絡攻擊防御系統通過大數據分析技術對海量網絡設備日志、操作系統日志等數據分析處理，通過DS證據組合確定攻擊行為，計算攻擊路徑，實現了對攻擊目標的預警，具有一定的實用價值。在DDoS檢測方面，以往的檢測方法難以從巨大規模的網絡流量有效檢測出網絡攻擊事件，基于大數據技術，DDoS檢測技術水平得到了進一步的提升。通過使用Hadoop實現大數據環境的實施入侵檢測系統（如圖1所示），通過J48、REPTree、SVM等分類器進行評估。研究結果顯示，REPTree和J48效果最佳。

圖1 基于Hadoop的實時入侵檢測系統

2 基于大數據分析技術的網絡攻擊防御軟件的開發

2.1 遠程網絡安全防御系統架構

防御系統IaaS層包括設備安全、通信安全、數據安全和身份鑒別，PaaS層包括編碼安全、API安全網關、自動化測試，SaaS層包括應用安全加固、應用入侵防護、脆弱性分析識別，整體架構如圖2所示。

圖2 防御系統功能架構圖

防御系統中包含傳感器節點和防御策略生成節點。傳感器節點功能是對系統的運行狀態進行分析與上報，并通過啟動免疫處理模塊實現對惡意軟件、網絡病毒的攔截，免于系統遭受破壞。基于大數據分析技術，防御策略生成節點的主要功能是將每個傳感器節點發送的日志和告警數據進行匯集，再對這些數據進行分析，與防御規則進行匹配，進而生成相應的防御策略，啟動對應的防御機制確保網絡的安全。

2.2 遠程網絡安全防御系統工作流程

該系統對威脅的處理步驟共包含4步：威脅檢測；日志上報；威脅處理；規則生成。當被攻擊的節點發生異常時，觸發告警系統，檢測到存在的威脅，隨后系統先將數據進行處理并上報防御策略生成節點；防御節點接收到發出的警告消息后，對這些信息進行解析、分類處理，再采用與之相對應的規則集來匹配。

（1）威脅檢測。基于大數據技術，在數據采集時主要通過兩種模式，即輪詢模式和事件觸發模式。其中，輪詢模式是在特定的時間間隔t對系統進行關鍵信息掃描和采集；在事件觸發模式下，如果網絡帶寬占用過高、CPU滿載運行過長等，一旦出現這些情況，即可斷定發生可疑狀態，需要立即給予相應處理。

（2）日志上報。在完成上述步驟中對威脅的檢測、分析、分類處理后，利用大數據分析技術進行判斷分析然后決定是否需要向上級進行上報，如果未經過分析而直接上報的話，會導致防御策略節點壓力過大，影響處理結果的可靠性。

數據處理過程包括的步驟是：一是數據合并和去重。該步驟的主要目的是去除一些重復的數據，當經過輪詢模式觸發后所得到的的數據與某次觸發所得到的數據來自于同一威脅時，此時可以進行合并處理。二是數據過濾。通常威脅檢測階段所獲得的數據會包含一些分正常數據，這是在突發狀況下所引起的誤觸發數據，因此，需要進行數據過濾處理，以此來減小后續數據處理的壓力。

（3）威脅處理。將被檢測到的數據進行分析、分類而后匯集至防御策略生成節點，實現威脅的判斷與處理，在威脅處理時首先需要進行威脅分類與匯總。

①威脅分類。網絡威脅的常用手段包括分布式拒絕服務攻擊、惡意軟件、木馬病毒、釣魚郵件等。按照安全類型進行分類可分為3類，即惡意軟件、網絡攻擊以及HTTP攻擊。通過對其進行分類處理，顯著提升了系統識別的效率和準確率。

②威脅匯總。實際情況下，不同傳感器節點存在著是由同一攻擊引發的可能性，這就需要對威脅進行匯總處理，首先是對攻擊信息進行合并處理，以減小后續工作量，優化處理流程。

（4）規則生成。網絡攻擊防御系統會自動生成一個規則集，其中規定了對不同種類威脅的處置措施，值得注意的是，通過一些由于系統漏洞引發的網絡攻擊難以通過軟件來攔截處理，針對該情形，需要特殊處置。

2.3 大數據網絡防御系統核心功能設計

（1）數據采集與上報。在系統處于非正常運行狀態下進行的檢測，通常利用一些命令對系統當下運行狀況作出分析、統計、處理、匯總，或者采用相應的監控操作進行探測，例如，使用vmatat命令來檢測系統內存使用情況，利用bomon進行系統網絡寬帶占用情況的檢查等。系統在對日志進行分析、分類處置后，會將這些日志存入臨時文件夾內，等待下一步的處理。

（2）規則生成與部署系統。首先對規則進行分類并委托給相應的線程去處理。例如，針對惡意軟件攻擊的威脅會分發給惡意軟件威脅的線程進行處理。該方式的有益效果是既保證了內存warm，又保證了系統處理的時效性，提高了運行效率。系統中的所有類型的規則都被存入數據庫中的不同列表內，可通過SQL語句進行查詢。

3 網絡攻擊防御系統測試與驗證

為了驗證本文開發的防御系統的可靠性與實用性，筆者對開發系統進行了測試與驗證。選擇CentOS 6.5服務器系統環境對系統進行測試，測試流程依據OpenStack文件嚴格執行，在該環境中重點測試系統的網絡性能，該過程重點測試當服務器中的任意一臺主機遭到惡意攻擊時，可利用本文設計的大數據分析網絡防御系統進行有利防護。另外，應用OpenStack作為實驗環境，建立小型的測試平臺實現對大數據網絡攻擊防御系統的測試與驗證，測試工具主要選用Wireshark抓包、iptables防火墻以及bmon監測工具，測試驗證結果表明，本文設計開發的大數據網絡攻擊防御系統軟件對網絡攻擊防御效果顯著，具有實際推廣應用價值。

4 結束語

隨著計算機技術、大數據技術及云計算等技術的高速發展，網絡攻擊渠道也不斷增多，攻擊方式也日趨多樣化，感染的速度也更快，網絡安全問題日益突出，亟須利用有效的防御系統阻止網絡攻擊行為的發生及危害的進一步擴大。一直以來，遠程網絡攻擊防御系統的設計與開發是一項關鍵內容，利用大數據分析技術本文開發的防御系統應用效果良好，具有一定的實際應用價值。■