大數據環境下的網絡流量異常檢測研究

蒲曉川

摘 要： 針對傳統模型的網絡流量異常檢測正確率低，檢測時間長的難題，設計了一種大數據環境下的網絡流量異常檢測模型。首先，對網絡流量異常檢測的研究現狀進行分析，找到引起當前檢測模型不足的原因；然后，采用HDOOP平臺設計基于最小二乘支持向量機的網絡流量異常檢測模型；最后，在Maltab 2014平臺下進行網絡流量異常檢測實驗。實驗結果表明，該模型可以準確對網絡流量異常現象進行檢測，獲得了比其他模型更優的網絡流量異常檢測結果，具有更高的實際應用價值。

關鍵詞： 網絡安全； 流量異常檢測； HDOOP平臺； 最小二乘支持向量機； 大數據環境； 檢測模型

中圖分類號： TN915.08?34； TP392 文獻標識碼： A 文章編號： 1004?373X（2018）03?0084?04

Abstract： Since the traditional network traffic anomaly detection model has low detection accuracy and long detection time， a network traffic anomaly detection model in large data environment was designed. The research status of the network traffic anomaly detection is analyzed to find out the reason causing the poor performance of the current detection models. The HDOOP platform is used to design the network traffic anomaly detection model based on least square support vector machine. The network traffic anomaly detection experiment was carried out with Matlab 2014 platform. The experimental results show that the model can detect the network traffic anomaly phenomenon accurately， its network traffic anomaly detection result is better than that of other models， which has higher practical application value.

Keywords： network security； traffic anomaly detection； HDOOP platform； least square support vector machine； large data environment； detection model

0 引 言

隨著網絡應用范圍的不斷擴展，出現了許多不同類型的網絡，網絡上傳輸的數據類型增多，網絡擁塞頻率比以前也大幅增大，如何保證網絡系統的正常運行顯得尤為重要。網絡流量是一種描述網絡運行情況的重要指標，對網絡流量異常行為進行檢測，可以發現不正常的網絡狀態，因此，如何建立高正確率的網絡流量異常檢測模型引起了人們的高度關注[1?2]。

網絡流量異常檢測問題的研究一直沒有停止過，當前存在大量的網絡流量異常檢測模型。網絡流量異常檢測可以認為是一種網絡流量分類問題，即將網絡狀態劃分為正常和異常兩種：當處于異常狀態時，就對其進行相應的處理；如果是正常狀態，那么就不用制定相應防范措施[3]。當前網絡流量主要基于統計學理論進行建模和檢測，建模方法的選擇直接影響到網絡流量異常檢測效果，主要有神經網絡和支持向量機兩種[4?6]，其中，神經網絡的類型很多，但它們有一個共同要求：網絡流量異常訓練樣本的數量要達到一定規模，如果沒有達到這個要求，那么網絡流量異常檢測結果就不理想；如果滿足該要求，就可以獲得理想的網絡流量異常檢測結果。因此，該類建模方法的網絡流量異常檢測結果不穩定，而且存在神經網絡結構難以確定的不足，在網絡流量異常檢測中的應用范圍受到一定限制[7]。與神經網絡相比，支持向量機對網絡流量訓練樣本的數量要求沒有那么嚴格，而且其學習能力更優，因此，在網絡流量異常檢測的應用范圍更廣[8?10]。然而隨著網絡流量異常檢測研究的不斷深入，學者們發現，當網絡流量規模較大時，支持向量機的建模時間長，建模效率低，影響實際應用價值。最小二乘支持向量機是一種比標準支持向量機學習速度更快的算法，且沒有標準支持向量機工作復雜，為網絡流量異常檢測提供了一種有效的研究工具[11]。

近年來，隨著云平臺處理技術的不斷成熟，可以將一個大規模網絡流量異常檢測問題劃分為多個子問題，通過HDOOP對它們分別進行處理，然后對子任務處理結果進行融合，得到最終網絡流量的處理結果。為了更加準確地對網絡流量異常進行檢測，提出一種大數據環境下的網絡流量異常檢測模型，并在Matlab 2014平臺對網絡流量異常檢測效果進行測試，本文模型大幅度改善了網絡流量異常檢測正確率，而且檢測性能要優于對比模型。

1 HDOOP平臺和最小二乘支持向量機

1.1 HDOOP平臺

隨著處理數據規模的不斷增加，數據以海量的形式存在，一臺計算機無法有效地對數據進行處理，在該背景下出現了云計算系統。在云計算系統中，通常以HDOOP作為平臺，采用Map/Reduce分布式模式處理海量數據，典型的HDOOP平臺工作原理如圖1所示。

首先，將海量網絡流量異常數據檢測任務劃分為多個子任務，每一個子任務采用一個節點完成，然后將結果反饋到管理節點。endprint

主管理節點對所有節點結果進行融合，得到網絡流量的異常檢測結果。

1.2 最小二乘支持向量機

針對標準支持向量機學習速度慢的缺陷，有學者提出最小二乘支持向量機，主要改進表現在：

1） 不等式約束變為等式約束；

2） 損失函數作為經驗函數；

3） 二次規劃問題轉化為求解線性方程組問題。

設網絡流量異常檢測的樣本集為，選擇RBF徑向基函數作為核函數，具體為：

式中表示RBF徑向基函數的寬度參數。

最小二乘支持向量機的最優決策函數可以表示為：

式中表示正則化參數。

為了解決式（2）的問題，引入拉格朗日乘子算法，則有：

式中表示拉格朗日乘子。

令的偏導數均等于0，即：

根據Mercer條件可以得到那么有：

最小二乘支持向量機的最優決策函數變為：

2 大數據環境下的網絡流量異常檢測模型

大數據環境下的網絡流量異常檢測模型的工作步驟為：

1） 在線采集網絡流量的相關數據，通常采用網絡入侵時的數據作為網絡流量異常測試。

2） 對原始網絡流量異常測試數據進行如下處理，縮小數據的范圍，加快最小二乘支持向量機的學習速度。

3） 將網絡流量異常檢測樣本劃分為多個子樣本集，每一個子樣本集采用一個最小二乘支持向量機進行建模。

4） 確定最小二乘支持向量機的參數，并建立最小二乘支持向量機的訓練樣本和測試樣本。

5） 在每一個節點上，將訓練樣本輸入到最小二乘支持向量機中進行學習，構建描述輸入和輸出之間映射關系的網絡流量異常檢測模型。

6） 將網絡流量異常檢測結果回拷給管理節點，得到訓練樣本異常檢測的最終結果。

7） 采用測試樣本對建立的網絡流量異常檢測模型的性能進行測試和分析，如果檢測結果不能滿足實際應用要求，重新進行訓練，不斷循環過程，直到滿足要求為止。

3 仿真實驗環境

3.1 實驗環境以及參數設置

為了測試本文網絡流量異常檢測模型的有效性，在Matlab 2014平臺進行仿真模擬實驗。計算機的配置為：Intel 4核2.90 GHz CUP，AMD的顯卡，500 GB的硬盤，32 GB的內存，WIN 10的操作系統。同時為了測試優越性，選擇網絡流量異常檢測模型在相同仿真環境下進行對比實驗。最小二乘支持向量機的參數設置為：=124，=65.75。

通常情況下網絡系統狀態是正常的，如果存在一些非法入侵行為時，網絡流量就會呈現一種異常狀態，其中拒絕服務攻擊（DoS）出現頻率最高，為此，選擇該情況作為網絡流量異常檢測的測試對象。當出現DoS行為時，網絡流量的值會發生突變，變化曲線產生突變峰，采集的網絡流量數據如圖2所示。

3.2 結果與分析

根據上述模型的工作過程，對圖2的網絡流量數據進行檢測，統計它們的檢測正確率，每一種模型運行5次，得到的結果如圖3所示，并統計檢測它們的誤檢率，結果如圖4所示。從圖3可知，與對比的網絡流量異常檢測模型相比，本文模型的網絡流量異常檢測正確率明顯提高，可以對網絡流量異常行為進行準確、有效地檢測，同時從圖4可知，網絡流量異常的誤檢率顯著減少，降低了網絡流量異常檢測的錯誤數量，獲得了十分理想的網絡流量異常檢測結果。

對于大數據的網絡流量異常檢測，檢測實時性十分關鍵，為此統計兩種模型的網絡流量異常檢測時間，結果如表1所示。從表1可知，本文模型的網絡流量異常檢測時間大約是對比模型的加快了網絡流量異常檢測的速度，這主要是由于本文模型采用HDOOP模型將大數據的網絡流量異常檢測任務劃分為多個子任務，通過管理節點對檢測結果進行融合，減少了網絡流量異常檢測的建模時間，可以滿足網絡流量異常的實時性。

4 結 論

流量異常檢測是網絡系統研究領域中的難點，針對當前模型存在的不足，提出大數據環境下的網絡流量異常檢測模型，對仿真實驗的結果進行分析，可得到如下結論：

1） 采用HDOOP對大數據網絡流量數據進行分而治之的模式進行處理，加快了網絡流量異常檢測的速度，可以滿足大數據的網絡流量異常檢測實際要求。

2） 采用最小二乘支持向量機對網絡流量異常檢測進行建模，模擬了輸入和輸出之間的映射關系，建立了理想的網絡流量異常檢測模型，提高了網絡流量異常檢測的正確率。

3） 本文僅基于網絡流量異常數據進行建模，沒有考慮噪聲以及最小二乘支持向量機參數對網絡流量異常檢測結果的影響，這是進一步需要研究的內容。

參考文獻

[1] CASAS P， VATON S， FILLATR L， et al. Optimal volume anomaly detection and isolation in large?scale IP networks using coarse?grained measurements [J]. Computer networks， 2010， 54： 1750?1766.

[2] 鄒柏賢.一種網絡異常實時檢測方法[J].計算機學報，2003，26（8）：940?947.

ZOU Baixian. A real?time detection method for network anomaly [J]. Chinese journal of computers， 2003， 26（8）： 940?947.

[3] 張登銀，廖建飛.基于相對熵的網絡流量異常檢測方法[J].南京郵電大學學報（自然科學版），2012，32（5）：26?31.endprint

ZHANG Dengyin， LIAO Jianfei. Network traffic anomaly detection based on relative entropy [J]. Journal of Nanjing University of Posts and Telecommunications （natural science）， 2012， 32（5）： 26?31.

[4] 曹敏，程東年.基于自適應閾值的網絡流量異常檢測算法[J].計算機工程，2009，35（19）：164?166.

CAO Min， CHENG Dongnian. Network traffic abnormality detection algorithm based on self?adaptive threshold [J]. Computer engineering， 2009， 35（19）： 164?166.

[5] 溫祥西，孟相如，馬志強，等.基于局部投影降噪和FSVDD的網絡流量異常檢測[J].計算機應用研究，2013，30（5）：1523?1526.

WEN Xiangxi， MENG Xiangru， MA Zhiqiang， et al. Network traffic anomaly detection based on local projection denoise and FSVDD [J]. Application research of computers， 2013， 30（5）： 1523?1526.

[6] 邱衛，楊英杰.基于尖點突變模型的聯動網絡流量異常檢測方法[J].計算機科學，2016，43（3）：163?167.

QIU Wei， YANG Yingjie. Interaction network traffic anomaly detection method based on cusp catastrophic model [J]. Computer science， 2016， 43（3）： 163?167.

[7] 米捷，王佳欣.多層次數據中心網絡流量異常檢測算法[J].河南工程學院學報（自然科學版），2017，29（1）：62?66.

MI Jie， WANG Jiaxin. Research on anomaly detection algorithm of multi layer data center network traffic [J]. Journal of Henan University of Engineering （natural science edition）， 2017， 29（1）： 62?66.

[8] 費金龍，王禹，王天鵬，等.基于云模型的網絡異常流量檢測[J].計算機工程，2017，43（1）：178?182.

FEI Jinlong， WANG Yu， WANG Tianpeng， et al. Network traffic anomaly detection based on cloud model [J]. Computer engineering， 2017， 43（1）： 178?182.

[9] 李宇翀，魏東，羅興國，等.基于多元增量分析的全網絡在線異常檢測方法[J].上海交通大學學報，2017，29（1）：62?66.

LI Yuchong， WEI Dong， LUO Xingguo， et al. Online network?wide anomaly detection algorithm based on multivariate incremental component analysis [J]. Journal of Shanghai Jiaotong University， 2017， 29（1）： 62?66.

[10] 劉仁山，孟祥宏.基于時間特征的網絡流量異常檢測[J].遼寧工程技術大學學報（自然科學版），2013，32（4）：544?548.

LIU Renshan， MENG Xianghong. Anomaly detection of network traffic based on time characteristics [J]. Journal of Liaoning Technical University （natural science）， 2013， 32（4）： 544?548.

[11] 韓敏，穆大蕓.回聲狀態網絡LM算法及混沌時間序列預測[J].控制與決策，2011，26（10）：1469?1472.

HAN Min， MU Dayun. LM algorithm in echo state network for chaotic time series prediction [J]. Control and decision， 2011， 26（10）： 1469?1472.endprint