基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)流量分析系統(tǒng)的應(yīng)用與研究

陶俊杰 李明東 姜飛

摘要：隨著網(wǎng)絡(luò)帶寬的快速增長(zhǎng)和各種網(wǎng)絡(luò)業(yè)務(wù)的廣泛應(yīng)用，網(wǎng)絡(luò)流量的建模和預(yù)測(cè)變得越來(lái)越重要。為了更好地對(duì)網(wǎng)絡(luò)流量進(jìn)行建模和預(yù)測(cè)，本文一方面對(duì)現(xiàn)有的幾種流量模型進(jìn)行了總結(jié)和分析，分為短相關(guān)模型和長(zhǎng)相關(guān)模型;另一方面分析了常用的流量預(yù)測(cè)方法，特別是神經(jīng)網(wǎng)絡(luò)、模糊理論和小波分析。在實(shí)際測(cè)量中，采用FIR神經(jīng)網(wǎng)絡(luò)模型對(duì)網(wǎng)絡(luò)流量進(jìn)行預(yù)測(cè)。最后，展望了流量預(yù)測(cè)在網(wǎng)絡(luò)安全領(lǐng)域的應(yīng)用前景和發(fā)展方向。

關(guān)鍵詞：網(wǎng)絡(luò);流量分析;自相似性

1 網(wǎng)絡(luò)異常流量分析檢測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

通過(guò)分析用戶(hù)需求，可以知道異常流量分析與檢測(cè)系統(tǒng)首先要具備的功能就是快速高效的檢測(cè)出網(wǎng)絡(luò)中的異常流量。它的核心模塊就是檢測(cè)模塊，除此之外，它還應(yīng)包括：流量采集，日常運(yùn)維，故障管理等功能模塊，如圖 1 所示。其中，流量采集模塊主要的功能是采集和存儲(chǔ)網(wǎng)絡(luò)中的數(shù)據(jù)流量，對(duì)流量數(shù)據(jù)進(jìn)行預(yù)處理，使其能夠在流量監(jiān)測(cè)模塊進(jìn)行檢測(cè);流量監(jiān)測(cè)模塊則主要對(duì)網(wǎng)絡(luò)中的流量進(jìn)行檢測(cè)，對(duì)于異常流量進(jìn)行響應(yīng)處理;日常運(yùn)維模塊則主要對(duì)網(wǎng)絡(luò)設(shè)備狀態(tài)進(jìn)行監(jiān)控，并對(duì)網(wǎng)絡(luò)流量進(jìn)行可視化監(jiān)視，以及異常流量進(jìn)行人工干預(yù)等;故障處理模塊主要在網(wǎng)絡(luò)中出現(xiàn)大量異常流量時(shí)進(jìn)行快速響應(yīng)處理，包括對(duì)異常流量的告警上報(bào)及阻斷等措施。

1.1網(wǎng)絡(luò)流量預(yù)測(cè)方法

用數(shù)學(xué)模型來(lái)描述網(wǎng)絡(luò)流量， 雖然能對(duì)未來(lái)時(shí)刻的網(wǎng)絡(luò)流量進(jìn)行一定的預(yù)測(cè)， 但要更加靈活、高效地進(jìn)行流量預(yù)測(cè)還需要人工智能等一些方法。同時(shí)， 網(wǎng)絡(luò)流量行為隨著時(shí)間和地域的不同會(huì)呈現(xiàn)出很大的變化，因此想提供一種針對(duì)網(wǎng)絡(luò)流量的通用化預(yù)測(cè)是很困難的，理想的預(yù)測(cè)方式應(yīng)該是自適應(yīng)的而且一定要能夠給用戶(hù)提供足夠的可信信息。在網(wǎng)絡(luò)流量預(yù)測(cè)中，還存在著可預(yù)測(cè)性問(wèn)題，即在一定的預(yù)測(cè)步長(zhǎng)內(nèi)的最小預(yù)測(cè)差以及在可接受的預(yù)測(cè)誤差范圍內(nèi)最大的預(yù)測(cè)步長(zhǎng)。

1.2 流量感知模塊

在流量感知模塊中，使用了 k-means 聚類(lèi)的方法進(jìn)行流量數(shù)據(jù)的聚類(lèi)，使正常數(shù)據(jù)和異常數(shù)據(jù)盡量區(qū)分開(kāi)。在模型訓(xùn)練部分，通過(guò)聚類(lèi)算法將網(wǎng)絡(luò)流量數(shù)據(jù)分成差異較大的數(shù)據(jù)簇，再將每個(gè)數(shù)據(jù)簇的中心點(diǎn)與訓(xùn)練數(shù)據(jù)庫(kù)的正常流量數(shù)據(jù)進(jìn)行距離運(yùn)算，根據(jù)事先設(shè)定好的異常流量閾值判定該數(shù)據(jù)簇是否為異常流量數(shù)據(jù)簇，從而達(dá)到異常流量的檢測(cè)目的。框架中，訓(xùn)練模型部分用于生成正常流量數(shù)據(jù)簇模型，將在線(xiàn)檢測(cè)部分的不確定數(shù)據(jù)根據(jù)聚類(lèi)結(jié)果來(lái)判別正常數(shù)據(jù)和異常數(shù)據(jù)，之后將確定為異常的流量數(shù)據(jù)送入異常流量數(shù)據(jù)集，改進(jìn)實(shí)時(shí)監(jiān)測(cè)模塊的檢測(cè)模型，在下一輪的數(shù)據(jù)檢測(cè)時(shí)能夠更好檢測(cè)出異常行為。

2 網(wǎng)絡(luò)流量的實(shí)際測(cè)量和預(yù)測(cè)

2.1 網(wǎng)絡(luò)流量測(cè)量與數(shù)據(jù)的正規(guī)化

為了對(duì)神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)流量預(yù)測(cè)中的效果進(jìn)行分析， 我們首先進(jìn)行了網(wǎng)絡(luò)流量的實(shí)際測(cè)量。在我們的研究工作中，我們是在某大學(xué)校園網(wǎng)的中心交換機(jī)上進(jìn)行流量測(cè)量的，流量統(tǒng)計(jì)的間隔時(shí)間為5min，所采用的是SNMP協(xié)議。由于是在大學(xué)的校園網(wǎng)上測(cè)量，星期一至星期五網(wǎng)絡(luò)活動(dòng)較頻繁，所測(cè)量到的數(shù)據(jù)變化范圍較大， 最小值和最大值之間相差近3個(gè)數(shù)量級(jí)。

2.2 網(wǎng)絡(luò)流量的隨機(jī)模擬

用 Trous 算法對(duì)網(wǎng)絡(luò)流量進(jìn)行分解采用 Trous算法對(duì)實(shí)際測(cè)試到的網(wǎng)絡(luò)流量時(shí)間序列進(jìn)行分解.本文以 Berkeley 實(shí)驗(yàn)室 1994 年在廣域網(wǎng)上監(jiān)測(cè)到的數(shù)據(jù)作為原始網(wǎng)絡(luò)流量 .從原始數(shù)據(jù)中取得 1 024 s 的樣本數(shù)據(jù)（ 包的統(tǒng)計(jì)時(shí)間尺度為1 s） ， S k 進(jìn)行尺度數(shù)為3 的變換（一般認(rèn)為至多有 lgn 個(gè)不同尺度， 其中為序列長(zhǎng)度）。

3 流量預(yù)測(cè)結(jié)果

我們進(jìn)行網(wǎng)絡(luò)流量實(shí)際預(yù)測(cè)時(shí)，具體做法是：選擇某個(gè)星期二的一整天24，流量統(tǒng)計(jì)的間隔時(shí)間是5min，共288個(gè)數(shù)據(jù)。由于早上才上班，所以主要考慮8點(diǎn)（即第96個(gè)時(shí)刻）后的預(yù)測(cè)情況。使用式（1）對(duì)原始數(shù)據(jù)正規(guī)化后， 再對(duì)正規(guī)化數(shù)據(jù)進(jìn)行訓(xùn)練， 對(duì)下周星期二的流量數(shù)據(jù)提前一步做預(yù)測(cè)。預(yù)測(cè)時(shí)采用邊學(xué)習(xí)邊預(yù)測(cè)的方式，滑動(dòng)時(shí)間窗口為15，即每次預(yù)測(cè)前都學(xué)習(xí)前15個(gè)時(shí)刻的流量數(shù)據(jù)。我們主要考察FIR過(guò)濾器的階取不同值時(shí)，對(duì)預(yù)測(cè)結(jié)果的影響。

4 結(jié)束語(yǔ)

隨著互聯(lián)網(wǎng)和物聯(lián)網(wǎng)技術(shù)的發(fā)展，網(wǎng)絡(luò)中異常流量的檢測(cè)必然成為最主要的安全手段之一，如何面對(duì)大數(shù)據(jù)時(shí)代下的異常流量進(jìn)行高效性的檢測(cè)，是今后將長(zhǎng)期研究的問(wèn)題。本文通過(guò)提出一種將機(jī)器學(xué)習(xí)算法和網(wǎng)絡(luò)流量分析技術(shù)相結(jié)合的方法，設(shè)計(jì)一套對(duì)網(wǎng)絡(luò)異常流量。進(jìn)行檢測(cè)的系統(tǒng)框架，使其面對(duì)大數(shù)據(jù)流量時(shí)也能保持高效準(zhǔn)確的檢測(cè)，為網(wǎng)絡(luò)異常流量檢測(cè)問(wèn)題提供了新的思路。

參考文獻(xiàn)

[1]羅智慧.網(wǎng)絡(luò)安全流量分析關(guān)鍵技術(shù)研究[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用.2020（1）：17-18.

[2]Aimin Sang ， San- Qi Li.A predictability analysis of network traffic[J].Computer Networks ， 2002 ; 39 （ 4 ） ： 329～345

[3]A Adas.Traffic models in broadband networks[J].IEEE Communica-tions Magazine ， 1997 ; 35 （ 7 ） ： 82～8

基金項(xiàng)目：2020年安徽省教育廳關(guān)高等學(xué)校省級(jí)質(zhì)量工程項(xiàng)目，課程思政項(xiàng)目（編號(hào)：2020szsfkc1004）;

2020年校級(jí)質(zhì)量工程線(xiàn)下課程（編號(hào)：szxy2020xxkc07）;2020年宿州學(xué)院專(zhuān)創(chuàng)融合重點(diǎn)課程建設(shè)項(xiàng)目（編號(hào)：szxy2020zckc22）;2020年校級(jí)質(zhì)量工程項(xiàng)目（編號(hào)：szxy2020xnfz02）.