大數(shù)據(jù)環(huán)境下的網(wǎng)絡(luò)流量異常檢測研究

農(nóng)婷

摘 要：檢測異常網(wǎng)絡(luò)流量對于維護(hù)網(wǎng)絡(luò)安全來說是一個(gè)很重要的領(lǐng)域，網(wǎng)絡(luò)流量異常檢測的目的是實(shí)時(shí)無誤的檢測在網(wǎng)絡(luò)使用過程中發(fā)生的突發(fā)攻擊事件。由于網(wǎng)絡(luò)流量較難測量，以及網(wǎng)絡(luò)環(huán)境較為復(fù)雜，網(wǎng)絡(luò)流量的測量具有很多不確定性，這使得網(wǎng)絡(luò)流量的異常檢測成為維護(hù)網(wǎng)絡(luò)安全研究的難點(diǎn)問題。而現(xiàn)有的檢測方法包括數(shù)據(jù)挖掘、小波分析等，以上方法在應(yīng)用過程中存在弊端，或存在算法過于困難，或者是對于網(wǎng)絡(luò)流量異常具有滯后性，因此現(xiàn)有的方法對無法滿足我們的實(shí)際需求。在大數(shù)據(jù)的環(huán)境下，數(shù)據(jù)量更加龐大，研究者應(yīng)開發(fā)設(shè)計(jì)新的檢測方法，適應(yīng)時(shí)代發(fā)展，優(yōu)化用戶體驗(yàn)，提升網(wǎng)絡(luò)使用效率，減少因網(wǎng)絡(luò)擁擠產(chǎn)生的網(wǎng)絡(luò)問題。

關(guān)鍵詞：網(wǎng)絡(luò)安全;流量異常檢測;大數(shù)據(jù)環(huán)境

21世紀(jì)以來，網(wǎng)絡(luò)的發(fā)展是迅速且多元化的，網(wǎng)絡(luò)的應(yīng)用深入到千家萬戶，隨著網(wǎng)絡(luò)應(yīng)用范圍的不斷擴(kuò)大，網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)也逐漸增多，用戶在使用過程中有時(shí)會(huì)出現(xiàn)卡頓的現(xiàn)象，不僅如此，用戶數(shù)量的增加使得網(wǎng)絡(luò)犯罪的幾率也在逐漸增大，面對現(xiàn)狀，如何保證網(wǎng)絡(luò)的安全性及網(wǎng)絡(luò)的正常運(yùn)行是我們亟需考慮及解決的問題。網(wǎng)絡(luò)流量作為評價(jià)網(wǎng)絡(luò)運(yùn)行情況的重要指標(biāo)，對其進(jìn)行檢測有利于我們對網(wǎng)絡(luò)情況進(jìn)行實(shí)時(shí)檢測，因此，設(shè)計(jì)高效的網(wǎng)絡(luò)流量異常檢測方法是解決網(wǎng)絡(luò)運(yùn)行情況不良的解決方法。

一、網(wǎng)絡(luò)異常流量分類

對于網(wǎng)絡(luò)流量的異常檢測其實(shí)是將網(wǎng)絡(luò)流量進(jìn)行分類，一種是處于正常狀態(tài)下的網(wǎng)絡(luò)流量狀態(tài)，另一種則是處于異常狀態(tài)下，我們所設(shè)計(jì)的方法就是要及時(shí)的檢測出處于異常情況下的網(wǎng)絡(luò)流量，以及在日常維護(hù)過程中提前做出有效的相關(guān)防范措施。網(wǎng)絡(luò)流量異常實(shí)際上是一種網(wǎng)絡(luò)流量模式，這種模式會(huì)對日常的網(wǎng)絡(luò)使用產(chǎn)生不良影響，產(chǎn)生網(wǎng)絡(luò)異常的原因包括：無可使用的網(wǎng)絡(luò)存儲以及網(wǎng)絡(luò)配置錯(cuò)誤等;網(wǎng)絡(luò)的不良使用，如大量頻發(fā)的P2P應(yīng)用模式對網(wǎng)絡(luò)流量所造成的影響。

網(wǎng)絡(luò)異常流量大致分為以下幾種類型：Alpha Anomaly、D Dos、Port Scan、Network Scan、Worms 和 Flash Crowd。[1]

二、網(wǎng)絡(luò)流量的測量方法

對于網(wǎng)絡(luò)流量的檢測其實(shí)是為了規(guī)范網(wǎng)絡(luò)環(huán)境，優(yōu)化網(wǎng)絡(luò)配置，提高用戶的使用效率，目前對于網(wǎng)絡(luò)流量的測量方法主要分為兩類，一種為主動(dòng)測量方式，另外一種則為被動(dòng)測量方式，二者的區(qū)別在于，主動(dòng)測量方式會(huì)額外增加網(wǎng)絡(luò)流量負(fù)擔(dān)，產(chǎn)生不要的網(wǎng)絡(luò)擁堵：

（一）主動(dòng)測量技術(shù)

主動(dòng)測量實(shí)際上是在兩個(gè)制定端點(diǎn)之間加入網(wǎng)絡(luò)流量從而測試兩端點(diǎn)的性能，因此在測量過程中，兩端點(diǎn)之間會(huì)產(chǎn)生新的流量。主動(dòng)測量的方法存在弊端，因?yàn)椋黾觾啥它c(diǎn)之間的流量本身會(huì)加重網(wǎng)絡(luò)負(fù)載，額外的網(wǎng)絡(luò)流量可能會(huì)產(chǎn)生網(wǎng)絡(luò)擁堵，產(chǎn)生額外的問題，對用戶的使用可能會(huì)帶來不便。

（二）被動(dòng)測量技術(shù)

被動(dòng)測量的方法不是向兩個(gè)指定端點(diǎn)之間加入流量，而是在一特殊位點(diǎn)來檢測流量，如使用路由器或交換機(jī)收集數(shù)據(jù)。[2]被動(dòng)測量的優(yōu)點(diǎn)在于不會(huì)產(chǎn)生附加流量，不會(huì)增重網(wǎng)絡(luò)負(fù)擔(dān)，因此，被動(dòng)測量的技術(shù)的開發(fā)也在不斷增加，越來越廣泛的應(yīng)用到實(shí)際生活中。被動(dòng)測量獲得的數(shù)據(jù)是一些大小不一的分組信息，可以用來進(jìn)行各種流量分析，被動(dòng)測量技術(shù)的發(fā)展有利于互聯(lián)網(wǎng)的發(fā)展。

三、大數(shù)據(jù)環(huán)境下的網(wǎng)絡(luò)流量異常檢測

由于網(wǎng)絡(luò)應(yīng)用的逐漸延申，產(chǎn)生巨大的網(wǎng)絡(luò)數(shù)據(jù)，對于海量的數(shù)據(jù)處理，傳統(tǒng)計(jì)算平臺已經(jīng)無法滿足，因此，人們開發(fā)了云計(jì)算平臺，云計(jì)算平臺整合全網(wǎng)絡(luò)全部可利用數(shù)據(jù)，將大問題分解為很多小問題，最后更好的解決問題。Hadoop 是 Apacher 基金會(huì)研制的分布式的開源系統(tǒng)，[3]用戶可以根據(jù)需要搭建自己的云平臺，它由 HDFS和 Map Reduce 并行編程模型作為核心，提供了一個(gè)用戶不需要了解底層的具體實(shí)現(xiàn)，就能使用的分布式平臺。

HDFS 作為 Hadoop 系統(tǒng)的主要核心之一，對數(shù)據(jù)進(jìn)行分布儲存，且即使是配置相對較低的機(jī)器也可以具備強(qiáng)大的存儲能力，在擴(kuò)展能力和容錯(cuò)能力方面也具備良好的性能，在計(jì)算機(jī)復(fù)雜的環(huán)境中，局部出現(xiàn)失誤也不會(huì)影響整體的性能。HDFS的特點(diǎn)就在于對于復(fù)雜且龐大的數(shù)據(jù)，具有超高的存儲能力，HDFS的數(shù)據(jù)處理信息通常為數(shù)百M(fèi)B、甚至數(shù)百TB。但對于稍小數(shù)據(jù)量的信息，它的處理能力就稍顯薄弱。在數(shù)據(jù)訪問方面，能夠?qū)崿F(xiàn)頻繁的對一次寫入多次讀寫的任務(wù)進(jìn)行處理，數(shù)據(jù)越大讀取效率越高。

Map Reduce 是在大規(guī)模集群上處理海量數(shù)據(jù)的并行計(jì)算模型，Map Reduce具備簡單易擴(kuò)展的特點(diǎn)，因此，Map Reduce在日志分析、海量數(shù)據(jù)查找排序等領(lǐng)域使用較廣。Map Reduce 基本思想是借助映射（map）和規(guī)約（Reduce），將處理過程分為 Map和 Reduce操作，每個(gè)階段的輸入和輸出都以鍵值對的形式表示。

HDOOP平臺的工作原理實(shí)際上是將大型網(wǎng)絡(luò)流量異常檢測任務(wù)分為規(guī)模較小的任務(wù)，每一個(gè)小任務(wù)由不同的處理點(diǎn)完成，最后匯總到總的管理點(diǎn)，統(tǒng)一分析處理，得到最終的檢測結(jié)果。大數(shù)據(jù)環(huán)境下的網(wǎng)絡(luò)流量異常檢測模型的工作步驟為：

（1）首先采集網(wǎng)絡(luò)流量數(shù)據(jù)，通常將處于網(wǎng)絡(luò)入侵的時(shí)的數(shù)據(jù)作為網(wǎng)絡(luò)流量異常測試。

（2）對最初的網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行第一步優(yōu)化處理，減少數(shù)據(jù)樣本的量。

（3）由Map Reduce將上步所或許的網(wǎng)絡(luò)數(shù)據(jù)信息劃分為規(guī)模較小的樣本，然后由各個(gè)處理點(diǎn)進(jìn)行處理。

（4）異常檢測結(jié)果反饋給管理點(diǎn)，得到訓(xùn)練樣本異常檢測的最終結(jié)果。

四、結(jié)語

網(wǎng)絡(luò)環(huán)境的復(fù)雜性給網(wǎng)絡(luò)流量的測量帶來困難，但對于網(wǎng)絡(luò)流量的測量是有利于網(wǎng)絡(luò)環(huán)境的發(fā)展的，在大數(shù)據(jù)環(huán)境下，傳統(tǒng)的網(wǎng)絡(luò)流量異常檢測方法已經(jīng)不適用，順應(yīng)而生的就是利用云計(jì)算技術(shù)對大數(shù)據(jù)環(huán)境下的網(wǎng)絡(luò)異常流量檢測，本文對云計(jì)算平臺進(jìn)行分析，介紹了云計(jì)算平臺的運(yùn)行原理，提出新的檢測方法。

參考文獻(xiàn)：

[1]楊青.基于大數(shù)據(jù)分析的網(wǎng)絡(luò)異常流量檢測[J].機(jī)械設(shè)計(jì)與制造工程，2018，47（11）：79-82.

[2]張震，汪斌強(qiáng)，朱珂.流量測量的關(guān)鍵技術(shù)分析與研究[J].計(jì)算機(jī)應(yīng)用研究，2009，26（9）：3442-3447.

[3]李進(jìn)文.基于云計(jì)算的網(wǎng)絡(luò)異常檢測算法研究[D].河南：鄭州大學(xué)，2015.

[4]華南理工大學(xué).一種基于大數(shù)據(jù)的實(shí)時(shí)網(wǎng)絡(luò)異常行為檢測系統(tǒng)及方法：中國，CN201810079555.8[P].2018-05-15.