用于網絡流量異常檢測的數據采集方法的研究

摘要：網絡帶給人們自由開放的同時，也帶來不可忽視的安全風險，網絡安全越來越成為人們關注的重點。作為網絡安全研究領域中重要組成部分的網絡流量異常檢測技術研究也逐漸得到重視。在網絡流量異常檢測技術的研究中首先要進行網絡流量的采集，然后對所采集的流量進行分析。網絡流量的采集主要有兩種比較流行的方法：一是基于包的采集方法，另一種是基于流的采集方法。在此主要將這兩種數據采集方法進行對比研究，并得出了實驗的結果。

關鍵詞：網絡流量異常檢測；基于包的數據采集方法；基于流的數據采集方法；網絡安全；對比研究

中圖分類號：TP393文獻標識碼：A文章編號：1009-3044(2009)04-0822-03

Comparative Studies on two Methods of Data Collection Technology in Network Traffic Anomaly Detection

CHEN Ming-bing， LIU Zhi-gui

(College of Computer Science and Technology，South West University of the Science and Technology，Mianyang 621010，China)

Abstract: Internet is free and open to people， and at the same time security risks can not be ignored. Network and information security has increasingly become the focus of our attention. As the important part of network security， network traffic anomaly detection technology gradually has been studied more and more.This paper mainly focus on two comparative studies on two methods of network traffic collection (one is packet-based data collection method， another is flow-based data collection method)， and gives the simulation results.

Key words: network anomaly detection;packet-based data collection method;flow-based data collection method;network security;comparative studies

1 引言

最近幾年來，隨著網絡安全事故的不斷出現，網絡的安全問題越來越受到各方面的重視。人們采用各種各樣的安全策略來確保網絡資源的及時性和可訪問性。相關部門安裝大量的硬件和軟件來保護網絡，讓網絡減少被攻擊和干擾的可能性。與此同時，分布式拒絕服務攻擊和蠕蟲爆發等威脅頻繁出現使得我們不得不進一步提出新的技術來作出應對。于是出現了許多智能的、實時的解決方案和技術，而網絡流量異常檢測技術就是其中之一[1-4]。

要進行異常檢測，要做的第一件事就是要采集網絡流量，這是所有檢測技術所要分析的對象。研究人員在許多特定環境下的網絡數據采集進行了研究[5-9]。在這里把網絡異常檢測領域中的網絡流量數據采集方法分為兩種。一種是基于流的數據采集方法，通常依靠存在的網絡設備，如路由器，來產生所謂的流信息來用于分析，從而檢測網絡流量異常。另外一種方法是基于包的數據采集方法，它與前一種方法不同，不依靠其它的網絡設備的能力或可訪問性，使用包數據來觀察網絡流量的變化從而檢測出網絡流量異常。

2 兩種數據采集方法

2.1 基于流的數據采集方法

基于流的數據采集方法，主要以網絡流的概念為中心。一個流記錄實際上是記錄一個特定的網絡流發生以及在過去某個時間點兩臺主機互相通信等活動的摘要性指標[10]。一個典型的流記錄包含兩個主機的IP地址，端口，協議，本次連接中部分數據的數目，以及流發生的時間和其它的一些標志。有很多網絡設備，如思科的很多路由器，能夠觀察網絡流量和生成這樣的流記錄，思科稱之為Netflow。這些流記錄被寫下來重新生成網絡數據包并發送給接收者分析。

2.2 基于包的數據采集方法

基于包的數據采集方法與基于流的數據采集方法不同，不依賴于第三方設備來生成網絡流量的元信息或摘要信息，而是將所有分析完全基于在網絡連接中實際觀察到正在傳遞的原始數據包。

有幾種方法進行基于包的數據采集。其中一種是對路由器或交換機的SPAN端口進行配置，然后產生一份在一個或多個端口上發出或接收到每一個數據包的拷貝，同時把這個拷貝傳出SPAN 端口。基于包的數據采集方法能夠采集到這些端口的所有進出的網絡流量。另一種方法是采用一種被動設備--網絡分接頭（taps）進行數據采集。這種方法允許完全透明地觀察網絡連接中的所有數據包。對于光纖連接可以使用光纖分離器。網絡分接頭的優點是它是專業級的數據采集設備，效率特別高，用于沒有SPAN端口的時候；缺點是必須專門購買，成本較高。

3 兩種數據采集方法的比較

當我們比較兩種數據采集方法的效果時，必須考慮網絡系統的體系結構。對于一些特殊網絡情況而言，某種可能有獨特的優勢。然而對于大多數的企業級網絡、ISPs、甚至更大的服務提供商來說，實際在網絡中采用基于包的數據采集方法。基于包的數據采集方法有明顯的優勢，現在進行詳細的討論。

3.1 訪問原始包數據

基于包的數據采集方法最重要的特點是允許訪問原始包數據。相反基于流的數據采集方法僅僅能分析由第三方設備（如路由器）產生的摘要記錄，因此不能訪問原始包數據，而這對于異常的分析和排除是至關重要的。例如，有些的基于包的數據采集方法，即使是零日異常也能夠抽取出特征。這樣的功能只能通過對被觀察的原始數據包的內容進行復雜統計分析才能實現。

以大規模同步風暴拒絕服務攻擊為例[11-12]。通常是通過受控制的傀儡機產生大量的TCP-SYN 數據包（連接建立請求）來進行的。由于源地址是隨機的，基于流的數據采集方法只能為檢測方案提供從客戶機到特定的正在被攻擊的服務器和端口的流量，除此之外沒有其它有用的信息產生。

然而基于包的數據采集方法產生的數據中我們可以抽取出“犯規”的數據的進一步特征。通常是大規模的攻擊工具有特定的非隨機的數據初始化包頭或內容。例如，在一個TCP-SYN 包中有“門徒廣告”功能的TCP窗口大小或序列號就可能被固定。由于基于包的數據采集方法可以為檢測方案提供可訪問原始數據包，從而可以檢測到異常并提供異常特征然后僅僅阻塞這些“犯規”的流量，合法的流量將原封不動地繼續傳遞，而不受影響其它任務。

另外還有一個好處，就是通過訪問原始數據包可以對實際的攻擊流量進行鑒定性的檢查，確定攻擊源。基于包的數據采集方法得到的原始數據可以為后面用來抽取不斷更新的實時特征來使用。同時，這些被保留原始數據包可以供今后進一步分析。手工或自動的負載分析就可以檢測出異常的實際應用層協議或其它方面的性質，這些都可以幫助我們重構事件或進一步確保應用程序或網絡的安全。

3.2 低延滯

路由器和交換機通常在一定時間的停頓后才輸出信息流，等待時間一般是15秒鐘[13]。因此，如果使用基于流的數據采集方法進行數據采集，就必須在設備重啟后15 秒鐘后才能開始檢測異常。然后檢測方案才開始它的工作，這就使得判斷出現異常的時間增加了。然而如果使用基于包的數據采集方法進行數據采集的話，檢測方案就可以實時的方式進行工作的。在網絡流量的統計數據有效之前，沒有5 秒鐘的延遲。檢測方案就可以連續地工作在實時數據之上。就此而言基于包的數據采集方法可以提高檢測的速度。

現在考慮15秒鐘時間可能產生的作用。對于企業級的網絡而言。某企業的一位員工剛好從商業旅行回來，他打開筆記本電腦，然而不幸的是，他的電腦恰好被一種攻擊性掃描蠕蟲感染，于是這種蠕蟲就開始在他所在公司的網絡中尋找其它的新的受害主機。盡管不同蠕蟲的掃描速度可能不同，但要感染網絡另外一臺主機往往只需要短短的幾秒鐘時間。第二代的紅色代碼蠕蟲[14]能夠在5小時感染10萬臺計算機，每天就可以感染35萬臺計算機。因此，每一秒鐘對于爆發的加速都具有指數級的作用，只有最快的檢測方法才能降低它的傳播。使用基于包的數據采集方法進行數據采集能夠使用檢測方案迅速檢測被感染的主機并在15 秒鐘之內檢測的結果發送給相關的交換機或防火墻等其它網絡安全設備，進行相應的防御，將損失降低到最少。而如果使用基于流的數據采集方法進行數據采集，就可能會延滯大約15秒鐘時間，從而推遲了對網絡安全事件的反應和防御。

3.3 不依靠第三方網絡設備

基于流的數據采集方法一般都依靠第三方的網絡設備，比如路由器和交換機。利用第三方的網絡設備采集流記錄用于檢測當前網絡流量中是否存在異常。然而，許多網絡攻擊和異常往往會將這些網絡設備作為攻擊對象，甚至關掉這些設備從而使基于流的數據采集方法失效，檢測方案也就無能為力了。這時就會產生無法預料的后果。

比如由于攻擊造成路由器失效不能夠繼續提供流記錄，使用基于流的數據采集方法采集到的數據在這時就會變得不可信：比如恰好就在一個攻擊中間，所有的觀察變得無效，就會導致對攻擊的跟蹤和記錄變得無效。如果路由器負載過重不能產生更多的流記錄，也會使檢測變得無效。盡管攻擊使得網絡流量變得非常的擁擠的時候也可以產生出一部分或大多數的流記錄，但是不會更多的流記錄產生，從而使得檢測方案在此時變得無效。

可以這樣認為，依靠網絡基礎設施來檢測和觀察攻擊不可取。因為有很多攻擊往往就是針對這些網絡設備的。而使用基于包的數據采集方法采集數據時就不會出現這樣的問題。因為它的采集數據時是獨立于路由器或交換機等第三設備。只要網絡中有流量，就可以進行觀察和分析。由于使用基于包的數據采集方法采集數據時我們是通過完全被動的設備（分接頭）來獲取網絡流量的，而分接頭在不需要第三方的設備的情況下能夠提供一份所有的網絡流量的拷貝來進行異常檢測。這與使用基于流的數據采集方法進行數據采集是不同的。

3.4 對于路由器、交換機和網絡沒有太多負載

使用基于流的數據采集方法進行數據采集時會產生的出大量流記錄，這會對網絡設施產生很明顯的負擔。當流生成功能開啟時，路由器的CPU就會有重的負擔，這也會影響路由器的其它重要任務。在拒絕服務攻擊或蠕蟲爆發的時候，每一個數據包都代表一個新的流。由路由器和交換機產生的流實際上充當了攻擊的放大器。攻擊的數據包產生得越多，路由器的CPU 的負載就越重，同時網絡也會由于因為不斷增加的流記錄而變得負擔過重。

使用基于包的數據采集方法進行數據采集時不會有這樣的問題。因為數據包可以遠離網絡而被直接觀察，基于包的檢測方法不會對額外的路由器、交換機和網絡本身產生任何負擔。即使在分布式的情況下，檢測器之間的必要的通信也是完全獨立于整個網絡的。

因此，使用基于基于包的數據采集方法進行數據采集可以在對正常流量沒有任何影響的情況下運行。特別是它在被攻擊的最壞的情況下也不會對基礎設施產生明顯的負擔，而使用基于流的數據采集方法進行數據采集時就會產生相反的效果。

3.5 在高負載的情況時也有很高的精確度

抽樣流技術是通常被認為可以緩解因為產生流記錄而對網絡系統資源產生的嚴重沖擊的技術[15]。抽樣流技術可以進一步減少使用基于流的數據采集方法所采集的數據量，這種方法不是為每一個數據包都產生流記錄，僅僅是對第n個數據才產生一個流記錄，比如每100個數據包抽取一個包產生一個流記錄。很顯然，產生的流記錄的數量大大減少了，同時CPU 的負擔也減少了，網絡的利用率也提高了，但是這是以犧牲精確度為代價的。考慮一下，100個數據包中有99個數據包被忽略掉，因此，大多數更小的流就只能看著一個單獨的數據包，無論一個流是否只包含一個數據包。對于較小的流，這樣產生的數據用于檢測方案，得出的分析結果肯定不可靠，精確度自然降低了一些。

對于較大的流很顯然不會被很好的表示，因為它有很高的機會被抽樣出一個數據包，而這樣被抽樣出的數據包是不可能展現出網絡的實際狀態的。另外還有一個不足，就是異常（比如蠕蟲攻擊）檢測的檢測時間會進一步增加，因為需要有更多的數據包通過路由器來進行檢測。與此相反，使用基于包的數據采集方法進行數據采集時，可以不依靠抽樣技術。它的每一個包的操作都快速而有效地進行，因此可以在任何時候都以全速運行同時有很高的精確度。當然要考慮額外的存儲空間。

4 仿真實驗

4.1 實驗原理

要對兩種數據采集方法的效果進行實驗性對比，就必須選擇同一種網絡流量異常檢測方案，盡量讓比較公平。本文采用基于小波包的網絡流量異常檢測方案對兩種數據采集方法進行比較。

小波分析是門新興學科，是一種在信號處理、圖像處理等領域廣泛的數學工具[16]。最近年來研究人員把小波分析用于網絡流量異常檢測，用了一定的成果。但由于小波變換的也存在一些不足，于是又提出一些改進的方法，比如采用小波包變換進行網絡流量異常檢測。這是一種大膽的嘗試，并且取得較好的效果。

4.2 所采用的數據集

關于所采用的數據集。使用MIT林肯實驗的DARPA 1999年評測數據集[17-19]。包括覆蓋了Probe，DoS，R2L，U2R和Data等5大類58種典型攻擊方式，是目前最為全面的攻擊測試數據集。

4.3 實驗過程及結果

所下載的數據用tcpreplay[20]進行回放，然后用上面提及的兩種數據采集方法進行數據采集并作為基于小波包變換的網絡流量異常檢測程序的輸入數據，由異常檢測程序得出檢測結果。

實驗結果表明，在所選擇的數據集進行的兩者有明顯的差別。

由表1，可以看出使用基于包的數據采集方法進行了數據采集時，正確率要高一些，誤報率也要低一些。說明前一種方法效果好于后種方法。這與前面的分析比較吻合。實驗所使用計算機的配置是P4 3.0G+RAM 512M+Fedora 9[21]。

5 結論

通過對兩種網絡流量異常檢測中經常使用的兩種數據采集方法進行對比研究，我們發現基于包的數據采集方法雙基于流量的數據采集方法在許多方面的優勢。基于包的數據采集方法適合于各種不同的情況，再硬件設備日益發展今天，它更具有可靠性，高精度，有效性和對網絡設施影響小的特點。今后我們將采用其它的網絡流量異常檢測方案，比如基于簽名的檢測方法，基于統計的方法等，進一步對兩種方法進行對比實驗。還可以考慮使用網絡實時數據進行實驗室，讓比較結果更加公正。

參考文獻：

[1] Lakhina A，Crovella M，Diot C. Diagnosing Network-Wide Traffic Anomalies[J].ACM SIGCOMM， Portland， August 2004，219-230.

[2] Barford P， HIine J， Plonka D， Ron A. A signal analysis of network traffic anomalies[J].Internet Measurement Workshop，2002，71-82.

[3] Seong Soo Kim， A. L. Narasimha Reddy. Detecting Traffic Anomalies at the Source through aggregate analysis of packet header data[OL].http://dropzone.tamu.edu/techpubs/2003/TAMU-ECE-2003-03.pdf

[4] F. Feather， D. Siewiorek， and R. Maxion， Fault detection in an Ethernet network using anomaly signature matching[J].Proceedings of ACM SIGCOMM ’93， San Francisco， CA， September 2000.

[5] 包鐵，劉渺芬.基于規則的網絡數據采集處理方法[J].計算機工程，2007，1:101-103.

[6] 蔣康明，張筱云，林少銳.多業務ATM網絡數據采集和處理系統研究[J].廣東電力，2008(8):39-42.

[7] 關輔興，韓嘉福，羅曉飛.基于WebGIS的網絡數據采集方法[J].測繪與空間地理信息，2006(10):101-104.

[8] 英創信息技術有限公司.基于嵌入式網絡模塊的通用數據采集單元，[2003-01].[OL].http://www.emtronix.com.cn.

[9] 包鐵，劉淑芬.普適計算機環境下網絡數據采集處理方法[J].Journal of Software， Vol.17， Supplement， November 2006， pp.219-224.

[10] P. Barford and D. Plonka. Characteristics of network traffic flow anomalies[J]. Proceedings of ACM SIGCOMM Internet Measurement Workshop， San Francisco， CA， November 2001.

[11] Lan Li and Gyungho Lee. DDoS Attack Detection and Wavelets[J]. Computer Communications and Networks， 2003. ICCCN 2003. Proceedings. The 12th International Conference on，20-22 Oct.2003 pp:421-427.

[12] 孫欽東，張德運，鄭衛斌，胡國棟.基于時頻分析的分布式拒絕服務攻擊的自動檢測[J].西安交通大學學報.2004.12:39-42.

[13] http://www.esphion.com/pdf/ESP_WP_4_PACKET_V_FLOWS.pdf.

[14] http://en.wikipedia.org/wiki/Code_Red_II.

[15] Duffield N， Grossglauser M. Trajectory sampling for direct traffic observation. In: Gunningberg ]P， Pink S， eds. Proceedings of the ACM SIGCOMM 2000. Stockholm: ACM SIGCOMM， 2000. 271-282.

[16] 成禮智.小波的理論與應用.前言[M].科學出版社，2004.

[17] http://www.ll.mit.edu/IST/ideval/data/data_index.html.

[18] Kendall， Kristopher. A Database of Computer Attacks for the Evaluation of Intrusion Detection

Systems[J]. Masters Thesis， MIT， 1999.

[19] Lippmann， R.， et al.， The 1999 DARPA Off-Line Intrusion Detection Evaluation[J]. Computer Networks34(4) 579-595，2000.

[20] http://tcpreplay.synfin.net/trac/.

[21] http://fedoraproject.org/.

陳明兵（1974-），男，四川遂寧人，在讀碩士研究生，主要研究方向：網絡安全；

劉知貴（1966-），男，博士學位，教授，博士生導師，主要研究方向：控制理論與控制、計算機技術及其應用。