基于NetFlow的特征感知自適應的流采樣方法

劉晨光，劉偉輝，燕麗艷

1.江蘇師范大學 信息網絡中心，江蘇 徐州 221116

2.江蘇師范大學 圖書館，江蘇 徐州 221116

基于NetFlow的特征感知自適應的流采樣方法

劉晨光1，劉偉輝2，燕麗艷1

1.江蘇師范大學 信息網絡中心，江蘇 徐州 221116

2.江蘇師范大學 圖書館，江蘇 徐州 221116

1 概述

在網絡監控和異常檢測中，經常使用采樣來處理大量的網絡流。已有的很多采樣方法，主要是優化、保留較低層次的參數，如流量值的大小或數據包的數量。然而，使用采樣獲得的數據進行更高級的分析，如網絡行為分析，就會出現很多問題，因為采樣會嚴重損壞異常檢測及分析算法的有效性[1]。這些算法大多是基于模式識別和統計分析的，流量特征的失真破壞了它們關于流量特征的假設，顯著增加了這些方法的誤差程度。

通過分析NetFlow/IPFIX的流采樣信息，提出一個理想的采樣模型，利用此模型可以分析采樣對于異常檢測在信息處理中的影響；提出了后期采樣的概念，它可以顯著改善采樣方法的性能；然后提出了特征感知的自適應采樣方法，它優化了采樣算法的行為，文章最后描述了實驗結果的評價。

2 采樣技術介紹

網絡監控常用的采樣技術通常分為包采樣和流采樣。基于包的采樣技術工作在數據包的級別，每個數據包被隨機采樣，隨機概率取決于所使用的采樣方法。主要優點是，減少路由器內存和CPU資源的消耗，提高監控高速網絡的可能性。

流采樣的情況下，被監控的流量匯集成一條網絡流，采樣本身不再是數據包，而是整個流的一部分。主要優點是比數據包采樣更準確[2]，但它會消耗更多的內存和CPU資源。

盡管包采樣很容易實施，但它會帶來顯著的統計誤差[2-3]，包采樣的典型應用包括以計劃和管理為目的研究[4-5]。關于包采樣的更深入研究是自適應的包采樣技術[5-6]。這些技術根據當前的網絡負載情況調整采樣頻率，可以獲得更加準確的流量統計。文獻[7]中描述了一種自適應非線性的采樣方法，文獻[8]和文獻[9]提出基于流的自適應采樣方法，它們都可以保留大、小流量的分布特性。

在文獻[10]中提出了一種新類型的數據包采樣，它改進了異常檢測的質量。數據包的檢測在網絡中的各個地方（有路由器的位置），并對數據包做出正常或非正常的標記，非正常的數據包會以很高的概率被采樣。

智能采樣[2]和采樣保持[11]技術可以減少內存需求，這些技術都側重于大流量的評估。文獻[12]介紹了一種包采樣和流采樣的組合技術，作者提出了兩個階段的采樣，在第一階段進行流采樣，第二階段從第一階段中采樣的流中進行包采樣。文獻[13]對流采樣和智能采樣也進行了詳細的比較，流采樣在保持流量的分布特征方面有其優點，而智能采樣技術更注重在大流量采樣中的應用。

有些研究不僅注重采樣方法的準確性，而對異常檢測效率的研究也在加強。文獻[1]評估了一些采樣技術是如何影響異常檢測算法的性能，如隨機包采樣、隨機流采樣、智能采樣和智能保持采樣。研究結果證明，隨機包采樣具有偏差可測性并且降低了算法的有效性。

文獻[14]提出了選擇性流采樣，優先小流量采樣，明顯改善了異常檢測方法的效果，但這種采樣技術在保留流量分布特征方面存在著偏差，僅用于特定場合的異常檢測。

表1中描述了幾種采樣方法的適用性，可以看出大部分的采樣方法適用于流量監控，可以很好地保留網絡流量特征；也可以看出隨機流采樣在三個方面都適用；選擇性采樣方法僅適用于異常檢測。

表1 采樣方法的適用性

3 理想的采樣模型

從網絡安全的角度來看，理想的流采樣過程是用來選擇最相關的數據流。在這個過程中，采樣結果表現出來的分布特征損失最小。多數的異常檢測方法都使用數據流的統計分布特征對網絡流量建模，這樣可保留更多的統計特征，使得信息損失達到最小化。

假定每個流x由一組元素來確定，如IP地址、協議、流量、數據包或字節，把第k個流的特征表示為Xk，采樣一個流x的概率為 p(x)，采樣的時刻在特征點，特征點根據特征值來計算。特征點包括以下兩種：

（1）特征計數c(x|Xk)：表示符合特征 Xk的數據流x的個數統計。

（2）特征熵eXk(x|Xl)：表示特征 Xk的熵，這些特征與流x的特征Xl相同。

將原始有限的、未采樣的數據集表示為U，已經采樣的數據集表示為S。因此，cS(x|srcIP)表示流x的數量，x來自于帶有相同的源IP地址的數據流采樣集S。而eUsIP(x|dP)表示源IP地址的熵，這些源IP地址來自于數據集U，相應的目的端口和流x的目的端口相同。多個流的特征計數表示為c(x|X1，X2，…，Xq)。

通過使用特征點，在大多數的異常檢測方法中都可以計算NetFlow流的特征。信息丟失改變了它們原有的數值，因而影響了這些特征點數據的計算。因此，理想的采樣應該使這種信息丟失最小化。

定義1 S1，S2，…，Sm表示以概率 p(x)從U中選擇的各個數據流集，特征點c(x|Xk)是可逆的當且僅當：

特征點可逆確保了信息丟失最小化。

把描述正常化的特征點exk(x|Xl)的相對不確定性表示為：

定義特征點的可逆性，是使用相對不確定的值而不是熵值，因為相對不確定的值能更好地說明特征分布。

定義2 S1，S2，…，Sm表示以概率 p(x)從U中選擇的各個數據流集，特征點exk(x|Xl)是可逆的當且僅當：

定義3 Xi表示第i個流的特征，特征 Xi的特征變量ν(XiU)定義為在集U中的特征Xi不同值的數量。

定義4概率 p(x)的采樣定義為以下的過程：

（1）所有的特征點都是可逆的（包括計數和熵）。

每個標準適合不同類型的異常檢測方法，對基于統計和模式識別的方法來說，可逆的特征點是必不可少的；對基于知識庫的方法來說，特征可變性也是必不可少的。這個過程定義了兩個質量指標，適用于任何已經實施的采樣方法，可以量化檢測結果的質量，包括：

（1）特征描述，描述了從理想分布中得到的概率分布誤差（區間[0，1]），包括：

在可逆點c(x|Xk)進行誤差計算：

將用這兩個指標來分析各種采樣技術的特點。

4 采樣算法

本章中介紹特征感知的自適應采樣算法，它是采用多級處理過程的異常檢測算法，這些算法可以改善采樣質量，減少采樣帶來的誤差。

4.1 后期采樣

特征描述和特征覆蓋兩者的標準存在著一定的矛盾，改善其中的一個方面，如加強采樣率，將直接對另一方面產生負面的影響。本文提出的算法通過對特征提取的劃分，來避免這些標準的沖突，但需要在采樣之前來完成，這樣做會增加很多的計算成本，但可以大大節省后面特征提取階段的計算成本。

目前，執行早期采樣的技術是在采樣之后計算特征點的統計數據，這會導致精度的不準確[14]，優點是不需要處理特征點的初始化過程。

而后期采樣是在系統采樣之前計算特征點的統計數據，特征點是由原始的、完整的數據集計算出來的。這種采樣方法對于采樣技術本身以及后續的異常檢測來說，能夠使用原始數據集的統計信息，提高了精確度。

4.2 特征感知的自適應采樣算法

特征感知的自適應采樣算法基于這樣的假設，在單個數據集中流的增量值隨著已經存在于這個數據集中的相似流數量的增加而降低，其中，增量值由一個或多個特征值來定義。這可以縮減巨大的數據流集，對少量的小數據流也會關注。從安全的角度來看，大的和小的數據流具有同等的重要性，在異常檢測時具有或大或小的影響，把最重要的特點表示為主要的特征，其余的表示為次要的特征。

定義5X1,X2,…，Xk表示主要特征，主要概率定義為符合特征X1，X2，…，Xk的流x被選中到采樣集中的概率：其中，參數s∈[0，1]，表示采樣率，閥值t是在分布中定義的一個點。采樣技術初始設置采樣率與時間大小成比例，較大的時間值，設置較低的采樣率。減少在閥值以上的、具有較大時間值的攻擊的采樣數量，不影響異常檢測的有效性，因為這些攻擊很容易被檢測到。而需要保持采樣流的總數量沒有變化時，采樣率的降低則允許增加采樣頻率。

定義6 X1，X2，…，Xk表示主要特征，Xi表示次要特征，次要概率定義為符合特征 Xi的數據流x被選中到采樣集中的概率：

其中，參數d∈(0，1]，描述了相同方向標識流（RU-＞0）或另一方向流的集增量信息值的降低程度，大部分的流是不同的（RU-＞1）。參數ε決定了間隔的大小。

定義7 X1,X2,…，Xk表示主要特征，Xk+1,Xk+2,…，Xn表示次要特征，特征感知的自適應采樣選擇流 x的概率是：

其中εp≥0表示由次要概率引起的采樣流數量的減少，根據引用等式（2）計算的參數S保證了定理的陳述。

特征感知的自適應采樣可以修改采樣概率以便反映網絡流量的特征分布。它根據時間值的大小選擇流，目的是擬制巨大的、容易發現的事件，并且注重從小的流中獲取有用的信息，而稍微改變一下這些特征分布，更有利于異常檢測。特征感知的自適應采樣也提出了如定理1中陳述的采樣流量總和的上限，這個定理保證了采樣流總和不會超過預定義的限制。

5 實驗評價

采樣評估的目標是在實際的網絡流數據中比較各種采樣算法的適用性。首先，考察采樣方法在流量特征方面的影響，自適應方法的設置如下：c(x|srcIP)為主要特征，esrcPrt(x|srcIP)，edstIP(x|srcIP)以及edstPrt(x|srcIP)為次要特征，d=0.8，ε=0.1，t=1 000。

直接在真實的萬兆校園網絡中進行攻擊實驗，會傷害到普通用戶的網絡服務，因此在獨立的測試實驗平臺上執行一套攻擊實驗，然后將這些攻擊插入到實際的校園流量環境中。

實驗攻擊分兩次進行，第一次攻擊是從一個攻擊者的IP地址到受害者的IP地址的垂直掃描。這次攻擊開始設置每5 min 250個流，逐步增長到每5 min 1百萬個流；第二次攻擊比較隱蔽，攻擊者首先發起較大規模的DDos攻擊，同時發起強度很小的、但更嚴重的SSH暴力攻擊，以這種方式來攻擊本網絡上的其他用戶。

5.1 保留網絡特征的性能分析

通過使用前文中描述的測量方法，比較隨機性的、選擇性的和自適應的三種采樣技術，評估它們保留網絡特征的性能。對這種評估來說，使用的網絡流量來自于巨大的DDos攻擊和隱藏的SSH暴力攻擊。

首先，評估兩個被廣泛應用于異常檢測的指標，源IP地址c(x|srcIP)的數量以及給定源IP地址對應的目標IP地址edstIP(x|srcIP)的熵。特征值越低，特征點的可逆性越好。從表2中可以看出，隨機采樣技術優于其他采樣技術，而選擇性采樣技術的可逆值相對最小，所以可逆性最好。然而，由于采用可變的采樣率，使得自適應采樣在熵時刻，具有最小的重構誤差。

表2 源地址的數量和目標地址熵特征描述測量

其次，比較源地址和目標地址的特征覆蓋情況，以便發現更好的方法來保留特征可逆性。從表3中可以看出，選擇源IP地址作為主要特征，得到特征覆蓋的性能參數值較大，特別是應用于自適應采樣中表現得更為明顯。而選擇目標IP地址作為主要特征時，相對的結果要差一些。

表3 源地址和目標地址特征覆蓋測量

在評估中，證明了自適應采樣比選擇性采樣具有更好的可逆性，特別是涉及到主要特征的某些值，甚至超過隨機采樣，這使得自適應采樣在保留網絡特征方面更有前途。因此，主要特征的選擇對于采樣后面的檢測技術是非常關鍵的。

5.2 異常檢測結果的質量分析

本節中，評估模擬攻擊時的檢測質量，使用的技術及數據包括：各種流采樣技術；已采樣和未采樣部分數據；已采樣和未采樣原始數據集的統計信息。

具體的說，比較四種類型的采樣技術，隨機E、隨機L、選擇L和自適應L，其中大寫字母E和L表示早期采樣和后期采樣。首先，通過網絡行為異常檢測設備CAMNEP[15]的測量得到了檢測數據集，在此數據集中，比較了這四種采樣方法的檢測質量，Quality=ε-Θˉ(φj)，它表示了全局閥值ε的可信度和攻擊流Θˉ(φj)的平均可信度之間的差。

（1）掃描方案：首先評估關于大規模TCP掃描的采樣方法

在圖1中，根據已經選擇的模擬攻擊流的總量來比較每種方法的采樣數量。掃描檢測中，選擇采樣方法的適應性在不斷增大的攻擊數量時，表現得更好。自適應采樣在檢測較小規模掃描時的概率更高，而大規模的攻擊則以較低的概率采樣，結果是在所有的采樣流中，對小事件的檢測并沒有減小。

圖1 TCP掃描（采樣率1∶5）

圖2中描繪了采樣流量中模擬TCP掃描的比例，當使用選擇采樣時，最后的攻擊規模占80%的采樣數據，而使用自適應采樣時，這個數據僅有40%。因此，自適應采樣能很好地應對攻擊流量的采樣。

圖3描繪了質量檢測的結果，后期選擇性采樣、后期自適應采樣和未采樣的方法都成功地檢測了所有規模的攻擊。相反，后期隨機的、尤其是早期的隨機檢測沒有檢測到第一波較小規模的攻擊。

圖2 TCP掃描（采樣率1∶5）

圖3 TCP掃描（采樣率1∶5）

（2）隱藏SSH暴力方案：本方案中包含一個大規模的DDoS攻擊，它包括很多小規模的SSH暴力攻擊（最大500個流）。后期選擇性采樣，并不是專門針對這種類型攻擊的采樣方法，選擇攻擊流的數量明顯少于后期隨機和后期自適應方法，如圖4，該圖表明了在采樣集中，SSH暴力攻擊的比例取決于DDoS攻擊規模的大小。

圖4 SSH暴力攻擊（采樣率1∶5）

圖5顯示了初始采樣率1∶5的檢測質量的結果，相對較差的結果是早期隨機采樣技術，而通過使用后期采樣技術檢測攻擊還是成功的，甚至比使用未采樣數據的方法要好，后期自適應采樣比其他技術稍好一些。

圖5 SSH暴力攻擊（采樣率1∶5）

當把初始采樣率降低到1∶100，所有的方法都變得不穩定了，如圖6，后期選擇采樣方法只在一個數據集中選中了攻擊流。所以，較低的采樣率負面地影響了所有的采樣技術。

圖6 SSH暴力攻擊（采樣率1∶100）

6 結論

本文提出了理想的采樣模型和兩個類型的質量指標，用來評估各類型采樣算法之間的相似性，從異常檢測的角度來量化檢測結果的質量。其次，介紹了后期采樣技術和特征感知的自適應采樣方法，它提供了較為精確的、關于原始數據集的統計信息，優化了異常檢測中數據的采樣結果。實驗表明，在保留網絡特征方面，自適應采樣具有更好的可逆性；在檢測異常流量的效果方面，自適應采樣具有更好的表現。

[1]Mai J，Chuah C N，Sridharan A，et al.Is sampled data sufficient for anomaly detection?[C]//Proc of the 6th ACM SIGCOMM Conference on Internet Measurement.New York：ACM Press，2006：165-176.

[2]Hohn N，Veitch D.Inverting sampled traffic[J].IEEE/ACM Transactions on Networking（TON），2006，14（1）：68-80.

[3]Duffield N，Lund C，Thorup M.Properties and prediction of flow statistics from sampled packet streams[C]//Proc of the 2nd ACM SIGCOMM Workshop on Internet Measurement.New York：ACM Press，2002：159-171.

[4]Duffield N，Lund C，Thorup M.Estimating flow distributions from sampled flow statistics[J].IEEE/ACM Transactions on Networking（TON），2005，13（5）：933-946.

[5]Estan C，Keys K，Moore D，et al.Building a better netflow[C]//Proc of the 2004 Conference on Applications，Technologies，Architectures，and Protocols for Computer Communications（SIGCOMM’04）.New York：ACM Press，2004：245-256.

[6]Choi B Y，Zhang Z L.Adaptive random sampling for traffic volume measurement[J].Telecommunication Systems，2007，34（1/2）：71-80.

[7]Hu C，Wang S，Tian J，et al.Accurate and efficient traffic monitoring using adaptive non-linear sampling method[C]// The27thConferenceonComputer Communications，INFOCOM 2008，Phoenix，2008：26-30.

[8]潘喬，裴昌幸.一種新的可變采樣率的網絡流量抽樣測量方法[J].西安電子科技大學學報：自然科學版，2008，35（6）：968-972.

[9]王丹，謝高崗，楊建華，等.一種改進的自適應流量采樣方法[J].計算機研究與發展，2007，44（8）：1339-1347.

[10]Ali S，Haq I U，Rizvi S，et al.On mitigating samplinginduced accuracy loss in traffic anomaly detection systems[J].ACM SIGCOMM Computer Communication Review，2010，40（3）：4-16.

[11]Estan C，Varghese G.New directions in traffic measurement and accounting[J].ACM SIGCOMM Computer Communication Review，2002，32：323-336.

[12]Yang L，Michailidis G.Sampled based estimation of network traffic flow characteristics[C]//The 26th IEEE International Conference on Computer Communications，INFOCOM 2007，Alaska，2007：1775-1783.

[13]Duffield N.Sampling for passive internet measurement：a review[J].Statistical Science，2004，19：472-498.

[14]Androulidakis G，Papavassiliou S.Improving network anomaly detection via selective flow-based sampling[J]. IET Communications，2008，2（3）：399-409.

[15]Rehak M，Pechoucek M，Bartos K，et al.CAMNEP：an intrusion detection system for high-speed networks[J]. Progress in Informatics and Computing，2008（5）：65-74.

LIU Chenguang1,LIU Weihui2,YAN Liyan1

1.Center of Information&Network Technology,Jiangsu Normal University,Xuzhou,Jiangsu 221116,China
2.Library,Jiangsu Normal University,Xuzhou,Jiangsu 221116,China

Sampling is a major method in data acquisition in network anomaly detection.But different duration of flow, different sizes of the packet and different frequency of abnormal flow have brought about measurable negative impact on the accurate sampling.For this,this paper presents a feature perception adaptive sampling technique which can adjust the sampling rate when context is changing.Compared the adaptive sampling with the random sampling and the choice sampling,it studies the technology on retaining network feature in network behavior analysis system.The experimental result shows that the method is superior to others in retained network feature and quality assessment of anomaly detection.

anomaly detection;sampling technology;feature perception;NetFlow protocol;sampling model;sampling algorithm

采樣是網絡異常檢測中數據采集的主要方法。而網絡流的持續時間、數據包的大小、異常流量出現的頻率等都在不斷變化，給準確的采樣帶來很多負面的影響。為此，提出了特征感知的自適應采樣技術，在流量特征不斷變化的情況下可以自動調整采樣率，并將它和隨機采樣技術、選擇采樣技術進行比較，研究了這些采樣技術在網絡行為分析系統中保留網絡特征的能力，實驗結果表明此方法在保留網絡特征和異常檢測質量評估中，明顯優于其他方法。

異常檢測；采樣技術；特征感知；NetFlow協議；采樣模型；采樣算法

A

TP393

10.3778/j.issn.1002-8331.1212-0402

LIU Chenguang,LIU Weihui,YAN Liyan.Feature perception adaptive flow sampling method based on NetFlow. Computer Engineering and Applications,2014,50（24）：104-108.

江蘇師范大學校自然科學基金資助項目（No.10XLB20）。

劉晨光（1978—），男，工程師，主研方向：網絡安全；劉偉輝，講師；燕麗艷，實驗師。E-mail：liucg@jsnu.edu.cn

2013-01-04

2013-02-28

1002-8331（2014）24-0104-05

CNKI網絡優先出版：2013-03-26，http∶//www.cnki.net/kcms/detail/11.2127.TP.20130326.1042.019.html