寬帶流量分析方法探討

林　波

濟南市聯通公司，山東濟南　250002

寬帶流量分析方法探討

林波

濟南市聯通公司，山東濟南250002

網絡流量的具體內容通常不可知，通過網絡流量分析可以獲得網絡流量的各項統計數據，發現流量的訪問規律，結合網絡管理的各項手段發現網絡中存在的問題或流量可能對網絡產生的不良影響，并為下一步制定或修正網管策略提供依據。

流量；分類；檢測；統計；分析

近年來寬帶網絡一直保持高速增長，光纖到桌面已基本實現，但網絡中巨大的流量會對網絡產生怎樣的影響，這些流量是如何構成的，始終是一個問題。通過對寬帶流量的分析我們可以知道流量的源頭和目的、知道協議分布、知道端口情況、知道通信經營指標等、當然最重要的還有數據的安全性。

不同的網絡，不同觀察點，不同時間的網絡流量因網絡規模，業務種類，用戶構成和使用習慣的不同而不同，甚至受突發事件的影響，網絡流量在體量規模，構成成分和比例上都有所不同。一個好的流量分類分析系統，應滿足部署位置上的可移植性，流量規模的可伸縮性，時間演進的自適應性。這時系統不僅需要采用先進的分類技術，也需要代表性的訓練數據集來確定系統運行參數。數據集主要采用2種方式：PCAP格式和NETFLOW格式，前者捕獲的是包級記錄，后者則是關于流級得統計信息記錄。

寬帶流量的分析和檢測首先要進行流量的采集，這項工作可以通過交換機或路由器的鏡像端口實現，也可以通過光纜分光的方式實現。對捕獲的數據進行計算和統計，并把統計數據寫入數據庫，定期形成網絡性能和流量參數的報表，用作分析的依據，在形成足夠數量的報表數據后，可以分析數據和系統性能變化的趨勢，判斷網絡是否存在瓶頸，并依據經驗，形成經驗數據庫，使網管系統具備學習的基礎和能力。在出現告警或異常情況時，可用來分析對比，判斷是否出現了網絡的攻擊和入侵，判斷惡意數據出現的源頭和特征，足夠數量的數據報表也可以指導各類應急預案的制定，在出現異常情況時可按照事先擬定的規則進行處理。

對于寬帶流量的分析和分類，系統需要進行統計模型的學習，統計模型的學習可以分為監督學習和非監督學習方法。所謂的監督學習是需要使用已經標注過的數據集合作為經驗知識，對寬帶流量的參數和算法進行訓練；而非監督學習則不需要使用已經標注過的數據集進行訓練，只是根據相關算法對寬帶流量集進行匯聚。對數據集的訓練過程中需要由經驗豐富的專家參與，并進行大量的基礎數據分析工作，網絡經驗數據集是流量分析的重要構成因素。在實際分析過程中，由于寬帶核心網絡的流量巨大，所以高性能的預處理路由器和大規模刀片服務器必不可少。為了提高分析效率，可以只分析單向流量，并且在預處理過程中將IP數據報文的載荷去掉。但由于各種網絡協議不斷演進，加密的流量不斷增加，各種新應用不斷出現，網絡數據集的標注也變得越來越困難。

網絡流量的分類和分析中對于標準協議的分析最為準確，可根據TIP/IP協議簇中標準的服務端口號對流量報文進行匹配，并根據端口號的不同將流量對應為不同的應用。非標準協議可以使用DPI（深度包檢測）在應用層對流量進行特征字符串的分析匹配，由于不同的應用在TCP/UDP的數據包中包含特征字符串，因此在掌握的不同網絡應用的特征字符串后，可以將網絡流量精確的分類和匹配，缺點是需要消耗較多的系統資源。但很多網絡應用的特征字符串難找易變，代表性差及加密度高等問題，也導致誤檢率和檢全率下降。流量分析監控和網絡應用的發展一直是不斷演變的矛盾。

基于協議的分類方法需要分析每種協議的特定的行為特性，標準的通信協議易于掌握，私有協議比如P2P或VOIP等基于軟硬件客戶端的應用則會有較多的變化，或進行加密使用就會影響流量分析的效果，甚至無法識別。有時同一應用軟件的不同版本間也會出現不同的流量特征，即版本的變化會造成協議特征的變化。另外，網絡中的單向流量、數據的時延、抖動都會對流量分析的算法產生影響。以上這些因素都是流量分析的難點和痛點。

運營商的骨干網絡逐漸向扁平化發展，網絡出口的數量增加和結構日趨復雜，及動態路由算法的大量使用，使得網絡流量在多條鏈路或多個不同ISP之間動態調配，導致在某個觀察點只能得到部分流量，這對于依賴雙向流量特征的分析方法無法實施。基于P2P的應用目前也在不斷擴大，P2P的發展使得應用和傳輸分離，應用端點和傳輸分離，打破了原有的B/S或C/S的傳統傳輸模式，多源頭并發傳輸使得流量特征模糊化，使得數據采集的有效性無法保障。還有一些網絡應用為了逃避被檢測到，常常采用已知協議的方法，例如FTP、HTTP、POP3等，由于IP地址的區分，冒用已知協議并不會影響正常網絡通信，但給流量分析帶來很大難度。

寬帶網絡流量分析不僅可以使我們可以清楚的知道網絡流量的內容，還可以為網絡建設、網絡優化、運營管理、網絡安全保障提供依據和手段。同時，網絡應用在不斷推陳出新，各種私有化的協議和加密方法不斷出現，且由于用戶接入帶寬的不斷提高，核心網流量呈幾何速度增長，這些因素在客觀上也大大增加了網絡流量分析的難度和成本。現有的網絡流量分析再次面臨挑戰，網絡流量的分析研究工作需要不斷深入進行。

［1］Nader F.Mir.計算機與通信網絡［M］.潘淑文，等，譯.北京：中國電力出版社，2010，1.

［2］余浩，徐明偉.P2P流檢測技術研究綜述［J］.清華大學學報，2009（4）：610-620.

［3］彭蕓，劉瓊.Internet流分類方法的比較研究［J］.計算機科學，2007，34（8）：58-61.

［4］汪立東，錢麗萍.網絡流量分類方法與實踐［M］.北京：人民郵電出版社，2013.

TN91

A

1674-6708（2016）166-00104-01

林波，濟南市聯通公司。