網絡數據流量分析研究

河南中煙工業有限責任公司許昌卷煙廠 王新峰

?

網絡數據流量分析研究

河南中煙工業有限責任公司許昌卷煙廠 王新峰

【摘要】隨著現代卷煙工業園區的不斷建設與發展，廠區的網絡結構也采取了最新的網絡技術，整個廠區的網絡區域分為：核心區、管理業務服務器區、生產業務服務器區、互聯網區、廣域網區、安防網區和生產網區，其中生產網區下面又接入了：制絲中控網絡、卷包中控網絡、生產視頻監控、動力能源和物流自控等網絡區域。整個廠區的網絡規模復雜性比較高，為了保障業務更好的運行，對網絡的流量分析提出了更高的要求。

【關鍵詞】網絡流量；趨勢分析；異常報警；信息審計

1 項目目標

流量分析是一個有助于網絡管理者進行網絡規劃、網絡優化、網絡監控、流量趨勢分析等工作的工具，通過對網絡信息流（數據流）的采集并分析可幫助網絡管理者得到網絡流量的準確信息，為網絡的正常、穩定、可靠運行提供保障。為廠數據采集系統、MES系統等業務系統提供可靠的網絡運維環境，保障煙廠的生產連續性。本次主要是幫助網絡管理人員了解企業內部網絡之運行狀況，及時發現并解決網絡中的性能瓶頸問題、網絡異?，F象，也能方便網絡管理員進行網絡優化、網絡設備投資、網絡帶寬優化等的參考，并方便網絡管理員及時解決網絡異常問題。

2 技術特點

2.1 高效數據采集機制

綜合采用SNMP、SPAN數據采集技術和帶外數據傳輸機制，能夠透明部署在核心鏈路上，對原有系統的穩定性和性能無負面影響。

2.2 良好的兼容性和擴展能力

基于行業標準的數據采集協議和Collector+Controller的方案架構，能夠提供對不同品牌設備良好的兼容能力，并可以較小代價實現系統的擴充升級，有效保護既有投資。

2.3 異常行為判別

實時檢測因大量數據包的泛濫式攻擊造成的網絡流量異常，包括網絡中的DoS/DDoS攻擊、蠕蟲病毒、大量的垃圾郵件等異常流量。

2.4 異常行為溯源

通過異常行為特征信息和IP路由、端口CAM信息關聯分析，可將異常流量源頭準確定位到網元設備物理端口級別上，為實施針對性的防護響應提供明確指引。

2.5 應用層攻擊檢測

采用數據流智能重組、特征檢測、協議分析相結合的檢測方法，根據強大的攻擊特征庫檢測各種攻擊，并提供攻擊報告和補救建議措施。

2.6 通信服務質量實時監控

通過對網絡設備和網絡流量的實時監控，提供多種詳細的設備、系統、帶寬資源占用情況和服務進程響應情況的圖形和報表顯示，便于管理員了解和掌握全網運行狀況和通信服務質量，保證關鍵業務安全穩定的正常運行。

2.7 攻擊實時響應

對于檢測到的異常流量，將通Syslog、Email、SNMP Trap等進行報警，并可將異常流量隔離進行重點監控和深度檢測，如調整ACL、黑洞路由、防火墻、防垃圾郵件系統等安全設備對各種異常流量進行防御等。

3 實施效果

系統提供萬兆網絡流量數據實時采集、實時分析、高效存儲，提供歷史數據分析以及簡單高效的數據挖掘技術，幫助用戶重現發生故障時的歷史網絡通訊狀態，快速分析當時的網絡故障原因。同時，系統能夠對挖掘的網絡數據進行精細化的二次分析，實現集中、高效的網絡管理需求。

3.1 實時監控

系統對關鍵網絡鏈路提供持續的圖形化流量監控功能，能夠對流量數據進行長期的統計分析，主動分析網絡和應用運行規律、網絡行為規律，以及運行的趨勢，從而幫助用戶確立網絡運行的基線，便于在網絡日常運行過程中發現異常情況。

3.1.1 實時流量監控

系統采用全新的圖表控件，直觀的展現網絡流量運行趨勢。趨勢圖是以時間為單位，能夠對各種網絡流量參數進行監控和趨勢展現，包括利用率（總利用率、進網利用率和出網利用率）、數據包（總數據包數、進網數據包數和出網數據包數）、總流量（總流量、進網流量和出網流量）和TCP數據包（TCP同步包和TCP同步確認包）。

3.1.2 異常流量報警

系統可實時進行網絡異常流量監控，對于異常流量，產生告警信息。同時觸發的警報信息可以通過E-mail發送給指定人員，或者是發送到指定的SYSLOG服務器。

3.2 流量趨勢預警

3.2.1 基于流分析

系統基于流的流量分析功能，可通過旁路抓包采集數據，也提供收集Flow信息的能力；可以對接口、傳輸協議、應用協議、源目的地址、源目的端口、會話進行統計分析，可以多條件組合分析；支持流量趨勢分析；支持流量分析的下鉆與上卷；可對數據包的字節數、包個數、傳輸速率進行統計、分析、告警。

系統可對設備總流量、接口流量、上下行流量、接口進出流量進行統計分析，包括流量字節數、包個數、速率等，用戶可自定義查詢時間段和查詢條件。

可基于流量某種屬性進行TOP排名，以該屬性為出發點進行多次下鉆，最終定位到最細粒度（源IP、目的IP、應用協議、傳輸協議）的會話流量字節數、包個數、歷史趨勢圖等。

3.2.2 端口流量分析

端口流量分析可以統計TCP端口和UDP端口的流量信息。通過數據挖掘功能，可以快速挖掘到與該端口相關的客戶端IP、TCP會話/UDP會話和服務訪問記錄。

3.3 數據流中的攻擊檢測功能

以數據流為對象，通過特征檢測、協議分析相結合的檢測方法，檢測網絡流量中的各種數據流攻擊。并提供攻擊報告和建議措施，包括各類攻擊的詳細內容和可采取的安全措施。系統支持自定義攻擊事件，用戶還可以基于每個規則制定不同的響應措施。

3.3.1 入侵檢測

系統內置入侵檢測規則庫，可自動識別、監測蠕蟲攻擊、木馬攻擊、SQL注入、RPC調用、溢出攻擊等檢測，用戶也可以自定義安全行為特征，手動更新規則庫。

3.3.2 DDOS檢測

系統可檢測FLOOD攻擊、異常包攻擊，對產生的攻擊進行日志留存、告警處理，對于用戶重點關注的設備，如服務器、路由器等，如被DDOS攻擊，可直接查看當前的資源耗用情況。

3.4 通信行為分析

3.4.1 應用監控分析

系統支持對用戶指定的自定義應用進行實時監控和質量分析。實時監控界面中根據刷新頻率顯示應用的實時數據、趨勢圖、TOP網段、TOP主機、警報日志和矩陣信息。質量分析界面中顯示了選中時間段內，該應用的統計數據信息，統計視圖包括客戶端、服務器、網段統計、IP會話、TCP會話和警報日志。

3.4.2 應用交互分析

系統支持對用戶指定的自定義應用進行交互分析。通過應用交互分析，可以直觀的看到該應用交互處理數量、交互處理時間和交互窗臺趨勢圖，以及各種流量參數、會話參數、交互統計參數和交互日志等信息。

3.5 通信服務質量實時監控

可自動發現網絡設備，可對網絡設備進行分類，如交換機、路由器、服務器等，可針對客戶重點關注的網絡設備，如服務器、交換機等，實時監控設備狀態，包括網絡設備的鏈路連接狀態、端口啟停、開啟服務、CPU、內存、存儲、流量等狀態；系統可結合設備的相關告警信息進行整個設備的風險評估分析。

3.6 網絡信息審計

3.6.1 時間窗口

網絡流量趨勢可以直觀的反應出網絡通訊的正常與否。系統以時間為單位，直觀的展現出該時段的流量趨勢，用戶可自由的放大或縮小時間窗口。系統提供4分鐘、20分鐘、1小時、4小時、10天等時間窗口供用戶選擇，配合時間選擇器的使用，快速檢索到異常數據。

3.6.2 數據存儲

系統最大支持萬兆處理性能，實現骨干鏈路大流量的線速分析能力。同時，系統支持多網卡捕捉，同時匯聚分析多路網絡流量。

系統具備長時間、大容量的數據存儲能力，能長期實時保存捕獲的原始數據包、數據流、網絡會話、應用日志等各種統計數據。同時具備快速的數據檢索能力，能夠方便的對已發生的網絡行為、應用數據和主機數據進行回溯分析，用戶可以隨時分類查看及調用任意時間段的數據。

當發現問題時，提供一定時間范圍內的回溯分析，為迅速定位問題發生原因提供了更全面的分析依據，同時為網絡安全提供了強有力的數據分析保障。

?數據包存儲

數據包是網絡通訊最真實、最原始的數據，系統支持全千兆流量的數據包長期存儲功能，全面保存所有通訊的數據包。同時，系統具備靈活的擴展性，可以通過增加服務器的存儲空間以滿足存儲容量增加的需求。

?網絡會話存儲

網絡通訊會話是分析網絡問題的關鍵數據之一，通過對網絡會話的存儲，用戶可以查看和了解任意時間的網絡會話信息，及時發現異常的通訊會話，快速查找各種網絡問題。

?統計數據存儲

系統實時分析、統計和存儲各種網絡通訊數據，如協議統計、總流量、廣播/組播流量、上行/下行流量、數據包、利用率等多種網絡數據，幫助用戶快速了解和掌握網絡運行狀態，及時發現異常數據。

3.6.3 數據挖掘

系統支持快速、易用的數據挖掘功能，能引導用戶從不同的視角，不同的層次快速挖掘所需要的數據，使用戶在海量的網絡數據中快速查找到需要的數據。

?簡單易用的挖掘分析

?多角度，多層次的挖掘分析

3.6.4 專家分析

在數據挖掘過程中，可以對選取歷史時間段時所得到的數據，進行專家分析。數據包解碼精細分析提供詳細、直觀的數據包解碼分析視圖。為用戶判斷分析網絡問題和應用問題提供最可靠的數據依據。

?數據流分析

?日志分析

?診斷

3.7 報表與告警

3.7.1 報表系統支持報表功能，系統提供的報表包括全局流量報表、流量報表、IP地址流量報表、IP地址應用報表、MAC地址流量報表、應用質量分析報表、Top應用報表、Top主機報表、Top內網主機報表、Top網段報表、警報統計報表，支持的報表格式包括：Pdf、Excel、Csv、Html。

3.7.2 告警

系統可將異常流量告警、入侵檢測告警、DDOS攻擊告警、設備性能告警等信息通過多種方法外發，通知管理員。

告警方式包括：Syslog告警、SNMP Trap告警、郵件告警、防火墻聯動等。

4 創新研究與分析

4.1 歷史數據回溯

在傳統的網絡管理中，當網絡中發現問題或被報告出現問題時，由于沒有保存當時的數據，往往錯過了最佳分析時機，不能得到有效的分析數據。

網絡流量管理回溯分析系統有效的解決了這一問題。系統利用存儲的數據，能夠再現歷史故障現象，包括故障產生時相關的異常信息，對稍縱即逝的問題進行精細重現，幫助用戶快速發現并解決網絡問題。如關鍵網絡業務在某個時段間歇性出現問題時，可直接將該時段的通訊數據導出進行分析，快速分析定位問題產生的原因。

4.2 基線學習技術

系統可基于正常網絡流量進行基線自學習，學習出正常網絡情況下，單個主機被訪問的數據包個數速率、主機之間的數據包傳輸個數速率，該基線值可用于異常流量檢測、DDOS檢測等。

4.3 虛擬鏈路分析技術

系統支持創建虛擬鏈路。用戶可以根據需要創建VLAN類型或者MPLS VPN類型的虛擬鏈路。在創建虛擬鏈路時，同一條鏈路中的虛擬接口類型必須一致。

4.4 多段分析技術

多段分析是針對同一條會話在兩個或兩個以上采集點上獲得的數據進行對比和關聯分析，并提供直觀的分析界面，幫助用戶快速定位網絡中的故障點。

多段分析包括概要分析和詳細分析，在詳細分析界面中，還可以查看單個數據包的解碼信息。

參考文獻

[1]Flow-Scan網站:http://www.caida.org/tools/utilities/flowscan/.

[2]韓春靜,唐海娜,李俊.IP網絡協議分析儀的設計與實現[J].計算機工程與應用,2005.

[3]宮一鳴.利用NetFlow在大規模網絡進行蠕蟲和網絡異常行為監測[J].

[4]Lincoln D.Stein著.王超,劉云譯,Perl網絡編程[M].北京科海電子出版社,2002.