基于多種流量采集技術的統一流量管理平臺

中國南方電網電力調度控制中心 | 張思拓 吳柳

中國能源建設集團廣東省電力設計研究院 | 李昭樺

基于多種流量采集技術的統一流量管理平臺

中國南方電網電力調度控制中心 | 張思拓 吳柳

中國能源建設集團廣東省電力設計研究院 | 李昭樺

統一流量管理平臺可以支持多種流量采集技術，有利于在整個網絡中，根據鏈路的重要等級細化管理技術手段，進而節約成本。

數據網絡的SNMP、NetFlow/NetStream、流量探針等分析系統只對各自采集的信息進行分析，無法實現對多種流量采集系統的數據進行統一和關聯分析，提高流量分析的深度和精確度。本文提出一種統一流量管理平臺，通過多種流量采集技術的采集數據源，進行綜合分析和管理，提高流量分析的精確度，便于提高運維效率。

流量采集技術主要分為以下三種：一是SNMP技術采集，網絡設備的采集技術，硬件探針進行流量采集。3種流量采集技術的對比分析如下。

應用場景分析

統一流量管理平臺可以支持多種流量采集技術，有利于在整個網絡中，根據鏈路的重要等級細化管理技術手段，節約成本。

根據表1的分析，硬件探針支持逐個數據包抓取，分析精細程度，但是硬件探針設備造價高，考慮經濟成本，沒有必要使用探針采集太多鏈路，可關注核心鏈路；對于接入鏈路，可根據設備檔次，在保證網絡設備性能的前提下，開啟Netflow/Netstream功能進行采集，或者采用SNMP進行采集。這樣，對于整個網絡，針對不同的應用場合采用對應的流量采集技術，做到精細化管理，節約管理成本。

圖1 流量采集應用示意圖

統一流量管理平臺系統設計

本文所提出的統一流量管理平臺系統，流量采集源適用于SNMP、NetFlow /NetStream、硬件探針三種數據源，系統功能涵蓋流量數據的采集、統計、分析。

基于SNMP數據的流量統計可實現功能：網絡設備所有物理端口的流量速率、字節率、包速率、帶寬利用率。

表1 流量采集技術比較分析表

基于NetFlow/NetStream數據的流量統計可實現的功能：網絡設備固定物理端口的應用流量速率、字節率、帶寬利用率、應用成分占。統計維度可以分為IP網段、IP通信對、單個IP。

基于探針數據的流量統計可以實現的功能：網絡設備所有物理端口的流量速率、字節率、包速率、包種類、包尺寸分布、帶寬利用率。

網絡設備固定物理端口的應用流量速率、字節率、帶寬利用率、應用成分占。統計維度可以分為：IP網段、IP通信對、單個IP。

網絡設備邏輯端口（例如MPLS-VPN邏輯接口）的應用流量速率、字節率、帶寬利用率、應用成分占。統計維度可以分為：IP網段、IP通信對、單個IP。

基于SNMP方式的流量采集流程：第一，SNMP數據解析程序定期向網絡設備發起snmp GET請求，讀取網絡設備的SNMP MIB管理信息中的接口流量信息；第二，網絡設備接收到snmp GET請求后，根據請求的內容，將相應的信息返回給SNMP數據解析程序；第三，解析程序將返回SNMP數據包進行解析，并將解析后的內容插入到數據庫中的接口流量表中；第四，當接口流量數據插入完成后，程序會將更新的內容上報給流量管理模塊相對應的功能界面上。

基于NetFlow/NetStream方式的流量采集：第一，首先在網絡設備物理接口上開啟NetFlow/NetStream功能，開啟該功能后，設備會基于該接口統計流量中具體應用流量以及流量所對應的IP地址，并將統計結果暫存在NetFlow/NetStream緩存中，NetFlow/NetStream定期會將緩存中的統計結果封裝成NetFlow/NetStream數據包的形式發送給NetFlow/NetStream包解析器；第二，NetFlow/NetStream包解析器接收到NetFlow/NetStream數據包時，根據NetFlow/NetStream協議格式規范進行解析，并將解析的結果插入到NetFlow /NetStream數據庫中的接口應用流量表；第三，當接口流量數據插入完成后，程序會將更新的內容上報給流量管理模塊相對應的功能界面上。

基于探針鏡像方式流量采集流程：首先，在網絡設備上開啟一個鏡像端口，把所需監控物理接口中的所有原始流量復制一份到鏡像端口，同時鏡像端口連接到硬件探針的數據捕獲端口上。

第二步，硬件探針實時接收鏡像端口輸出的原始數據包。硬件探針程序分兩個進程處理原始數據包，一是實時數據包存儲進程，二是實時數據包分析進程。硬件探針定期將緩存的統計數據發送給探針管理服務器，并由探針管理服務器統一展現。

第三步，探針管理服務器通過API接口向規約轉換器發送所有的統計數據，規約轉換器根據探針管理服務器發送數據進行數據規整。

第四步，經過規約轉換器數據規整后，按照平臺要求將固定格式的統計結果插入給探針數據庫中的接口應用流量表。

第五步，當接口流量數據插入完成后，程序會將更新的內容上報給流量管理模塊相對應的功能界面上。