城域網(wǎng)流量采集系統(tǒng)解耦化研究及應(yīng)用

賈照娜，朱友芬，馮銘能，王 欣（.中訊郵電咨詢(xún)?cè)O(shè)計(jì)院有限公司廣東分公司，廣東廣州5067；.中國(guó)聯(lián)通廣東分公司，廣東廣州5067）

1 概述

城域網(wǎng)流量采集系統(tǒng)是國(guó)內(nèi)外各大運(yùn)營(yíng)商數(shù)據(jù)網(wǎng)流量采集的主要系統(tǒng)，它可實(shí)現(xiàn)全網(wǎng)流量采集、流量流向分析、異常流量檢測(cè)和告警等功能。根據(jù)工信部要求，此系統(tǒng)必須建設(shè)，且隨著城域網(wǎng)流量的增加，必須進(jìn)行同步擴(kuò)容。

目前全國(guó)大部分運(yùn)營(yíng)商的流量采集系統(tǒng)是由國(guó)外專(zhuān)用軟硬一體化設(shè)備實(shí)現(xiàn)，設(shè)備供應(yīng)商少、可選擇范圍小、價(jià)格昂貴且維護(hù)力量薄弱。隨著寬帶戰(zhàn)略的推進(jìn)，城域網(wǎng)流量年增長(zhǎng)率達(dá)到30%，流量采集系統(tǒng)的建設(shè)成本越來(lái)越高，而運(yùn)營(yíng)商卻無(wú)直接的經(jīng)濟(jì)收益。廣東聯(lián)通現(xiàn)有的流量采集系統(tǒng)由國(guó)外專(zhuān)用軟硬一體化設(shè)備件實(shí)現(xiàn)，其設(shè)備能力已遠(yuǎn)遠(yuǎn)達(dá)不到考核要求。

基于此需求，本文提出一種軟硬件解耦解決方案，采用X86通用服務(wù)器與純軟件方式結(jié)合，實(shí)現(xiàn)城域網(wǎng)FLOW流量數(shù)據(jù)采集，并通過(guò)大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)各類(lèi)應(yīng)用分析。在原有功能基礎(chǔ)上，結(jié)合DNS日志，擴(kuò)展實(shí)現(xiàn)CDN流量流向分析。該方案中的存儲(chǔ)及分析平臺(tái)利用大數(shù)據(jù)技術(shù)有效解決系統(tǒng)性能及功能的可擴(kuò)展性問(wèn)題，大大降低流量采集系統(tǒng)的建設(shè)成本。隨著業(yè)務(wù)需求的增長(zhǎng)，通過(guò)增加通用服務(wù)器即可實(shí)現(xiàn)性能的平滑擴(kuò)充，通過(guò)增加軟件模塊即可實(shí)現(xiàn)功能的靈活擴(kuò)展。

2 基于軟硬件解耦的城域網(wǎng)流量采集系統(tǒng)

2.1 系統(tǒng)架構(gòu)

軟硬件解耦流量采集系統(tǒng)使用X86通用服務(wù)器及LINUX操作系統(tǒng)，采用純軟件方式實(shí)現(xiàn)對(duì)城域網(wǎng)FLOW流量數(shù)據(jù)的高性能采集，同時(shí)可實(shí)現(xiàn)對(duì)DNS、BGP、SNMP等其他數(shù)據(jù)源的數(shù)據(jù)采集。經(jīng)過(guò)論證分析及測(cè)試，廣東聯(lián)通采用的系統(tǒng)總體架構(gòu)如圖1所示，數(shù)據(jù)采集完成后，通過(guò)HADOOP大數(shù)據(jù)平臺(tái)進(jìn)行存儲(chǔ)及多維度分析，然后通過(guò)數(shù)據(jù)處理平臺(tái)進(jìn)行融合分析后，實(shí)現(xiàn)對(duì)應(yīng)用功能的高度支撐。

圖1 系統(tǒng)總體架構(gòu)圖

2.2 部署方案

廣東聯(lián)通城域網(wǎng)流量采集系統(tǒng)部署方案如圖2所示，分為流量采集服務(wù)器與數(shù)據(jù)分析服務(wù)器2部分，其中流量采集服務(wù)器主要負(fù)責(zé)采集數(shù)據(jù)，數(shù)據(jù)分析服務(wù)器主要負(fù)責(zé)分析數(shù)據(jù)并將結(jié)果呈現(xiàn)出來(lái)。

目前廣東聯(lián)通的數(shù)據(jù)采集接口包括FLOW流量數(shù)據(jù)采集接口、SNMP管理信息采集接口、BGP路由信息采集接口、DNS解析日志采集接口，也可根據(jù)業(yè)務(wù)需求開(kāi)通與號(hào)線、IDC用戶的數(shù)據(jù)采集接口。

3 流量采集實(shí)現(xiàn)技術(shù)手段

3.1 軟硬件解耦

在X86通用服務(wù)器+LINUX操作系統(tǒng)的平臺(tái)上部署流量采集軟件，替代傳統(tǒng)的軟硬一體化設(shè)備，以實(shí)現(xiàn)城域網(wǎng)流量數(shù)據(jù)的高性能采集。

采集流程如圖3所示，城域網(wǎng)設(shè)備在轉(zhuǎn)發(fā)數(shù)據(jù)流的同時(shí)，根據(jù)設(shè)備的配置，實(shí)現(xiàn)對(duì)數(shù)據(jù)流的采樣、統(tǒng)計(jì)，生成FLOW流量日志，并通過(guò)通信協(xié)議將FLOW流量日志發(fā)送至流量采集系統(tǒng)；根據(jù)城域網(wǎng)設(shè)備廠商及配置的不同，F(xiàn)LOW日志傳送協(xié)議分為NETFLOW V5、NETFLOW V9、NETSTREAM、CFLOW/JFLOW；流量采集軟件完成協(xié)議適配、FLOW日志字段解析并生成文本文件傳送至大數(shù)據(jù)平臺(tái)，由大數(shù)據(jù)平臺(tái)完成后續(xù)的應(yīng)用分析。

圖2 廣東聯(lián)通流量采集系統(tǒng)部署方案

圖3 城域網(wǎng)FLOW流量采集方案

3.2 大數(shù)據(jù)存儲(chǔ)與分析

大數(shù)據(jù)存儲(chǔ)與分析平臺(tái)采用“HADOOP+SPARK+HBASE”框架，如圖4所示，F(xiàn)LOW數(shù)據(jù)、DNS日志分別通過(guò)數(shù)據(jù)采集接口解析后保存在HDFS分布式文件系統(tǒng)，BGP路由數(shù)據(jù)使用QUAGGA并通過(guò)IBGP協(xié)議采集并保存至MySQL數(shù)據(jù)庫(kù)。所有數(shù)據(jù)通過(guò)SPARK分布式運(yùn)算平臺(tái)進(jìn)行分析后，保存結(jié)果至HBase數(shù)據(jù)庫(kù)及MySQL數(shù)據(jù)庫(kù)。

圖4 大數(shù)據(jù)存儲(chǔ)及分析平臺(tái)

通過(guò)分布式數(shù)據(jù)存儲(chǔ)和實(shí)時(shí)處理，系統(tǒng)性能和功能都具有高度的可擴(kuò)展性。

4 應(yīng)用場(chǎng)景

針對(duì)運(yùn)營(yíng)商網(wǎng)絡(luò)中使用獨(dú)立服務(wù)器資源的CP/SP/CDN服務(wù)商，結(jié)合DNS日志、FLOW流量數(shù)據(jù)、BGP路由數(shù)據(jù)，分析其特定區(qū)域的服務(wù)器流量流向分布或特定區(qū)域的客戶至指定CP/SP/CDN流量流向分布，評(píng)估流量本地化效果，或者將分析結(jié)果作為CP/SP/CDN流量調(diào)度優(yōu)化的依據(jù)。

在實(shí)際網(wǎng)絡(luò)應(yīng)用中，當(dāng)某城域網(wǎng)用戶持續(xù)穩(wěn)定地訪問(wèn)某熱點(diǎn)資源，而該熱點(diǎn)資源又不在本城域網(wǎng)內(nèi)時(shí)，則可以通過(guò)CDN的方式將該熱點(diǎn)資源引入本城域網(wǎng)。考慮到業(yè)務(wù)需求和建設(shè)成本，初期可將CDN服務(wù)器設(shè)置在本城域網(wǎng)核心節(jié)點(diǎn)，并上聯(lián)至CR，后續(xù)可根據(jù)業(yè)務(wù)發(fā)展情況、網(wǎng)絡(luò)和機(jī)房資源，將CDN下沉至匯聚機(jī)房，并上聯(lián)至BAS，如圖5所示。這樣一方面可以減少業(yè)務(wù)流量傳輸路徑，減少丟包、時(shí)延，實(shí)現(xiàn)用戶就近訪問(wèn)，保證服務(wù)質(zhì)量，提升用戶感知；另一方面可大幅減輕城域網(wǎng)和核心CDN節(jié)點(diǎn)的壓力，有效支撐網(wǎng)絡(luò)規(guī)劃與優(yōu)化。

5 結(jié)束語(yǔ)

廣東聯(lián)通率先使用X86通用服務(wù)器和純軟件相結(jié)合的城域網(wǎng)流量采集系統(tǒng)，該方案為行業(yè)內(nèi)首創(chuàng)，打破了國(guó)外技術(shù)壟斷，進(jìn)一步提高了國(guó)家信息安全的可靠性，推動(dòng)了國(guó)內(nèi)企業(yè)在網(wǎng)絡(luò)流量分析領(lǐng)域的發(fā)展。軟硬件解耦后的城域網(wǎng)流量采集系統(tǒng)在性能、成本和擴(kuò)展性方面明顯優(yōu)于傳統(tǒng)專(zhuān)用系統(tǒng)，并可有效支撐面向應(yīng)用的城域網(wǎng)流量多維度分析。

圖5 CDN節(jié)點(diǎn)下沉示意圖