運營商新型大數據感知分析系統研究與應用

班瑞 郝宇飛 張振超

中訊郵電咨詢設計院有限公司

0 引言

大數據技術作為近年的熱點應用技術，日趨成熟，行業應用越來越廣泛，用數據說話、用數據決策成為趨勢，幫助了眾多企業、政府“有的放矢”、提高效率。運營商網絡主要承載寬帶、專線、移動網、IDC（Internet data center，互聯網數據中心）等業務，如何挖掘網絡數據、用戶和業務數據的價值，提升網絡規劃、建設和優化的精準性，保障用戶體驗，對于運營商品牌塑造和提高市場競爭力至關重要。

目前，運營商IP業務支撐系統建設相對完善，網絡側、用戶側和業務側的數據采集手段豐富，但分析手段較為單一。分析系統通常為少部分省份單獨建設，無法以客戶視角形成全程全網分析。同時受限于技術手段，大數據感知分析能力較弱，多數據關聯挖掘分析能力有待加強。

因此，為滿足客戶端到端感知分析的需求，支撐運營商網絡精準規劃和建設，提升網絡運營能力，需建設一種具備全國互聯網業務和流量實時感知分析能力的新型分析系統。

1 數據采集現狀及存在問題

運營商已采集的固網側數據包括EDPI（Elastic Deep Packet Inspect，靈活包檢測技術）日志、AAA（Authentication、Authorization、Accounting，驗證賬號）日志、DNS（Domain Name System，域 名 系 統）日 志、NAT(Network Address Translation，網 絡 地 址 轉 換）日 志、NETFLOW日 志、SNMP(Simple Network Management Protocol，簡單網絡管理協議)數據及DPI（Deep Packet Inspection，深度檢測技術）日志，基本覆蓋全部IP支撐系統數據。對于這些數據的分析目前仍存在以下問題：

（1）功能單一，手段落后。互聯網數據分析總體仍局限于各類系統單獨分析，功能支撐面受限，無法滿足運營商IP網絡規劃、建設、運維和業務運營一體化支撐的需要。

（2）各省份建，各自為營。受限于技術手段及投資成本，目前只有少部分省份自建分析系統，分析指標單一，全國分散建設成本較高，且無法實現全程全網實時分析。

（3）DPI推廣，成本過高。目前DPI技術可實現業務深度感知分析，但需對網絡鏈路上下行流量全分光采集，采集成本過高，全國推廣建設投入較大，投資有效性較低。

為解決上述痛點，本文旨在通過研究，設計一種新型的大數據感知分析系統，實現運營商全國海量互聯網日志數據實時整合、關聯、分析，賦能網絡規劃、建設、運維及運營，提升投資有效性。

2 系統設計思路

本系統整體設計主要滿足以下幾方面要求：

（1）多元數據挖掘分析。系統應具備互聯網全量日志的挖掘關聯分析能力，數據類型主要包括EDPI日志、AAA日志、DNS日志、NAT日志、NETFLOW日志、SNMP數據及DPI日志。

（2）具備海量數據存儲及實時處理能力。現有EDPI日志的XDR話單日均377T、DNS數據日均50T、AAA日志日均10T、NETFLOW日志日均15T、SNMP數據日均50G、DPI日志壓縮后日均100T。

（3）滿足運營商規劃、建設、運維、運營需求。系統設計應滿足以上四大塊功能需求，同時應具備靈活的分權分域管理能力，滿足不同角色用戶的使用訴求。

（4）集群資源最大化利用。大數據技術應用于云計算架構之上，提供海量數據存儲和實時處理，同時對于客戶臨時需求能夠做到集群數據處理的及時響應。

（5）對外提供豐富、靈活的模塊化服務。系統應具備對外提供智能服務中臺能力，功能模塊解耦，可靈活復用，對外滿足各類用戶及第三方系統的需求。

（6）全國統一采集、統一建設。通過集約化建設，有效節省投資，并為客戶提供端到端全程全網分析，提升客戶運營服務能力。

3 系統技術設計

新型大數據感知分析系統技術架構如圖1所示。

圖1 系統技術架構圖

系統技術架構由五部分組成，分別是數據采集層、數據存儲層、計算處理層、業務實現層、能力支撐層。

系統主要從城域網、骨干網、IDC網絡、國際網絡等獲取互聯網日志數據。數據類型主要包括：EDPI日志、AAA日志、DNS日志、NAT日志、NETFLOW日志、SNMP數據及DPI日志。采集方式主要有兩種模式，分別為網元直采模式和集團省份兩級架構的采集模式。

存儲層分別使用文件存儲、列式存儲、關系存儲三種方式。其中，文件存儲運用HDFS分布式存儲原始的日志文件。列式存儲運用Hbase（分布式的、面向列的開源數據庫）與CLICKHOUSE進行存儲，HBASE存儲由非結構轉為結構化數據后，需要二次處理的數據。CLICKHOUSE中存儲需要有及時響應的結果信息。關系型數據庫MYSQL存儲配置信息。

計算處理層包括MAPREDEUCE和SPARK兩種通用的計算引擎，基礎數據經過數據加載/轉化/處理后，通過YARN進行資源調度。基于Hadoop分布式平臺，提供海量數據的并行裝載、處理、儲存和查詢能力。同時接收來自業務實現層的任務調度，計算分析相應的統計工作。使用Spark Streaming構建微批式的實時處理框架，對Netflow日志進行實時處理。具有高可靠性、擴展性、高效性、容錯性的特點。

業務實現層基于SPRING+MYBATIS架構，由任務調度、WEB展示/能力開放、爬蟲引擎三個模塊組成。任務調度負責分析統計任務的管理，支持立即執行和周期執行。WEB展示為可視化模塊，另外具備將數據通過WEB REST開放的能力，爬蟲引擎負責抓取相關域名的標題和摘要信息。

能力支撐層提供平臺對外開放的能力，支撐運營商規劃、建設、運維、運營需求，支撐對外大客戶的定制化需求。通過兩種途徑供第三方調用，一種為封裝模塊化功能經過簡單適配直接對外提供能力，另外一種為對外直接開放WEB REST接口，兩種方式可以靈活使用。

4 系統功能設計

大數據感知分析系統定位于運營商網絡全量數據統一分析，系統面向網絡規劃、建設、運維、運營等生產各環節的支撐需求進行功能設計。總體功能包括支撐精準規劃建設類功能、支持運維類功能、支持市場及業務運營類功能、大屏展示功能、公共功能和系統管理功能等。

總體功能框架如圖2所示。

圖2 系統總體功能框架圖

業務特征庫包括客戶信息、IP信息、公有AS管理、應用管理、應用分類分析五部分。業務特征庫常態化更新，保證業務數據關聯分析的準確性。

大屏展示功能包括業務質量分析展示（IPV4/IPV6用戶數、IPV4/IPV6流量、在線用戶數、DNS解析量、解析成功率、解析時延、丟包率、首包時延）、IDC信息分析展示（IDC流量、IDC訪問量、IDC獨立用戶數）、31省骨干網流量流向分析展示（以桑基圖形式展示相關流量流向信息）、寬帶用戶及應用分析展示（網站分類、網站訪問量排名、網站質量排名、上網時段分布）四個模塊，面向運營商提供直觀數據展示。

系統管理功能由服務器管理、性能視圖、日志管理、計算資源、角色管理、用戶管理、平臺接口七個模塊組成。平臺通過用戶、角色管理功能，分權分域，按照省份、功能模塊，面向省份相關負責人開放系統權限，省份用戶可直接訪問平臺系統，查看相應權限的分析結果數據。其中，面向運營商網建人員，提供包括全國IDC出口流量流向分析、網絡流量趨勢及預測分析等功能；面向運營商運維人員，提供包括寬帶用戶業務質量監控與分析、互聯網專線質量分析、網絡異常突變流量分析等功能；面向運營商市場及業務運營人員，提供包括CDN業務核查、城域網用戶分析等功能。

系統面向運營商規建、運維、運營三大類功能實現，其中流量流向模塊針對規建類需求提供：IDC國際城域網出口、移動互聯網流量流向、自定義區域流量分析、網絡流量趨勢及預測分析、基于DPI城域網出口流量分析、基于DPI國際出口及網間互聯流量分析、網絡布局、業務承載和流量關聯分析，支撐精準規劃，提高方案的合理性及投資精準性。業務質量模塊針對運維類需求提供：寬帶用戶業務質量監控與分析、網站服務質量監控與分析、互聯網專線質量分析、網絡異常突變流量分析、基于DPI的城域網業務質量分析、基于DPI的國際出口及網間互聯業務質量分析、基于DPI的出省鏈路優化和規劃、169骨干網分析結果及數據，支撐網絡優化工作。用戶行為模塊針對運營類需求提供：云網業務精準營銷數據分析、IDC業務稽查分析、白手套分析、自定義業務特征庫、基于DPI的熱點應用、熱點SP分析、基于DPI的城域網用戶分析、全國IDC內容流量流向分析、重點客戶電路流量分析、BAT流量調度分析。

5 系統實現及應用

大數據感知分析系統目前已建設完成并在全國范圍正式上線運行，支撐31省IP專業的規劃、建設、運維、運營等生產環節。支撐精準規劃建設類功能、支持運維類功能、支持市場及業務運營類功能、大屏展示功能均已開放各省相關人員使用。同時，針對市場前端提出的面向客戶的定制化流量、業務分析需求進行深度分析，生成相關分析報告，取得良好反饋效果，為市場拓展提供有力支撐。

系統首頁展示如圖3所示。

圖3 系統首頁展示（數據為模擬數據）

6 結束語

大數據感知分析系統已在運營商現網上線應用，并取得較好效果。本系統全國集中建設，通過采集不同種類數據并進行大數據綜合關聯，實現對網絡、業務、用戶數據的整合分析。本系統創造性解決了運營商對固網數據分析手段不足的問題，系統流量流向分析、業務質量分析、用戶行為分析等功能可有效支撐網絡規劃、建設、運維和運營，助力寬帶及政企市場業務拓展，從而提高運營商網絡的管理、建設效率，增強市場競爭力，并將間接帶來可觀的經濟效益和很好的社會效益。