一種基于大數(shù)據(jù)分析的網(wǎng)絡優(yōu)化方案

江蘇移動通信有限責任公司江寧分公司 徐峰

一種基于大數(shù)據(jù)分析的網(wǎng)絡優(yōu)化方案

江蘇移動通信有限責任公司江寧分公司 徐峰

摘要：在傳統(tǒng)網(wǎng)絡優(yōu)化的基礎上提出了一種基于大數(shù)據(jù)的網(wǎng)絡優(yōu)化解決方案，更好地對運營商全業(yè)務網(wǎng)絡進行規(guī)劃與優(yōu)化。

關鍵詞：大數(shù)據(jù)；網(wǎng)絡優(yōu)化；架構

0 引言

隨著運營商全業(yè)務發(fā)展理念的提出，運營商寬帶網(wǎng)絡所涵蓋的網(wǎng)絡內(nèi)容也日益豐富，各種網(wǎng)絡的數(shù)據(jù)量的不斷膨脹，使得對綜合大網(wǎng)管處理各項數(shù)據(jù)的能力及對網(wǎng)絡的更好的規(guī)劃和優(yōu)化的要求不斷提高。傳統(tǒng)的網(wǎng)絡優(yōu)化已經(jīng)漸漸顯示出其局限性。表現(xiàn)在以下幾點：時效性不強，各種網(wǎng)絡性能指標呈現(xiàn)需要幾個小時，預警及時性不足，不能先于用戶之前發(fā)現(xiàn)問題，處理比較被動；集約化程度不高，系統(tǒng)比較分散，且不能靈活滿足網(wǎng)絡規(guī)模快速增長的需求，不能全網(wǎng)統(tǒng)一管理，網(wǎng)絡性能分析、周期性報表制作需要多個系統(tǒng)支撐，效率低下；支撐能力弱，對海量數(shù)據(jù)的深度挖掘效率不高，預處理能力缺乏，缺乏多維度數(shù)據(jù)的關聯(lián)分析能力，難以精確定位故障問題，全程全網(wǎng)預警能力缺乏，難以實現(xiàn)網(wǎng)絡預見性分析。因此，為滿足用戶日益增長的質量要求，必須建立一套健全的大數(shù)據(jù)分析系統(tǒng)，能夠對現(xiàn)網(wǎng)的各類網(wǎng)絡指標進行快速的統(tǒng)計分析，先于用戶發(fā)現(xiàn)問題、預先提出網(wǎng)絡優(yōu)化建議。

1 大數(shù)據(jù)網(wǎng)絡優(yōu)化特性

1）從結構數(shù)據(jù)轉向混合數(shù)據(jù)。傳統(tǒng)的網(wǎng)優(yōu)數(shù)據(jù)需要將信令數(shù)據(jù)等轉化為結構數(shù)據(jù)，大數(shù)據(jù)網(wǎng)優(yōu)可以直接收集各種非結構數(shù)據(jù)而無需轉換。大數(shù)據(jù)網(wǎng)優(yōu)數(shù)據(jù)采集方式見圖1。

2）從離線統(tǒng)計走向實時呈現(xiàn)。大數(shù)據(jù)基于流式數(shù)據(jù)處理，可以做到實時呈現(xiàn)，增加時效性。

3）從單系統(tǒng)走向多系統(tǒng)混采。傳統(tǒng)網(wǎng)優(yōu)系統(tǒng)一般是基于CDT（呼叫詳細跟蹤）或者信令分析的網(wǎng)優(yōu)工具，而大數(shù)據(jù)網(wǎng)優(yōu)可以實現(xiàn)各領域數(shù)據(jù)全面采集。

4）從結果數(shù)據(jù)轉向動態(tài)數(shù)據(jù)。大數(shù)據(jù)網(wǎng)優(yōu)將動態(tài)采集網(wǎng)絡變化的數(shù)據(jù)，增加網(wǎng)絡管理有效性。

2 全業(yè)務大數(shù)據(jù)網(wǎng)絡優(yōu)化整體架構

大數(shù)據(jù)網(wǎng)絡優(yōu)化由數(shù)據(jù)源、大數(shù)據(jù)網(wǎng)優(yōu)平臺、業(yè)務應用層和管理4部分組成。見圖2。

2.1 數(shù)據(jù)源采集

大數(shù)據(jù)網(wǎng)絡優(yōu)化系統(tǒng)要對全網(wǎng)所有的有效數(shù)據(jù)進行快速采集，因此對于有效數(shù)據(jù)的定義、數(shù)據(jù)的合理預處理、數(shù)據(jù)的入庫匯總尤為重要。

在有效數(shù)據(jù)定義方面，大數(shù)據(jù)網(wǎng)絡優(yōu)化系統(tǒng)采用多模塊同步采集，采集數(shù)據(jù)包括網(wǎng)絡數(shù)據(jù)、位置數(shù)據(jù)、信令數(shù)據(jù)、網(wǎng)管數(shù)據(jù)、用戶數(shù)據(jù)和各種外部數(shù)據(jù)等，其中CDT、MR、信令數(shù)據(jù)定義為大數(shù)據(jù)的數(shù)據(jù)源，用戶數(shù)據(jù)、網(wǎng)管數(shù)據(jù)定義為傳統(tǒng)的數(shù)據(jù)。結構化數(shù)據(jù)與半結構化數(shù)據(jù)并行處理，這樣大大提高了數(shù)據(jù)的采集能力。

在數(shù)據(jù)的預處理方面，在數(shù)據(jù)緩存短期保留原始文件和數(shù)據(jù)，期間不用將數(shù)據(jù)的格式和結構做轉換。后期將基礎數(shù)據(jù)中各資源數(shù)據(jù)歸一化處理，數(shù)據(jù)按照最細粒度存儲。數(shù)據(jù)模型是按照傳統(tǒng)的數(shù)據(jù)庫來處理，便于數(shù)據(jù)長期存儲。

在數(shù)據(jù)入庫匯總方面，將數(shù)據(jù)倉庫層分為分析匯總數(shù)據(jù)和應用匯總數(shù)據(jù)。其中分析匯總數(shù)據(jù)中將基礎數(shù)據(jù)進行輕度分析匯總，這樣能夠提高性能，防止大量的細節(jié)數(shù)據(jù)訪問，數(shù)據(jù)沉淀，粒度較細的數(shù)據(jù)可以保存更長時間。而應用匯總數(shù)據(jù)則是以多種方式存放高度匯總數(shù)據(jù)，而且能夠直接支持前端分析應用。

總之，數(shù)據(jù)源采集模塊，可以實現(xiàn)將基礎數(shù)據(jù)層中大數(shù)據(jù)計算結果和MPP（大規(guī)模并行處理）傳統(tǒng)數(shù)據(jù)處理結果直接匯總到深度分析庫中，進行數(shù)據(jù)的深度分析。

2.2 數(shù)據(jù)深度分析

大數(shù)據(jù)網(wǎng)絡優(yōu)化系統(tǒng)是基于Hadoop（分布式數(shù)據(jù)分析平臺）的深度優(yōu)化。其中的關鍵技術是MapReduce（一種編程模型）過程、分布式數(shù)據(jù)庫（Hbase）、分布式文件系統(tǒng)（HDFS）、引入MPP和Hadoop與MPP分布式數(shù)據(jù)庫混搭架構。

1）優(yōu)化MapReduce過程。該過程增加data locality（數(shù)據(jù)局部性）特性，讓多次迭代的MapReduce過程減少數(shù)據(jù)傳遞，數(shù)據(jù)本地寫，提高訪問速度；同時增加控制模塊，定義迭代及條件退出過程，實現(xiàn)過程完全自動化；在輸出模塊建立緩存及索引，加速數(shù)據(jù)處理速度，MapReduce任務調度優(yōu)化，性能提升70%。而且自研14類72種適合于Hadoop處理的并行數(shù)據(jù)分析挖掘算法單元，已調度框架優(yōu)化，使用task預調度減少空閑slot時間，提高異常節(jié)點分析及可維護性提升。

2）采用分布式數(shù)據(jù)庫Hbase。Hbase可以建在大量低端serve的集群上，基于開放平臺與操作體系。與傳統(tǒng)數(shù)據(jù)庫垂直擴展的計算能力/行存儲不相同的是，分布式數(shù)據(jù)庫采取的是橫向擴展的計算能力/列存儲，具有大規(guī)模的并行計算，無限的處理性能。所以不論從可靠、敏捷、性能、成本等方面，分布式數(shù)據(jù)庫都有很好的表現(xiàn)力，可在大規(guī)模集群中實現(xiàn)負載均衡。

3）采用Hadoop與MPP分布式數(shù)據(jù)庫混搭架構。將不同種類的數(shù)據(jù)存儲在Hadoop主數(shù)據(jù)倉庫和MPP分布式數(shù)據(jù)倉庫中，并通過一體化的管控平臺進行調度，可實現(xiàn)數(shù)據(jù)的靈活存儲及共享，其結構見圖3。

4）實現(xiàn)快速的實時流處理。為實現(xiàn)數(shù)據(jù)的快速處理，系統(tǒng)采用了基于非關系型key-value數(shù)據(jù)庫的分布式緩存和持久化存儲系統(tǒng)。dcache高速緩存可以有效地緩解大量數(shù)據(jù)請求對系統(tǒng)的沖擊，實現(xiàn)實時流處理。

預處理模塊分為字段處理和事件處理兩種類型，各種處理可以前后任意拼接組合。預處理模塊從消息隊列中獲取事件消息，然后依據(jù)預處理規(guī)則完成對消息的補償、剔除和組合等處理，然后將消息放入隊列中等待處理。預處理將消息轉成對象以便內(nèi)部處理，并將基礎數(shù)據(jù)進行分解，分拆成需要統(tǒng)計分析的元數(shù)據(jù)。預處理模塊同時完成時間窗的打點操作，將時間信號記錄到事件消息中。

2.3 業(yè)務應用層輸出

業(yè)務應用可以有4大類的應用：

1）網(wǎng)絡優(yōu)化。先于客戶投訴發(fā)現(xiàn)問題，挖掘出需要優(yōu)化的網(wǎng)元。結合VIP用戶群的業(yè)務量、業(yè)務類型、特殊位置等為價值用戶提供重點保障。在特定區(qū)域內(nèi)的不同網(wǎng)絡進行流量分析、對比分析，流量預測。多網(wǎng)均衡、分流提供支撐。

2）實時監(jiān)測。實現(xiàn)在線實時的監(jiān)測網(wǎng)絡的運行質量。

3）客戶感知。實現(xiàn)客戶感知從全網(wǎng)、區(qū)域、單客戶的層層鉆取，在網(wǎng)絡側對各接口的信令分析、定義與用戶感知密切相關的指標體系，將網(wǎng)絡現(xiàn)狀進行點播式呈現(xiàn)，準確反映網(wǎng)絡存在的具體問題。

4）客戶投訴。實現(xiàn)簡單、快速、準確、完整的投訴處理。從根據(jù)網(wǎng)絡信令數(shù)據(jù)信息的變化和各個設備、網(wǎng)絡的運行情況可以知道用戶的實際體驗情況，可以處理用戶的問題，可以通過分析網(wǎng)絡運行的情況、通過整個信令的整個流程來逐步分析網(wǎng)絡服務差的原因。

3 總結

大數(shù)據(jù)網(wǎng)絡優(yōu)化，利用功能強大的數(shù)據(jù)采集及分析系統(tǒng)，充分挖掘數(shù)據(jù)的潛在價值，大幅提升網(wǎng)絡優(yōu)化的效率和效果。輕松實現(xiàn)，運籌帷幄，能夠把握整個全業(yè)務大網(wǎng)絡的“過去、現(xiàn)在和未來”。◆