運營商網絡運營大數據應用實踐研究

宮云平 向勇 嚴宇

【摘 要】基于電信運營商的大數據資源，提出了網絡運營大數據平臺匯聚的數據范圍、系統定位及功能架構，并結合4G網絡的建設推廣，闡述了如何利用網絡運營大數據平臺的海量數據資源來全面評估移動互聯網業務感知，挖掘網絡運營大數據平臺在網絡精細化運營方面的價值，為運營數據資源的內部應用提供參考。

大數據 網絡運營 用戶感知 關鍵質量指標 關鍵績效指標

【關鍵詞】doi：10.3969/j.issn.1006-1010.2016.04.017 中圖分類號：TN91 文獻標識碼：A 文章編號：1006-1010（2016）04-0087-05

引用格式：宮云平，向勇，嚴宇. 運營商網絡運營大數據應用實踐研究[J]. 移動通信， 2016，40（4）： 87-91.

1 網絡運營大數據概述

“大數據是金礦，蘊藏著巨大的價值”。毋庸置疑，電信運營商擁有大數據，那么電信運營商的大數據有哪些呢？主要包括如下：

（1）客戶信息：包括客戶真實的注冊信息、業務訂購情況、消費情況、繳費情況、投訴情況等靜態信息，這部分信息主要存在于CRM（Customer Relationship Management，客戶關系管理）、客服系統中，信息圍繞“客戶/人”這個“主KEY”來關聯聚集，反映一個用戶在使用電信業務的基本情況。

（2）用戶實時業務信息：包括用戶的實時位置信息、正在使用的業務類型、業務內容、APP名稱、終端型號版本、業務使用感知（時延、成功率、速率）等，主要是刻畫用戶行為，反映用戶使用業務時實時體驗的動態信息，一般運營商采用部署探針、鏡像抓包等方式捕獲存儲后再進行分析。

（3）網絡/設備運行信息：包括反映各設備/各端口/各鏈路的速率、帶寬、抖動、延時等硬件運行情況的信息以及反映網絡情況的業務統計信息（如無線信號強度/覆蓋/干擾等一系列指標、各端口消息收發成功率及處理時延、各協議定義的計數器情況、性能指標等）等，這類信息一般通過網管系統監控和采集。

其中，用戶實時業務信息和網絡/設備運行信息都是由現網實時產生、實時采集的動態信息，這類信息除了包含用戶使用電信業務及互聯網業務的行為特征外，更重要的是反映了用戶使用業務時的網絡實時情況，對運營商提高網絡質量和用戶使用業務時的感知具有非常重要的意義。本文即圍繞闡述網絡/設備運行信息，輔以用戶實時業務信息，探索網絡運營大數據在內部精細化運營方面應用實踐。

2 網絡運營大數據平臺架構

與其他海量數據相比，網絡運營大數據具備以下特點：

（1）實時性

通信網絡無時無刻不在處理各類業務，網絡的運行情況也是實時變化的，網絡精細化運營要求根據網絡實時情況，及時獲得用戶的實時業務感知，動態調配資源，提高資源的利用率，以保障用戶良好的實時業務體驗。

（2）關聯性

用戶使用一次業務會有多次交互過程，涉及到運營商網絡的多個專業、多個設備，如何將分散在各設備上的海量實時的業務信息關聯起來，還原用戶使用業務時的真實場景一直都是網絡運營中的一個難題。

（3）清單數據快捷查詢

網絡運營數據的另外一個應用場景就是要處理用戶的網絡投訴，找出故障點及時修復，故需要對各類信令/消息/日志等原始清單數據進行查詢，以便定位用戶故障發生的具體原因。因此，網絡運營大數據在利用海量信息分析趨勢、整體規律等的同時，要能夠滿足對清單數據的直接獲取使用。

根據網絡運營數據的特點，網絡運營大數據處理平臺應滿足實時業務流處理、海量數據多維關聯、清單數據快捷查詢的需要，因此運營商網絡運營大數據處理平臺系統架構（見圖1）和功能架構（見圖2）設計如下：

如圖1所示，網絡運營大數據處理平臺系統架構包括各專業數據源、數據匯聚層、數據清洗框架、數據共享平臺、數據探索平臺、各應用平臺。其中，各專業數據源包括目前各專業網管/支撐系統、信令監測采集系統、自動測試系統、電子運維系統、資源系統、企業GIS（Geographic Information System，地理信息系統）系統等，網絡運營大數據處理平臺將分散在各專業的運營數據統一匯聚，實現數據的集約統一，為后續的關聯挖掘分析提供了基礎。數據清洗框架主要是對原始數據進行脫敏加密、剔除異常數據、輸出數據源的統計信息等，數據清洗規則可以根據需求和數據源的情況靈活配置輸入。經過清洗后的數據進入網絡運營數據共享平臺，數據共享平臺為基于運營商運營數據的各應用實踐提供數據資源，同時與數據探索平臺互聯。數據探索平臺主要是針對大數據進行挖掘分析和模型開發，找出數據價值和應用方向。

圖1 網絡運營大數據處理平臺系統架構

如圖2所示，網絡運營大數據處理平臺功能架構從下向上分為數據采集層、平臺能力層、服務接入層。其中，平臺能力層作為核心能力層，包括計算框架、算法服務、數據加速、能力提供等功能模塊，且系統還提供基礎服務、數據管理、運營管理等通用功能?；诖斯δ芸蚣?，網絡運營大數據處理平臺可以支持離線大數據挖掘計算和實時數據流的處理分析，實現在線數據探索、即席查詢/智能取數、過程可視化、模型和標簽管理、數據血緣分析等數據處理能力，以及海量數據匯聚和雙向遷移、大規模作業調度、一站式集中監控和集中配置等平臺運營能力。

圖2 網絡運營大數據處理平臺功能架構

網絡運營大數據處理平臺將運營商現網運營中實時產生的各類生產數據統一匯聚起來，進行基礎的清洗去噪、脫敏加密、跨專業業務流關聯和安全隔離等處理后，供各類數據應用實踐進行挖掘、分析、探索和呈現。

3 基于網絡運營大數據的應用實踐

網絡運營大數據蘊含著大量的用戶使用業務時的感知體驗信息以及運營商各設備的實時運行信息，有多種應用方向可以挖掘實踐。2015年是中國電信的4G用戶的爆發之年，將4G網絡下移動互聯網業務感知評估及優化這一課題作為電信網絡運營大數據應用實踐的切入點，可全面評估在4G網絡快速推進建設時用戶感知的變化情況，以便及時調整資源布放，不斷提升4G網絡下的數據業務感知，支撐中國電信4G品牌運營。

3.1 移動互聯網業務感知評估方法

移動互聯網業務屬于典型的“20/80效應”，典型的業務場景覆蓋了大部分用戶：統計分析表明，用戶使用新聞/門戶網頁瀏覽、視頻、即時通信等應用的流量和時長占比超過80%；而每種類型的業務也呈現較明顯的拖尾效應，采用TOP n的方式能夠涵蓋大部分情形。因此，可以通過分析用戶在網頁瀏覽、視頻、即時通信這3種典型業務場景下用戶感知的影響因素，來代表移動互聯網業務感知的總體情況。具體分析如下：

（1）新聞/門戶網頁瀏覽類

DNS（Domain Name System，域名系統）延時：用戶不易感知。

TCP（Transmission Control Protocol，傳輸控制協議）延時：用戶不易感知。

頁面訪問成功率：用戶比較容易感知，但用戶能夠愿意等待的時間也是有限的，如果等待時間超長，即使網頁能夠打開，時間上用戶可能提前關閉。

首包延時：用戶能夠在瀏覽器中看到有響應，用戶容易感知。

頁面打開延時：從訪問頁面開始到頁面打開所需要的等待時間，用戶最容易感知。

（2）視頻類

播放延時：用戶容易感知，與下載速率、播放軟件緩沖大小等有關系。在終端的客戶端上容易檢測，同下載速率有很大關系。

視頻卡頓：用戶容易感知，與下載速率、播放軟件緩沖大小、視頻節目源碼流速率等有關。

視頻下載速率：容易測量，能夠很大程度上反映視頻播放的感知情況。

（3）即時通信類

消息發送/接收延時：用戶容易感知，但即時通信類應用定位的準實時特性決定了用戶對消息發送/接收的延時不敏感。

消息上傳/下載速率：用戶不易感知，即時通信以小流量應用為主，對速率不是非常敏感。

消息發送/接收成功率：用戶容易感知，體現核心需求。

綜上所述，對于網頁瀏覽類可以使用首包延時和頁面打開延時，視頻類可以使用視頻下載速率，即時通信類可以使用消息發送/接收成功率作為移動互聯網業務感知的KQI（Key Quality Indicator，關鍵質量指標），根據不同用戶使用這3類業務的時長占比，通過一定的加權算法來綜合評估4G網絡下移動互聯網用戶使用業務時的感知情況。

3.2 移動互聯網業務感知指標采集及建模分析

為了獲取3類典型移動互聯網業務（網頁、視頻、即時通信）的4個KQI，采用在4G核心網的SGW側部署DPI（Deep Packet Inspection，深度包檢測）監測系統，抓取全網移動用戶使用業務時的KQI，實時掌握全網用戶的感知體驗情況，建立全網用戶業務感知綜合評估模型。同時，采集安裝在終端上的APP測試數據，獲取友好測試用戶的端到端KQI指標，通過友好用戶端到端的KQI指標進一步回歸驗證全網用戶業務感知綜合評估模型，從而獲得移動互聯網業務感知的穩定、客觀的評估模型。

以網頁瀏覽業務為例，KQI指標的采集示意圖如圖3所示。

如圖3所示，APP測量點部署在用戶終端上，可以采集到最能反映真實用戶感知的KQI指標，但由于數量有限，屬于少量抽樣數據；DPI檢測點部署在網絡側，能夠采集到全網用戶使用所有業務時的KQI指標，通過兩者結合搭建全網用戶業務感知綜合評估模型。

3.3 移動互聯網業務感知評估實施及

效果評估

根據全網用戶業務感知綜合評估模型的計算分析，可以隨時掌握全網用戶感知。對于用戶感知差的區域及時間段進行端到端關聯、逐層鉆取分析，找出導致用戶感知差的因素，有針對性地開展優化整改工作。

根據組網拓撲和業務流程，將KQI逐層映射分解到網絡設備的運行指標：無線網KPI（Key Performance Indicator，關鍵績效指標）指標、信令監測計算生成的KQI/KPI指標、承載網的KPI指標、EPC（核心網）網管KPI指標以及DPI系統計算生成的KQI/KPI指標等，如圖4所示。

如圖4所示，將KQI指標最終映射成各網絡上的運行指標KPI，從而達到監測網絡和優化網絡運行指標來提升移動互聯網業務感知的目的。該映射模型通過“指標采集→KQI評估→KPI指標優化→再采集評估”閉環流程的不斷反饋優化，最終完成從用戶感知到網絡運行指標的建模關聯，將用戶感知的提升落實到日常的網絡運行維護工作上，使得網絡維護和優化工作有的放矢，資源投放和利用更加高效。

移動互聯網業務感知評估應用從用戶感知指標的采集提取建模到KQI指標向KPI指標的映射分析，充分利用了網絡運營大數據平臺的跨專業海量數據，并采用Hadoop架構下的Hive、Spark等組件進行海量數據的存儲、處理和建模分析，驗證了網絡運營大數據平臺對各數據應用的支撐能力。

4 結束語

大數據技術研究及應用是近年來業界熱炒的概念，無論是傳統行業還是新型行業，都希望通過海量數據分析挖掘數據價值，從而發現應用商機，產生新的盈利點。本文在研究分析電信運營商網絡運營大數據的基礎上，提出了網絡運營大數據的系統架構及構建建議，并進行了基于現網實時運行數據的內部應用實踐探索，為運營商內部精細化運營提供參考。

參考文獻：

[1] 孟小峰，慈祥. 大數據管理：概念、技術與挑戰[J]. 計算機研究與發展， 2013（1）： 146-169.

[2] 李建中，劉顯敏. 大數據的一個重要方面：數據可用性[J]. 計算機研究與發展， 2013（6）： 1147-1162.

[3] 王元卓，靳小龍，程學旗. 網絡大數據：現狀與展望[J]. 計算機學報， 2013（6）： 1125-1138.

[4] 韓晶. 大數據服務若干關鍵技術研究[D]. 北京： 北京郵電大學， 2013.

[5] 李學龍，龔海剛. 大數據系統綜述[J]. 中國科學： 信息科學， 2015（1）： 1-44.

[6] 李文蓮，夏健明. 基于“大數據”的商業模式創新[J]. 中國工業經濟， 2013（5）： 83-95.

[7] 馮登國，張敏，李昊. 大數據安全與隱私保護[J]. 計算機學報， 2014（1）： 246-258.

[8] 孫大為，張廣艷，鄭緯民. 大數據流式計算：關鍵技術及系統實例[J]. 軟件學報， 2014（4）： 839-862.

[9] 張引，陳敏，廖小飛. 大數據應用的現狀與展望[J]. 計算機研究與發展， 2013（S2）： 216-233.

[10] 盧輝. 數據挖掘與數據化運營實戰：思路、方法、技巧與應用[M]. 北京： 機械工業出版社， 2013.

[11] 中國電信客戶感知項目組. 中國電信移動網業務感知分析系統功能規范、技術規范[S]. 2015.