電信運營商大數據應用系統建設方案研究

趙躍東 王雋峰 曾王平

【摘要】隨著互聯網的高速發展，全球數據生產高速增長，信息已成為企業戰略資產，而大數據被業內普遍認為是電信運營商“去管道化”最有可能的實現方式之一，大數據應用系統的建設對電信運營商而言迫在眉睫。本文對電信運營商大數據應用系統的建設進行探討，對大數據平臺的功能架構、數據庫建設方式、數據采集方案等進行研究，力圖從解決方案上對電信運營商省級公司部署大數據平臺提供借鑒。

【關鍵字】 互聯網 大數據 系統建設一、背景

隨著互聯網、移動互聯網、數碼設備、物聯網等技術的發展，全球數據生產正在高速增長，信息已成為企業的戰略資產，企業越來越需要長期保存各種數據，以進行用戶行為分析、市場研究等，服務企業發展。目前，“去管道化”成為電信運營商提得最多和思考最多的問題，業內認為大數據是運營商“去管道化”最有可能的實現形式之一，運營商發展大數據具有其他行業無可比擬的優勢，主要體現在：運營商掌握數據充分全面；通信網絡數據提供的可持續性；運營商對數據可以有效利用。

在此背景下，本文將對電信運營商大數據應用系統建設方案進行探討，為省級電信運營商部署大數據平臺提供借鑒。

二、大數據應用系統功能架構

大數據系統目標架構，主要由五大核心平臺構成，如下圖所示：

采集分發平臺：解決異構數據源之間數據交互，滿足各種數據源之間數據統一采集和統一數據分發，提升數據實時和準實時海量數據采集分發能力；

實時分析平臺：實現實時寬表數據整合，提供實時報表，提供統一實時查詢；

離線分析平臺：Hadoop平臺解決海量結構化數據和非結構化數據快速批處理效率、海量數據存儲能力；傳統ODS、EDW、數據集市采用MySQL平臺；

大數據運營監控平臺：解決大數據運營監控，調度，開發，運營維護問題處理和運營分析平臺；

大數據數據服務平臺：滿足快速對外提供統一數據服務共享平臺。

三、大數據應用系統數據庫建設

對于大數據平臺數據庫，建議采用傳統關系型數據庫+Hadoop的混搭方式進行建設，主要基于以下考慮：1、對于傳統結構化業務數據，采用關系型數據庫已非常成熟，新建平臺延續采用關系型數據庫處理傳統數據，避免大量改動。2、對于非結構化數據，則采用Hadopp架構進行處理，解決以下問題：海量數據儲存成本高；數據批量處理能力不足；計算和存儲擴展能力受限；流式數據處理能力缺失；缺乏非結構化數據的處理能力。

四、大數據應用系統數據采集方案

電信運營商大數據平臺數據主要來源為兩種：來自IT系統的結構化數據和來自網絡的非結構化數據。

4.1結構化數據采集

數據來源主要包括來自CRM系統的客戶/用戶資料、產品/銷售品、產品訂購、業務辦理等，來自計費系統的賬單、詳單、余額、繳費、欠費等，來自結算系統的結算清單、過往記錄等，來自客服系統的咨詢投訴、外呼等，來自網廳的電子訂購、業務辦理、電子渠道咨詢/投訴等，來自ITV的點播記錄、節目庫等，來自增值業務平臺的訂購與退訂等。

對于上述結構化數據，目前主要通過ODS系統進行采集，大數據平臺直接與ODS系統做接口即可獲得，不需直接從系統采集，大大提升了數據采集的效率。

4.2非結構化數據采集

非結構化數據視圖如下圖所示：

1）固網DPI部署方案

以某電信省公司為例，其 IP城域網覆蓋所有地州，2015年底預計達到3000G出口鏈路，其中省會城域網出口1200G。

現網在IP城域網出口部署一套DPI系統，具備280G帶寬的監控能力（上下行），主要功能模塊為多終端私接監控、 全協議分析。存在問題如下：覆蓋能力不足：覆蓋城域網規模9%，不具備對單地市出口的完整監控能力。功能缺乏：無法實現終端識別、網站識別、應用識別等功能。

本期可采用如下方案：

方案一：全覆蓋部署

在城域網出口部署，實現全覆蓋，共3000G。

方案二：兩地州及省會兩區縣輪詢方式部署

地州輪詢：采集設備部署位置為163骨干機房，容量配置為同時覆蓋兩個地州共620G。

省會區縣輪詢：采集設備部署位置為省會CR機房，容量配置為同時覆蓋兩個縣區共680G。

方案三：一地州及省會一區縣輪詢方式部署

地州輪詢：采集設備部署位置為163骨干機房，容量配置為同時覆蓋一個地州共310G。

省會區縣輪詢：采集設備部署位置為省會CR機房，容量配置為同時覆蓋一個縣區340G。

輪詢方式說明：建議輪詢周期不短于一個月，以免頻繁輪詢影響大數據分析系統的數據可用性和精準度。

以上三種方案主要區別在于覆蓋范圍，以及相應的投資，在投資充分的情況下，建議采用方案一，對城域網出口進行全覆蓋部署，在投資緊張的情況下，建議采用方案三，對一地州及省會一區縣通過輪詢方式部署，后期根據投資情況再逐步擴大覆蓋范圍。

2）分組域DPI部署方案

新建分組域DPI，分為采集部分和處理部分，對3G、4G、AAA等數據進行采集，通過DPI解析后的數據，同步給大數據平臺及其他相關平臺使用。

3）七號信令監測系統改造方案

改造現有七號信令監測系統，提供對手機的信令采集，通過A口提供以下數據：所有采集區域內手機主叫的數據；所有采集區域內不處于關機或者占線的手機被呼的數據（不包含占線、關機被呼的數據，信令中不包含此數據）；所有采集區域內手機的短信數據；所有采集區域內手機的位置更新數據。

五、結論

某電信運營商省公司，在大數據平臺建成并投產后，成果顯著：帶動移動、寬帶用戶發展，增收相當于一個小型地市公司；以用戶為中心，構建倒三角的大數據運營體系，支撐線上線下精確營銷；線上營銷——基于大數據的客戶特征刻畫、利用互聯網入口面向客戶進行精準的業務推薦營銷；線下營銷——基于大數據支撐，讓精確營銷貫穿生產經營的各個環節、無處不在。實踐證明，大數據應用系統的建設和使用，已成為電信運營商業務發展的重要支撐手段之一。