運營商大數據服務平臺與典型應用模式研究

【摘 要】在互聯網時代，隨著大數據相關新技術和新應用的迅猛發展，給電信運營商帶來流量收益的同時也帶來了新的機遇和挑戰。通過結合大數據的技術現狀以及電信運營商的數據特點，提出一種彈性開放的運營商大數據服務平臺體系架構，并對運營商大數據的典型應用模式進行了研究。

【關鍵詞】運營商 大數據 服務平臺 體系架構 應用模式

doi：10.3969/j.issn.1006-1010.2016.04.018 中圖分類號：TP399 文獻標識碼：A 文章編號：1006-1010（2016）04-0092-05

引用格式：沙甲戊. 運營商大數據服務平臺與典型應用模式研究[J]. 移動通信， 2016，40（4）： 92-96.

1 引言

隨著互聯網以及物聯網等信息技術的飛速發展，相應產生的信息數據量也呈現爆發式增長。電信運營商擁有大規模運營網絡和龐大的IDC（Internet Data Center，互聯網數據中心）集群，具備優質的管道優勢和數據資源優勢。面對海量的數據資源，如何挖掘和利用其價值成為了電信運營商面臨的關鍵課題。

2013年Informa Telecoms & Media公司對全球范圍內的120家運營商進行了調查，調查報告顯示，其中約有48%的運營商已經部署了大數據相關業務。另外，國內一些大的互聯網公司也都已經構建了相關的大數據平臺，如阿里巴巴集團建立基于Hadoop技術的大數據平臺“云梯”；百度公司也整合自身業務的所有相關數據，建立大數據平臺實現數據的集中存儲和處理。

運營商大數據服務開放平臺是有效利用大數據的重要基礎。運營商大數據服務平臺應該具備彈性可伸縮的資源分配能力，能夠根據上層業務的需求動態地增加或減少基礎資源。運營商大數據處理任務通常既是數據密集型的，又是計算密集型的，因此高效的分布式計算框架是保障大數據服務執行效率的重要支撐手段。大數據業務模式種類繁多，既有針對電信運營商的業務，也有針對第三方需求的業務，而且新的業務模式層出不窮，因此大數據服務平臺需要提供靈活業務部署能力。運營商大數據服務的目標是要形成一系列大數據服務應用，一方面可以提升運營商自身的管理和運營能力，另一方面能夠創造新的價值增長點。本文首先提出一種彈性開放的運營商大數據服務平臺體系架構，然后對運營商大數據的典型應用模式進行探討。

2 運營商大數據服務平臺

2.1 大數據服務平臺體系架構模型

運營商大數據服務平臺的總體目標是構建統一開放的數據采集、存儲、處理與應用的軟硬件環境。平臺能夠從海量異構數據源獲取數據，包括運營商內部數據以及外部第三方數據，并能夠保證海量數據的存儲與計算性能，面向不同的運營部門以及第三方用戶提供多種大數據服務。運營商大數據服務開放平臺的功能體系架構如圖1所示，包括數據源層、數據采集層、數據存儲層、數據分析及處理層、數據匯聚層、數據服務層、用戶應用層以及平臺管理系統。

（1）數據源層。電信運營商自身所擁有的數據非常豐富，這些數據涉及的范圍廣、維度豐富、信息量大，可以為大數據服務平臺提供充分的數據支撐。其數據主要包括：固定網絡的信令數據和用戶的全量信息、移動網絡的信令數據和用戶的全量信息、運營商的BSS（Business Support System，業務支撐系統）/OSS（Operation Support System，運營支撐系統）/MSS（Management Support System，管理支撐系統）/CRM（Customer Relationship Management，客戶關系管理系統）/OCS（Online Charging System，在線計費系統）等信息系統的業務數據以及通過多種途徑獲得的第三方數據資源。

（2）數據采集層。通過業務數據庫標準接口、FTP（File Transfer Protocol，文件傳輸協議）、爬蟲等方式集中采集固網/移動的DPI（Deep Packet Inspection，深度包檢測）信息、BSS/OSS/MSS等電信業務系統數據以及第三方數據等，通過ETL集群將數據進行抽取、轉換、加載至大數據平臺的存儲層中，支持對結構化、半結構化、非結構化等多格式數據源的采集，同時滿足周期性/實時/定時等采集方式的要求。

（3）數據存儲層。實現對采集來的多種類型大數據的分布式存儲。面對數據結構的多樣性以及數據存儲需求的變化，傳統的以結構化為主的單一數據庫已經不能滿足要求，這就需要OldSQL（傳統數據庫）+NewSQL（新型數據庫）+NoSQL+其他（內存數據庫、緩存）為大數據平臺共同提供數據存儲服務。同時，數據存儲層還應該有效地支撐海量數據的分析。基于Shared Nothing架構的面向結構化數據分析的MPP（Massively Parallel Processing，大規模并行處理系統）數據庫可以有效地支撐PB級別的結構化數據分析；采用Hadoop技術實現半結構化和非結構化數據的分布式存儲及處理；分布式內存數據庫和緩存技術能夠提供高效的訪問速度及并發訪問能力，可以快速地響應實時流計算；基于行列式的混合存儲能夠有效地支持存儲能力的動態線性擴展，提供數據的容錯機制和安全管理，為大數據分析處理提供支撐。

（4）數據分析及處理層。該層主要進行大數據的計算處理，完成對大數據的挖掘分析等功能。為了滿足針對海量數據的高效處理，平臺需要同時具備分布式離線批處理和分布式實時流處理等計算能力。針對離線批處理任務，采用MapReduce或Spark計算框架做離線的批量處理，可以對計算任務進行靈活調度；而面對海量數據的實時處理請求，可采用Storm計算框架對連續的實時數據流進行分布式并行計算。隨著數據規模的擴大，數據之間的模式和規則不一定是直觀的，需要對數據進行數據挖掘、OLAP（On-Line Analytical Processing，聯機分析處理）分析等處理，發掘海量數據中存在的規律，發揮其潛在的巨大價值。

（5）數據匯聚層。平臺可以采用傳統的關系數據庫存儲分析處理完的數據，供后續查詢使用。對于數據量龐大的信息或非結構化分析數據，可以采用HBase等分布式數據庫存儲和查詢，目標是要支持上層服務對數據的透明訪問和實時操作需求。

（6）數據服務層。運營商的大數據既可以為企業內部部門提供業務和管理方面的決策支持，也能夠為第三方用戶提供多種大數據服務，如大數據查詢、大數據分析以及大數據可視化等。大數據查詢服務通過數據加密等隱私保密機制，為企業、政府等第三方提供用戶的個人信息、位置和上網行為等原始數據或特定的數據分析結果；大數據分析服務包括用戶行為分析、業務經營分析等；可視化服務可以將用戶的請求和數據分析結果以可視化的方式反饋給用戶，使結果更具直觀性，從而提高用戶體驗。

（7）用戶應用層。運營商大數據平臺可以提供內容搜索、內容推送、服務推薦、日志查詢等一系列的功能，或者可以對外提供經過處理的分析結果。

（8）平臺管理系統。管理系統的功能主要包括管理門戶、用戶管理、系統管理、安全管理、日志管理等；另外，還提供數據管理功能，主要包括元數據管理、數據生命周期管理、數據質量管理和數據安全管理等。

2.2 大數據平臺關鍵技術

（1）基礎資源彈性伸縮

運營商大數據服務平臺需要基于云計算技術實現數據中心的基礎資源的統一管理能力，如VMware、OpenStack等。通過搭建大數據平臺虛擬基礎資源池，能夠根據用戶的業務需求和策略，自動地調整其彈性計算資源的數量和使用時間，在業務需求增長時自動增加平臺資源，并在業務需求下降時自動減少平臺資源，從而使各種大數據業務能夠共享資源池，提高資源利用率，降低大數據平臺的IT成本。

（2）計算任務自適應調度

大數據平臺需要承載各種類型的計算任務，如離線挖掘歷史數據的各種關聯模式、在線實時處理各類查詢和推薦用戶感興趣的產品。然而不同類型的計算任務有不同的任務調度特點，在大規模數據的場景下需要一種高效的混合分布式計算架構，以自適應地調度各類計算任務。大數據平臺建議結合MapReduce、Spark以及Storm等技術構建分布式計算平臺，能夠讓用戶方便高效地利用運算資源和處理海量數據。

（3）業務能力自動裝配

高速發展的運營商業務平臺面臨用戶需求頻繁變化和用戶規模快速增長的問題，大數據服務平臺需要具備快速業務部署、可靠運行和彈性擴展的能力。隨著運營商大數據服務平臺的發展趨于技術多樣化、架構復雜化和集群規模化，其業務部署管理也變得越來越困難。為解決上述問題，輕量級容器部署平臺Docker提供了簡單、靈活、高效、全流程的大數據業務平臺部署方案。

3 運營商大數據典型應用模式

電信運營商的系統每天承載著海量信息，其本質是為用戶與用戶、用戶與設備、設備與設備之間提供通信管道。電信運營商自身擁有的數據大體上包括：一是電信網絡設備運行狀態相關的信道層面的數據，這類網絡運維數據對保證電信網絡的正常運行和優化極其重要；二是電信用戶相關的內容層面的數據，該類數據又可分為兩部分，一部分是相對靜態的用戶賬號數據，記錄用戶的身份信息等，另一部分是實時動態的用戶通信行為數據，記錄用戶的通話行為和上網行為等，這類用戶數據對電信業務的經營分析極為重要；三是電信增值服務類數據，包括網頁數據、視頻監控數據等。

全球電信運營商在大數據應用方面已開展了很多實踐，如提升用戶粘合度、優化網絡管理、降低網絡運營成本、向第三方開放數據或提供大數據服務等。總的來說，電信運營商的大數據應用可歸結為：一是基于大數據分析的對內應用模式；二是基于大數據開放和分析的對外服務模式。具體如圖2所示。

3.1 對內應用模式

當前，電信運營商的業務經營模式從增量經營體系向新型存量經營體系轉變。因此，如何提升在網用戶的使用體驗、刺激在網用戶消費、降低網絡運營成本成為提升運營商營業收入的關鍵。

（1）提升用戶粘合度

提高用戶體驗，降低用戶投訴率。在大數據平臺上建立用戶投訴數據庫，對用戶屬性（如投訴原因、各種接入指標、用戶信息）進行量化處理，通過量化后的多維屬性數據建立大數據預測模型，對在網用戶進行預測，預測出可能要投訴的用戶并及時處理，以降低用戶投訴率。

改變產品研發方式。傳統電信產品研發過程是先了解用戶需求再設計開發產品，而利用大數據服務平臺，通過分析大量用戶行為數據來發現潛在的用戶需求。基于大數據分析的結果開發的產品可能比用戶自己更了解自身需求，從而實現產品研發的多樣化、個性化、快捷化，提升對用戶的粘著性。

為用戶提供個性化服務。當前，運營商通常只針對某個群體推出個性化套餐，然而隨著移動互聯網的發展，為個人用戶定制個性化服務必將成為趨勢，也是運營商提升自身競爭力的重要方案。基于大數據平臺對每個用戶的消費行為進行綜合分析，將用戶很少使用的功能去除后，向用戶推送新的個性化定制套餐信息，有助于增加用戶購買套餐的可能性。

（2）網絡管理與優化

基礎設施建設優化。可以利用電信網絡的通信數據建立通信能效評估模型，對網絡中基站的使用效率和建設成本進行綜合評估，避免出現基站建設的資源浪費問題，以降低網絡建設成本。另外，運營商通過分析在網用戶的通話位置信息，還原用戶活動軌跡，在用戶密集區域增加基站，以提升用戶使用體驗。對通信大數據進行分析和挖掘，能夠為通信基站的選址提供可靠依據，并可以改進通信資源的分配情況，同時可通過分析話單和信令中用戶的流量在時間維度及空間維度方面的分布，在高用戶流量的熱點區域增加4G基站或Wi-Fi接入點，從而改善通信質量。

網絡運營管理及優化。在網絡運行過程中，運營商可以實時地獲取網絡信令、網絡日志等數據，通過大數據技術對這些數據進行分析，進而更精準地優化網絡運行，提高網絡通信質量和網絡資源利用率，實現網絡、用戶和業務的智能匹配。例如，不同通信小區中的用戶群的收入和消費行為的不同，導致了不同小區的盈利能力不同，而通過對通信小區的數據進行綜合分析和挖掘，能夠得到小區用戶情況、通信行為和小區盈利能力的關聯模型，再和網絡質量分析結合起來，提升某些盈利能力高的小區的網絡覆蓋，并對其網絡進行優化，從而提高電信網絡的投資效率。

（3）精準營銷和實時營銷

運營商可以基于用戶個人信息、通話信息、位置信息、上網記錄等數據，為每個用戶打上其特征屬性標簽，如用戶的通話和上網的時空特征、網絡購物偏好特征等，并借助大數據分析技術進行客戶分群，幫助運營商深入地了解用戶潛在的消費需求特征，然后對用戶與通信服務套餐進行精準的匹配，并在合適的時機通過合適的渠道把用戶感興趣的服務套餐推薦給用戶，從而實現精準營銷，提升用戶體驗并刺激用戶消費，擴大營收。

3.2 對外應用模式

電信運營商積累了大量的用戶數據，如用戶的個人基本信息、位置信息、消費情況、上網記錄等信息。通過大數據技術去除掉個人用戶敏感信息，進而對這些信息進行綜合分析，能夠還原出不同消費人群的活動軌跡、行為特征、感興趣的內容等多種有價值的信息。運營商可以在不泄露用戶個人隱私的前提下向第三方公司出售這些數據和數據分析的結果，如通過移動信令數據分析特定時間段市區各主要道路的人員密集情況以及軌跡信息，能夠幫助交通部門對車輛進行合理導流，減緩擁堵地區的交通壓力。

另外，運營商還可以對外部提供咨詢服務，如在英國、巴西推出了智慧足跡（Smart Steps）的服務，能夠基于移動網絡大數據的分析結果向政企客戶提供客流分析和零售店選址服務。

4 結束語

隨著大數據相關技術及產業的成熟，越來越多的企業嘗試接納甚至擁抱大數據服務。大數據對電信運營商既是機遇，也是挑戰。當前，雖然電信運營商已經開始嘗試使用大數據技術并取得了初步效益，但是大數據技術的發展日新月異，關鍵技術不斷更新演進，新的應用模式層出不窮，電信運營商也應該在大數據的浪潮中抓住機遇，拓展新的空間。基于此，本文提出了一種彈性開放的運營商大數據服務平臺體系架構，并探討了運營商大數據的典型應用模式。

參考文獻：

[1] Zhao Xiaomeng， Ma Huadong， Zhang Haitao， et al. HVPI： Extending Hadoop to Support Video Analytic Applications[A]. Proceedings of IEEE 8th International Conference on Cloud Computing （IEEE Cloud 2015）[C]. 2015.

[2] Yang Xianda， Zhang Haitao， Ma Huadong， et al. Multi-Resource Allocation for Virtual Machine Placement in Video Surveillance Cloud[A]. Proceedings of International Conference on Human Centered Computing （HCC 2016）[C]. 2016.

[3] Zhao Xiaomeng， Ma Huadong， Zhang Haitao， et al. Metadata Extraction and Correction for Large-Scale Traffic Surveillance Videos[A]. Proceedings of the 2014 IEEE International Conference on Big Data （IEEE BigData 2014）[C]. 2014.

[4] 劉春，鄒海鋒，向勇. 大數據環境下電信數據服務能力開放研究[J]. 電信科學， 2014（3）： 156-161.

[5] 韓晶，張智江，王健全，等. 面向統一運營的電信運營商大數據戰略[J]. 電信科學， 2014（11）： 154-158.

[6] 彭慶. 基于大數據技術的數據共享平臺方案研究[J]. 電信技術， 2014（10）： 22-25.

[7] 魏進武，張云勇. 電信運營商的大數據價值創造[J]. 信息通信技術， 2013（6）： 10-14.

[8] 李秋靜，葉云. 電信大數據解決方案及實踐[J]. 中興通訊技術， 2013（4）： 39-41.

[9] 黃勇軍，馮明，丁圣勇，等. 電信運營商大數據發展策略探討[J]. 電信科學， 2013（3）： 7-11.

[10] 童曉渝，張云勇，房秉毅，等. 大數據時代電信運營商的機遇[J]. 信息通信技術， 2013（1）： 5-9.