大數據技術及其在電信行業的應用研究

梁楊+朱宏文+趙大海

【摘 要】為了對大數據技術及其在電信行業的應用進行研究，首先梳理了電信運營商的大數據資產，其次通過對大數據主流技術的研究，歸納出電信運營商大數據服務能力，然后分析電信行業大數據的應用并給出案例，最后提出大數據的運營與發展建議。

【關鍵詞】大數據資產 大數據技術 對外變現

[Abstract] In order to investigate big data technology and its applications in the telecommunication industry， big data assets of telecommunication operators were combed firstly. Then， based on investigations of the mainstream big data technology， the big data service capability of telecommunication operators was summarized. In addition， applications and practical cases on big data in the telecommunication industry were analyzed. Finally， suggestions on the operation and development of big data were put forward.

[Key words]big data assets big data technology external realization

1 引言

移動互聯網的飛速發展催生了“大數據時代”的到來，各種新型智能移動設備的迅速普及帶來了海量數據的爆炸式增長，運營商業務面臨著前所未有的數據膨脹和數據多樣化（手機信令、海量手機用戶上網、B/O/M/DPI各域協同分析等），能否有效地利用和分析這些數據，成為市場競爭的關鍵，國內外電信運營商的發展戰略也由“流量經營”逐漸向“數據經營”轉變。

自2013年“大數據元年”以來，大數據相關技術日臻成熟，但是電信行業在大數據技術的應用方面目前還主要以企業內部應用為主，在大數據資產對外變現方面的應用相對較少，仍舊處于探索階段。本文將研究電信運營商如何利用自身掌握的數據資源優勢，結合大數據技術，盡快推出各類應用，對內強化自身優勢，對外拓展盈利機會。

2 運營商大數據資產

用戶從開戶、充值到通話、短信、上網等使用通信服務的行為產生了大量的數據，這些數據和電信基礎設施數據以及由其衍生的預算、財務等各類數據，積累在電信運營商的IT系統中，形成了巨大的數據資產。我國三大電信運營商均為全業務運營商，各自的數據資產大同小異，下面以我國最大的電信運營商——中國移動為例，闡述電信運營商所掌握的大數據資產情況，如表1所示。

從中國移動的大數據資產列表中可以看出，各個電信運營商的IT系統中存儲著種類眾多的數據，這些數據涵蓋了通信業務類、網絡信令類、互聯網內容類、企業管理類等諸多方面。通信業務類數據可以幫助電信運營商提供更好的客戶服務，實現更加精準和靈活的計費；網絡信令類數據可以讓運營商實時地獲取用戶當前所處的位置、通信行為產生的時間、地點等，DPI（Deep Packet Inspection，深度包檢測）數據經過二次解析后，可以讓運營商清楚地知道用戶的網絡行為，比如訪問過哪些網站、購買過哪些商品，從而判斷出用戶的興趣及關注點；互聯網內容類數據來自Web和APP客戶端，一般通過JS（JavaScript，一種腳本語言）插碼或SDK（Software Development Kit，軟件開發工具包）的方式收集包括用戶支付記錄、商鋪信息、終端數據、內容訂購以及消費記錄等信息；企業管理類數據可以幫助電信運營商優化和提升自身的管理效率等。

針對大數據資產（勞動對象），電信運營商（勞動者）需要通過運用大數據技術（生產工具）才能輸出有用的數據（價值），為企業創造價值。

3 大數據技術及服務能力

3.1 大數據主流技術

大數據的海量、多結構、高增速、低價值等特點對數據庫、文件系統等數據處理和挖據技術提出了很高的要求。傳統的RDBMS技術受限于容錯性和擴展性，不能適應大數據的快速處理和深度分析需求，在大數據領域適合的場景逐漸萎縮至數據可視化，擔任數據集市的角色。

近幾年來，X86架構服務器以高性價比、功耗低、占用空間小等優勢逐漸取代傳統小型機，成為電信運營商使用最廣泛的硬件資源，與X86服務器相適配的大數據技術也同步快速發展。以Hadoop等為首的大數據技術日益成熟，被業界廣泛接受和應用，從開源版本到商業定制化版本均有成熟穩定產品，廣泛應用于海量數據的批處理場景，Hadoop技術的發展促生了良好的生態環境。MPP（Massively Parallel Processing，大規模并行處理）數據庫是基于關系型數據庫的改進，在擴展性方面得到了增強，使之在深度分析領域占有一席之地；Spark技術屬于新興技術，通過基于內存的計算框架提高計算性能，適合準實時數據處理等場景；流處理技術則是針對實時性非常強的流式數據進行處理的利器；NoSQL技術是對關系數據庫的功能進行簡化或者去除，拋棄一些對具體應用場景不太關鍵的關系數據庫的累贅，以在某些方面獲得優于關系數據庫的特性，絕大多數NoSQL數據庫的本質都是Key-Value store（鍵值對存儲），適合簡單高效的海量數據快速存取場景。

大數據主流技術情況介紹以及對應的應用場景和代表產品如表2所示。

上述大數據技術在具體應用的時候，根據實際應用場景，可能采用一種技術，也可能采用幾種技術的組合。

3.2 運營商大數據服務能力

電信運營商將自己掌握的大數據資產與大數據技術相結合，就可以產出大數據服務能力，包括位置信息服務能力、價值信用評估能力、體驗感知評測能力、社交關系識別能力、興趣偏好分析能力、行為關聯預測能力等，這些服務能力是運營商大數據應用的基礎。

3.3 電信行業大數據應用

按照電信運營商的角度，可以將大數據的應用分為企業內部應用和企業外部應用兩類。企業內部的應用大多以報表和專題的形式展現，包括提升系統效率、提高用戶滿意度、提升營銷效果等；企業外部的應用則以報告和應用等形式輸出為主，包括旅游、公安、征信、氣象、人口密度等領域的應用。這些應用無論是對內使用還是對外變現，都可以歸納為網絡、運營、用戶、市場營銷等維度，如表3所示。

接下來，本文將基于上述內容，結合國內和國外有代表性的電信運營商的大數據應用案例分別進行闡述。

3.4 國內運營商應用案例

國內電信運營商（中國移動、中國電信、中國聯通）的大數據應用目前還是以內部應用居多，外部變現類應用較少。

（1）中國移動近3年密切跟蹤并研究大數據技術，積極探索和推廣大數據應用，企業內部應用較多，具有代表性的應用有：某省公司A引入Hadoop平臺解決Gn口海量數據的實時接入、海量存儲、高效運算、數據分析挖掘、數據實時服務等問題；為了滿足移動互聯網時代帶來的經分海量數據處理需求，某省公司B引入Spark技術搭建流量運營平臺實現數據處理效率的提升，支持海量數據分析，從技術上助力流量運營平臺更好地發展；為了解決傳統經分主庫壓力大、擴展困難的問題，某省公司C將原經分系統中的Oracle A、B庫的清單匯總以及各類應用逐步遷移到Vertica分析數據庫集群中，減輕主庫壓力，滿足應用增長的需求；某省公司D構建Storm流處理技術的實時經分體系，進行實時數據獲取與處理、實時數據分析與展現，讓使用者及時獲取市場動態，凸顯數據價值；某省公司E為了給用戶提供實時詳單查詢服務，提高用戶滿意度，引入HBase技術，提供高吞吐、低延時、低成本的查詢服務；某省公司F引入Flume+Kafka+Storm技術組合架構，搭建實時日志采集平臺，實現從各數據源采集點的數據采集、數據接入、在線處理到最終數據輸出的快速高效解決方案。廣州移動通過網絡優化大數據的共享平臺結合移動辦公，進一步提高網絡優化的效率，拓展了網絡優化的時間和空間，摸索了一條在移動互聯技術背景下，如何對網絡優化生產進行“轉型”和“升級”的道路，也填補了移動互聯優化這一領域的空白。

中國移動大數據對外應用也在積極探索中，目前大數據對外變現類應用在征信領域代表性的案例是東莞移動與東莞某銀行的合作：東莞移動構建的基于電信大數據的個人征信評價體系由客觀變量、評價指標及信用評分三部分組成。客觀變量包含ARPU（Average Revenue Per User，每用戶平均收入）、流量消費、在網時長等用戶業務數據，以及用戶的性別、年齡、身份證號碼或者實名制信息等用戶基礎數據共24項變量。基于客觀變量，將24項變量劃分為身份特征、通信消費能力、信用歷史、行為偏好以及人脈關系五類評價指標。最終評分參考了美國個人信用評級法FICO評分，通過評分模型邏輯計算輸出用戶評級，分數越高代表用戶的信用越好。銀行在發行信用卡或審核貸款時通常面臨申請人資料是否屬實和給予申請人信用卡或貸款額度多少的問題，為解決這兩個問題，東莞某銀行與東莞移動就大數據評分在信用卡授信方面通過上述聯合建模，提出了應用方案，即：問題一可通過運營商實名制結果予以驗證，問題二可通過綜合信用評分予以解決。該合作從2015年9月份開始正式運營，共受理銀行信用卡授信請求1709筆，通過銀行驗證1075筆，應用效果良好。

在旅游大數據應用領域，河北移動通過前期在秦皇島等地市的試點推廣獲得普遍認可，系統通過對信令數據的采集與挖掘，輸出游客游覽景區的行為，幫助旅游和景點管理部門掌握景區流量、優化景區設施等，后期將大數據報告形式的服務轉化為以系統支撐的常態化服務。

在公共服務領域，河北移動推出人群密度大數據，針對各類熱點事件、重大節日，如廟會、跨年夜、演唱會、體育賽事等區域，進行人群密度的實時監控，包含對人群的年齡分析、來源分析、市場占有率分析等，并對人群聚集較多的區域及時預警，通知相關人員，做好防范工作，避免踩踏等事件的上演。

（2）中國電信是國內電信運營商中最早實施互聯網行為分析用于自有業務推廣的企業。在對外應用方面，中國電信在2013年啟動大數據RTB（Real Time Bidding，實時競價）廣告業務；在對內應用方面，中國電信河南公司對運營商網絡數據進行深度加工，對原本只用于計費的通話詳單進行深度加工，挖掘其中的用戶行為屬性，構建用戶行為分析模型，并成功應用于養卡用戶監控等業務。

（3）中國聯通建設的“移動通信用戶上網記錄集中查詢與分析支撐系統”中引入大數據和Hadoop技術，構建了一個全國集中的一級架構海量數據存儲和查詢系統，用于支撐全網數億用戶的上網記錄查詢工作，通過集中統一的大數據平臺對用戶數據進行深度的挖掘分析，提升針對用戶的個性化業務支持能力。

3.5 國外運營商應用案例

國外一些主流運營商的大數據應用案例如下所示，其中的對外變現應用案例尤其值得國內運營商參考借鑒。

（1）T-Mobile：利用大數據分析來推動其“去運營商化”策略來減少客戶流失：通過跨部門數據整合和分析來全方位審視客戶，鼓勵客戶共享其社交媒體頁面，針對特定項目跨業務部門共享所有客戶數據，用于從內部和外部（例如社交媒體）全方位檢視客戶對客服、技術支持和營銷的看法；洞察產品和服務的性能、客戶與公司接觸的觸點；洞察收入管理系統、采購-下單、出貨和物流；洞察網絡質量和覆蓋范圍。

（2）Orange：1）通過對客戶進行細分，分析客戶數百萬電話的數據記錄，重點關注客戶的通話對象以及通話頻率，有效提高了用戶流失預測模型的精確性，另外還通過分析掉話率數據，尋找超負荷運行的網絡并進行維護及擴充；2）“Orange Business Services”還將大數據應用到公共服務領域，如根據高速公路上車輛每天產生的數據記錄進行分析，幫助車輛獲得及時準確的信息，提高道路通行率。

（3）AT&T：1）AT&T選擇與Facebook結成戰略聯盟，通過對Facebook的非結構化數據進行分析，挖掘用戶對價格、移動功能、服務感知等產品指標的體驗情況，從而推出更加準確的電信捆綁服務；2）通過客戶在星巴克門店附近通話等通信行為收集客戶的位置信息，挑選高忠誠度客戶，簽署AT&T與星巴克之間業務協議，并把隱私管理權交給客戶自己，AT&T將這些信息服務賣給星巴克，星巴克通過對這些數據的挖掘做出個性化推薦。

（4）Verizon：成立精準營銷部門，洞察用戶需求以進行精準營銷，為廣告投放提供數據支撐，并推出面向ISIS（Verizon、AT&T和T-Mobile發起的移動支付系統）的移動商務。

（5）意大利電信：通過對客戶數據的洞察，有效地預測收入狀況與客戶行為的關聯性，推出諸多個性化產品滿足客戶需求。

（6）Telefonica：啟動一個針對移動寬帶網絡的端到端用戶體驗管理項目，并建立一個包含60多個用戶體驗指標的系統，支持無線網絡控制器（RNC）、域名系統（DNS）、在線計費系統（OCS）、SGSN等各種網絡節點的信息采集，為用戶體驗優化提數據支撐。

（7）西班牙電信：通過采集網絡側的用戶位置、行為、域名等數據，基于完全匿名和聚合的移動數據，對某個時段、某個地點人流量的關鍵影響因素進行分析，將洞察結果提供給零售商，供他們為新店設計和選址、設計促銷方式、反饋客戶等提供決策支撐。

電信運營商既是大數據的生產者，也是大數據的傳輸者和使用者。由于用戶數據的隱私問題，各運營商在對外應用推廣方面十分謹慎，進展緩慢，但受上述國外運營商的一些對外變現案例的啟發，電信運營商在對外變現類應用推廣過程中可以考慮采取如下策略來規避隱私問題：第一種策略，售賣的信息是人群分組信息（基于完全匿名和聚合的數據），采用群體性的、趨勢性的分析，并非用戶個人明細信息；第二種策略，對數據的某些敏感信息通過某些規則進行數據的變形，實現數據“脫敏”，引入第三方中立機構進行評估佐證，以規避用戶隱私方面的法律風險；第三種策略，客戶在充分了解業務的基礎上與電信運營商（或電信運營商和合作商一起）簽署協議，客戶隱私的管理權交給客戶自己。

4 結束語

目前，電信行業大數據技術的應用還處于初級階段，以企業內部應用為主，側重改善技術、管理、流程、服務等方面的問題，對外變現類應用極少，實現數據資產對外變現才是大數據的真正魅力和意義所在。

大數據的重要性已眾所周知，互聯網企業憑借其靈活機制和互聯網基因等優勢率先開拓了市場，電信運營商面臨更加嚴重的管道化威脅，電信運營商應盡快利用掌握的優勢資源和儲備的大數據技術，開展對外變現類的增值應用，迅速建立對外服務的生態圈，提高自身競爭力。

通過本文的分析可知，要實現大數據的廣泛關聯，進而提高大數據的價值，電信運營商要有開放的思想、開闊的思路。通過建立企業大數據開放平臺，借助外腦，與友商合作開發應用，實現共贏；通過與潛在的互聯網企業合作（如百度公司，百度在掌握用戶資料方面處于弱勢，而運營商則處于明顯優勢），互補、共享雙方的大數據資源，實現共贏。合作可以通過開放接口等技術方式實現，也可以通過直接投資對方企業進行控股等商業手段實現。更理想的情況，電信運營商在擁有大數據技術能力和運營能力的基礎上還可以自己做電商，或者開展諸如RTB廣告業務盈利。

總之，電信運營商要爭取占領大數據生態圈的上下游，拓展征信、交通、旅游、氣象、公安等各個領域的戰略合作，盡快布局，決勝未來。

參考文獻：

[1] Ovum. Using Big Data Analytics To Manage Customer Churn and Loyalty KPIs[Z]. 2015.

[2] 覃雄派，王會舉，杜小勇，等. 大數據分析——RDBMS與MapReduce的競爭與共生[J]. 軟件學報， 2012（1）： 32-41.

[3] 胡舜耕，魏進武. 大數據及其在電信運營中的應用研究[J]. 電信技術， 2015（1）： 14-17.

[4] 王波，陳標，魏宇航. 電信大數據在征信領域的應用研究[J]. 移動通信， 2016，40（8）： 80-83.

[5] 張云帆. 電信運營商大數據發展策略與價值挖掘[J]. 移動通信， 2016，40（5）： 20-23.

[6] 谷紅勛，楊珂. 基于大數據的移動用戶行為分析系統與應用案例[J]. 電信科學， 2016（3）： 139-146.

[7] 許汝鵬，崔晶也，關則洛，等. 網優大數據共享架構設計及應用實踐[J]. 電信科學， 2016（4）： 152-157.

[8] 鄭雪菲. 國外電信運營商大數據應用及啟示[J]. 移動通信， 2015，39（13）： 29-33.

[9] 何小朝. 縱橫大數據-云計算數據基礎設施[M]. 北京： 電子工業出版社， 2014.

[10] 中國移動通信企業標準. 中國移動省大數據平臺技術規范分冊[S]. 2015.

[11] 中國移動通信集團公司業務支撐系統部. 大數據技術指南（版本號：3.0.0）[S]. 2016.

[12] 段云峰. 電信行業大數據架構研究與實踐[A]. 2016中國信息通信大數據大會[C]. 2016.