運營商存量經營大數據平臺及其關鍵技術研究

“基于大數據的互聯網化存量經營”項目組，“基于用戶感知的運維轉型”項目組

（中國聯合網絡通信集團有限公司上海分公司 上海 200122）

1 引言

數據業務的爆炸式增長并未給運營商帶來收入的飛速增長，兩者差距擴大的趨勢日益明顯。同時，各類OTT應用也動搖了運營商短信和語音收入的基礎。新用戶數量增長乏力，而存量用戶10多倍于新用戶，從而增量經營體系向新型存量經營體系轉變是運營商現實的選擇。存量經營的核心理念是以大數據為驅動引擎，使整體存量經營向精準營銷、個性化服務轉變。運營商大數據包含用戶、終端、業務、網絡、經營、客服等全量數據，具有巨大的商業潛力。運營商大數據存量經營是通過深度挖掘大數據價值，支撐用戶維系挽留（以下簡稱維挽）、通信價值提升和非通信價值變現等商業場景，這些都需要運營商先進的大數據平臺以及建模技術作為基礎。首先，通過大數據平臺將用戶、產品、渠道和營銷4個關鍵要素融為一體，實現運營從“粗放型”向“精細化”的過渡；其次，通過大數據建模實現用戶洞察和全生命周期價值，基于用戶偏好匹配業務資源，并利用互聯網化的渠道體系實現場景化接觸與干預，按照用戶個性化需求進行營銷活動。

2 存量經營的商業訴求

存量經營商業價值的成功是運營商大數據創新的最大訴求。存量經營的商業場景主要包括：對內支撐用戶維挽、通信價值提升等運營活動；開展對外數據合作，實現非通信價值變現，應用于廣告投放、零售選址、交通規劃等行業領域。圖1顯示了運營商存量經營的3類商業場景，具體介紹如下。

·用戶維挽：通過大數據建模精準預測潛在離網用戶，分析用戶的離網成本，進行個性化維挽，可以實現用戶維挽與成本資源配置的協調，將資源向高價值、高離網概率用戶傾斜，提升存量用戶數及業務收入的保有率。

·通信價值提升：長期以來，運營商缺少對用戶潛在價值和社會傳播價值的二次開發。把握存量經營的價值規律，盡早實現存量用戶潛在消費能力的釋放，不僅可以實現收入倍增，而且可以帶來良好的社會品牌傳播效益，助推經營局面的進一步優化。通過大數據分析挖掘用戶終端、套餐、偏好、位置等數據信息，可以針對不同用戶個性化營銷通信疊加包、定向包等產品，釋放用戶潛在價值。

·非通信價值變現：通過大數據平臺聚合用戶數據，經過脫敏加密將數據封裝成標準產品服務，面向行業合作伙伴開展業務，提供商業數據分析服務、廣告投放支撐、移動支付系統，實現運營商大數據資產的非通信價值變現，前景十分廣闊。

3 運營商數據管理現狀

存量經營的核心是對大數據的管理分析和挖掘，如何實現商業價值。運營商組織結構復雜，產品和業務種類繁多，數據量巨大，數據管理和挖掘的挑戰很大。盡管運營商擁有強大而完備的IT系統能力，但受到運營商傳統“重計費、輕管理”技術思維的影響，除了計費方面的能力比較突出外，運營商在大數據的商業價值挖掘方面存在很大不足。在大數據時代，運營商數據管理的機制和能力還很薄弱，客觀制約了各種數據潛在價值的挖掘。運營商當前數據處理系統的主要問題為：缺乏統一的大數據平臺，未能統一進行數據管理，包括數據采集、存儲、共享和處理等；缺乏有效的數據建模技術，未能充分發掘大數據商業價值。

（1）缺乏統一的大數據管理平臺

首先，運營商主要的數據源有：O域的CS/PS信令數據、網管數據、位置數據等；B域的計費、營賬、客服、增值業務數據等。采集渠道多，通常分級、分地區、分系統建設，投資重復，整體規劃不足，數據標準化程度低，指標口徑不一，字段含義不一，無法形成有效的數據資產。

其次，在運營商當前的垂直體系架構中，每一個數據應用系統都是孤立建設，導致不同系統間的數據難以共享、應用上線慢。

最后，電信運營商建有以數據倉庫為核心的經營分析系統，通常采用小型機+高性能存儲架構進行建設，針對傳統話單日志等結構化數據設計，不具備非結構化數據與流數據的分析處理能力。

（2）缺乏大數據建模技術來發掘數據的商業價值

大數據建模需要高效的機器學習和數據挖掘算法，并根據業務場景合理地對數據進行分析處理。首先，運營商數據建模手段單一，主要靠人工設定簡單規則實現，很少利用豐富的機器學習算法自動分析數據的潛在價值；其次，運營商不清楚如何利用豐富的大數據實現業務目標，缺乏既了解運營商業務，又了解大數據挖掘技術的跨領域人才。

4 大數據管理平臺架構與功能設計

大數據平臺的總體目標是構建統一的數據采集、存儲、挖掘與分析處理能力。平臺必須支持海量異構數據源的采集，包括運營商內部的結構化、半結構化、非結構化數據和外部第三方數據，并解決數據量暴增所帶來的存儲與計算性能問題。

大數據平臺選用目前主流的Hadoop分布式系統。基于Hadoop的大數據平臺不僅是底層分散的各種數據源的匯聚平臺，更重要的是要在數據匯聚基礎上對數據進行有效跨域整合，并基于強大的數據挖掘分析模型，對上層應用提供各種跨域數據分析能力，從而使應用能專注于自身的業務邏輯，快速創新，促進上層業務應用百花齊放。大數據平臺的關鍵特點如下。

·基于Hadoop的x86服務器集群，支持強大的可擴展能力，可以隨數據量增長而平滑擴容；將Hadoop與虛擬化云技術結合，可以實現更靈活的分布式資源管理能力；基于Hadoop流處理技術，提供實時數據分布式處理能力。

·數據統一采集、存儲、整合、共享。基于數據透明訪問模

塊提供數據統一訪問管理，實現應用與數據解耦，同時增強數據安全管控能力，提升用戶隱私保護能力。

·整合數據挖掘模型，構建運營商統一的商業洞察與網絡洞察組件或模型庫，提供統一的能力服務，快速部署應用。

基于Hadoop的大數據平臺系統架構如圖2所示。架構功能邏輯上主要包括三大塊：數據層、能力層、管理域，具體介紹如下。

數據層主要包括分布式ETL模塊、數據庫、數據透明訪問模塊。

能力層主要包括大數據挖掘建模基礎能力組件、商業洞察組件、網絡洞察組件、能力總線等模塊。其中，大數據挖掘建模基礎能力組件是大數據的加速器，主要提供數據擬合、聚類、機器學習等核心算法庫，用于尋找數據間的關聯關系；也包括文本分析、語音分析、視頻分析、圖分析、自然語言處理、搜索引擎等各種類型的數據分析處理技術；還包括數據分析集成開發環境。能力層是整個大數據的核心，使大數據平臺區別于傳統數據中心，真正具備數據智能。能力層的大數據建模技術將在第5節進行詳細介紹。

管理域主要包括系統管理與數據治理，系統管理主要管理軟硬件資源，提供簡單易用的系統操作維護界面，包括集群安裝、部署管理、軟件升級管理、節點管理、服務管理、任務管理、配置管理、集群監控、告警管理、日志管理等功能；數據治理主要管理系統內存儲的數據，包括元數據管理、數據質量管理、數據生命周期管理、數據安全管理等。

4.1 數據層

數據層的核心是數據整合和數據透明訪問。數據整合主要采用統一任務調度控制所有ETL數據采集模塊。基于元數據配置執行數據采集流程，完成數據采集、清洗、轉換、關聯、入庫等各種操作。通過外部數據源與大數據平臺數據庫之間的數據傳輸、大數據平臺內庫與庫之間的數據傳輸，實現對整個系統數據處理邏輯的全局調度。使用Hadoop的MapReduce技術，分布式并行執行各種操作，整個采集性能非常高，較之傳統ETL算法，性能提高10倍以上。數據整合模塊的框架如圖3所示。

基于每種數據庫的特點，可以靈活配置數據存儲策略，優化系統性能。Hadoop存儲ODS操作型數據和非結構化用戶詳單數據，如用戶上網日志、用戶詳單原始數據；MPP數據庫存儲明細數據與輕度匯總數據；主數據倉庫存儲高度匯總數據、報表數據、多維數據、標簽庫、指標庫等結果數據。

數據透明訪問模塊提供統一的數據訪問接口，屏蔽底層數據庫的差異及數據位置的影響，降低應用和數據耦合，提高開放性和標準化，使大數據平臺能夠更高效地服務于上層應用與數據分析能力組件。數據透明訪問模塊將數據封裝為獨立的服務實體，提供標準化的交互接口，供內部模塊或者外部系統調用，主要包括數據庫訪問路由、負載均衡、SQL方言轉換、數據適配、緩存加速、安全控制以及數據訪問日志統計等功能。

實施數據透明訪問主要實現的目標如下。

·建立數據服務的標準化接口，降低數據依賴，促進信息共享和應用重用：通過有效組織內部數據處理邏輯，提供標準化的對外服務接口，提高在安全、分布式事務處理方面的能力，降低應用與具體數據結構的依賴關系，提升應用的可擴展性和可重用性。

·通過數據共享開放數據服務，提升與外部系統的互動能力：將數據共享為數據Web服務，提供同步響應、異步響應、發布訂閱、數據庫等多種數據服務模式，提高數據訪問的開放性和靈活性。

數據透明訪問模塊是內部業務應用及外部系統與數據層進行數據交互的標準化接口，按功能又可分為數據訪問接口、數據訪問服務模塊兩部分，其架構如圖4所示。

其中，數據訪問接口通過消息模式、發布訂閱模式、數據庫模式等技術手段完成各種數據訪問接口的適配。數據訪問服務層是具體的服務實體，完成具體的數據訪問處理邏輯和數據操作等功能。數據訪問服務主要負責對接收到的請求方的消息進行控制和管理，各類應用作為數據訪問服務的請求方，發送請求消息給數據訪問服務層，當數據訪問服務模塊接收到具體請求后，對請求的消息進行訪問權限管理、SQL解析、SQL方言翻譯，通過元數據查找數據具體位置，最后路由到相應數據庫執行數據庫操作，并返回結果給數據訪問服務請求方。數據訪問服務中的關鍵功能模塊說明如下。

·元數據接口：從外部導入元數據的接口，以了解數據、數據表在各個數據源的數據分布以及生命周期。

·SQL解析：對SQL進行解析，拆解出表字段以及表關聯關系，通過元數據獲取表的物理位置。

·SQL方言翻譯：不同的數據庫或者SQL on Hadoop引擎有不同的優化，可將通用的SQL轉換成其專有的SQL。

·SQL計劃：對SQL進行優化，轉換成實際執行的SQL。

·SQL調度與路由：根據元數據優化對具體數據源的實際SQL執行。

·計算引擎：歸并各個數據源的返回結果。

·數據庫連接管理：管理實際連接各個數據庫的連接。

·會話管理：對所有訪問作為會話進行管理控制，維護連接關系。

·訪問權限管理：對訪問請求方進行用戶權限控制，防止非法訪問。

·數據安全控制：對隱私數據和需要保護的數據根據用戶訪問權限進行加解密處理。

·負載均衡：基于每個數據庫服務器的訪問負荷自動調節數據訪問目的地，實現所有數據庫服務器的負載分攤。

·緩存加速：對熱點訪問數據進行緩存管理，后續直接訪問緩存即可，既提高訪問效率又減輕數據庫負荷。

4.2 管理域

管理域包括數據治理和系統管理，核心是數據治理，包括元數據管理、數據質量管理、數據生命周期管理、數據安全管理。元數據管理對系統內所有數據進行定義與管理，是數據治理的核心，保證數據描述的準確性、一致性、端到端可管理。數據質量管理是確定哪種級別的數據質量屬于“足夠好”的質量，以滿足上層應用的需求。數據生命周期管理就是制定數據存檔策略，確保存儲成本不會超出控制，同時滿足組織設定的數據保留計劃，以便按照法規要求合理處置數據。數據安全管理是數據治理的另一個關鍵功能，企業必須嚴格關注并遵守用戶隱私方面的法律法規，將用戶真實標識與用戶行為進行邏輯隔離，在架構上能夠分開隱私域與非隱私域、敏感數據和非敏感數據、可對外呈現和不可對外呈現的數據。

大數據的數據量很大，配置管理元數據的工作量也會非常大。從方案上需要考慮從各數據源中直接獲取元數據，要求支持手工獲取和自動獲取兩種方式：對于自動獲取方式，需要提供適配器管理，并能夠提供SQL解析和API抽取元數據等功能；對于手工獲取方式，需要提供與各種元數據相適應的元數據手工錄入功能。

大數據平臺需要端到端考慮數據的安全性，從物理安全、基礎設施安全、網絡安全、管理安全、數據安全5個層次都做好充分考慮。通過網絡隔離，保證數據處理、存儲安全和維護正常運行；通過對Hadoop集群內節點的操作系統進行安全加固等，保證節點正常運行；從身份認證、權限控制、審計控制等方面做好管理安全措施；從集群容災、備份、數據完整性、數據保密性等方面，保證用戶數據以及隱私數據的安全；用戶隱私安全需重點關注，在數據架構上要考慮將用戶真實標識與用戶行為進行邏輯隔離，分開隱私域與非隱私域、敏感數據和非敏感數據、對外呈現可識別和不可識別等。

5 大數據建模關鍵技術

大數據平臺能力層的核心是數據建模技術，大數據需要先進的建模挖掘技術才能發揮應有的價值，是實現互聯網化存量經營的關鍵。模型的構建需要根據業務目標，合理選擇目標函數y=f(x；θ)和優化函數參數 θ，這個過程統稱為數據建模。其中，目標函數的輸入x和輸出y需要業務人員的精確定義，而模型選擇和具體參數調試或者長期的函數模型設計，需要數據挖掘和機器學習專家參與，因此大數據建模是一個需要跨領域合作的挑戰性很高的項目。好的模型能輸出業務人員期望看到的可執行知識，協助業務人員調整策略實現更好的存量經營。目前，互聯網企業如百度、騰訊和阿里廣泛使用大數據建模技術，以提供更佳的用戶體驗。本文簡單介紹一下中國聯合網絡通信集團有限公司上海分公司（以下簡稱上海聯通）采用若干大數據技術，通過用戶離網預測大數據模型實現更優的存量經營，可以自動精準定位存量經營的用戶對象目標，從而以較小的成本實現較高的回報。

用戶離網預測模型流程包括4個步驟：輸入數據清理；特征提取和樣本標注；隨機森林模型訓練；使用模型輸出預測結果，如圖5所示。

上海聯通每個月預付費用戶離網數量大約為20萬戶，如果挽留30%的用戶，每個用戶平均貢獻75元左右，那么一年（12個月）的存量收入大約是5 000多萬元。但是，普通業務規則無法準確判斷每個用戶的離網傾向和離網的時間點，使得維系挽留的成本過高。例如，資源很大一部分投入離網傾向低的用戶，并未提高挽留的用戶總數。通過大數據建立模型可以更加精準地學習離網用戶的畫像，并針對性地設計維系挽留策略，從而使得有限的資源達到最優的使用效率。

用戶離網預測模型中，輸入的用戶行為特征x是每個用戶的歷史話單、賬單和網絡側記錄。通過歷史記錄標注離網用戶和在網用戶，并通過兩類用戶的歷史，例如提前1～2個月的記錄，訓練一個分類函數y=f(x；θ)。其中，目標y就是每個用戶的離網概率或者傾向。通過歷史標注的記錄{y,x}，利用機器學習算法估計模型的參數θ。模型參數確定好之后，可以利用模型函數，給定新的用戶記錄xnew，輸出離網概率ynew=f(xnew；θ)。考慮到用戶離網數據隨時間不斷變化，需要動態地學習模型參數，使得預測精度有所保證。首先需要從話單、賬單、客服數據和網絡側數據中抽取在網和離網用戶的特征x，并根據業務人員定義的離網條件給出標注y訓練模型。目前選擇的是業界較先進的隨機森林模型[1]，通過組合幾百棵決策樹，預測每個用戶的離網傾向。隨機森林模型的目標函數如下：

其中，x是輸入的用戶電信行為特征，θb是每一個決策樹的參數，B是隨機森林中決策樹的棵數，輸出的離網概率p離網是B棵決策樹輸出的平均概率。需要優化隨機森林參數θb,1≤b≤B，使得離網用戶的概率高而在網用戶的概率低。該模型的訓練算法采用隨機采樣并對信息增益進行逐步排序挑選，實際速度很快，滿足生產系統需求。如圖5所示，模型輸出每個用戶在不同時間段的離網傾向，預測的離網用戶名單被送往離網用戶維系部門進行針對性的維系活動。

6 上海聯通大數據應用成果

6.1 大數據平臺及數據建模成果

上海聯通已經完成大數據平臺系統一期工程的建設，融合了B側經營數據和O側網絡，邏輯組網如圖6所示。

大數據建模的一個重要成果是使用模型輸出的結果產生商業價值。以上海聯通部署的大數據模型（用戶離網預測模型）為例，介紹大數據建模的成果。

圖7顯示了區分離網和在網用戶的主要特征并按照重要性（權重）進行排序。其中最重要的3個特征包括ARPU值（用戶話費）、入網時長和通話時長，ARPU值即用戶上個月的話費，是重要性最大的特征，其次是入網時長和通話時間，這3個特征的重要性占所有特征重要性的大約60%，其余52個特征僅占重要性的40%。這個結果表明，有一些關鍵特征可以將離網用戶分辨出來，而模型挑選的特征也是與電信業務人員的經驗相吻合的。

表1顯示了預付費用戶離網預測模型在實際應用中的表現。模型預測2014年5月份共467 820個用戶有離網傾向，業務人員從中隨機選擇了10 277個用戶外呼進行維系挽留活動（如充值送話費等活動），剩下的457 543個用戶作為對照組不進行任何干預。業務人員評價模型的指標是“充值率”，期望看到的結果是對照組的充值率明顯比在網用戶的平均充值率低（即一部分用戶離網），而外呼組比對照組的充值率高（即一部分用戶被成功挽留）。表1的結果符合業務人員的預期。例如，對照組的充值率為0.408 0，低于在網用戶平均充值率0.515 6大約20%；外呼組的充值率為0.560 4，相對對照組大幅提升約40%，表明維系活動的確挽留了部分離網用戶，提高了存量經營的效率。

表1 用戶離網預測模型的實際效果

6.2 存量經營商業效果

上海聯通從2013年下半年開始啟動存量經營大數據創新工作，至2014年上半年在用戶維挽、通信價值提升、非通信價值變現等方面都取得了較好的成果。依托大數據平臺，精細化流量相關業務的營銷成功率較先前提升了7.5個百分點，客戶對增值業務類產品和營銷的滿意度提升近10個百分點。首先，在用戶維挽方面，累計公眾存量用戶的保有率同比提升1.4個百分點，累計后付費用戶續約率同比提升16個百分點，續約后用戶的APRU值有明顯提升。其次，在通信價值提升方面，新增各類數據疊加包用戶59萬戶，同比增長190%，環比2013年第4季度增長70%左右。手機用戶的數據業務收入占比同比提升5.6個百分點，3G用戶的戶均流量同比提升36%。最后，在非通信價值變現方面，與業界領先大數據挖掘公司簽訂基于大數據的互聯網標簽應用合作協議，與多家國際知名咨詢公司簽訂基于移動軌跡信息的合作協議，在戶外傳媒廣告價值評估、零售店面選址規劃等項目中開展合作。

7 結束語

大數據技術應用于運營商存量經營是個嶄新的課題。上海聯通將存量經營和增量經營適當分離，利用大數據技術手段，真正關注和了解存量用戶，持續挖掘和提升存量客戶的價值，是一種創新的嘗試，為運營商在傳統電信行業中經營轉型做出有益探索。當前上海聯通在大數據平臺完成了一期建設，初步構建了統一的大數據采集與整合能力、分析處理能力以及應用能力。大數據建模方面已經開發完成多個數據模型，應用于多個商業場景，取得了較好效果。整體存量經營商業效果在2014年上半年取得明顯成果。

從未來發展來看，大數據技術在運營商存量經營中的應用會越來越多。未來大數據會與云技術結合，具有更好的集群資源管理和處理能力。與物聯網結合，獲得更豐富的數據源信息。數據建模持續增強，例如在語音處理、視頻處理、圖分析、自然語言處理等方面實現突破，真正實現大數據可比擬人視聽的信息處理能力。數據可視化技術，會有更強的數據可視化展現能力、方便人類洞察數據的能力。

1 Leo B.Random forests.Machine Learning,2001,45(1):5～32

2 Bishop C M.Pattern Recognition and Machine Learning.Springer,2006

3 Brin S,Page L.The anatomy of a large-scale hypertextual Web search engine.Computer Networks and ISDN Systems,1998(30):107～117

4 Mhashilkar K,Sarkar J. Formation integration: metadata management landscape.http://www.docin.com/p-598461808.html,2006