陳雅靜

[摘要]講述大數據時代下，電信運營商該如何建設大數據平臺，并利用大數據完成企業轉型的華麗蛻變，同時詳細介紹了大數據的特征，以及數據采集和分析的最新技術手段。

[關鍵詞]大數據 企業轉型 數據采集 數據分析 數據挖掘

[中圖分類號]G250.74 [文獻標識碼]A [文章編號]1672-5158（2013）06-0010-02

近年來，電信市場競爭越來越激烈，除了運營商之間的競爭漸趨白熾化，在語音業務增長乏力的情況下，新興互聯網業務也在悄悄蠶食傳統電信服務。電信運營商應如何應對市場環境發生的深刻變化？如何利用現有資源走出困局？

電信轉型已勢在必行

基于互聯網和移動互聯網業務的興起，電信企業轉型已勢在必行。首先是傳統電信市場趨向飽和，運營商新增客戶數和離網客戶數都很高，有的地方比例接近1：1，意味著凈增客戶已經很少，新增客戶主要是重入網客戶或者粘性不高的“搖擺”客戶；有的地方即使出現了個別業務的增長，但隨之而來的是增量不增收的尷尬局面。其次是在以智能終端為載體的移動互聯網環境下，商業模式發生了巨大變化，以往增值服務提供商必須借助運營商才能向客戶交付業務和收取費用，而現在從應用開發到支付都實現了開放，運營商不但不再是業務供應的唯一渠道，運營商反而成為新產業環境下的后進者。三是網絡流量劇增帶來網絡質量變差，客戶體驗下降，而3G、WiFi等大量網絡的利用率卻并不高，反映了網絡投資建設和優化的不協同、不均衡。

因此，電信轉型的突破口就在于建立應對存量市場的運營體系。在以往的增量市場中，主要依靠發展新客戶；而在飽和市場中，發展的新客戶往往是重入網的客戶，這種周轉帶來的其實是運營商的損失。以往利用收費平臺、短彩信網關等做增值業務的模式被移動互聯網、智能終端打破后，運營商需要重新加入和構建生態鏈，通過做APP應用、應用平臺，或者盤活數據資產去開拓廣告等新領域、以及進行精確營銷等。以往通過建設擴容來提升網絡質量，但故障率降低的重要原因是設備增加后“分母”增大了，客戶的體驗反而可能變差了；而且無休止的擴容，需要大量資金的不斷投入，在目前電信行業效益普遍下滑的前提下，以網絡為中心的運維需要向注重業務質量和客戶感知轉型。

什么是大數據

“大數據是現有工具無法在可以容忍的時間內對其進行抓取、管理和處理的數據集合。”

——Wikipedia.org

IDC將大數據的特征歸納為4個“V”：

*Volmne代表海量的數據規模，從TB級別躍升到PB級別，甚至是EB級。Google每天分析超過950PB數據；百度每天完成1.5PB數據的挖掘。

*Variety代表多樣的數據類型，包括非結構化、半結構化和結構化數據。

*Value代表巨大的數據價值，但挖掘分析更加困難。

*Velocity代表動態數據的快速處理。Google Percolator可以在2秒內完成一個新網頁的索引并上線。

電信運營商對大數據其實并不陌生，每天都會處理成百上千億的訂單、計費、清單等數據，而信令的數量級也是大得驚人，網絡中更是存儲和傳輸著海量的文字、語音、視頻數據。過去運營商并沒有有效利用大數據，一方面因為數據量大，各項成本和投資比較高；一方面因為數據分析技術不強，難以實現實時分析、語義分析等；更主要的是在原有商業模式下，定單、計費、基本客戶信息等結構化數據的分析就足夠了。但是運營商現在已經進入存量市場競爭時代，新的數據分析能力便成為實施電信轉型的核心利器。

大數據的演進過程

對于電信運營商來說，現在大數據應用領域仍處于起步階段，要實現最終的EDA（企業數據應用）架構，必須完成ODS（運營數據倉儲）到EDW（企業數據倉庫）的演進。如何采集好數據、管理好數據、挖掘應用好數據，是決定工作成敗的關鍵。

ODS使命

ODS定位為統一準實時數據共享平臺，承載統一客戶視圖的提供及展示，提供生產經營數據質量檢查、生產經營報表統一的提供和展示、關鍵生產經營績效指標與經營風險的監控等功能，以中間層及常規報表為主。目前在建系統多采用Oracle數據庫，主要用戶為一線生產運營人員及各本地網管理人員。

ODS建設首先應解決數據從何處來？隨著CRM、計費、結算、服務開通、客服等核心IT系統建設的逐步成熟，以及客戶品牌統領市場經營工作對IT固化生產流程的迫切要求，使得ODS成為承載企業數據模型及數據標準。但是要實施大數據項目，必須打通數據“豎井”，構建全域數據平臺，因此除了采集上述系統數據外，還應采集資源類、基站等網絡數據，以及代理商傭金、終端成本補貼等財務數據，逐步實現跨業務、運營、管理等各專業的數據共享。需要注意一點，大量數據仍處于“沉睡”狀態是現實，不要因此而否認數據的價值，就不進行搜集、積累、存儲。

其次，如何保證數據實時性？目前ODS數據按實時性要求可以分為3類，一類是實時要求比較低，基本上可以一天或多天采集一次的，如清單明細、產品配置、網絡信息等，這種接口可以采取傳統的方式，如文件傳輸、定時同步等；另一類是實時要求非常迫切，與生產系統基本上是實時同步的，這種接口一般采用DB_LINK的方式，屬于典型的以性能換時間的方式，如果頻繁訪問對系統性能造成很大影響，須謹慎使用；還有一類就是實時要求比較高，但可以容忍短時間延遲的，如客戶狀態、繳費信息、銷售訂單等，推薦使用Golden Gate進行同步。Oracle Golden Gate軟件是一種基于日志的結構化數據復制備份軟件，它通過解析源數據庫在線日志或歸檔日志獲得數據的增量變化，再將這些變化應用到目標數據庫，從而實現源數據庫與目標數據庫同步。而且可以在異構系統之間進行大量數據準實時復制，一般數據可以在一分鐘以內實現同步，即使是大數據也基本不超過十分鐘，對系統性能也不會造成什么影響。

最后，用什么手段提高數據質量？ETL（Extraction-TransformatioLoading的縮寫）必不可少，只有經過數據提取、清洗、轉換、異常處理后的運營數據，才能進XODS的核心數據層，而且實現統一編碼格式。ODS還會根據主題報表加工需要，存儲根據主題維度形成的企業統計、匯總數據。

EDW困局

EDW以支撐OLAP應用為目的，重點支撐決策支持和復雜的數據分析挖掘應用，主要用戶為專業分析人員和企業中高層管理人員。與ODS相比，EDW的數據更全面、保存時間更長，主要數據來源為ODS及其他外部系統，超過3年的數據一般只保存在EDW上，是名符其實的大數據平臺。針對上述特點，EDW在建設過程常常會遇到以下困難：

>非結構化數據處理手段仍比較欠缺

EDW的數據來源于不同部門、不同系統、不同環節，除ODS的數據已經過ETL外，往往還包含大量非結構化數據，如果用傳統的手段進行轉換，難以保證其實時性。基于Google搜索引擎基礎研發的開源軟件Hadoop系列是非結構化數據處理的最佳工具，具備成本低、易集成、并發性強、相關工具多的特點，目前被各數據倉庫廠商廣泛集成、應用。

>基礎數據平臺應對大數據能力不足

根據IDC研究報告，未來10年全球數據量將以40%的速度增長。早期建設的EDW平臺架構基于傳統數據庫技術，在系統擴展性、可用性、性能等方面存在短板，面臨擴容成本高，應用遷移代價大等問題。HBase是一個分布式的、面向列的開源數據庫，不同于一般的關系數據庫，它是一個適合于非結構化數據存儲的數據庫，另一個不同是HBase基于列而不是基于行的模式。而且HBase是一個高可靠性、高性能、可伸縮的分布式存儲系統，可以在廉價PC Server上搭建起大規模結構化存儲集群。

>數據源不完善

按照規劃EDW應能承載企業內最大的數據集合，但實際上往往面臨數據源提供不穩定、源系統數據不規范、源系統數據缺失、采集不完整等情況。因此一定要有高層領導的支持和推動，打破網運部門、信息化部門、市場部門、客服部門等各部門間壁壘，打破各個本地網之間的局限，共同加強數據源的管控工作，否則將難以推進。

>數據人才隊伍建設急需加強

與先進的移動互聯網企業相比，電信運營商的數據人才比較缺乏，在人才隊伍培養、梯隊建設方面也缺乏體系化規劃，影響了數據應用的開展。加強大數據處理、數據倉庫管理、數據挖掘等新技術的學習，加快懂業務、懂系統、懂財務的復合型人才培養已刻不容緩。

只有充分考慮到上述問題，并盡早進行積極部署，EDW的建設才能盡快步入正軌，為下一步的數據應用、挖掘等工作奠定基礎。

大數據帶來的價值

EDA是由ODS、EDW系統及承載在其上的數據分析應用組成，目標是提升企業商業智能，實現平臺上的大數據從“數據→信息→知識→行動”的轉化，增強電信運營商在網絡智能化、精確營銷、客戶服務等方面的競爭力，更好的完成企業轉型的華麗蛻變。

*提升網絡服務質量，增強管道智能化。隨著互聯網和移動互聯網的發展，運營商的網絡將會更加繁忙，用于監測網絡狀態的信令數據也會快速增長。通過大數據的海量分布式存儲技術，可以更好地滿足存儲需求；通過智能分析技術，能夠提高網絡維護的實時性，預測網絡流量峰值，預警異常流量，有效防止網絡堵塞和宕機，為網絡改造、優化提供參考，從而提高網絡服務質量，提升客戶體驗。

*更加精準地洞察客戶需求，開展針對性營銷。通過使用大數據分析、數據挖掘等工具和方法，電信運營商能夠從各種不同的角度全面了解自己的客戶，對客戶形象進行精準刻畫，以尋找目標客戶，制定有針對性的營銷計劃、產品組合或商業決策，提升客戶價值。例如通過手機終端屬性、客戶資料、受理的電信業務、ARPU值等分析定位客戶的基本特征，利用清單數據對通訊行為、上網行為和地理位置信息深入分析，挖掘客戶的行為特征，結合基本特征和行為特征圈定目標客戶群體；以訂購行為和上網行為交叉分析目標客戶的偏好特征，并結合產品特征找到最適合向客戶營銷推廣的產品內容；結合流量經營選擇內容推送時機，達到個性化營銷的最佳效果。

*靈敏覺察客戶對企業產品、服務的感知，提升客戶服務。當用戶投訴時，通常客服人員會根據自己的理解對反映的問題進行歸類和定性，有時難免不夠準確，如果能夠對客戶投訴的內容等非結構化數據進行直接分析，將會更加準確的了解客戶痛點，從而有的放矢的集中精力在典型問題上，并盡快解決問題。還有當發生網絡質量問題時，比如發生掉話，用戶更可能什么都不說，只在心里積累不好的印象。借助大數據分析，網絡部門可以主動、快速地識別由于網絡性能或障礙而受到影響的高價值客戶，盡快向前端業務和客服部門反饋信息，以及時采取針對性維系、客戶關懷等業務措施，從而消滅問題于萌芽，避免在用戶已經達到臨界點時再進行維挽工作，那時投入大且效果不佳。

我們正在進入一個令人敬畏的大數據時代，必將引領電信行業的新變革！