運營商大數據技術及應用

劉洋 金良

【摘要】 隨著“互聯網+”概念的提出，數據成為企業乃至國家的戰略資產。如何處理和應用好海量的數據是運營商當前要面臨的主要問題。本文從大數據的發展現狀入手，通過對主流大數據技術和運營商應用的分析，可對大數據系統建設和應用予以參考和指導。

【關鍵詞】 大數據 互聯網+ hadoop

一、引言

隨著互聯網、物聯網、車聯網的快速發展以及手機、平板電腦等各種智能終端的普及帶來了數據量的爆發式增長，數據逐步成為企業乃至國家的戰略資產。在國家層面，大數據技術事關國家安全和未來，成為大國博弈的另一空間。2012年3月29日，美國政府宣布了“大數據研究和發展倡議”，以推進從大量的、復雜的數據集合中獲取知識和洞見的能力，投資總共超過2億美元，來大力推動和改善與大數據相關的收集、組織和分析工具及技術，這也是大數據技術從商業領域上升到國家戰略高度的開端。

2015年中國政府提出“互聯網+行動計劃”，互聯網化已經成為各個傳統行業升級和創新商業模式的最重要的議題，互聯網+時代的到來，不僅在改善和提升用戶體驗上發揮作用，更會重構已有的商業模式。互聯網+對傳統產業的改造，將誕生海量的數據資產，所帶來的一個共同點就是大數據將成為推動行業創新的驅動引擎。不久的將來，全新的數據商業時代將開啟。

無論哪種智能終端，上網都要經過運營商管道；運營商可以獲取包括淘寶、騰訊、百度等各種平臺的數據。隨著4G數據時代的到來，運營商將獲得更加完備的資源，這個“大數據”主要是大量的用戶行為數據，能否挖掘出這些數據的價值將決定能否把握住大數據帶來的機遇。

二、大數據時期運營商的影響與挑戰

越來越多的行業被移動互聯網進行滲透，帶來大數據的黃金時代，諸如：醫療、教育、娛樂、旅游、出行等，這將帶動大量的用戶行為和信息及各類大數據。我們認為，現在大數據可能已經達到增長的拐點，未來大數據將出現井噴。根據愛立信的報告，2020年的大數據產生量將接近目前的10倍。而大數據的激增以及各類大數據的融合使得大數據的大規模商業化和落地變得可能。

目前非結構化數據已接近總數據的 90%，而非結構化大數據的分析仍處于開始階段，未來大數據的價值挖掘及變現將是高速發展的領域，將造就千億級以上市場，而其中將誕生大量機遇以及機會。[1]

通信大數據已迎來黃金時代，15年是運營商大數據的推進年。截止2015年底中國網民規模達6.68億，手機上網人群占比88.9%。運營商基本于2012年開始進行大數據布局，在經過3年多的大數據積累后，這些大數據的價值需要兌現。從運營商訴求看，傳統業務下降明顯，運營商亟需拓展新業務。

三大運營商在大數據的進展上略有差異。電信進展最快、聯通次之、移動進展相對較慢。中電信大數據布局迅速主要是依靠之前固網寬帶和IPTV業務，使得其在移動互聯時代之前已有大量數據并已開始進行采集和分析，無論是在數據的廣度還是范圍上均有優勢，其應用進展相對較快。

大數據給運營商相關技術帶來極大挑戰，主要是數據的管理、采集、分析不足。數據量的增加使得運營商傳統的處理數據和存儲壓力增大，數據類型的多樣化使得傳統數據處理窗口難以處理。另外，運營商知道用戶訪問過哪些網站，但是不知道用戶究竟看了哪些內容；或者知道用戶在哪個地址，但是不知道用戶在哪個地點。在數據分析方面，運營商希望復合關聯，希望快速實施，但事實上，現有的DPI的分析僅僅用了幾張報表。數據散落在各種系統中無法進行有效的采集、分析。海量的半結構化和非結構化的數據大大降低了數據處理的效率，給運營商帶來了巨大的數據存儲和讀寫壓力。如若不能縮短數據處理的周期，很多數據的價值都會被極大地稀釋。

在運營商中，傳統數據包括IT支撐系統數據、電子渠道及商務數據、網絡資源及運維數據和增值業務衍生及內容數據等。這些數據大部分都是結構化數據，存儲在傳統數據庫中，隨著日志數據、各種流媒體數據、物聯網數據等半結構化和非結構化數據越來越多，傳統廠商將Hadoop、MPP技術逐漸融入到傳統數據庫中。未來大數據平臺將超越傳統智能分析層面，從應用、角色角度回去找數據、統計建模并最終提供知識，這必將為運營商傳統IT支撐系統的各個域產生重要影響，要求運營商結合自身的業務特性、系統特性、管理訴求，在大數據環境下研究企業業務應用及管理需求，如智能流量支撐、大服務支撐、電子商務/精細化商品營銷支撐、精細化資源管控支撐等對數據的要求，對企業級數據進行管理和經營，建立符合電信運營商的大數據框架。

三、 大數據在IT支撐系統應用存在的問題

目前各運營商在大數據應用中都有一定的探索，但還處于初期階段，也暴露的諸多問題：

1.數據層面：數據沒有全量采集與接收，缺乏集中統一的數據處理。2、平臺層面：IT支撐系統支撐能力不足，不能有效的支撐大數據應用落地。3、業務層面：大數據應用價值還未被大眾全面認知，亟待推廣。4、運營層面：沒有專門數據運營人員，人員分散沒有形成聚力。

運營商需要在公司層面進行大數據規劃，從業務、IT、管理配套、技術能力等方面，統籌考慮，進行全面部署。

四、主流大數據處理技術

（1）Hadoop技術。應用分析：Hadoop 在處理非結構數據和半結構數據上具備優勢，尤其適合海量數據批處理等應用需求。隨著Hadoop技術的成熟，基于Hadoop的即時查詢技術也逐漸嶄露頭角。應用場景：適用于大規模網絡數據的采集、處理、存儲和交換，應用于非結構化數據處理和半結構化日志處理。如：ETL、詳單查詢、機器學習和數據挖掘、冷數據存儲。

（2）MPP技術。應用分析： MPP數據庫適合結構化數據的深度分析、復雜查詢以及多變的自助分析類應用。無需像Hadoop一樣需要定制開發，同時可以降低擁有成本。應用場景：MPP數據庫面向的是海量數據的分析型場景，通過列存儲模式、數據壓縮、智能化索引、并行處理、并發控制、高效的查詢優化器等技術，讓大數據的分析場景最大限度地減少了磁盤I/O，提升了查詢效率。

（3）流計算技術。應用分析：Storm是一種開源的分布式實時計算系統，可以簡單、高效、可靠地處理大量的數據流。應用場景：通過提取和分析來自各種分布式系統的信息，來解決企業監控和管理的各種問題。目前流計算技術可以應用于營業廳營銷信息定制化推薦、電子營業廳營銷信息推送等實時營銷，四網協同、渠道協同等實時服務以及熱點區域用戶監控、關鍵業務指標監控等實時監控等應用場景。

（4）NoSQL技術。應用分析： NoSQL拋棄了關系數據庫復雜的關系操作、事務處理等功能，僅提供簡單的鍵值對（Key，Value）數據的存儲與查詢，換取高擴展性和高性能。例如HBase。應用場景：HBase是基于Hadoop的NoSQL數據庫。HBase的典型場景可用于詳單存儲和查詢、互聯網內容存儲、GiS數據存儲、半結構化歷史數據存儲。[2]

五、 運營商的大數據應用

5.1流量經營精細化

深入洞察客戶、助力精準營銷和指導網絡優化。首先，基于客戶終端信息、手機上網行為軌跡等豐富的數據，借助DPI（Deep Packet Inspection，深度數據包檢測）技術等，建立客戶超級細分模型，為各細分群組客戶打上互聯網行為標簽，完善客戶的360度畫像，深入了解客戶行為偏好和需求特征；其次，根據用戶行為偏好，推送合適的業務，并根據對客戶特征的深入理解，建立客戶與業務、資費套餐、終端類型、在用網絡的精準匹配，同時也能做到在推送渠道、推送時機、推送方式上滿足客戶的個性化需求，實現全程精準營銷；再次，利用大數據技術實時采集處理網絡信令數據，監控網絡狀況，識別價值小區和業務熱點小區，更精準的指導網絡優化，實現網絡、應用和用戶的智能指配。

5.2智能客服

深入分析客服熱線呼入客戶的IVR行為特征、訪問路徑、等候時長等等，同時結合客戶歷史接觸信息、基本屬性等，建立熱線呼入客戶的智能識別模型。基于客戶智能識別模型可以在某類客戶下次呼入前預先推測其呼入的需求大體是什么，IVR接入后應該走什么樣的節點和處理流程。這樣，就可以基于呼入客戶習慣與需求的事先預測而設計的按鍵菜單、訪問路徑和處理流程，合理控制人工處理量，縮短梳理時限，為客戶服務中心內部流程優化提供數據支撐，有助于提升熱線服務管理水平，加速熱線營銷渠道資源整合，有效識別客戶投訴風險，助力智能客服中心的建設。

5.3觸發營銷

通過用戶消費行為、用戶上網行為等行為進行分析為用戶設定包括時間、位置、行為等觸發條件為用戶提供相應的應用，實現實時動態營銷。

5.4對外數據服務

對外數據服務是大數據應用的高級階段，這個階段運營商不再局限于利用大數據來提升內部管理效益，而是更加注重數據資產的平臺化運營。利用大數據資產優勢，將數據封裝成服務，提供給相關行業的企業用戶，為合作伙伴提供數據分析開放能力。

六、結束語

大數據的技術及其應用挖掘對運營商來說還是起步和發展階段，運營商目前自上而下的傳統運營模式無法更接近用戶需求，為支撐大數據業務開展需要，重新梳理企業的經營模式和組織機制，全面轉向以客戶和消費者為中心的運營體系，包括信息系統、組織支撐模式、業務模式、人力儲備、企業合作模式等諸多方面，進行運營模式的變革創新。進而提高運營商互聯網戰略的支撐能力，驅動企業精細化、智能化管理，支持對外信息服務、生態化運營，挖掘出大數據的核心價值。

參 考 文 獻

[1] 吳友文，周軍《通信大數據將迎來黃金時代—運營商大數據專題報告》[R]東方證券.2015.3.

[2] 范承工，周寶曜，劉偉《大數據：戰略·技術·實踐》[M]北京. 電子工業出版社. 2013.5.