移動通信網絡中大數據的發展策略研究

薛文倩+彭木根+梁棟

編 者 按

大數據是現代信息技術和互聯網產業發展到一定階段的必然產物。一般認為，云計算是大數據的IT基礎，大數據涵蓋了從數據存儲、處理到應用等多方面的技術，是云計算的一個殺手級應用。據IDC報告：到2020年全球將擁有40ZB的數據量，比2012年增長近15倍。眾所周知，我國是世界上最大的移動通信市場，那么，云計算與大數據在我國怎樣才能取得更大的創新性發展？面對云計算和大數據時代的機遇和挑戰，我國運營商該如何應對？本期云計算與大數據專題將圍繞大數據時代運營商數據管控、大數據時代4G與3D技術發展、大數據與互聯網的關系、大數據解決城市人口管理問題、大數據發展局限性等方面展開討論。希望通過該專題能夠幫助讀者更全面地了解大數據時代我國移動通信行業的發展前景，促進云計算和大數據領域的興盛繁榮。

【摘 要】大數據是現代信息技術和互聯網產業發展到一定階段的必然產物，電信運營商擁有天然的數據資源優勢，為發展大數據分析服務，運營商需從技術體系、業務結構及盈利模式等多個層面實施全面轉型。結合移動通信網絡介紹大數據的價值鏈，將其分為4個階段：數據產生、數據獲取、數據存儲和數據分析，研究電信運營商面臨的問題與相應的發展策略，針對目前大數據的應用現狀，最后對Hadoop作簡單的介紹。

【關鍵詞】大數據價值鏈 數據產生 數據獲取 數據存儲 數據分析 Hadoop

中圖分類號：TN929.5 文獻標識碼：A 文章編號：1006-1010（2014）-13-0005-05

1 引言

技術創新和數字設備的普及促進了“數據的產業革命”。據IDC報告，全球2012年產生的數據總量約2.8ZB。接下來的8年中，全球產生數據量將超40ZB。世界各國紛紛推出相關政策，加速“大數據”的研發和應用。2012年3月，美國奧巴馬政府宣布投資2億美元出臺“大數據研究和發展計劃”。2013年5月，國家發改委啟動“基礎研究大數據服務平臺應用示范”項目，大數據有望納入我國發展戰略中。2014年，我國邁入4G時代，各大運營商加快部署4G網絡，成為數據流量增長的新生力量。預計2020年年底，中國4G移動連接總數將從2014年的1億增至近9億，這將推動電信運營商大數據產業鏈的發展和應用。

我國是世界上最大的移動通信市場，擁有天然的“數據礦產”資源。截至2013年年底，我國擁有6.3億獨立手機用戶，11.3億活躍移動連接，這意味著數百萬中國用戶擁有多個SIM卡或設備。據CNNIC報道，2013年12月，我國手機網民規模達到5億，占網民規模總數的80%以上，這表明了移動互聯網在網絡應用領域的關鍵性作用。用戶通過智能終端的即時互聯通信行為，使移動網絡成為大數據貯存和流動的天然載體。

大數據不同于海量數據、超大數據，通常用4V模型概括其特征，即規模巨大、類型繁多、處理速度快和價值密度低[1]。電信運營商計費、營帳、網管等系統有著大規模的數據源，數據類型多樣，包括結構化、半結構化和非結構化數據。這些數據的高速生產需要運營商及時處理反饋，以滿足客戶的實時需求。同時運營商還可通過商業智能系統從海量數據中深度挖掘，為企業管理、網絡運營、精準營銷等提供有力的決策支持。目前，各大運營商已經開始積極開展大數據戰略研究，開發新的商業模式，避免淪為數據流管道的困局。

面對大數據時代的潮流以及互聯網企業的競爭，電信運營商固有的信息服務優勢被削弱，網絡運營弊端逐漸凸顯。終端掌控力不足、業務創新力落后、管理運營支撐效率低等問題，使其面臨著來自盈利模式和體系結構2個層面的挑戰：

（1）豐富的數據資源背后存在個人隱私被泄露的隱患，應合理使用個人信息；

（2）運營IT系統分省市建設，具有強烈的地域性特色，數據整合難度大；

（3）業務數據的海量性和多樣化給運營商帶來巨大的存儲和處理壓力；

（4）大數據技術的發展瓶頸使運營商面臨內部體系調整，需要加強產業鏈合作的轉型。

雖然電信運營商在互聯網時代遇到了巨大的沖擊，但及時轉變思維，運營商仍可以利用自身網絡運營平臺的優勢，發展大數據服務。本文結合移動通信網絡介紹大數據的價值鏈，將其分為4個階段：數據產生、數據獲取、數據存儲和數據分析，研究電信運營商面臨的問題與相應的發展策略。針對目前大數據的應用現狀，最后對Hadoop作簡單的介紹。

2 大數據價值鏈

圖1描述了移動通信網絡中大數據價值鏈的4個階段，即：數據產生、數據獲取、數據存儲和數據分析。數據產生解釋數據的產生渠道；數據獲取分析信息的收集、傳輸和預處理；數據存儲解決對大規模數據集的持續儲存和管理；數據分析基于分析方法和工具提取潛在價值，提供決策支持。

2.1 數據產生

通信記錄著人們在現代社會中的信息指紋。隨著智能終端和應用技術的進步，用戶不僅可獲取傳統的語音、數據服務，還可獲取豐富的互聯網業務，完成手機支付、文件傳輸、社交、求職等網絡應用。龐大的用戶群體以及日益增長的手機網民規模，使得電信運營商不僅擁有傳統的用戶基本信息和網絡運營數據，還擁有更全面、更真實的用戶網上行為信息[2]。

電信運營商的數據來源主要包括設備層、運維層和用戶層3個方面。其中，設備層主要面向維護，運維層主要面向管理，用戶層主要面向市場。這些數據主要來自GPRS的Gb、Gn、Gi接口，交換網的A接口、Abis口，PS域的lu-PS接口、Gn接口、Gi接口，CS域的MC接口、lu-CS接口等。

◆設備層數據以結構化為主，包括基站的基本配置參數（LAC、CI、天線增益、發射功率等）和網絡測量信息（如主服電平、鄰區電平、KPI等）。

◆運維層數據以結構化為主，也存在非結構化數據。包括網絡性能指標（如附著成功率、附著用戶數、數據擁塞率等）、網絡業務統計（如網元日志、流量、話務、用戶數等）和客戶投訴工單。endprint

◆用戶層數據不僅包含結構化數據，還包含大量的半結構和非結構化數據。包括用戶的基本信息（年齡、職業、入網渠道、資費等）、用戶的終端信息（品牌、操作系統、屏幕尺寸、終端應用等）和用戶的業務使用行為（如上網日志、詳單記錄、行為足跡、社交網絡圈等）。

2.2 數據獲取

移動互聯網的數據通常零散的分布在不同的載體中，具有碎片性和多樣性特征，數據獲取成本較高。數據量的龐大，在給應用分析帶來便利的同時，也對信息的獲取帶來一定的困擾。數據獲取可分為3個子步驟，即數據采集、數據預處理和數據傳輸。

運營商主要使用的數據采集方式是DPI數據采集器。數據采集設備按照指定的周期和IP地址對網絡中的數據包進行采集并拆包，提取有用信息。隨著移動互聯網用戶不斷增多，為分析用戶行為并加強網絡管控，數據采集方式還包括日志文件和網絡爬蟲。日志文件記錄用戶的網上行為，包括上/下線時間、私網IP地址、訪問URL、訪問時間等信息。網絡爬蟲是用于處理用戶上網日志中的未知URL地址，負責從互聯網系統中爬取網頁具體信息，便于后續對該網頁進行分類。

從網絡中采集到的數據往往是異構多源的，具有噪聲、冗余、不一致性等特點。數據預處理可提高數據質量，降低數據的傳輸和存儲壓力，增強數據分析結果的準確性。常用的數據預處理方法有：數據清洗、數據集成和冗余消除。數據清洗過濾不完整的、錯誤的、重復的臟數據。數據集成通常采用數據倉庫方法，即ETL（抽取-轉換-加載），將來自不同數據源不同類型的數據碎片整合成統一格式。冗余消除通過冗余檢測、數據壓縮、去重技術減小數據量，節省存儲空間。

采集的大部分數據往往需要經由IP骨干網傳輸到數據中心，進行存儲。隨著數據業務的蓬勃發展，IP骨干網流量帶寬需求越來越大。2013年，各運營商開始對骨干網進行大規模擴容，部署100G傳輸網絡。目前，超100G技術也日漸成熟，面對當前流量和帶寬的發展趨勢，超100G將是未來更合理的選擇。數據中心作為通信服務的支撐平臺，其架構和現狀已無法滿足大規模數據的增長和計算要求。各運營商相繼發布云戰略，開始布局云計算數據中心。在云計算技術的驅動下，未來數據中心將具備小型化、高性能、可靠性、可擴展性及綠色節能等特點。

2.3 數據存儲

運營商擁有豐富的數據資源優勢，包括用戶資料、用戶上網數據、呼叫記錄數據、網絡監控數據等。這些數據只有妥善存儲和長期運營，才有可能進一步挖掘其潛在的價值。以某省移動現狀為例，若將網絡所有數據進行保存，只能保留2天。洶涌而來的數據洪水和日益復雜的業務結構，給電信運營商帶來極大的存儲壓力和訪問壓力，也對高性能、高吞吐量、大容量的基礎存儲空間提出了較高需求。

傳統數據倉庫無法線性擴容，日益增長的存儲需求使得集中存儲管理難度加大，成本升高，擴容壓力增加，存儲效率下降。更重要的是，傳統數據倉庫難以滿足非結構化數據的處理要求。Google提出了GFS、BigTable、MapReduce三項關鍵技術，推動了云計算的發展和應用[3]。源于云計算的虛擬資源池和并發計算能力，2011年中國移動、中國電信、中國聯通相繼推出“大云計劃”、“天翼云”和“互聯云”，大大緩解了數據中心IT資源的存儲壓力。

終端和云存儲有著天然的聯系。智能終端的普及使手機內容急劇增加，但手機不是一個大容量存儲設備，難以做到合適的備份。于是，云存儲成為理想的選擇和發展的趨勢[4]。為個人用戶提供數據統一管理和存儲的服務，2012年3大運營商紛紛發布個人云存儲服務。電信推出“天翼云存儲”，移動推出“彩云服務”，聯通推出“沃云”。

2.4 數據分析

數據的核心是發現價值，而駕馭數據的核心是分析。分析是大數據研究最關鍵的環節，尤其對于傳統難以應對的非結構化數據。運營商利用自身在運營網絡平臺的優勢，可突破傳統運營模式，發展大數據分析服務，提高運營商在企業和個人用戶中的影響力[5]。

數據分析方法通常包括3個步驟：數據可視化、統計分析和數據挖掘。

◆數據可視化借助圖形化手段，直觀清晰的反映海量數據的分布和各屬性間的相關性。

◆統計分析運用統計方法定量或定性的分析數據對象，涉及描述統計和推斷統計。

◆數據挖掘是一門交叉學科，涉及人工智能、機器學習、統計學習、數據庫系統等，旨在從大量數據中揭示隱含的、未知的、有價值的模式。

電信運營商通過豐富的數據資源將數據封裝為服務，實現從傳統的網絡服務提供商向信息服務提供商轉型。然而數據分析要逐層深入，切忌盲目分析。電信級的大數據應用可分為2大類：區域價值研究和客戶價值研究。其中，區域價值研究旨在精細化運營，增強網絡智能管理能力，提升企業戰略分析。客戶價值研究旨在精準營銷，提高客戶占有率，提升客戶體驗。圖2描述了大數據在電信領域的應用。

（1）區域價值研究

1）了解網絡運營現狀

包括不同制式網絡中現有網絡負載和資源的使用情況、企業各部門人力資源、設施設備等的擁有情況、競爭行業業務分析等。如分析不同制式網絡中的流量流向、流量分布及人群流動規律，并將網絡劃分為不同層次的價值區域。

2）精細化網絡運營

包括均衡不同價值區域的網絡負載、優化網絡資源配置、加強企業管理、完善企業戰略分析等。如針對2G流量多、3G流量少的價值區域，若是3G網絡質量所致，則加強網絡維護優化；若是3G用戶少所致，則加強3G終端營銷等措施。

3）深化并延伸區域價值

包括網絡建設規劃、網絡性能預測、市場變化預測，為實現智慧城市、遠程醫療等新興產業提供信息服務。如根據目前運營網絡現狀，規劃新建基站的最佳站址，以確保網絡覆蓋、網絡資源利用最大化。基于區域用戶群體的流動分析預測，幫助市政部門人流疏導、規劃交通等。endprint

（2）客戶價值研究

1）了解客戶群體現狀

包括客戶細分及了解不同價值層次客戶的行為信息。如根據客戶的靜態信息和部分行為信息，將客戶劃分為不同價值層次。針對不同層次的客戶，對其業務偏好、行為習慣、社交網絡、位置軌跡等進行深入剖析。

2）改善客戶經營服務

包括高價值客戶保有、潛在價值客戶提升、低價值客戶維系、業務推薦等。如提供靈活的差異化服務，對高價值客戶加強關懷，改善用戶體驗，實時推薦有用信息；利用高價值客戶帶動相關低價值客戶升值等。

3）深化并延伸客戶體驗

包括客戶離網預測、業務創新、提供實時信息推薦服務等。如基于客戶一定時間內的行為信息預測離網概率，對于高危用戶及時采取個性化需求服務；基于用戶位置信息和行為預測，實施精準推薦或精準營銷。

3 Hadoop應用現狀

Hadoop是Apache基金會資助的開源項目，基于Google的GFS和MapReduce思想，開發的一個可支持數據存儲和分析的分布式系統基礎架構。它可以在大量廉價的硬件設備組成的集群上運行應用程序，能夠為應用程序提供一組穩定可靠的接口。

目前，Hadoop已發展為業界公認的開發和處理大數據的軟件平臺。全球范圍內80%的在線旅游網站都在使用Hadoop，美國70%的智能手機數據服務背后都由Hadoop來支撐。隨著大數據技術的成熟應用和推廣，我國3大運營商業務系統也在加快布局大數據平臺。中國移動在Hadoop上部署“大云2.5”大數據PaaS產品，用于業務分析查詢和業務挖掘。中國聯通將Hadoop技術成功引入用戶上網記錄集中查詢與分析支撐系統。中國電信結合大數據和云計算，在積極開展“智慧城市”的建設。

4 結束語

電信運營商利用大數據推動戰略轉型是未來電信市場非常重要的發展方向。運營商需要掌握大數據技能，構建數據產生、獲取、存儲、分析全方位一體化的大數據體系，探索新形勢下的業務創新和商業模式。

參考文獻：

[1] 黃勇軍，馮明，丁盛勇，等. 電信運營商大數據發展策略探討[J]. 電信科學， 2013，29（3）： 7-11.

[2] 張超. 云計算和大數據給運營商帶來的機遇和挑戰[J]. 電信技術， 2013（9）： 22-24.

[3] 于艷華，宋美娜. 大數據[J]. 中興通訊技術， 2013，19（1）： 57-60.

[4] 陳達忠. 通信運營商大數據量系統數據存儲云化淺談[J]. 郵電設計技術， 2012（3）： 54-57.

[5] 謝華. 大數據在移動通信中的應用探討[J]. 科技創業家， 2014（2）： 125-127.

作者簡介

薛文倩：碩士畢業于北京郵電大學，現任職于無線信號處理與網絡實驗室，主要研究方向是無線網絡自組織技術中的自治愈技術，數據挖掘技術，大數據分析技術。發表SCI期刊文章2篇，會議論文2篇，核心期刊文章1篇，申請專利2項。

彭木根：北京郵電大學教授、博士生導師，長期從事無線網絡協同通信理論、無線網絡編碼、無線網絡自組織、云無線接入網絡信息理論和關鍵技術等研發工作。主持完成了國家自然科學基金、科技部“863”項目、國際科技重大專項等多項國家級和部級科研項目，先后榮獲教育部、中國通信學會和北京市多項科技成果獎項，發表SCI論文30余篇，榮獲國際學術會議最佳論文獎3次，授權技術發明專利40余項，技術發明專利轉讓給企業近30項。

梁棟：博士畢業于北京郵電大學信號與信息處理專業，現任教于北京郵電大學通信與信息工程學院，近年來主要從事無線通信協同通信和管理機制的研究、仿真建模與產業化探索工作，已在國內外期刊和會議上發表論文50余篇，撰寫學術專著和教材2本，提交科技發明專利申請近10項，曾參與、主持科研項目10余項。endprint

（2）客戶價值研究

1）了解客戶群體現狀

包括客戶細分及了解不同價值層次客戶的行為信息。如根據客戶的靜態信息和部分行為信息，將客戶劃分為不同價值層次。針對不同層次的客戶，對其業務偏好、行為習慣、社交網絡、位置軌跡等進行深入剖析。

2）改善客戶經營服務

包括高價值客戶保有、潛在價值客戶提升、低價值客戶維系、業務推薦等。如提供靈活的差異化服務，對高價值客戶加強關懷，改善用戶體驗，實時推薦有用信息；利用高價值客戶帶動相關低價值客戶升值等。

3）深化并延伸客戶體驗

包括客戶離網預測、業務創新、提供實時信息推薦服務等。如基于客戶一定時間內的行為信息預測離網概率，對于高危用戶及時采取個性化需求服務；基于用戶位置信息和行為預測，實施精準推薦或精準營銷。

3 Hadoop應用現狀

Hadoop是Apache基金會資助的開源項目，基于Google的GFS和MapReduce思想，開發的一個可支持數據存儲和分析的分布式系統基礎架構。它可以在大量廉價的硬件設備組成的集群上運行應用程序，能夠為應用程序提供一組穩定可靠的接口。

目前，Hadoop已發展為業界公認的開發和處理大數據的軟件平臺。全球范圍內80%的在線旅游網站都在使用Hadoop，美國70%的智能手機數據服務背后都由Hadoop來支撐。隨著大數據技術的成熟應用和推廣，我國3大運營商業務系統也在加快布局大數據平臺。中國移動在Hadoop上部署“大云2.5”大數據PaaS產品，用于業務分析查詢和業務挖掘。中國聯通將Hadoop技術成功引入用戶上網記錄集中查詢與分析支撐系統。中國電信結合大數據和云計算，在積極開展“智慧城市”的建設。

4 結束語

電信運營商利用大數據推動戰略轉型是未來電信市場非常重要的發展方向。運營商需要掌握大數據技能，構建數據產生、獲取、存儲、分析全方位一體化的大數據體系，探索新形勢下的業務創新和商業模式。

參考文獻：

[1] 黃勇軍，馮明，丁盛勇，等. 電信運營商大數據發展策略探討[J]. 電信科學， 2013，29（3）： 7-11.

[2] 張超. 云計算和大數據給運營商帶來的機遇和挑戰[J]. 電信技術， 2013（9）： 22-24.

[3] 于艷華，宋美娜. 大數據[J]. 中興通訊技術， 2013，19（1）： 57-60.

[4] 陳達忠. 通信運營商大數據量系統數據存儲云化淺談[J]. 郵電設計技術， 2012（3）： 54-57.

[5] 謝華. 大數據在移動通信中的應用探討[J]. 科技創業家， 2014（2）： 125-127.

作者簡介

薛文倩：碩士畢業于北京郵電大學，現任職于無線信號處理與網絡實驗室，主要研究方向是無線網絡自組織技術中的自治愈技術，數據挖掘技術，大數據分析技術。發表SCI期刊文章2篇，會議論文2篇，核心期刊文章1篇，申請專利2項。

彭木根：北京郵電大學教授、博士生導師，長期從事無線網絡協同通信理論、無線網絡編碼、無線網絡自組織、云無線接入網絡信息理論和關鍵技術等研發工作。主持完成了國家自然科學基金、科技部“863”項目、國際科技重大專項等多項國家級和部級科研項目，先后榮獲教育部、中國通信學會和北京市多項科技成果獎項，發表SCI論文30余篇，榮獲國際學術會議最佳論文獎3次，授權技術發明專利40余項，技術發明專利轉讓給企業近30項。

梁棟：博士畢業于北京郵電大學信號與信息處理專業，現任教于北京郵電大學通信與信息工程學院，近年來主要從事無線通信協同通信和管理機制的研究、仿真建模與產業化探索工作，已在國內外期刊和會議上發表論文50余篇，撰寫學術專著和教材2本，提交科技發明專利申請近10項，曾參與、主持科研項目10余項。endprint

（2）客戶價值研究

1）了解客戶群體現狀

包括客戶細分及了解不同價值層次客戶的行為信息。如根據客戶的靜態信息和部分行為信息，將客戶劃分為不同價值層次。針對不同層次的客戶，對其業務偏好、行為習慣、社交網絡、位置軌跡等進行深入剖析。

2）改善客戶經營服務

包括高價值客戶保有、潛在價值客戶提升、低價值客戶維系、業務推薦等。如提供靈活的差異化服務，對高價值客戶加強關懷，改善用戶體驗，實時推薦有用信息；利用高價值客戶帶動相關低價值客戶升值等。

3）深化并延伸客戶體驗

包括客戶離網預測、業務創新、提供實時信息推薦服務等。如基于客戶一定時間內的行為信息預測離網概率，對于高危用戶及時采取個性化需求服務；基于用戶位置信息和行為預測，實施精準推薦或精準營銷。

3 Hadoop應用現狀

Hadoop是Apache基金會資助的開源項目，基于Google的GFS和MapReduce思想，開發的一個可支持數據存儲和分析的分布式系統基礎架構。它可以在大量廉價的硬件設備組成的集群上運行應用程序，能夠為應用程序提供一組穩定可靠的接口。

目前，Hadoop已發展為業界公認的開發和處理大數據的軟件平臺。全球范圍內80%的在線旅游網站都在使用Hadoop，美國70%的智能手機數據服務背后都由Hadoop來支撐。隨著大數據技術的成熟應用和推廣，我國3大運營商業務系統也在加快布局大數據平臺。中國移動在Hadoop上部署“大云2.5”大數據PaaS產品，用于業務分析查詢和業務挖掘。中國聯通將Hadoop技術成功引入用戶上網記錄集中查詢與分析支撐系統。中國電信結合大數據和云計算，在積極開展“智慧城市”的建設。

4 結束語

電信運營商利用大數據推動戰略轉型是未來電信市場非常重要的發展方向。運營商需要掌握大數據技能，構建數據產生、獲取、存儲、分析全方位一體化的大數據體系，探索新形勢下的業務創新和商業模式。

參考文獻：

[1] 黃勇軍，馮明，丁盛勇，等. 電信運營商大數據發展策略探討[J]. 電信科學， 2013，29（3）： 7-11.

[2] 張超. 云計算和大數據給運營商帶來的機遇和挑戰[J]. 電信技術， 2013（9）： 22-24.

[3] 于艷華，宋美娜. 大數據[J]. 中興通訊技術， 2013，19（1）： 57-60.

[4] 陳達忠. 通信運營商大數據量系統數據存儲云化淺談[J]. 郵電設計技術， 2012（3）： 54-57.

[5] 謝華. 大數據在移動通信中的應用探討[J]. 科技創業家， 2014（2）： 125-127.

作者簡介

薛文倩：碩士畢業于北京郵電大學，現任職于無線信號處理與網絡實驗室，主要研究方向是無線網絡自組織技術中的自治愈技術，數據挖掘技術，大數據分析技術。發表SCI期刊文章2篇，會議論文2篇，核心期刊文章1篇，申請專利2項。

彭木根：北京郵電大學教授、博士生導師，長期從事無線網絡協同通信理論、無線網絡編碼、無線網絡自組織、云無線接入網絡信息理論和關鍵技術等研發工作。主持完成了國家自然科學基金、科技部“863”項目、國際科技重大專項等多項國家級和部級科研項目，先后榮獲教育部、中國通信學會和北京市多項科技成果獎項，發表SCI論文30余篇，榮獲國際學術會議最佳論文獎3次，授權技術發明專利40余項，技術發明專利轉讓給企業近30項。

梁棟：博士畢業于北京郵電大學信號與信息處理專業，現任教于北京郵電大學通信與信息工程學院，近年來主要從事無線通信協同通信和管理機制的研究、仿真建模與產業化探索工作，已在國內外期刊和會議上發表論文50余篇，撰寫學術專著和教材2本，提交科技發明專利申請近10項，曾參與、主持科研項目10余項。endprint