電信運營商大數據引入策略分析

陳斌

【摘要】 本文通過分析大數據發展現狀和主流大數據技術架構，研究了大數據在電信運營商大數據平臺部署策略

【關鍵詞】 大數據 電信運營商 4V Hadoop Spark 流計算

一、引言

大數據的應用是在互聯網的高速發展中誕生的。谷歌提出了一套以分布式為特征的全新技術體系，即分布式文件系統（GFS，Google File System）、分布式并行計算（MapReduce）和分布式數據庫（BigTable）等技術。這些技術奠定了當前大數據技術的基礎，可以認為是大數據技術的源頭。

二、大數據發展現狀

近年大數據的發展呈現以下兩個特征：1）互聯網公司引領大數據發展。互聯網公司在搜索、廣告領域積極采用大數據技術優化既有業務。二是今年以來陸續推出一系列面向第三方的大數據服務。2）傳統企業大數據應用仍處在探索期，發展漸趨理性。傳統企業在大數據應用的思路上也在糾偏，更加務實。一是更加注重更干凈、結構化小的數據。二是更加注重企業自身沉淀下來的內部數據的價值挖掘。三是更加注重根據業務需求把Hadoop 與傳統數據倉庫結合起來用。

三、大數據關鍵技術

1）大數據存儲管理。傳統的單機文件系統和網絡系統要求一個文件系統的數據必須存儲在一臺物理機上，在冗余性、可擴展性和容錯能力和并發能力上難以滿足大數據的需求。2）大數據計算能力。傳統的數據計算能力的提升依賴于擴容單機的CPU性能、增加內存、擴展磁盤等方式，難以支撐平滑擴容。以MapReduce為代表的分布式并行計算技術可以通過低成本的通用服務器搭建系統。通過添加服務器擴展系統的總處理能力。3）大數據分析技術。大數據分析主要在兩個方面，一是對海量的結構化和半結構化數據進行高效率的深度分析，如從文本網頁中進行自然語言分析；二是對非結構化的語音、圖片和視頻進行機器可以識別的分析提取有用的信息。

四、大數據的主流技術

1、Hadoop。Hadoop是基于Java語言開發，以分布式文件系統和Mapreduce為核心。其特點如下：1）可擴展性：Hadoop運行在基于X86結構的普通PC服務器或刀片服務器上，硬件和軟件松耦合在一起，可以很方便的增加計算節點。2）可靠性：Hadoop能夠自動保存數據的多個副本，并且能夠自動將失敗的任務重新分配，確保能夠針對失敗的節點重新分布計算。3）低成本：Hadoop架構在廉價的硬件服務器上，不需要昂貴的硬件作支撐。其軟件是開源產品，不需要授權費用。4）高效性：相比傳統并行計算結構，Hadoop的計算和存儲是一體的，實現任務之間無共享，I/O開銷小。

2、Spark。Spark擁有MapReduce的優點，但不同于MapReduce的Job中間輸出，其結果可以保存在內存中，從而不再需要讀寫HDFS。其有以下特點：1）速度快。Spark支持內存計算，對于小數據集能達到亞秒級的延遲。2）易于使用。Spark支持Sscala、Java和Python編寫程序。Spark提供了超過80個高級運算符，以便于更容易的構建并行應用程序。3）與HDFS底層兼容。Spark能夠運行在Hadoop 2.x的YARN集群管理器上，并且能夠讀取任何存在Hadoop數據。

2、流計算。流式數據是指將數據看作數據流的形式來處理。數據流是在時間分布和數量上無限的一系列動態數據集合體；數據記錄是數據流的最小組成單元。流計算的技術特點如下：1）實時性。流數據是實時產生、實時計算，結果反饋往往也需要保證及時性。2）易失性。在流計算環境中，數據流往往是到達后立即被計算并使用，只有極少數的數據才會被持久化地保存下來，大多數數據往往會被直接丟棄。3）突發性。在流計算中，數據的產生完全由數據源確定，由于不同的數據源在不同時空范圍內的狀態不統一且發生動態變化，導致數據流的速率呈現出了突發性的特征。

五、主流技術方案比較

目前大數據平臺建設最常見的是基于Hadoop平臺和MPP數據庫的兩種方案。Hadoop、MPP數據庫和傳統數據庫并非是互相取代的關系。因此，在很多大數據解決方案中，單一大數據技術無法滿足所有的要求，而是要根據實際場景采用不同的技術方案或采用混搭架構進行綜合處理。

六、電信運營商大數據部署建議

大數據平臺建設目前有兩種方式，建議采用第2種方式：1）以現有分析系統BI為基礎，進行擴展，構建統一開放數據平臺。2）以統一數據管理為契機，通過數據統一采集、存儲與處理入手，新建大數據平臺。方式2可迅速匯聚數據，不影響現網各系統的運行，后期可將經分，性能管理等系統上移為數據集市，專注于專業分析。各數據源僅將數據送往大數據平臺。

大數據技術架構建議按照“松耦合、標準化、分層開放”的標準進行方案選取。而在數據層面，運營商面臨數據規模大，數據處理復雜，數據結構多樣化等多種挑戰。無論是傳統數據庫還是分布式數據庫，均難以單獨滿足數據存儲和分析的需求。大數據平臺建議采用Hadoop作為大數據的主要存儲平臺，各分析集市、應用系統可根據數據分析的深度，實時性采取Hadoop，Spark或MPP混搭架構。

參 考 文 獻

[1] Tom White.華東師范大學數據科學與工程學院譯.Hadoop權威指南（第3版）（修訂版）.北京：清華大學出版社.2015.

[2] 工業和信息化部電信研究院.大數據白皮書（2014）.2014.