運營商大數據平臺建設方案的研究與設計

辛笛

【摘要】 隨著大數據應用在互聯網行業的蓬勃發展，大數據逐步成為國內外運營商關注的焦點。首先對大數據的關鍵技術進行了介紹，分析了數據在大數據處理系統中經過的各個環節，并對業界普遍使用的Hadoop技術做了簡要介紹；然后，結合某運營商實際需求，提出了一種大數據平臺建設方案，該方案的提出對其他運營商進行大數據平臺的規劃、設計以及建設具有很好的借鑒意義。

【關鍵詞】 大數據 Hadoop 運營商

進入2012年以來，大數據（Big Data）一詞越來越多地被提及與使用，人們用它來描述和定義信息爆炸時代產生的海量數據。各行各業對于數據的分析由來已久。大數據的不同，不僅僅在于數據量的劇增，更重要的是互聯網的高速發展，帶來的數據技術、數據應用、數據價值的變革。

谷歌公司依托搜索引擎創新了數據處理等一系列技術，一是分布式并行計算和處理技術，提高了海量數據的計算能力，降低了計算成本，解決了摩爾定律周期內的瓶頸，為大數據分析提供了動力引擎；二是數據分析技術更加智能，人工干預更少，并且由于數據量更大，更多可能的相關關系被分析挖掘出來。進而智能推薦、價格預測等建立在海量數據分析之上的互聯網應用取得了巨大成功，聚集了海量社會各方面信息的互聯網上的價值，獲得其他各行業的關注，數據分析不再局限于企業內部數據，而是移動終端、互聯網等外部數據源，互聯網數據應用的思想擴展到其他行業，如互聯網金融、社會趨勢預測、無人駕駛汽車等大數據應用模式。數據的價值也被重新審視，作為一種資源，數據逐漸具有商品化屬性。

大數據作為云計算的一種實際應用，在電信運營商的運營支撐中有著舉足輕重的作用。對于電信運營商而言，大數據主要是大量客戶的行為數據。

運營商可以利用大數據提升管道智能化水平，更加精準地發現客戶需求，提升行業信息化服務的能力，改變企業管理者以往的決策方式，管理抉擇更依賴“用數據說話”，抉擇更科學、理性，更具定量化和可評估性，以及準確性和延續性。

一、相關技術研究

大數據來源于互聯網、企業系統和物聯網等信息系統，經過大數據處理系統的分析挖掘，產生新的知識用以支撐決策或業務的自動智能化運轉。

從數據在信息系統中的生命周期看，大數據從數據源經過分析挖掘到最終獲得價值一般需要經過5個主要環節，包括數據準備、數據存儲與管理、計算處理、數據分析和知識展現.

總的來看，大數據對數據準備環節和知識展現環節來說只是量的變化，并不需要根本性的變革。但大數據對數據分析、計算和存儲三個環節影響較大，需要對技術架構和算法進行重構，是當前和未來一段時間大數據技術創新的焦點。

二、大數據平臺建設方案

目前某電信運營商EDA域主要是傳統的ODS-EDW數據架構，通過獲取BSS域、OSS域等傳統結構化數據，基本可以滿足該運營商的基礎經營分析和營銷支撐；大數據平臺建成后，與現有ODS-EDW的Oracle處理形成的混搭配合，ODS-EDW處理后的結果數據提供給大數據平臺，形成數據寬表模型，統一對外共享，支撐各類應用。

該運營商大數據平臺的搭建可分三個階段進行。

第一階段；構建大數據基礎平臺（集群主機數量為15臺左右），具備移動互聯網數據（DPI）接入能力；實現Oracle處理方式與大數據平臺處理方式的混搭配合，形成初步的基礎標簽體系；滿足該運營商基于基礎大數據標簽能力的分析和營銷支撐。

第二階段：擴大大數據平臺規模（主機20—30臺），提升批處理能力；接入運維側信令等數據，將EDA域中詳單類、工單類數據的數據處理分析過程，遷移到大數據平臺；完善大數據平臺集群監控和管理能力。基本支撐營銷分析，挖掘分析。

第三階段：擴大大數據平臺規模（集群主機數量為50臺以上），完全實現EDA域大數據平臺化，全新的數據架構（不區分ODS-EDW）；引入該運營商其它域的數據，實現跨域數據的應用，探索數據變現；實現大數據平臺對外服務能力。

三、結論

大數據正在以不可阻擋的趨勢走進各行各業，電信運營商擁有龐大的用戶數據和網絡數據等數據資源，在大數據時代具備天然的優勢。建設適合運營商自身的大數據平臺是發揮數據資源優勢，挖掘運營商大數據價值的必由之路。本文闡述了大數據平臺建設的關鍵技術，分析了數據在大數據處理系統中經過的各個環節，并對業界普遍使用的Hadoop技術做了簡要介紹；針對某運營商的實際需求，提出了一種大數據平臺建設方案，該方案的提出對其他運營商進行大數據平臺的規劃、設計以及建設具有很好的借鑒意義。

參 考 文 獻

[1]陳淑梅.移動運營商的大數據發展策略研究[J].信息通信，2014（6）.

[2]高洪，楊慶平，黃震江. 基于Hadoop平臺的大數據分析關鍵技術標準化探討[J].信息技術與標準化.2013（5）.

[3]黃勇軍，馮明，丁圣勇，樊勇兵.電信運營商大數據發展策略探討.電信科學.2012，29（3）.