基于Hadoop的海量電信數據云計算平臺分析

中國移動通信集團重慶有限公司　胡　圣

?

基于Hadoop的海量電信數據云計算平臺分析

中國移動通信集團重慶有限公司胡圣

隨著社會的不斷發展，科技的不斷進步，對于海量的電信數據，傳統的數據分析方法已經不能很好的滿足其發展要求?；诖耍藗冮_始對各類云計算平臺進行研究。其中，Hadoop作為一個開源框架，能夠對大規模分布式計算要求加以實現，并且具有良好的可伸縮性、可靠性、高效性，在云計算領域當中，逐漸得到廣泛的應用?；诖?，本文對基于Hadoop的海量電信數據云計算平臺進行了分析，以期能夠提升數據計算分析的效率。

Hadoop；海量電信數據；云計算平臺

前言

在當前的通信領域當中，通信技術、通信設備都得到了極大的發展，因而產生的數據量也越來越多。為了讓人們能夠享受到更好的通信服務，應當對數據分析處理的效率進行有效的提升。而過去的關系型數據管理等方法，對于現代通信的發展來說，已經不能很好的匹配和適應。因此，電信運營商在管理和分析數據的過程中，自然面臨著更大的挑戰。

1.Hadoop及云計算技術的基本概述

1.1Hadoop技術

Hadoop是一種分布式計算開源框架，通過運用低廉的設備，能夠對大計算池進行搭建，從而滿足還來那個數據高效、快速分析的要求，能夠利用較低的成本，實現云計算解決方案。其對谷歌云計算技術進行模仿與實現，其中融合了ZooKeeper、HBase、MapReduce、HDFS等部分，能夠與谷歌成熟商用云計算平臺中的Chubby、BigTable、MapReduce、GFS等進行對應。在Hadoop當中，集合了相關的子項目，其中，MapReduce、HDFS、Hadoop Common使其重要的核心，而補充性服務則由其它子項目進行提供。其中，Hadppo Common最為最底層模塊，是Hadoop當中的公共部分，將各類工具提供給其它子項目。HDFS作為一個主從結構，其中包含了一個名稱節點、若干數據節點，名稱節點負責對文件系統元數據進行管理，而數據節點則是對實際數據進行存儲。MapReduce作為計算框架、并行編程模型，能夠對海量數據進行處理，其中包含的map函數、reduce函數，分別負責對任務進行分解，以及對結果進行匯總［1］。Hive是數據倉庫工具，能夠對SQL查詢功能進行支持。Hbase是基于列存儲模型的分布式數據庫。ZooKepper是針對分布式系統的協調服務。Chukwa則是分析、收集分布式數據的系統。Avro能夠對跨語言、高效的數據序列系統進行提供，并對持久化數據存儲進行支持。在Hadoop當中，具有高效、可靠、經濟、高容錯、可擴展等優勢，在云計算當中，能夠發揮出很大的作用。

1.2云計算技術

在互聯網服務的交付模式、使用模式、增加模式的基礎上，通過融合網絡計算、分布式計算、并行計算等技術，能夠在大量計算機組成的資源池當中，對計算任務進行分布，這樣，系統根據實際需求，對相應的信息服務、存儲空間、計算能力等進行獲取。云計算具有價格低、規模大、擴展性強、可共享、數據安全可靠等優勢［2］。根據不同的服務提供，可將云計算劃分為軟件即服務、平臺即服務、基礎設施即服務等類型?；跀祿行?，云計算在虛擬化、編程模式、并行數據處理等方面，都具有重要的作用。

2.基于Hadoop的海量電信數據云計算平臺

2.1平臺設計目標原則

在對海量電信數據云計算平臺進行設計的過程中，通過對Hadoop的應用，能夠是海量的數據處理任務，通過價格低廉的設備加以完成。在Hadoop云計算平臺的搭建當中，可以對低端PC服務器進行應用，從而對海量電信數據分析的要求進行滿足，使數據的分析效率、分析速度等得到有效的提升，從而能夠在業務決策當中，對準確、即時的信息進行提供，在實際應用中具有非常重要的作用和效果。在云計算平臺的設計當中，應當遵循安全性原則、高效性原則、經濟性原則等設計原則［3］。在平臺設計當中，對于平臺的信息安全、自身安全等，應當進行充分的考慮，并對相應的措施進行采取，對安全風險進行有效的規避。對于云計算平臺的特性，應當進行更為充分的運用，從而使海量電信數據處理的效率和速度得到提升。

2.2平臺基本框架結構

在含量電信數據云計算平臺當中，可對分層結構、分布式結構進行應用，并劃分出應用層、模型層、數據層等部分。在還來那個電信數據當中，主要包括了業務支持域數據、網絡域數據等。業務支持域數據主要包括一些客戶基本數據，例如客戶消費數據、客戶業務訂購數據、客戶信息等。網絡域數據則主要包含了WLAN數據、A口數據、Gb口數據等。在數據層當中，利用Hadoop的HDFS對數據進行存儲，然后利用相應的管理工具和數據處理工具，通過類SAL語言對統計指標進行定義，對任務進行動態生成，從而完成聚合與計算，高效、快速的處理海量電信數據［4］。在DHFS當中，利用文件的格式存儲處理結果，根據相應的要求，可通過特定格式進行導出。在模型層當中，通過應用數據層Hadoop的ETL處理海量電信數據的輸出的匯總數據，對分析模型進行建立，例如客戶語音行為模型、客戶短信行為模型、客戶上網行為模型、客戶位置模型等，以此來實現客戶交往圈、客戶離網預警、客戶位置的分析。

2.3平臺功能模塊功能

在基于Hadoop的海量電信數據云計算平臺當中，包含了集群管理模塊、任務管理模塊、數據管理模塊、用戶管理模塊等。其中，集群管理模塊主要支持節電管理、任務進度、以及Hadoop集群狀態等；任務管理模塊主要支持結果反饋、資源申請、任務申請等；數據管理模塊主要支持數據的刪除、下載、上傳等；用戶管理模塊則主要支持交互控制、權限管理、身份認證、賬號開通等。

2.4平臺安全機制建立

在Hadoop集群當中，具有相互連通的節點，所以，在操作Hadoop集群節點的時候，具有統一的賬號。電信數據通常具有敏感性的特點，而Hadoop自身機制無法滿足安全有效控制數據的要求，因此難免會發生一些安全性的問題?；诖耍瑸榱藢Π踩鹿始右灶A防，對安全風險進行規避，在數據、平臺的安全管理當中，應當對相應的安群機制進行充分的運用。在云計算平臺的安全機制的運用中，主要涉及到數據安全管理、賬號安全管理、自身安全管理等。在數據安全管理中，由于電信數據具有較高的敏感性特點，所以，對于敏感數據的保密工作進行進行強化?？梢岳枚ㄆ趯徲嫛⑷藛T數據操作記錄、傳輸加密、分開存放、數據進出記錄都能夠方式，實現數據的安全管理。在賬號安全管理當中，對管理員賬號應進行嚴格控制，并對口令密碼進行定期更換。在Hadoop集群中，應當分離數據傳輸賬號與集群操作賬號，并對訪問權限進行嚴格控制。此外，應當對各個賬號的操作記錄進行保存，并定期進行審計。在自身安全管理中，可將Hadoop集群網絡置于內部局域網當中，利用防火墻對其進行保護。將名稱節點作為位移通信出口，其它節點都要通過名稱節點才能訪問。這樣，就能夠有效的確保云計算平臺的數據安全。

3.結論

隨著信息技術、網絡技術的發展與普及，產生的數據量也日益增加。面對海量電信數據，傳統的處理方法已經無法應對。因此，可以基于Hadoop，結合云計算技術，對海量電信數據云計算平臺進行建立，更加高效、快速的完成數據處理與分析的任務。

［1］孫福權，張達偉，程勖，劉超.基于Hadoop企業私有云存儲平臺的構建［J］.遼寧工程技術大學學報（自然科學版），2011（6）:913-916.

［2］宋亞奇，周國亮，朱永利，李莉，王劉旺，王德文.云平臺下輸變電設備狀態監測大數據存儲優化與并行處理［J］.中國電機工程學報，2015（2）:255-267.