基于Hadoop的數據中心在電力企業的應用研究

孟椿智+謝瑞浩

摘要：傳感器、物聯網、云計算等技術的發展和改進，有效地促進了電力企業智能化、信息化和共享化，引入或研發了許多的自動化系統，比如電力控制系統、變電站告警系統、電網監控系統等，這些系統運行積累了海量的數據資源，亟需引入更加先進的Hadoop技術構建數據中心，確保對電力企業數據的分布式、透明化、虛擬存儲和訪問，進一步提高系統處理速度。

關鍵詞：Hadoop；數據中心；電力企業；智能監控

中圖分類號：TP311 文獻標識碼：A 文章編號：1007-9416（2017）11-0048-01

1 引言

云計算、互聯網等技術的發展促進了人們進入到大數據時代，海量應用軟件運行積累了數以億計的數據資源，因此構建一個強大的數據中心，可以為用戶提供一個高速并發的處理機制，實現數據的操作和服務。隨著電力行業的發展和改進，實時監控、應急通信、電力故障及維護等領域引入了許多的信息化、智能化軟件，這些軟件可以為電網設備數據采集、通信傳輸、決策服務等提供強大的支撐，具有重要的作用和意義[1]。隨著人工智能的發展和普及，電力企業將會引入虛擬現實、增強現實、機器學習、模式識別等技術，構建一個基于移動終端、平板電腦、服務器的先進大數據中心，組成一個強大的智能電網，提高電力企業的智能化水平，保證電力網絡的正常運行[2]。

本文詳細地描述了電力企業數據中心功能，提出利用Hadoop技術實現數據中心操作，分析了Hadoop分布式存儲技術，利用MapReduce構建一個計算引擎，能夠實現對電力數據的分布式管理，整合了硬件基礎平臺，融合分布式存儲資源，實現信息操作和服務。

2 電力企業數據中心功能及應用分析

電力企業經過多年的發展，構建一個強大的數據中心，能夠實現數據采集抽取、清洗轉換、加載存儲、數據應用，能夠實現數據可視化顯示、標準化體系建設，實現信息加工和服務。數據采集抽取功能可以從電力設備、電力線路等一系列軟硬件系統中獲取數據資源，采集到設備運行記錄、電力事故記錄、供電信息以及系統運行日志信息，將這些信息保存到數據倉庫。清洗轉換可以針對采集到的電網數據進行分析，利用歸一化方法實現對數據的清洗轉換，刪除許多的噪聲數據或無用數據[3]。加載存儲由兩個關鍵程序組成，數據中心設計和建設完成之后，可以將數據裝載到中心存儲器，數據加載存儲需要大量的時間進行裝載操作，能夠為用戶提供一個強大的數據加載引擎，按照變動的操作實現信息加工。數據應用可以針對中心的數據進行加工，并且為用戶提供一個報表撰寫、存儲加工、分析應用和直接查詢的操作，將這些操作流程通過后臺進行分析，具體的數據應用包括后面才兩個非常關鍵的環節，首先數據需要以維度的模式展現出來，實現信息加工、存儲和訪問；其次，數據中心需要涵蓋原子數據，利用原子數據構建強大的操作流程，否則就不會造成數據的維護操作[4]。

在建設數據中心的過程中，為了保證電網數據的可用性，還要引入更多的標準體系，以便能夠規范數據接入標準，保證應用數據是規范的，同時還可以實現數據可視化，這樣就可以保證數據的操作友好性，能夠更好地維護信息系統的功能。

在建設完畢之后，數據中心可以為用戶提供強大的操作服務，比如實現停電統計分析、綜合管理統計應用等。停電統計分析可以根據用戶的需求評估用電量，以便能夠科學指導電力企業供電、停電，保證居民生活、企業運轉的正常性。綜合管理統計應用可以從數據中心獲取電力項目投資情況、項目實施進度等，及時地將這些信息上報給領導，方便電力企業的正常決策。

3 電力企業數據中心建設關鍵技術

電力企業數據中心建設引入了Hadoop技術，該技術在數據提取、清洗轉換、數據加載方面具有很多的優勢。Hadoop與當前的云計算技術相結合，組成了一個強大的分布式層次化架構，能夠為用戶提供形象化、直觀化、共享化和數字化的應用軟件，同時還可以為大數據處理引擎提供存儲加載服務，實現對電網信息的精確探測和位置標識。Hadoop引入了先進的MapReduce技術，該技術可以將任何一個數據處理任務打破，并且可以將每一個任務發送到多個節點上，然后可以將單個數據集成加載到數據倉庫中，實現信息加工和服務。圖1為電力數據中心Hadoop數據處理流程。

在電力企業數據中心建設中Hadoop的目標定位是高可靠性、高可拓展性、高容錯性、高效性，利用這些優勢設計一個強大的數據倉庫，實現對基礎數據的采集清洗和轉換，同時可以為每一個用戶提供操作服務。Hadoop在電力企業數據中心建設中采用的關鍵技術包括很多，最底部是Hadoop Distributed File System（HDFS），其可以實現電力數據中心Hadoop集群中存儲節點的文件管理，能夠支持MapReduce的分布式訪問功能，HDFS就是一個傳統的分級文件系統，該系統可以創建、刪除、移動或重命名文件，包含了很多的特定節點NameNode，這些節點可以將許多的存儲文件進行分塊，將每一塊復制到多個計算機上，與傳統的RAID架構大不相同，負責管理文件系統資源的訪問和操作。另外，NameNode可以決定是否把數據中心的文件映射到DataNode上。另外，NameNode利用塊標識實現DataNode的調取和響應，以便能夠將DataNode中的實例信息組織起來，通過交換機將所有的信息集成在一起，響應HDFS客戶機的讀寫請求，還能夠執行NameNode的創建、查詢、復制和刪除操作。

4 結語

電力數據中心引入Hadoop技術，該技術能夠強化數據中心的分布式、快速化響應操作，同時可以支持數以百萬級的用戶同時訪問中心數據，保證電力數據中心的安全、可靠、高速運行。

參考文獻

[1]雷蕾，李景文，宮大鵬，等.基于Hadoop的OSS域數據建模與采集方法研究[J].電信科學，2015，31（1）：128-138.

[2]羅賢縉，岳黎明，甄成剛.風電場數據中心Hadoop云平臺作業調度算法研究[J].計算機工程與應用，2015，51（15）：266-270.

[3]劉青，付印金，倪桂強，等.CCF BigData 2015+237基于Hadoop平臺的分布式重刪存儲系統[J].計算機應用，2015.

[4]趙會群，黃傳聰.一種基于Hadoop的EPC物聯網數據分析系統的研究與實現[J].計算機工程與科學，2015，37（4）：657-662.

Abstract：Sensor， networking， cloud computing technology development and improvement， effectively promote the electric power enterprise intelligence and information and sharing， introduced or developed many automation systems， such as power control system， alarm system， power grid substation monitoring system， the system has accumulated vast amounts of data resources， to construction of a data center to introduce more advanced Hadoop technology， improve the electric power enterprise， distributed data transparency， virtual storage and access， to further improve the processing speed of the system.

Key Words：Hadoop； data center； power enterprise； intelligent monitoring