基于海量電力數據的用電管控平臺

鐘世冠,蘇 超

(廣東電網有限責任公司清遠供電局，廣東清遠，511515)

基于海量電力數據的用電管控平臺

鐘世冠,蘇 超

(廣東電網有限責任公司清遠供電局，廣東清遠，511515)

針對電力企業自動化、信息化高速發展產生的海量電力數據，建立了基于Hadoop的數據存儲管理與挖掘平臺，結合MySQL數據庫，Spark技術，滿足了離線、實時儲存和處理海量用電數據的要求；同時，結合GIS技術，將分析結果動態展示在GIS地圖上，以可視化的方式展示電網各項指標及電力供需情況。本文基于此平臺進行電力數據的挖掘分析并將其應用到電力系統中，能夠有效地進行用電行為分析，饋線分析應用以及電力的負荷預測，實時預測與狀態分析，從而進行更有效地電力管控。

Hadoop平臺；數據挖掘；電力系統

0 引言

隨著電網規?？焖贁U大、信息技術的快速發展，信息自動化技術已廣泛應用于電網各系統中，在提高供電可靠度和客戶服務方面取得了顯著的成效，為滿足國民經濟和社會發展的需要，提高客戶服務質量提供了有力支撐。隨著信息化技術的應用，電網采集數據的實時性高且數據量劇增，而企業對數據應用管控能力卻遠遠滯后于數據的增長。在傳統的存儲中采用磁盤整列，關系型數據庫和套裝軟件，雖然能滿足日常管理，但從海量的數據中得出有效的結論需經過長時間的整理分析，無疑降低了對數據的有效利用。隨著智能電網的發展，云技術，分布式計算以及挖掘算法都被應用到電網中，進行電力數據的處理并取得了一定的成果。云技術尚處于發展的初期，其虛擬技術，安全問題，具體的框架體系等還需進一步研究；分布式計算與挖掘算法更適用于離線分析，但很難滿足電網數據的實時存儲與處理要求。

本文建立的用電管控平臺充分結合這些技術，基于Hadoop平臺，采用實時數據庫與分布式數據庫的存儲方式，同時將實時與關系型數據庫相結合，可以高效離線、實時存儲和處理海量用電數據，提高系統運行性能，有效減輕現有計量自動化系統的負擔，滿足更高的用戶精細化多樣化的需求。

表1 本文用電管控平臺與傳統電力數據存儲分析的對比Table 1 The comparison between the management and control platform in this paper and traditional storage and analysis of electric power data

圖1 用電管控平臺構架Fig. 1 The frame of management and control platform

1 平臺構架

本文構建的用電管控平臺的構架如圖1所示，平臺中采用的關鍵技術包括Hadoop技術，關系型數據庫及Spark技術等。Hadoop技術的核心為HDFS分布式文件系統和MapReduce模型。HDFS分布式文件系統實現了對Hadoop分布式存儲的底層支持，而MapReduce的分布式處理框架很適用于處理大規模的數據，集群系統具有良好的伸縮性，為分布式處理提供了編程框架支持。在數據處理中的關系型數據庫是MySQL數據庫。根據MySQL數據庫實時性好，運行速度快，在處理小型數據時更占優勢，且對硬件要求低以及價格較低等優勢。因此，在平臺搭建中結合Hadoop技術與MySQL數據庫的優點，來處理電力系統中的數據。Spark技術將中間處理數據保存在內存中，減少對磁盤的讀寫次數，數據處理速度快。在處理實時流數據方面，Spark Streaming容錯性高，集成性好，可以同時進行批量和實時數據處理，將歷史數據與實時數據結合起來。Spark可以通過Hadoop2發布的YARN資源管理器與Hadoop結合，彌補Hadoop在速度和實時處理上的不足。

本平臺中處理的數據源主要來自計量自動化系統，能量管理系統(EMS系統)，營銷系統，營配一體化數據中心及外部數據。數據的獲取通過web服務或采用傳統或實時ETL技術從MySQL數據庫獲取，存儲于分布式數據庫及傳統數據庫中，利用Spark，SmartMing及結合R語言的RHadoop進行數據分析，通過數據管理平臺，可視化平臺，GIS平臺及移動應用平臺，進行客戶分析，包括計量裝置分析，實時線損計算，用電行為分析，饋線分析應用，電力負荷預測，負荷實時預測等。

基于前面對于Hadoop，傳統數據庫及Spark技術的分析可以知道，實時數據的處理主要采取實時與關系型數據庫相結合的方式，而分布式存儲則主要應用與離線分析。

表1展示了本文用電管控平臺與傳統電力數據存儲分析的技術與性能上的對比。

圖2 電力海量數據的數據管理平臺Fig. 2 The management platform of massive electric power data

2 數據管理平臺

用電管控平臺中數據的管理平臺如圖2所示，構建包括數據接入、數據處理、數據加工、數據存儲、元數據管理、訪問服務、支撐工具以及平臺管理等服務功能；主要分為以下幾個部分：

2.1 FLUME數據接入層

FLUME可以可靠地采集、聚合和傳輸分布式海量日志，將其用在最開始的層面進行數據的接入導出，從數據源或者web服務收集數據后，將數據緩存起來，并提供對數據簡單的預處理，進行多路數據分發，存入HDFS，Hbase或MySQL數據庫中以便進行離線計算，或實時分發去進行實時計算。

2.2 AMBARI系統監控部署層

采用AMBARI支持Hadoop集群的供應、管理與監控使得Hadoop的管理更加簡便。本平臺中Ambari系統監控部署層包括集群部署和系統監控，集群部署包括模板部署和快速擴展，系統監控包括對資源負載和機器存活的監控以及問題的快速定位。

2.3 基礎組件層

基礎組件層包括RPC（Remote Procedure Call）遠程過程調用，對象持久化，Zookeeper節點管理以及安全管理：SSH（Secure Shell，安全外殼協議）和SSL（Secure Sockets Layer，安全套接層）。遠程過程調用保證了在分布式系統中，一臺計算機上的程序能調用另一臺計算機的程序，實現服務器間的通信。對象持久化將內存中的數據保存在數據庫或存儲設備中，保證數據不會丟失。Zookeeper是針對大型分布式系統的可靠協調系統，協調集群中的各個節點的工作，保證了配置數據的一致性和高可用，并基于Zookeeper實現分布式同步，配置維護，命名服務和集群管理等。而安全管理：SSH和SSL安全協議則保證了數據通訊在應用和傳輸中的安全性。

2.4 數據庫存儲層

數據存儲層包括MySQL數據庫和HBase NOSQL數據庫，Hbase是一個建立在HDFS上的高可靠，高并發讀寫，高擴展，可實時讀寫的數據庫系統，相對HDFS更適合低延時的處理，與MySQL適合結構化數據存儲相對，Hbase適合半結構化和非結構化數據的存儲。Hbase是Hadoop的子項目之一，因此，屬于于Hadoop與傳統數據庫的一個結合。MySQL用來進行小數據的處理和Meta數據（元數據）的管理。MySQL數據庫和HBase NOSQL數據庫通過Sqoop進行互聯互通，Sqoop還可以通過Hadoop的Mapreduce將數據從關系數據庫導入到據到HDFS。

圖3 實時計算流程Fig. 3 Flow chart of real-time computing

2.5 資源管理層

資源管理層采用YARN資源管理器，YARN是Hadoop新一代的的數據處理框架，突破了MapReduce框架的一些性能瓶頸，YARN能夠允許多種應用程序高效、可控地同時運行于同一集群上，可以運行如MapReduce，Spark，Storm等各種計算框架，能夠有效地將這些技術結合起來。

2.6 數據倉庫層

數據倉庫層是分布式，高擴展及并行處理的框架，利用Hive和Impala系統進行SQL查詢，能查詢HDFS和HBase中的PB級大數據，Hive適合需長時間運行的批處理，而Impala省去了MapReduce的啟動，更快速，適用于實時查詢滿足查詢的交互性。Pig較為靈活，可以開發簡潔的腳本進行數據的轉換，加載數據以及存儲最終結果，提供了簡單一個的操作和編程接口。MapReduce用于離線處理分析，而Spark則負責實時處理分析。Mahout包含許多實現，包括聚類、分類、推薦過濾、頻繁子項挖掘等，可以快捷地從數據中創建智能應用程序，用于分布式數據挖掘。

3 實時計算及數據挖掘

本平臺中海量數據實時計算的流程如圖3所示，數據采集主要通過ETL技術，數據的存儲采用傳統的Mysql數據庫，數據的處理與分析采用Spark實時計算和并行計算技術，將結果存儲到數據倉庫中，利用可視化技術將其展示出來。本平臺的數據挖掘，采用ETL技術從數據庫或通過web服務獲取到數據，數據的存儲與處理基于Hadoop技術，采用HDFS分布式存儲系統以及MapReduce計算框架，處理后的結果將其存入MySQL中，然后再利用數據挖掘技術（R Hadoop、Spark）對其進行分析挖掘，R Hadoop是結合了R語言的Hadoop，R語言和Hadoop在數據分析上各有所長，結合了R語言之后的RHadoop在數據分析功能上更為完善，最后再將結果存入MySQL中，并通過可視化技術展示出來。數據挖掘的總體架構如圖4所示。

圖4 數據挖掘總體架構Fig. 4 Overall architecture of data mining

4 應用分析

4.1 變電站運行計量裝置有效性實時測試，及電量數據追捕

使用ETL技術，每隔15分鐘采集一次數據，并將數據存入MySQL,面向最終要展現的指標，使用Spark技術進行數據處理，包括匯總、過濾、排序等。建立常見的錯誤接線模型（糾偏公式模型），對計量裝置進行實時測試（錯誤接線模型），對電量異常進行報警，并在云GIS地圖上顯示。通過對其功能點的研發，可實現對計量裝置實時監測，對電量異常進行電量追補，并將結果反饋在云GIS地圖上。通過在線監測數據為電量狀態管理、故障處理等提供了技術支持。

4.2 海量數據的實時線損計算

基于各個計量點的最小顆粒度數據，進行實時線損計算（計算頻率為15分鐘），大大的提高了線損計算效率、準確性及實時性。實時線損計算結果反饋在云GIS地圖上，線損查詢可按日期區間或單點時間選擇查詢，日期區間查詢精確到分鐘（15/30分鐘），單點時間查詢按15分鐘，30分鐘，小時，天查詢。這樣可以快速查詢指定區域的線損信息，為業務部門提供快速、全面、準確的決策和管理依據。

4.3 饋線分析應用

饋線分析應用的核心是預估某饋線上現有用戶各個時段的總用電量，主要方法：

(1) 建立時間序列預測模型，以某饋線下所有用戶為總體研究對象，針對歷史總用電數據進行訓練學習，建立預測模型，總結用電規律，量化分析，并使用模型對未來用電量進行預測。

(2) 使用大數據定律的思想，建立每個時段的平均預測模型。即計算每天、每周和每月同期用電的平均值，以平均值作為未來同期預測的依據。

完成模型建設和評估之后，針對最終選擇的模型進行應用，將算法寫到后臺，建立預測分析體系，并開發BS架構的web交互系統，滿足用戶的分析查詢和結果呈現。

本平臺自動統計饋線容量，追蹤其飽和狀態的持續時間，用戶容量及剩余容量，判斷饋錢是否可以報裝新用戶，給予業務部門提示，這樣將傳統統計饋線容量的方式轉變為自動化的工作模式，大大的提高了業務部門的工作效率，并為公司業務部門提供決策支持。

5 結語

本文詳細研究了基于海量數據用電管控平臺的建設，重點分析了其數據管理平臺，在Hadoop構架的基礎上結合了其最新技術，引入實時數據庫和分布式數據庫的存儲方式，同時將實時與關系型數據庫相結合，以符合高效離線、實時存儲和處理海量用電數據的要求，提高系統運行性能，有效減輕現有計量自動化系統的負擔，對海量的用電數據進行挖掘，為電力系統提供了更高效的用電管控平臺參考。由于Hadoop技術應用到電力系統仍處于初步階段，硬件平臺及具體實踐等仍需進一步研究。

[1] 江道灼,申屠剛,李海翔,等.基礎信息的標準化和規范化在智能電網建設中的作用與意義[J].電力系統自動化, 2009, 33(20): 1- 6.

JIANG Daozhuo,SHEN Tugang,LI Haixiang,et al. Significance and roles of standardized basic information in developing smart grid[J]. Automation of Electric Power Systems,2009,33( 20): 1-6.

[2] 趙江河，陳新，林濤，等，基于智能電網的配電自動化建設[J].電力系統自動化, 2012, 36(18):33-36.

ZHAO Jianghe,CHEN Xin,LIN Tao,et al. Distribution automation construction in smart grid[J]. Automation of Electric Power Systems,2012, 36(18):33-36.

[3] 王景燕.基于云計算的電力調度信息化研究[J].電工技術, 2011(12):3-4.

WANG Jingyan.Power construction enterprise information

strategy based on cloud computing[J]. Electric Engineering, 2011(12):3-4.

[4] 王德文, 宋亞奇, 朱永利.基于云計算的智能電網信息平臺[J].電力系統自動化,2010,34(22):7-12.

WANG Dewen,SONG Yaqi,ZHU Yongli.Information platform of smart grid based on cloud computing[J].Automation of Electric Power Systems, 2010, 34(22):7-12.

[5] 胡平，王忠群，劉濤，等.基于分布式OSGi的通用電力數據平臺[J]．計算機工程,2014, 40(3): 71-75.

HU Ping,WANG Zhongqun,LIU Tao,et al.General electric data platform based on distributed OSGi[J]. Computer Engineering, 2014, 40(3): 71-75.

[6] 熊浩,李衛國,黃彥浩,等.基于模糊粗糙集理論的綜合數據挖掘方法在空間負荷預測中的應用[J].電網技術, 2007, 31(14): 36-40, 56.

XIONG Hao,LI Weiguo,HUANG Yanhao,et al.Application of Comprehensive Data Mining Method Based on Fuzzy Rough Set in Spatial Load Forecasting[J]，Power System Technology, 2007, 31(14): 36-40, 56.

[7] 賀瑤,王文慶,薛飛.基于云計算的海量數據挖掘研究[J]. 計算機技術與發展, 2013, 23(2): 69-72.

HE Yao,WANG Wenqing,XUE Fei.Study of Massive Data Mining Based on Cloud Computing[J].Computer Technology and Development, 2013, 23(2):69-72.

[8] 趙俊華,文福栓,薛禹勝,等.云計算:構建未來電力系統的核心計算平臺[J].電力系統自動化,2010,34(15): 1-5.

ZHAO Junhua,WEN Fushuan,XUE Yusheng,et al. Cloud computing:Implementing an essential computing platform for future power systems[J].Automation of Electric Power Systems, 2010,34(15): 1-5.

[9] 李偉,張爽,康建東.等.基于hadoop 的電網大數據處理探究[J]. 電子測試, 2014(1): 74-77.

LI Wei,ZHANG Shuang,KANG Jiandong,et al. Research on Massive Data for Grid Using Hadoop[J]. Electronic Test, 2014(1):74-77.

The Management and Control Platform Based on Massive Electric Power Data

Zhong Shiguan,Su Chao
(Guangdong Power Grid Corporation,Qingyuan,511515,China)

In order to deal with the massive electric power data generated by the automation of power enterprise and the high-speed development of information technology,this paper establishes a Hadoopbased data storage,management and mining platform.It combines MySQL database,Spark technology and meet the requirements of offline and real-time storage and processing of massive electric power data;in the meantime,it combines GIS technology and dynamically displays the analysis results on GIS maps,which visually demonstrates the indices of power grid and the situation of electricity supply and demand.This paper conducts data mining and analysis of electric power data based on the platform and applies them in electric power system,which can effectively analyze the behavior of electricity consumption and feeder line analytic application and forecast electric load，and therefore better controls and manages the electric power system.

Hadoop platform;data mining;power system

TM734

A

鐘世冠(1975—)，男，高級工程師，主要研究方向：電力系統信息化管理。

廣東電網有限責任公司科技基金資助項目（K-GD2014-0777）

蘇超(1985—)，男，工程師，主要研究方向：電力系統信息化管理。