基于PDMiner大數據挖掘平臺的電力系統安全評估及故障診斷系統

常　成

(貴州大學 電氣工程學院，貴陽　550025)

基于PDMiner大數據挖掘平臺的電力系統安全評估及故障診斷系統

常成

(貴州大學 電氣工程學院，貴陽550025)

摘要：電力系統中的數據復雜多樣，電力大數據的挖掘處理是電力公司面臨的難題之一。闡述了電力大數據發展現狀，將電力云概念引入到電力系統大數據分析之中，提出了基于云計算理論的大數據挖掘平臺PDMiner，介紹了其整體架構和原理，針對電力大數據的平臺架構和關鍵技術，開發了一套基于PDMiner平臺的電力系統安全評估與故障診斷系統，該系統配置在SCADA/EMS的數據管理子系統上，提高了數據處理的效率，并且能準確提取到故障類型、風險區域等數據背后的準確信息。

關鍵詞：電力系統大數據；數據挖掘；PDMiner平臺；安全評估；故障診斷

隨著科技的不斷進步，在移動互聯網和智能系統的發展推動下，數據呈現出規模性、多樣性、高速性、價值性的特點[1]，因此，提出了大數據的概念。大數據指的是其大小超出了典型數據軟件抓取、儲存、管理和分析范圍的數據集合[2]，已經從TB級躍升到PB級。

電力系統主要由發電、輸電、變電、用電4部分組成，作為一套復雜的信息化系統，具有能量傳輸龐大、實時運行連續、故障瞬間擴大等特點，同樣面臨著大數據的現狀，尤其是在新能源的引入和智能電網建設的環境下，電力大數據的概念也應運而生。電力大數據廣泛應用在風電場選址定容、風光互補、電力系統安全監測、經濟運行、故障診斷等環節[3]，對電力大數據的有效分析不僅可以優化電能的生產、消耗和分配，保證其經濟性，還可以為電網規劃和改造提供有效的決策支撐。

在電網智能化的新時期，如何實時有效地處理數據，而迅速獲取有價值的數據信息已經成為電力系統分析研究的熱點。隨著數據挖掘概念的提出及相關技術的深入發展，基于云計算的數據挖掘技術為電力系統數據的處理提供了有效的手段。文獻[4]提出了基于云計算平臺和并行k-means聚類算法的用戶用電行為分析模型，通過對居民用電數據的整合篩選，有助于電力企業了解用戶的個性化和差異化服務需求。文獻[5]國外研究人員利用智能表計捕獲過電壓事故，通過對采集數據的處理分析，建立了電壓幅值與事故發生時刻、持續時間、環境溫度和分布式發電裝置狀態量數據之間的關系模型，總結出事故發生的相關因素及對配電網的影響。

雖然國內外已經將電力云計算和電力大數據挖掘等相關技術引入到電力系統分析和控制中，但仍處于研究的起步階段，基本停留在理論分析層面，缺少實用性的應用控制系統。本文基于云計算的并行分布式大數據平臺PDMiner開發了一套安全評估及故障診斷系統，通過對輸入的歷史數據和實時數據的篩選、分類、分析可以及時了解電網運行動態，了解各區域的風險程度，系統故障時迅速檢測到故障發生的地點、類型，以便監控中心做出及時處理，同時可將故障數據分類匯總、存儲，并建立故障數據庫，對電網的進一步規劃和改造提供參考。

1電力云計算

云計算是并行計算(PC)、分布式計算(DC)和網格計算(GC)的發展，是計算機技術的商業實現[6]。云計算的基本原理是通過使計算任務分布在大量計算機構成的資源池上，使各種應用系統能夠根據需要獲取計算力、存儲空間和信息服務。從技術上看，大數據植根于云計算，云計算的數據存儲、管理與分析方面的技術是大數據技術的基礎。云計算使大數據應用成為可能，但若沒有大數據的信息沉淀，云計算的功能將得不到完全發揮，兩者是相輔相成的。

云計算對電力系統內部的計算和存儲資源進行整合，提高了電網的交互和處理能力，大數據根植于云計算，以分布式存儲和并行計算為主導的云計算技術能夠適應大規模數據的存儲和計算需求。將云計算技術引入到電力系統中便形成了“電力云”概念，以數據挖掘為基礎的數據處理技術是電力云計算發展的關鍵環節。

電網的數據源有很多，主要有用戶端、電力企業和外部數據3類[7]，三類數據彼此相互作用，共同組成了配電網數據庫，但同時也帶來了數據準確性、價值性等問題。日益龐大的數據集合使傳統的數據處理技術難以對數據進行高效處理，因此，務必建立電網專用的數據處理系統。

2大數據挖掘平臺

數據挖掘一般是指從大量的數據中通過算法挖掘其中隱藏的各種信息的過程，是信息獲取的重要技術[8]。大數據的分析處理普遍采用內外層結構相結合的雙層分析架構(Double Data Structure，DDS)，外層主要對動態數據、不確定性數據進行數據融合，內層的核心部分就是數據挖掘，通過相應的算法對數據進行計算，挖掘出有價值的、需要的數據信息。由于需要挖掘海量的信息源，并且以指數增長，傳統的集中式串行數據挖掘方法已不再是一種合適的信息獲取方式。因此，先后提出了分布式計算和并行計算的數據處理方式[9]。分布式計算是將一個計算問題分解成多個子問題并同時處理的計算模型；而并行計算是將一個較大的計算問題分割成小任務的形式。文獻[10]提出了一種將機器學習算法應用在多核計算機上的并行計算，主要研究的是算法內部的并行處理，通過算法分解，將可并行的部分進行計算。本文采用上述的并行計算模式進行研究，可應用在大規模計算機集群上運行。

PDMiner是一種基于大規模數據處理平臺Hadhoop的并行分布式數據挖掘平臺[11]，目的是通過并行數據挖掘算法處理大數據資料，進而提高數據處理效率。PDMiner由4個子系統組成：工作流子系統、用戶接口子系統、數據預處理子系統和數據挖掘子系統[12]。PDMiner具有可擴展性、支持多挖掘任務、創建復雜挖掘過程等特點。

Hadoop是PDMiner的技術基礎，其核心部分是基于HDFS和MapReduce的并行算法實現[13]。HDFS是建立在大型集群上可靠存儲大數據集的文件系統。HDFS具有容錯性強、吞吐量高的特點，適合大數據集的應用程序。MapReduce是一種簡化的分布式程序設計模型，通過該模型，程序可自動在超大機群上并發執行。在PDMiner中，HDFS用于存儲大規模數據，MapReduce用于各種并行數據預處理和數據挖掘算法的實現。PDMiner的總體框架結構見圖1。

圖1　PDMiner總體框架架構圖

工作流子系統使用戶可以方便建立數據挖掘任務，用戶可以根據需要選擇ETL數據預處理、分類、聚類、關聯規則4種算法[14]。用戶接口子系統由用戶輸入和結構展示兩個模塊組成，其主要負責與用戶進行交互，參數設置和實現結果展示。并行數據挖掘子系統囊括了并行關聯規則、并行分類和并行聚類3種算法，可有效地進行數據挖掘工作。另外，并行數據挖掘子系統靈活的接口方便用戶產生新的挖掘算法。并行ETL算法子系統開發了19種預處理算法[15]，顯著提高了算法的計算效率。采用MapReduce機制可以很好地解決決策樹算法的并行問題，提高了算法的執行效率。

3電力大數據平臺架構及關鍵技術

電力系統是一種高維非線性的復雜系統，其內部包含電力流、業務流、故障流等內部數據流[16]，圖2是一種電力大數據平臺總體架構，主要由大數據處理框架、大數據存儲框架、操作系統和服務器、大數據調度框架組成，并與數據倉庫保持實時聯系。

圖2　電力大數據平臺總體架構

電力大數據的關鍵技術主要有集成管理技術、數據分析技術、數據處理技術、數據展現技術[17]。集成管理技術是將來自多個應用系統的數據合并，并據此創建一個多功能應用的過程，一般采用具有分布式存儲特點的NoSQL數據庫技術。數據分析技術是將收集到的信息進行提煉和加工，將原始信息轉化為知識流，通過這種方式來進行決策制定和指導下一步的行動，一般是通過將傳統的數據挖掘技術進行并行化處理來實現的，如PDMiner采用的MapReduce。數據處理技術包括分布式計算、內存計算、流處理。分布式作為一種新型的數據計算方式，適用于電力系統信息采集領域的大規模數據源。數據展現技術包括可視化技術、空間信息流技術、歷史流技術等，運行管理人員可清楚地理解電力系統數據的含義，及時掌握系統運行狀態。

4基于PDMiner平臺的電力系統安全評估與故障診斷系統

隨著電網的復雜程度逐漸增加，以及風光系統的接入都使得電力系統的故障發生率顯著增大。傳統的基于SCADA/EMS的電力系統數據采集與監視控制系統雖然能實時采集數據并對系統進行在線監控，但在繁雜的大數據面前，如何快速有效地分辨數據、篩選數據、整合數據并建立數據信息庫是對該系統的最大考驗。在傳統的SCADA/EMS系統的基礎上配置大數據挖掘平臺，對數據進行有效處理，將有價值的數據信息展現在控制人員面前。

本文將PDMiner大數據挖掘平臺引入到電力系統在線監控系統中，作為SCADA數據管理子系統的一部分，通過對采集數據的處理用于系統的安全評估和故障診斷。首先對收集到的源數據(內外部的歷史和實時數據)通過算法引擎在PDMiner平臺上進行數據挖掘處理；然后，根據處理的結果建立系統指標判據庫，為風險區域和系統故障提供判斷依據，并對系統運行狀態提供評價標準；最后監控中心根據展現的數據信息對電力系統運行的實時數據進行監測、分析，可劃分出故障易發的風險區域，診斷系統故障，并實時獲取故障發生類型、地點、原因等信息，根據故障信息對系統故障進行有效處理，并快速恢復正常運行；根據風險區域信息對系統區域進行劃分，同時對系統的運行狀態進行可靠性評估，制定相應的優化方案。基于PDMiner平臺的電力系統安全評估與故障診斷系統的總體架構如圖3所示。

圖3　基于PDMiner平臺的電力系統安全評估與故障診斷系統總體框架

由圖3可知，該系統框架由5部分組成。第1層數據來源層通過從內部(用戶端、企業)、外部收集歷史和實時數據建立源數據庫；第2層算法模型層，根據需要建立不同的算法引擎，在進行并行計算時通過調用相應的算法函數對數據進行針對性處理；第3層是基于PDMiner平臺對數據進行挖掘處理；第4層是根據數據挖掘的結果建立判據庫，包括故障判據、原因判據、風險區域判據、運行評價判據、優化方案判據，為業務層提供決策依據；最后業務層根據判據庫的指標、參數和顯示的數據分別進行故障診斷、故障原因分析、風險區域劃分與識別、系統運行狀態評價、系統優化方案制定，為電網的改造和規劃提供重要參考。

5實驗驗證

本文分別選取IEEE14和IEEE33節點測試系統進行仿真分析。分別將基于PDMiner平臺的電力系統安全評估和故障診斷系統配置在兩種測試系統的主監控端，觀察系統中某點發生故障及危險區域的劃分等情況。IEEE 14節點測試系統拓撲圖見圖4。

圖4　IEEE14節點測試系統拓撲圖

首先系統根據采集到的原始數據進行數據挖掘，可將IEEE14節點測試系統劃分成4個區域，并在系統內部建立了故障判據指標、故障原因、風險區域、系統運行評價、系統優化方案數據庫。

系統將區域2和4劃分為風險區域。當區域4的節點14發生短路故障時，系統將顯示下列信息，見表1。

而傳統的基于SCADA/EMS的電力系統數據采集與監視控制系統僅能監控到故障發生點，并且故障診斷時間與本系統相比要長。前者為0.7 s，本系統為0.1 s。

表1　基于PDMiner平臺的電力系統安全評估和

同樣將該系統配置在IEEE33節點測試系統中，如圖5所示。

圖5　IEEE33節點測試系統拓撲圖

IEEE33節點測試系統被分為5區域，其中區域2、5為風險區域。當節點33-15間發生斷路時，系統可顯示下列信息，見表2。

表2　基于PDMiner平臺的電力系統安全評估和

與傳統的基于SCADA/EMS的電力系統數據采集與監視控制系統相比，前者為0.9 s，本系統為0.2 s。

6結語

隨著電力系統復雜性的增大，電力大數據已成為電力系統的重要組成，數據的處理就顯得尤為關鍵。傳統的數據處理方式無法應對龐大的數據資源，效率低、差錯率高。現代數據挖掘技術針對數據的“4V”特性，提高了數據處理的能力，本文基于云計算的大數據挖掘平臺PDMiner建立了一套電力系統安全評估及故障診斷系統，該系統能準確評估系統的運行狀態和安全水平，在故障發生時能及時將故障類型、故障源等信息反饋到控制終端，同時存儲相應的故障數據，為建立電網預警機制、電網改造和規劃提供重要依據。

參考文獻：

[1]宋亞奇，周國亮，朱永利．智能電網大數據處理技術現狀與挑戰[J]．電網技術，2013，37(4)：927-935.

SONG Ya-qi, ZHOU Tong-liang, ZHU Yong-li. Present status and challenges of big data processing in smart grid[J]．Power System Technology, 2013,37(4)：927-935.

[2]李國杰．大數據研究的科學價值[J]．中國計算機學會通訊，2012，8(9)：8-15.

[3]張素香，劉建明，趙丙鎮，等．基于云計算的居民用電行為分析模型研究[J]．電網技術，2013，37(6)：1542-1546.

ZHANG Su-xiang, LIU Jian-ming, ZHAO Bing-zhen, et al. Cloud computing-based analysis on residential electricity consumption behavior[J]. Power System Technology,2013(6):1542-1546.

[4]趙國棟，易歡歡，糜萬軍，等．大數據時代的歷史機遇[M]．北京：清華大學出版社，2013.

[5]CHU CT, KIM S K, LIN Y A, et al. Map-reduce for machine leaning on multicore[C]//Proceedings of the 21stAnnual Conference on Neural Information Processing Systems(NIPS’07), Dec3-6,2007, Vancouver, Canada. Berlin, Germany. Springer-Verlag,2007:281-288.

[6]GTM Research．The soft grid 2013-2020：Big data & utility analytics for smart grid-research excerpt [R/OL]． GTM， 2013． http： //www.giiresearch.com/report/gm257044-soft-grid-big-data-utility-analytics-smart-grid.html.

[7]The first highly interactive map of electricity use in LosAngeles[EB/OL]． [2014-08] ． http://sustainablecommunities. environment.ucla.edu/map/.

[8]SEKHAR A NAGARAJA，RAJAN K S，JAIN AMIT．Spatial informatics and geographical information systems：tools to transform electric power and energy systems[C]// 2008 IEEE Region 10 Conference(TENCON 2008)．Hyderabad：IEEE，2008：1-5.

[9]李祥珍，劉建明．面向智能電網的物聯網技術及其應用[J]．電信網技術，2010(8)：41-45.

[10]楊德勝，陳江江，張明．電力大數據高速存儲及檢索關鍵技術研究與應用[J]．電子測試，2014(3)：62-63.

YANG De-sheng, CHEN Jiang-jiang, ZHANG Ming. Power big data high speed data storage and retrieval and application of key technologies[J]．Electronic Test，2014(3)：62-63.

[11]EPRI．Big data challenges for the grid：EPRI survey results and analysis Data analytics and applications demonstration newsletter[R/OL].2013 http://www.smartgridnews.com/artman/publish/Business_Analytics/Big-Data-challenges-for-the-grid-EPRI-survey-results-and-analysis.

[12]EPRI． The whys， whats， and hows of managing data as an asset[R]．USA：EPRI，2014.

[13]王秀磊，劉鵬．大數據關鍵技術[J]．中興通訊技術，2013，19(4)：17-21.

WANG Xiu-lei, LIU Peng. Key big-data technologies[J]. ZTE Communications, 2013,19(4)：17-21.

[14]孟小峰，慈祥．大數據管理：概念、技術與挑戰[J]．計算機研究與發展，2013，50(1)：146-169.

MENG Xiao-feng, CI Xiang. Big data management: Concepts,techniques and challenges[J]. Journal of Computer Research and Development, 2013,50(1):146-169.

[15]劉振亞．智能電網技術[M]．北京：中國電力出版社，2010.

[16]邱健，牛琳琳，于海承，等．基于多源數據的在線數據評估技術[J]．電網技術，2013，37(9)：2658-2663.

QIU Jian, NIU Lin-lin, YU Hai-cheng, et al. Research on online data assessment technology based on the multiple data source[J]. Power System Technology,2013(9):2658-2663.

[17]馬發勇，厲啟鵬，馬志斌，等．電力調度SCADA系統中歷史數據壓縮及存儲策略[J]．電網技術，2014，38(4)：1109-1114.

MA Fa-yong, LI Qi-peng, MA Zhi-bin, et al. The research of historical data compression and storage strategy in power dispatch SCADA system[J]. Power System Technology, 2014，38(4)：1109-1114．

(本文編輯：嚴加)

Power System Security Assessment and Fault Diagnosis System Based on PDMiner Large Data Mining Platform

CHANG Cheng

(College of Electrical Engineering, GuiZhou University, Guiyang 550025, China)

Abstract:The data of power system is complex and various, and then the big data mining is one of the difficult problems for power companies. This paper describes the development status of power big data, and introduces the concept of power cloud to power system big data analysis. Data mining platform PDMiner is proposed based on cloud computing, and its overall structure and principle are outlined. According to the power big data platform architecture and key technologies, a set of power system security assessment and fault diagnosis system is developed based on PDMiner platform. The system, configured in the SCADA/EMS data management subsystem, can improve the data processing efficiency and accurately extract the information of fault types and risk region, having much higher value in power grid renovation and planning.

Key words:power system big data; data mining; PDMiner platform; security assessment; fault diagnosis

DOI：10.11973/dlyny201601002 10.11973/dlyny201601003

作者簡介：常成(1991)，男，碩士研究生，研究方向為電力系統運行與控制。

中圖分類號：TM76；TP311

文獻標志碼：A

文章編號：2095-1256(2016)01-0007-05

收稿日期：2015-10-25