賀紅燕
(河北政法職業學院,河北石家莊050061)
基于大數據的智能電網關鍵技術研究
賀紅燕
(河北政法職業學院,河北石家莊050061)
大數據時代的來臨,對數據的處理方式提出了新的挑戰。在分析智能電網數據源和數據特征的基礎上,提出了利用云計算的環境來對智能電網中的大量數據進行智能處理的方法。將大數據的概念引入到智能電網運行的關鍵技術當中,對智能電網的實際運行具有重要的指導意義。
智能電網;大數據;云計算;技術體系
信息爆炸的時代帶來了數據的極大膨脹,這給數據的處理帶來了新的挑戰。“大數據”是相對于過去的數據處理方式而言的、專門應用于體量特別巨大、無法應用傳統的數據處理方式進行數據處理的數據集群。而在現代的生產生活中,由于生產過程的高度信息化和智能化,導致數據量急劇增長,對數據的處理成為生產環節中所面臨的重要問題之一。
大型數據集,就是指生活過程中所存在的體量巨大的數據群集,一般都是指在10 TB規模的數據集合。而IBM將大數據歸納為三個標準,即3 V:類型(variety)、數量(volume)和速度(velocity)[1]。其中類型是指數據中有結構化、半結構化和非結構化等多種數據形式,在具體的生產過程中,這些數據由于來自于多種數據源,因此數據類型的構成極為復雜,這是傳統數據庫技術所不能勝任的;數量是指收集和分析的數據量非常大;速度是指系統對數據的處理速度要達到相應的標準。
大數據是一種現象,是一種伴隨著大量數據的采集、傳輸、處理和應用而出現的一種對數據的新認識。但是大數據現象的出現,需要相應的數據處理技術與之相對應,從而獲得對大量數據進行存儲、分析、預測、處理的必要經驗。
智能電網是大數據最重要的應用領域之一,這和智能電網的基本特征有直接的關系。我國對于智能電網的基本定義是:以堅強網架為基礎,以通信信息平臺為支撐,以智能控制為手段,包含電力系統的發電、輸電、變電、配電、用電和調度各個環節,覆蓋所有電壓等級,實現“電力流、信息流、業務流”的高度一體化融合,是堅強可靠、經濟高效、清潔環保、透明開放、友好互動的現代電網[1]。所以,智能電網需要通過調控信息流實現對物理電網的更全面、更細致的調度和控制。通過最大限度利用現代信息技術,結合系統化、層次化的架構,統一規劃、運作、控制、管理,建立先進、開放、安全、可靠、靈活并貫穿生產、運行、經營全價值鏈的信息高度融合、模型高度統一的信息支撐平臺。從時間、物理、管理等多維度及多層次,為各智能應用提供標準化、多元化、完整、一致的堅強智能電網信息,避免信息失真、信息冗余、信息阻塞、信息互斥等問題,實現電源側、電網側、用戶側信息的集成、交互和共享,支持堅強智能電網新型業務應用。這就決定了在智能電網中所存在的數據量的巨大性。
智能電網的最終目標是將傳統電網改造成覆蓋電力系統的各個生產和使用環節的全景實時系統。這個系統需要涉及到的環節有發電、輸電、變電、配電、用電及調度,因此這需要大量的電網內部數據和外部數據的支撐。其中,電網的內部數據有設備監測和檢測系統、配電管理系統、能量管理系統、生產管理系統、營銷系統、用電信息采集系統、客戶服務系統等;而外部數據主要來自于氣象信息系統、地理信息系統、公共服務部門等系統。因此,在智能電網中的數據具有分散性強,地域分布廣,同時除傳統結構化的數據外,智能電網還包含了大量如語音、波形、圖像等半結構化、非結構化的數據,而且處理這些數據都具有不同實時性、準確性、精確度、生命周期的要求,因此數據種類復雜多變。
綜上所述,智能電網中的數據源具有以下數據特征[2]:(1)數據源構成復雜且分布性強;(2)數據量大、種類多、相應的數據維度也大;(3)每個數據都具有重大的實際意義,同時數據之間也具有復雜的關聯性。以上幾點決定了需要利用大數據的方法來解決智能電網的數據處理問題。
智能電網最主要的特征是工作穩定性強、可持續性強、具有系統的自愈性、靈活性和經濟性。這些特征的形成離不開相應的支撐技術,關鍵的技術有:量測技術、控制技術、通訊技術和設備技術等。參數量測技術是智能電網基本的組成部分,先進的參數量測技術獲得數據并將其轉換成數據信息,以供智能電網的各個方面使用。參數量測技術是設備信息的源頭,來自于該技術的信息可以為評估電網設備的運行狀態提供良好的基礎。這一部分的數據具有準確性高、實時性高的基本要求。控制技術是指在智能電網中分析、診斷和預測狀態并確定和采取適當的措施以消除、減輕和防止供電中斷和電能質量擾動的裝置和算法。控制技術是對電網的輸、配、送、用各個環節進行管理的重點,是集中了其他關鍵技術的最終實施環節。在智能電網中,利用預設的專家系統對電網的運行狀態進行分析和管理,采取自動控制行動,是智能電網實現自愈性的關鍵;通信技術是智能電網的各系統運行的溝通通道。高速、雙向、實時、集成的通信系統使智能電網成為一個動態的、實時信息和電力交換互動的大型基礎設施,為提高電網供電的可靠性、提高電網的安全性打下良好的基礎。設備技術是指在智能電網中要引入最先進的設備,例如在材料、超導、儲能、電力電子和微電子技術方面的最新研究成果,從而提高電能質量和生產的效率。
智能電網是一個系統性的信息平臺,應用大數據的方法來解決智能電網中的海量數據問題。
大數據技術的本質也是數據處理的問題,其關鍵的技術主要包括兩點:(1)大數據存儲和管理;(2)大數據檢索技術的使用。
對于大數據的存儲和管理,傳統數據處理的方式主要有兩種:一種是C/S結構;另一種是B/S結構。這兩種方式都不能適應大數據存儲和管理的要求,因此構建新的存儲平臺是解決問題的關鍵。
云計算是一種新的數據存儲方式,它將計算和數據存儲分布在大量計算機構成的資源池上,使用戶能夠按需獲取計算能力、存儲空間和信息服務。在云計算中,核心是云數據庫。一個有效的云數據庫可以完成海量的數據處理、大規模集群管理、低延遲的讀寫速度和低成本的運行過程。
將智能電網的數據利用云計算來進行存儲可以提供一個良好的數據存儲與處理的平臺。利用相關的技術從大量的、異構的、不完整的實際數據中查找出有利于智能電網運行決策的數據是大數據技術所要解決的另一個問題。
在大數據概念出現以前,在數據分析領域所經常要使用的技術是數據挖掘。有所不同的是,數據挖掘技術比較適用于單個計算機上進行數據的處理,不太適應用大量的分布式數據源的處理,而大數據的并行處理是基本的要求,這就要求數據的處理過程要用大數據的分布處理框架。
目前,應用較多的大數據應用處理框架是MapReduce,這也是云計算所經常采用的海量數據處理模式。MapReduce技術把每一個云端小型處理器作為一個計算終端,在每一個終端上所采用的數據處理技術仍然用數據挖掘技術[3],例如樸素的貝葉斯算法、數值型關聯規則、遺傳算法、神經網絡算法等。同時,將一個大數據的問題采用“分而治之”的辦法,分解成一個個相對獨立的較小問題。這些小型問題由各個處于云端的計算終端進行計算后,再將每個節點的執行結果進行匯總,從而得到最終的計算結果。
MapReduce模型的計算流程分為兩個階段。第一階段是Map過程,分為三步:第一步是將大任務進行分割,分成若干固定大小的分片(Split),每一個分片利用鍵值(Key)向下傳遞信息。第二步是利用相應的數據挖掘技術構建Map算法,Map算法分布在各個云計算終端上,對每一個小任務數據源進行計算。第二階段是Reduce階段,這一階段的任務是結論的匯總,匯總方式可以根據實際問題采用不同的方式,例如蟻群算法、神經網絡算法等,最終形成穩定準確的數據分析結論。
本文對智能電網中的關鍵技術進行了分析。利用大數據的基本概念重新對智能電網中的數據處理問題進行規劃。
智能電網中的海量數據利用云平臺來進行處理,并結合MapReduce模型進行分析,從而實現了大數據的“分而治之”和有效匯總,為智能電網的有序實現提供了一定的理論基礎。
[1]唐躍中.數字化電網若干關鍵技術研究[D].杭州:浙江大學,2010:11-12.
[2]張東霞,苗新.智能電網大數據技術發展研究[J].中國電機工程學報,2015(1):2-3.
[3]幸莉仙,黃慧連.MapReduce框架下的樸素貝葉斯算法并行化研究[J].電力系統自動化,2013(2):108-109.
Key technology of smart grid based on big data
HE Hong-yan
(Hebei Vocational College of Politics and Law,Shijiazhuang Hebei 050061,China)
The coming of the era of big data results in new challenge to the way of data processing.The method of cloud computing environment for intelligent processing of large amounts of data was put forward based on the analysis of data sources and data characteristics of smart grid.It has important guiding significance for the practical operation of the smart grid that introducing the concept of large data into the key technology of the smart grid operation.
smart grid;big data;cloud computing;technological system
TM 769
A
1002-087 X(2016)08-1713-02
2016-02-25
賀紅燕(1973—),女,河北省人,副教授,碩士研究生,研究方向:信息技術與數據分析。