分析大數據背景下智能電網動態電力監控問題

史冀

摘要：工業和信息化部發布了《大數據產業發展規劃（2016-2020年）》。參照該規劃指導思想、發展目標、重點任務、重大工程、保障措施等內容，聚焦電力大數據與大電網智能監控領域，以期促進大數據技術在全球能源互聯網建設中的深度應用和創新發展

關鍵詞：電力大數據;大電網;智能;監控

1智能電網大數據及其特點

1.1智能電網中的大數據

智能電網數據的處理不是單一的存在，它有著自身獨特的特點，大體上可把這種往來數據分割為3類：一類是在電網的運作狀態下，利用設備來檢測和監測數據;二類是把電字的銷售，還有價格及電量，根據不同情況、不同客戶做出數據判別，后進行整理;三類是電力企業數據的管理。

1.2智能電網中的大數據特點

智能電網中的大數據具備“4V”特征，即規模大（Volume）、類型多（Variety）、價值密度低（Value）和變化快（Velocity）。

2大數據處理技術

2.1大數據處理的價值

大數據的存在價值在這些年來，被廣泛用于商業、科技等領域，儼然成為了社會的重要角色之一。法國執政黨在2013年5月，法國投資大數據產業的金額高達1.6億歐元。法國政府預測大數據對將來的科技與經濟發展有著前所未有的深遠影響。大數據目前已廣泛應用于我國及世界各國，如京東每天新增的交易數據達8TB;大數據分析平臺日處理數據量高達90PB，這個平臺處理量相當于美國納斯達克交易所一個星期的數據處理量;再者就是沃爾瑪曾經是最早運用大數據來分析并獲得受益的企業之一，其曾創造了“啤酒與尿布”的不可取代的神話，現如今的沃爾瑪處理100萬件交易需要1h，存入的數據大約2.5PB在數據庫中，這些數據量是美國國會圖書館的167倍;微軟花了20年，耗費數百萬美元完成的Office拼寫檢查功能，谷歌公司則利用大數據統計分析直接實現。

2.2并行數據庫

并行數據庫（如Oracle等）主要功能為存儲結構化數據。

2.3云計算數據

由于電力系統中海量數據的云集，大數據借助云計算高效的計算功能，對智能電網中的數據進行解析，使其能呈現數據分布情況，了解一手資料，做出合理的應對方案。

2.4云計算在智能電網中的應用

云計算運用其高效的服務技術、多樣化的監測系統、可靠的實時獲取數據，將智能電網中的記錄數據進行整理分析，降低其缺失率，能夠更為精準地捕捉數據技術難點，將復雜性化為簡化。

3數據的采集

3.1存儲在傳統數據庫中的電網數據采集

集群部署階段安裝的Sqoop服務提供了數據轉化的功能，該服務可以將存儲在數據庫中的電網數據抽取到分布式的存儲架構HDFS中，已有的數據就可以很方便地被拉取到集群中。為便于后期對數據進行分布和挖掘，我們可將抽取到HDFS中的數據導入Hive中。Hive針對表中數據提供了一種類sql查詢和分析語法，只要掌握簡單的sql語法即可對海量的數據進行分析，而不必掌握復雜的大數據技術。

3.2網絡中的電網數據采集

Internet上有許多電力企業用戶的行為數據，這些數據中蘊含著豐富的價值，采集和分析這些數據也成為企業發展的重要內容。目前網絡上的數據主要通過專業的爬蟲團隊從個網站上爬取，爬取的數據大多數是非結構化的。爬取到的網絡數據先將其上傳到HDFS中，針對這些非結構化的數據可將其導入HBase表中，HBase對非結構化的數據提供了一種列式存儲的分布式技術，該技術不但方便存儲復雜的數據，且因其列式存儲的特點，非常利于大量數據的壓縮存儲。

4數據的分析和挖掘

數據的采集和存儲是大數據應用的前提，對大數據進行分析和挖掘，找出數據中蘊藏的規律來指導企業的規劃和發展才是我們的最終目的。目前，對存儲在分布式架構中的海量數據已經集成了一套數據分析和挖掘的組件：

數據預處理階段，Hive提供的類sql功能可用于數據的過濾和清洗，初步篩選數據，減少數據的處理量以提高數據的處理速度。數據的分析和挖掘階段，mahout框架提供了一系列數據挖掘相關的算法，如分類算法、聚類算法、協同過濾算法、模式挖掘算法等，可針對數據運用相應的算法，挖掘數據中的規律，為商業活動提供指導。機器學習階段，Spark的MLlib包中提供了一系列機器學習的模塊，包括樸素貝葉斯、SVM、隨機森林等，深度學習數據中蘊藏的規律，利于對企業的發展做預測。

5數據的應用

通過大數據技術對智能電網海量數據的分析和挖掘所獲得的規律，可以指導決策者在企業運營中做出更加合理的決策。如根據分析所得的結果，調整時間段的供電量，減少資源的浪費。通過這一系列的科技手段，既有效的提升了電力部門的績效，又降低電力信息管理的成本，相應的也減少了電力系統運行帶來的環境污染。尤其是智能電網的大數據技術已經發展成為促進電力系統發展的重要因素。大數據技術不僅可以協助智能電網進行用戶數據采集，該可以借助大數據的挖掘分類技術，將這些信息分門別類，發送到各個不同的部門以減輕工作人員的工作壓力，或借助大數據可視化技術，在紛亂復雜的海量數據中，實現的智能在線監控、可視化調度、趨勢分析、預測與報警、事件應急處理和輔助決策等智能應用。

6重點任務和重大工程

促進大數據與智慧能源系統的新機理新體制與標準體系建立大電網智能監控的信息流形態、功能架構及標準，大電網智能監控的能量流形態、功能架構及標準，多能流融合建模仿真及分析方法。大電網智能監控的信息流和能量流融合及交互機制，抽象與統一，耦合特性建模、仿真和安全特性分析。形成巨型能源互聯系統的綜合能量管理系統框架及標準體系。強化大數據與智慧能源系統的全景狀態感知智能傳感產品研發大電網綜合環境監測技術，在已有的廣域同步測量技術基礎上，針對不同工況和場景態勢評估與控制需求，提出能源互聯網所涉及的各種電源側、電網側、負荷側、環境等信息廣域同步測量方案。智能測量終端對設備狀態、系統安全水平、潛伏故障及風險具有智能分析與診斷，并支持實時數據的遠傳。

7數據與智慧能源系統的時空一體化信息組網技術攻關

由于能源互聯網的廣域、緊急和工業控制對空間和時間的要求苛刻，需要采用高安全、高可靠的大顆粒業務傳輸模式。分布式高精度全景同步錄波數據融合與反演技術，高性能大電網智能監控時空一體化特種通信和組網技術，面向大電網智能監控的智能云端協作關鍵技術及系統。同時采用分層分域（核心、骨干、接入）、大容量低時延的網絡架構。推進大數據與巨型電網智能監控系統的新型軟件平臺建設針對巨型能源互聯系統的智能管控問題，突破可信云計算服務器和安全技術，研究可信網絡和可信實體框架，大電網可持續演化的智能化軟件理論、方法和技術，大電網智能駕駛系統的軟件體系結構和支撐技術，面向大電網調控的智能化集成化軟件互操作平臺。

8結束語

做好智慧能源系統的大數據宏觀產業布局和頂層框架設計，促進智慧能源系統信息采集、網絡通訊、大數據平臺、智慧應用和人機交互等產業鏈的龍頭企業和創新型中小企業。推動電力大數據基礎設施和支撐服務平臺建設，完善大數據智能分析和綜合服務體系。創造良好的電力大數據和智慧能源產業發展環境，推動建立智慧能源系統良好生態體系。助力“一帶一路”“互聯網+”和全球能源互聯網建設。

參考文獻

[1]唐聰嵐，盧繼平，謝應昭，張露.基于改進數據流在線分割的超短期負荷預測[J].電網技術.2014（07）.

[2]于恒友，劉波，彭子平.基于HBase的輸電線路綜合數據存儲方案設計[J].電力科學與技術學報.2014（02）.