智能電網大數據處理技術研究

馬興明

（國網大慶供電公司 黑龍江 大慶 163458）

1 引言

大數據是指需要新處理模式才能具有更強的決策力、洞察力和流程優化能力的海量、高增長率和多樣化的信息資產。隨著大數據技術的快速發展，其已經在很多領域比如互聯網金融、電商等得到廣泛應用，并取得了極好的效果。智能電網作為國計民生的基礎性工程，為人們的生活和工作提供了全天候的多元化能量供應。如果借助大數據的技術與理念，將電力系統的眾多數據進行整合和挖掘分析，將得到更多的功能和效果。對此探討智能電網中大數據應用平臺的設計架構，以及需要使用的大數據相關技術，是十分必要的。

2 智能電網與大數據技術

智能電網是信息化技術對傳統電網的改造，因為引入了實時通信技術和信息處理技術，能夠使得傳統的電力供應網絡具有更高的安全性、實時控制性、環保性、可靠性和節約性。當然，智能電網本身也是一個相對的概念，其相對傳統的電力供應系統來說，具有了一定的智能化功能，但隨著信息技術的不斷發展，更加新穎的功能會進一步被融入進來，使得智能電網本身也得到進步。大數據技術能夠根據海量的數據，通過一定的計算方式，找出其中的有效規律，進而得出一定的結論并采取針對性舉措的技術。電力的供應也涵蓋了很多數據類型，對其進行有效地分析挖掘，進一步在供電的安全可靠性、能源節約性方面進行優化，是十分可取的。

3 電力大數據中心的架構設計

在軟件工程領域，業界已經形成了固定的軟件開發思路，模板化的系統架構。而在大數據平臺領域，同樣存在相對城市的結構體系。對于智能電網大數據平臺來說，其通常包含了6個層次，從下至上分別是設備層、操作系統層、數據框架層、網絡層、訪問層和數據應用層。其中設備層是指具有較大存儲功能和計算能力的服務器以及服務器群，以最基礎的形式來存儲各類格式的數據。操作系統則是指安裝在服務器中的操作系統，業界通常采用以Linux為集成核心的centos系統，很少采用微軟公司推出的可視化操作界面的服務器操作系統。數據層主要利用專業的數據庫軟件，采用合理的算法對數據進行存儲和處理。網絡層是指不同服務器、服務器與終端之間的通信功能層面。訪問層則在網絡基礎之上完成安全地訪問功能，數據應用層是最高層，也是人們直接使用的層面，利用可視化的界面對數據進行輸入，對分析結果進行獲取。

4 智能電網大數據關鍵技術分析

在智能電網中引入大數據技術，其關鍵需要掌握數據的集成管理、數據的挖掘與分析，數據的處理與數據的展現等技術要素。

4.1 大數據集成管理技術

在計算機領域，數據的概念是所有能夠文檔化的事務，其形式是多樣的，包括文字、數字、圖片、音頻、視頻等，而不同類型的數據有眾多存儲格式，比如文字數據有存儲為文本的，有存儲為文檔的，有存儲為PDF格式等；音頻則有mp3格式、m4a等類型。而在實際應用中，因為過去信息技術在實現不同電力功能時，多是單獨進行數據捕捉和分析的，由此是多個應用在分別工作。而在大數據技術理念下，這些在不同應用中的不同格式、不同類型的數據，需要有效地集中在一起，以統一的數據格式進行存儲，以能夠在后期進行合理合適地分析。也就是說，數據集成管理技術是將各個信息孤島進行整合，形成一個數據大陸。

在智能電網大數據技術領域，主要需要關系型數據庫技術、非關系型數據庫技術、數據融合技術、數據抽取技術、數據濾過技術、數據清洗技術等。首先在海量的數據中對一些數據進行篩選，過濾掉明顯重復和無效的數據，然后對相關的數據進行有效地抽取和集成，利用實體、關系等結構化思想，將數據進行聚合與關聯起來，以進一步保障數據的準確性和可靠性。近些年流行的NoSQL 技術則實行了分布式數據存儲的形式，摒棄了對關系的依賴，使得數據存儲更加簡單靈活，并具有相應的可擴展性。

4.2 大數據挖掘與分析技術

這是大數據的核心技術。即通過一定的算法，從海量的數據中找出一定的規律，并得出具有實質性效用的結果，發現問題并解決問題。如何在大數據中找出非明顯的規律，則需要計算機通過一定的方式開展關聯分析、機器學習、數據挖掘、模式識別、遺傳算法、神經網絡、時間序列模型等技術。數據的挖掘與分析技術，根本上講，是傳統數據挖掘技術在大數據理念下的進一步發展。正是因為數據量的膨脹，并具有增長快、多元化的特性，結構多樣使得傳統的分析技術無能為力，只能借助更為先進的理念和技術。其一，由特征抽樣選擇的理念出發，使得大數據范圍縮??；其二，通過聚類、分類算法的實施，使得大數據得到有效地歸類；其三，利用并行算法，將數據并行化，進一步將數據的量度縮小。由此可見，借助上述三種理念，再對大數據進行傳統的數據挖掘與分析，能夠有效地實現大數據技術的效果。

4.3 數據處理技術

數據處理涵蓋了分布式計算、內存計算、流處理等技術要素。其中分布式計算能夠解決大規模分布式存儲和處理的問題，其主要思路是將一個大的問題，通過分布式的方式變成小的問題；內存計算則能夠高效地對數據進行讀取與處理，并進一步對實時計算的需求進行滿足，主要將各類信息置于內層之中，有效地摒棄了對磁盤讀寫的時間消耗，提升了計算效率；流處理技術則能夠處理實時到達的、速度與規模不受控制的數據，在流處理技術中，其把一直涌現的數據視為水流，在經過處理后馬上使其流出，不做任何逗留。這種算法比較適合實時性較強的數據處理需求，比如證券買賣。在智能電網領域，通過先進的數據處理技術，能夠較好地通過對數據的掌握，進一步對電力的安全隱患技術發現，并提前解決。

4.4 數據展現技術

數據在介質中存儲，其形態是無法看得見的，是一種電信號狀態，而傳播也是電信號、光信號的結合。這種基層的數據形式，需要通過復雜的計算才能夠呈現給使用者。在電力系統的智能化供應和管理中，我們需要對數據清晰地可讀可見，這就需要采用數據展現技術。數據展現技術涵蓋了可視化、空間信息流展示、歷史信息流展示等方面。可視化技術提供給電力監控室的工作人員以形象化的電力供應狀態；空間信息流展示技術能夠基于各類參數對供應系統的各個站點進行建模，使得人們對電力系統的情況知曉得更為具體；歷史流展示技術則能夠對電網過去的相關數據進行存儲和分析，并展示出過去相關數據的發展規律，甚至對未來趨勢進行預測。

以電力中用電量趨勢為課題，我國可以從一個地區每年的用電量、不同功能區用電量、不同家電用電量等的歷年數據進行深度分析，同時和一個地區的經濟水平、消費水平、人口、氣候等方面進行橫向對比，找出不同視角下的用電量與其他因素之間的兩兩之間的相關性，以及回歸相關性，并進一步對未來該地區用電量的增長以及在區域、時間方面的分布進行預測。這就是大數據挖掘與分析技術的最常見的效用。

5 結論

綜上所述，智能電網覆蓋了社會經濟的方方面面，與人們息息相關的同時也能夠捕捉大量的數據。這些數據在采用大數據技術之后，對電網的安全運行、災難預警、并網、用電效率提升等方面都有較高的應用價值。在發電、輸電、變電、配電、用電等環節都具有指導意義。對此應用大數據技術改造升級智能電網是十分具有前景的。

[1]黃天恩，孫宏斌，郭慶來，溫柏堅，王彬.基于電網運行仿真大數據的知識管理和超前安全預警[J].電網技術，2015，39(11)：3080-3087.