智能電網(wǎng)建設中云計算大數(shù)據(jù)處理技術的運用分析

尹君 繆剛 桑遙 李太華

【摘要】 隨著社會的發(fā)展，電力系統(tǒng)越來越龐大，這使得電力數(shù)據(jù)的分析與處理越來越復雜，需要引入現(xiàn)代數(shù)據(jù)科技以使電力系統(tǒng)在新時代獲得快速發(fā)展，進而更好的為人們生產(chǎn)生活服務。本文以云計算技術為視角，對智能電網(wǎng)大數(shù)據(jù)處理進行詳細分析。

【關鍵詞】 智能電網(wǎng) 云計算 大數(shù)據(jù)處理

智能電網(wǎng)是電力系統(tǒng)發(fā)展的趨勢，是在融合傳統(tǒng)電力技術與現(xiàn)代自動化技術的基礎上對電力系統(tǒng)多個環(huán)節(jié)采集大量數(shù)據(jù)，并進行挖掘、分析與決策，從而達到提升電力系統(tǒng)服務質量，增強電網(wǎng)運行穩(wěn)定性與可靠性。隨著電力系統(tǒng)共的不斷發(fā)展，現(xiàn)代自動化技術不斷應用到其中，進而產(chǎn)生海量數(shù)據(jù)，即電力大數(shù)據(jù)。

從目前的電力系統(tǒng)大數(shù)據(jù)分析技術的運用情況來看，多數(shù)系統(tǒng)時基于數(shù)據(jù)庫的，但其可伸縮性差，分析速度慢，難以適應智能電網(wǎng)要求，因此在這種情況下，引入云計算技術能夠取得良好效果。

一、電力系統(tǒng)大數(shù)據(jù)特征及云計算分析

1.1電力大數(shù)據(jù)特征

電力大數(shù)據(jù)主要涉及發(fā)電、配電、輸電、營銷及管理等各環(huán)節(jié)所產(chǎn)生的大數(shù)據(jù)，這些數(shù)據(jù)最終匯聚到數(shù)據(jù)中心進行統(tǒng)一存儲管理。

一般來說，電力大數(shù)據(jù)具備以下主要特征：一是數(shù)據(jù)體量大，智能電網(wǎng)中各環(huán)節(jié)所傳輸入數(shù)據(jù)中心的數(shù)據(jù)規(guī)模成指數(shù)級激增，通常會達到TB甚至PB量級；二是數(shù)據(jù)種類繁多，通常涉及到整個電網(wǎng)中的所有環(huán)節(jié)的數(shù)據(jù)，比如傳統(tǒng)結構性數(shù)據(jù)以及營銷、管理、服務等非結構化數(shù)據(jù)等；三是數(shù)據(jù)采集、傳輸、處理速度快；四是電力大數(shù)據(jù)通常蘊含用戶用電信息，這對于智能電網(wǎng)的合理規(guī)劃和安排十分關鍵；五是跨行業(yè)間數(shù)據(jù)交互頻繁。

1.2云計算優(yōu)勢

對于云計算的概念界定來看，學術界及自動化、智能網(wǎng)絡等領域對云計算具有以下定義：云計算是一種全新的大規(guī)模分布式計算模式，起源于互聯(lián)網(wǎng)公司對大量計算機與存儲資源的需求以及對可仲縮、高性能、高可用等特征的追求。云計算技術對于智能電網(wǎng)大數(shù)據(jù)處理而言具有突出的優(yōu)勢。云計算聚合了大量分布、異構的資源，能夠向電力用戶提供海量的數(shù)據(jù)存儲與計算能力。此外，云計算還提供了橫向伸縮與動態(tài)負載均衡能力，這無疑極大的提升了智能電網(wǎng)大數(shù)據(jù)存儲和處理的效率和質量。

二、電力大數(shù)據(jù)分析系統(tǒng)體系結構

從本質上來講，智能電網(wǎng)的大數(shù)據(jù)系統(tǒng)實時從電力系統(tǒng)多環(huán)節(jié)的傳感器與智能電表中采集數(shù)據(jù)資料，運用云計算技術進行加工處理，并快速準確的提供給用戶查詢。因此基于云計算的智能電網(wǎng)大數(shù)據(jù)系統(tǒng)結構包括以下主要模塊：①分布式文件系統(tǒng)模塊，用于智能電網(wǎng)大數(shù)據(jù)持久性存儲；②Hadoop分布式系統(tǒng)基礎框架；③基于Hadoop平臺的數(shù)據(jù)倉庫系統(tǒng)Hive，對電力大數(shù)據(jù)進行分析計算；④監(jiān)控工具與運行調度工具；⑤開發(fā)工具集包括SQL翻譯、并行ETL工具、索引管理、任務管理等工具。

三、關鍵技術

3.1基于網(wǎng)格文件的多維索引

對智能電力大數(shù)據(jù)系統(tǒng)中Hive而言，其自身存在一定的缺點，比如較弱的索引支持，這將導致浪費CPU進而影響大數(shù)據(jù)分析性能。Hive自身卻又具備多維區(qū)間查詢特征，而且查詢維度較為固定，因此在此基礎上引入索引技術來過濾無關數(shù)據(jù)將明顯提升云計算對大數(shù)據(jù)的處理性能。對于智能電網(wǎng)的電力大數(shù)據(jù)特征，且考慮到Hive的弱索引支持，可引入或設計基于網(wǎng)格文件的分布式多維索引，用于提高Hive的索引性能。

3.2基于查詢重寫的SQL到HQL自動翻譯工具

Hive的查詢語言HQL是SQL的一個子集，具有顯著的語法差異。在智能電網(wǎng)的大數(shù)據(jù)存儲與處理中，電力大數(shù)據(jù)中存在大量的SQL語句，這些語句中很大比例使用了多項HQL不支持的SQL特性，這使得該語句在向云計算遷移時需要進行必要的翻譯，但是又因為HQL與SQL之間的不兼容，導致這些語句需要經(jīng)過人工翻譯，這必然極大的加大了工作量，而且還容易出現(xiàn)差錯。在這種情況下，引入自動翻譯工具QMapper，能夠使SQL語句經(jīng)過翻譯得到多個等價的HQL語句，然后通過JOIN優(yōu)化器統(tǒng)計與反饋，完成最終的轉換結果。

3.3支持數(shù)據(jù)更新的混合存儲模型

在智能電網(wǎng)大數(shù)據(jù)系統(tǒng)中，云計算技術所涉及的Hive不支持數(shù)據(jù)更新與刪除，智能重寫完整數(shù)據(jù)表文件，但是實際工作中，對數(shù)據(jù)的更新與刪除操作較多，這無疑會造成較多的困難。在此基礎上，可設計一種混合型存儲架構，由主表與附表組成，其中主表用于存儲，附表則用于存儲對主表中數(shù)據(jù)的更改信息。設計的這種混合型存儲架構在原生HQL的基礎上增加了對大數(shù)據(jù)的數(shù)據(jù)更新和語意刪除功能，而且當需要讀取數(shù)據(jù)時，則接口同時訪問主表與附表。隨著存儲數(shù)據(jù)的不斷增大，一旦主表定期更新之后，附表數(shù)據(jù)被清空。

參 考 文 獻

[1]黃智鑫.基于云計算的智能電網(wǎng)調度系統(tǒng)的研究[D].天津理工大學.2014.1

[2]孟祥萍，周來.云計算技術在未來智能電網(wǎng)信息處理平臺中的應用[J].計算機測量與控制.2015.10

[3]陳杰，張躍宇.云計算在智能電網(wǎng)中的應用及其安全問題研究[J].中興通訊技術.2012.6