電力大數(shù)據(jù)分析技術(shù)及應(yīng)用

文/李洋 蔣禾青

（北京華電天仁電力控制技術(shù)有限公司 北京市 100039）

近年來，在國家政策的大力扶持下，電力行業(yè)獲得快速發(fā)展，由此使得相關(guān)的行業(yè)數(shù)據(jù)發(fā)生爆發(fā)式增長，在這一背景下，電力大數(shù)據(jù)技術(shù)應(yīng)運(yùn)而生。通過該技術(shù)的應(yīng)用，促使電力行業(yè)的整體生產(chǎn)經(jīng)營水平獲得進(jìn)一步提升。借此，下面就電力大數(shù)據(jù)分析技術(shù)及應(yīng)用展開探討。

1 電力大數(shù)據(jù)及其技術(shù)優(yōu)勢(shì)

1.1 電力大數(shù)據(jù)

電力大數(shù)據(jù)是大數(shù)據(jù)技術(shù)在電力行業(yè)的實(shí)踐應(yīng)用，涉及產(chǎn)、輸、變、配、用、調(diào)等多個(gè)環(huán)節(jié)。電力大數(shù)據(jù)由兩類數(shù)據(jù)組合而成，一類是結(jié)構(gòu)化數(shù)據(jù)，另一類是非結(jié)構(gòu)化數(shù)據(jù)。近年來，隨著國家逐步加大智能發(fā)電的建設(shè)力度，以及對(duì)物聯(lián)網(wǎng)技術(shù)的應(yīng)用，使得電力行業(yè)中非結(jié)構(gòu)化數(shù)據(jù)的比重持續(xù)增長，在量級(jí)上已經(jīng)超過結(jié)構(gòu)化數(shù)據(jù)。電力大數(shù)據(jù)具備大數(shù)據(jù)技術(shù)的“5V”特征，即數(shù)據(jù)量大、數(shù)據(jù)類型多、處理速度快、精確性高和價(jià)值大。電力大數(shù)據(jù)中的關(guān)鍵技術(shù)有數(shù)據(jù)挖掘、數(shù)據(jù)可視化、高性能計(jì)算和統(tǒng)計(jì)分析。

1.2 技術(shù)優(yōu)勢(shì)

1.2.1 促進(jìn)管理水平持續(xù)提升

電力系統(tǒng)具有復(fù)雜且龐大的架構(gòu)，其中涵蓋的內(nèi)容非常之多，在電力系統(tǒng)中引入大數(shù)據(jù)技術(shù)后，為智能發(fā)電的順利實(shí)現(xiàn)提供了強(qiáng)有力的支撐，各種數(shù)據(jù)信息的共享，使電力生產(chǎn)精細(xì)化管理成為可能。借助電力大數(shù)據(jù)，業(yè)務(wù)和技術(shù)人員能夠在較短的時(shí)間內(nèi)，對(duì)電力設(shè)備當(dāng)前的運(yùn)行參數(shù)與以往的運(yùn)行數(shù)據(jù)進(jìn)行整合、分析，為電力設(shè)備的穩(wěn)定、可靠、經(jīng)濟(jì)運(yùn)行提供保障。同時(shí)，通過電力大數(shù)據(jù)，還能為生產(chǎn)運(yùn)行過程中的風(fēng)險(xiǎn)防范提供指導(dǎo)依據(jù)。

1.2.2 有助于節(jié)能降耗

電力大數(shù)據(jù)能夠?qū)Ω鞣N不同類型的數(shù)據(jù)信息進(jìn)行分析，通過對(duì)該技術(shù)的運(yùn)用，可以設(shè)計(jì)出與用電需求相符的生產(chǎn)計(jì)劃，從而為電力用戶提供較為準(zhǔn)確和經(jīng)濟(jì)的產(chǎn)品和服務(wù)，有助于節(jié)能減排目標(biāo)的實(shí)現(xiàn)。

2 電力大數(shù)據(jù)分析技術(shù)及應(yīng)用

2.1 電力大數(shù)據(jù)的可視化應(yīng)用

2.1.1 圖表可視化

所謂的圖表可視化具體是指以最為基礎(chǔ)的圖形和表格，對(duì)相關(guān)數(shù)據(jù)進(jìn)行直觀展示的方法。在圖表可視化的前提下，對(duì)數(shù)據(jù)進(jìn)行獲取的過程中，可在相對(duì)較短的時(shí)間內(nèi)，找到其中存在的問題，并借助數(shù)據(jù)的規(guī)律，對(duì)問題進(jìn)行解決處理。對(duì)圖表可視化系統(tǒng)進(jìn)行構(gòu)建時(shí)，需要使用以下三種可視化展示方法：折線圖、柱狀圖、表格，其中折線圖能夠?qū)δ硞€(gè)時(shí)間段內(nèi)，數(shù)據(jù)隨時(shí)間變化的趨勢(shì)進(jìn)行描述；柱狀圖則可通過柱狀體的長度對(duì)數(shù)據(jù)的差異情況進(jìn)行展示；表格的作用是對(duì)數(shù)據(jù)進(jìn)行詳細(xì)記錄，相關(guān)的數(shù)據(jù)資源可通過搜索的方式進(jìn)行獲取。

2.1.2 SVG 可視化

SVG 是現(xiàn)階段較為流行的一種圖像文件格式，具體是指能夠進(jìn)行縮放的矢量化圖形。對(duì)于不同的電力數(shù)據(jù)，SVG 可以不同的顏色進(jìn)行顯示，由此可使數(shù)據(jù)變得直觀化。在這種可視化方法下，需要對(duì)某個(gè)特定區(qū)域內(nèi)的電力數(shù)據(jù)進(jìn)行掌握，按照相關(guān)的參數(shù)和指標(biāo)，賦予電力數(shù)據(jù)不同的顏色，并用顏色的深淺程度對(duì)電力數(shù)據(jù)的實(shí)際情況進(jìn)行表示。當(dāng)需要對(duì)某個(gè)時(shí)間段內(nèi)，各生產(chǎn)單位的情況進(jìn)行了解時(shí)，便可使用不同的色塊進(jìn)行直觀呈現(xiàn)，如果要對(duì)其中某個(gè)數(shù)據(jù)進(jìn)行調(diào)用，則可借助SVG 來完成控制，由此可使數(shù)據(jù)資源的查詢和使用變得更加方便。

2.2 數(shù)據(jù)分析技術(shù)的應(yīng)用

在電力體制改革進(jìn)程不斷加快的推動(dòng)下，我國的發(fā)電方式越來越多，除常規(guī)的火力發(fā)電之外，水力發(fā)電、風(fēng)力發(fā)電、太陽能發(fā)電、核電等，都得到了快速發(fā)展，由此使得發(fā)電領(lǐng)域呈現(xiàn)出多樣化的態(tài)勢(shì)。因此，通過運(yùn)用電力大數(shù)據(jù)中的分析技術(shù)，可將常規(guī)電能與清潔型電能之間存在的關(guān)聯(lián)性進(jìn)行全面、具體地分析，借此來發(fā)現(xiàn)二者的契合點(diǎn)，為電力資源合并工作的開展提供依據(jù)。以風(fēng)電并網(wǎng)為例，在合并時(shí)，會(huì)對(duì)電網(wǎng)的運(yùn)行造成一定的影響，如諧波、線損等等，由此將會(huì)導(dǎo)致電網(wǎng)的運(yùn)行可靠性下降。通過電力大數(shù)據(jù)的運(yùn)用，能夠?qū)Ω鞣N影響因素進(jìn)行分析，據(jù)此制定出合理可行的應(yīng)對(duì)策略，確保風(fēng)電并網(wǎng)安全有序進(jìn)行。

2.3 數(shù)據(jù)庫索引技術(shù)的應(yīng)用

Hadoop（海杜普）的Hive 是一個(gè)較為典型的數(shù)據(jù)庫系統(tǒng)，其能夠?qū)?shù)據(jù)進(jìn)行提取、轉(zhuǎn)化、加載、查詢、分析和存儲(chǔ)。但在實(shí)際應(yīng)用中發(fā)現(xiàn)，Hive 在索引方面略顯不足，很難全面、具體地搜索電力大數(shù)據(jù)，從而導(dǎo)致系統(tǒng)的CPU 資源浪費(fèi)，電力大數(shù)據(jù)的分析效率也隨之下降。由于電力大數(shù)據(jù)本身所具備的多維區(qū)間查詢特征，從而使其在各個(gè)維度的查詢上都相對(duì)比較固定，因此，可依托電力大數(shù)據(jù)進(jìn)行多維索引。如，某電力系統(tǒng)采用的索引方式為以單位和時(shí)間兩種代碼為標(biāo)準(zhǔn)，通過多維度可以輔助電力大數(shù)據(jù)進(jìn)行索引，由此能夠?qū)⒏鞣N無用的數(shù)據(jù)信息全部濾除掉，索引效率隨之提升。利用電力大數(shù)據(jù)多維索引可以構(gòu)建相應(yīng)的系統(tǒng)，該系統(tǒng)能夠?qū)ive命令進(jìn)行使用，并在引入解析技術(shù)的前提下，對(duì)相關(guān)的代碼進(jìn)行快速解析，從而進(jìn)一步豐富了可索引的維度區(qū)間，由此獲得的數(shù)據(jù)可存儲(chǔ)到Hadoop 當(dāng)中進(jìn)行處理，提高數(shù)據(jù)的利用效率。

2.4 在諧波治理中的應(yīng)用

諧波是電網(wǎng)安全、穩(wěn)定、可靠運(yùn)行的主要影響因素之一，電力行業(yè)對(duì)諧波的治理非常重視。大體上可將諧波產(chǎn)生的來源歸納為以下幾個(gè)方面：電源端、輸配電過程、電力設(shè)備等。諧波會(huì)使各種儀表及計(jì)量裝置產(chǎn)生誤差，高次諧波還會(huì)對(duì)斷路器的正常開斷造成影響。因此，在對(duì)諧波進(jìn)行治理時(shí)，可對(duì)電力大數(shù)據(jù)進(jìn)行合理應(yīng)用，依托相關(guān)數(shù)據(jù)，分析諧波源的特性，預(yù)測(cè)諧波風(fēng)險(xiǎn)，為諧波治理提供詳實(shí)可靠的依據(jù)。在諧波風(fēng)險(xiǎn)分析中，電力大數(shù)據(jù)的具體應(yīng)用如下：

2.4.1 數(shù)據(jù)抽取與存儲(chǔ)

諧波監(jiān)測(cè)數(shù)據(jù)可存儲(chǔ)在開源數(shù)據(jù)庫當(dāng)中，為使從數(shù)據(jù)庫中抽取的數(shù)據(jù)能夠?qū)崿F(xiàn)共享，可以引入MySQL 對(duì)數(shù)據(jù)抽取結(jié)果進(jìn)行存儲(chǔ)；以相關(guān)元件和參數(shù)指標(biāo)對(duì)數(shù)據(jù)表進(jìn)行劃分，額定電壓單獨(dú)成表，有功與無功功率合并在同一個(gè)數(shù)據(jù)表中，基波與諧波電流存儲(chǔ)在同一個(gè)數(shù)據(jù)表中，這樣可以為數(shù)據(jù)查詢提供便利。在數(shù)據(jù)提取的過程中，基于Hadoop 的虛擬機(jī)，采用Spark 從開源數(shù)據(jù)庫中提取數(shù)據(jù)。

2.4.2 電力數(shù)據(jù)與諧波計(jì)算

可在電力大數(shù)據(jù)中，引入與諧波計(jì)算有關(guān)的頻譜文件，通過對(duì)基波和諧波電流的計(jì)算，生成諧波含量。在MySQL 中，數(shù)據(jù)的傳輸過程如圖1 所示。

2.4.3 諧波風(fēng)險(xiǎn)分析

在對(duì)諧波風(fēng)險(xiǎn)進(jìn)行分析的過程中，需要對(duì)諧波源特性數(shù)據(jù)進(jìn)行使用，可將這些數(shù)據(jù)帶入到預(yù)測(cè)模型中，模型能夠給出諧波在未來一段時(shí)間的變化趨勢(shì)，據(jù)此可確定出諧波的影響范圍，并制定相應(yīng)的治理措施。為確保預(yù)測(cè)結(jié)果的準(zhǔn)確性，應(yīng)當(dāng)對(duì)預(yù)測(cè)模型進(jìn)行合理選用，推薦ARIMA 模型，在使用前應(yīng)對(duì)模型進(jìn)行訓(xùn)練，從而使其達(dá)到最優(yōu)。

2.5 數(shù)據(jù)治理在電力行業(yè)的應(yīng)用

在電力行業(yè)的運(yùn)營監(jiān)控?cái)?shù)據(jù)管理中，經(jīng)常會(huì)遇到數(shù)據(jù)錯(cuò)誤、不完整、不規(guī)范、不一致等問題，為解決上述問題，可結(jié)合桑尼爾·索雷斯大數(shù)據(jù)治理框架、DAMA 數(shù)據(jù)知識(shí)管理以及DMM 數(shù)據(jù)管理成熟度模型等方法構(gòu)建起數(shù)據(jù)治理體系，為提升電力行業(yè)數(shù)據(jù)管理能力提供解決方案。數(shù)據(jù)治理體系的構(gòu)建方法如下：

2.5.1 建立大數(shù)據(jù)管理組織

采用RACI 模型明確各部門職責(zé)，辨識(shí)業(yè)務(wù)流程，根據(jù)數(shù)據(jù)生命周期POSMAD 理論確定各個(gè)階段中的活動(dòng)角色，結(jié)合DAMA 數(shù)據(jù)知識(shí)管理體系理論確定各部門數(shù)據(jù)管理中的必須角色，建立起數(shù)據(jù)管理虛擬組織。

2.5.2 梳理業(yè)務(wù)流程數(shù)據(jù)

參考國際電工委IEC 系列標(biāo)準(zhǔn)中的CIM 模型和IBM-FSDM 數(shù)據(jù)模型理念，劃分電力行業(yè)的主題域，建立起主題域之間的聯(lián)系。之后，按照固定分類+業(yè)務(wù)分類的方法，對(duì)業(yè)務(wù)流程數(shù)據(jù)進(jìn)行分類，識(shí)別各分類數(shù)據(jù)的實(shí)體屬性，確定各數(shù)據(jù)實(shí)體的信息項(xiàng)。

2.5.3 制定大數(shù)據(jù)治理標(biāo)準(zhǔn)

數(shù)據(jù)治理標(biāo)準(zhǔn)主要包括業(yè)務(wù)、技術(shù)、安全、管理和稽核標(biāo)準(zhǔn)，要求統(tǒng)一各類數(shù)據(jù)的名稱、編碼、屬性等，完成對(duì)數(shù)據(jù)的標(biāo)準(zhǔn)化處理，生成數(shù)據(jù)標(biāo)準(zhǔn)清冊(cè)。在數(shù)據(jù)治理標(biāo)準(zhǔn)框架下，對(duì)新增數(shù)據(jù)進(jìn)行嚴(yán)格管控，對(duì)存量數(shù)據(jù)要按照重要性進(jìn)行劃分，優(yōu)先治理重要程度高的數(shù)據(jù)。其中，存量數(shù)據(jù)的治理是大數(shù)據(jù)治理的重點(diǎn)，需構(gòu)建數(shù)據(jù)包絡(luò)分析DEA 模型，借助數(shù)學(xué)規(guī)劃和決策單元對(duì)數(shù)據(jù)進(jìn)行治理。先對(duì)存量數(shù)據(jù)進(jìn)行盤點(diǎn)，劃分基礎(chǔ)類明細(xì)數(shù)據(jù)和指數(shù)類數(shù)據(jù)，再對(duì)數(shù)據(jù)進(jìn)行差異化治理，考察數(shù)據(jù)是否存在缺失、重復(fù)等問題。通過對(duì)基礎(chǔ)類數(shù)據(jù)和指數(shù)類數(shù)據(jù)進(jìn)行治理，可提高電力行業(yè)的數(shù)據(jù)質(zhì)量。

2.6 分層處理與混合存儲(chǔ)技術(shù)的應(yīng)用

電力行業(yè)在綜合數(shù)據(jù)分析處理中可引入分層次數(shù)據(jù)技術(shù)，構(gòu)建起具備多種功能的結(jié)構(gòu)化管理系統(tǒng)，提高電力信息收集、存儲(chǔ)和利用效率。電力行業(yè)可根據(jù)實(shí)際業(yè)務(wù)情況，利用大數(shù)據(jù)分層處理技術(shù)建立起系統(tǒng)之間的關(guān)聯(lián)，實(shí)現(xiàn)跨組織、跨應(yīng)用的信息資源共享，同時(shí)還可結(jié)合云計(jì)算、SQL 數(shù)據(jù)庫等技術(shù)，滿足電力大數(shù)據(jù)實(shí)時(shí)分析和計(jì)算的需求，提升大數(shù)據(jù)處理效率，使大數(shù)據(jù)層次化分析管理系統(tǒng)適應(yīng)電力行業(yè)的整體發(fā)展。為適應(yīng)業(yè)務(wù)數(shù)據(jù)量呈幾何倍數(shù)增長而擴(kuò)大數(shù)據(jù)存儲(chǔ)容量，滿足數(shù)據(jù)更新、刪除以及快速處理的要求，可使用混合存儲(chǔ)技術(shù)提高數(shù)據(jù)資源利用率。混合存儲(chǔ)技術(shù)利用主表與附表可記錄實(shí)時(shí)更新數(shù)據(jù)和非實(shí)時(shí)更新數(shù)據(jù)，降低大數(shù)據(jù)對(duì)系統(tǒng)資源的占用空間，有助于提高系統(tǒng)運(yùn)行效率。

圖1：數(shù)據(jù)傳輸過程示意圖

2.7 ETL技術(shù)的應(yīng)用

ETL 是數(shù)據(jù)倉庫的簡稱，該技術(shù)在智能發(fā)電生產(chǎn)運(yùn)行管理中具有非常重要的作用。電力行業(yè)在生產(chǎn)運(yùn)行過程中會(huì)產(chǎn)生大量的數(shù)據(jù)，這部分?jǐn)?shù)據(jù)已經(jīng)超出系統(tǒng)的運(yùn)算能力，由此進(jìn)一步增大電力分析難度，各種業(yè)務(wù)的開展隨之受到影響。通過對(duì)電力大數(shù)據(jù)中的ETL技術(shù)進(jìn)行合理應(yīng)用，能夠使該問題得到有效解決。具體的應(yīng)用要點(diǎn)如下：按照電力數(shù)據(jù)的類型，對(duì)相關(guān)的數(shù)據(jù)進(jìn)行分類采集，并對(duì)采集到的數(shù)據(jù)信息進(jìn)行轉(zhuǎn)化處理。由于大數(shù)據(jù)技術(shù)無法對(duì)電力數(shù)據(jù)進(jìn)行直接分析，所以需要進(jìn)行數(shù)據(jù)轉(zhuǎn)換，使所有采集到的電力數(shù)據(jù)變?yōu)榭勺x數(shù)據(jù)。在此基礎(chǔ)上，對(duì)轉(zhuǎn)化后的數(shù)據(jù)進(jìn)行加載，保證每一條數(shù)據(jù)都能與數(shù)據(jù)源相對(duì)應(yīng)。電力大數(shù)據(jù)中的ETL已經(jīng)成為核心技術(shù)，對(duì)它的應(yīng)用能夠促進(jìn)電力系統(tǒng)運(yùn)行穩(wěn)定性的提升。

3 結(jié)論

綜上所述，在信息化時(shí)代到來的今天，各種數(shù)據(jù)信息呈幾何數(shù)倍增，通過對(duì)這些數(shù)據(jù)的合理利用，能夠?yàn)橄嚓P(guān)工作的開展提供依據(jù)。電力在社會(huì)經(jīng)濟(jì)建設(shè)中占據(jù)著不可替代的地位，是非常重要的物質(zhì)基礎(chǔ)之一，為推動(dòng)電力行業(yè)的持續(xù)、穩(wěn)定發(fā)展，應(yīng)當(dāng)對(duì)電力大數(shù)據(jù)技術(shù)進(jìn)行應(yīng)用，通過數(shù)據(jù)挖掘、分析、提取、存儲(chǔ)，為電力生產(chǎn)的安全、穩(wěn)定、可靠運(yùn)行提供保障。在未來一段時(shí)期，應(yīng)加大對(duì)電力大數(shù)據(jù)技術(shù)的研究力度，除對(duì)現(xiàn)有的技術(shù)進(jìn)行改進(jìn)和完善之外，還應(yīng)開發(fā)一些新的技術(shù)，從而使其更好地為電力行業(yè)服務(wù)。