電力大數(shù)據(jù)融合結(jié)構(gòu)的設(shè)計(jì)

簡(jiǎn)潤(rùn)敏

廣州理工學(xué)院，廣東 廣州 510540

0 引言

互聯(lián)網(wǎng)時(shí)代下，人與物都在交互地產(chǎn)生海量數(shù)據(jù)。數(shù)據(jù)點(diǎn)呈類型多、體量大、產(chǎn)生快等特性，傳統(tǒng)的技術(shù)已經(jīng)無法承載現(xiàn)有的數(shù)據(jù)量[1]。物聯(lián)網(wǎng)、云計(jì)算等技術(shù)的發(fā)展，海量數(shù)據(jù)處理和儲(chǔ)存技術(shù)迎來新的發(fā)展契機(jī)，在處理龐大的數(shù)據(jù)量發(fā)揮著重要的作用[2]。

隨著電力系統(tǒng)數(shù)據(jù)的優(yōu)化配置，電力數(shù)據(jù)的類型、數(shù)量呈現(xiàn)指數(shù)增長(zhǎng)，尤其伴隨著電力大數(shù)據(jù)時(shí)代的來臨，如何在量化、繁瑣的電網(wǎng)數(shù)據(jù)中梳理、分析有價(jià)值的數(shù)據(jù)成為目前研究的重要方向[3]。目前多元信息融合技術(shù)在電網(wǎng)數(shù)據(jù)中發(fā)揮著重要的作用，數(shù)據(jù)融合可以將有關(guān)聯(lián)的數(shù)據(jù)融合在一起，對(duì)多種類型數(shù)據(jù)源進(jìn)行整理、分析、提煉[4]。基于大數(shù)據(jù)技術(shù)實(shí)現(xiàn)電網(wǎng)多源數(shù)據(jù)的融合已經(jīng)成為電網(wǎng)系統(tǒng)不可或缺的技術(shù)之一。

1 電力數(shù)據(jù)的分布及特點(diǎn)

電力數(shù)據(jù)根據(jù)數(shù)據(jù)類型一般可以分為結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。隨著電力系統(tǒng)數(shù)據(jù)獲取源的增多，非結(jié)構(gòu)化數(shù)據(jù)的基數(shù)也逐漸龐大，而由于電力系統(tǒng)數(shù)據(jù)的非結(jié)構(gòu)數(shù)據(jù)源（視頻、圖形）在傳統(tǒng)的數(shù)據(jù)庫(kù)中難以儲(chǔ)存，造成非結(jié)構(gòu)和結(jié)構(gòu)數(shù)據(jù)之間無法融合[5]。

根據(jù)目前的電力系統(tǒng)數(shù)據(jù)源的分布情況來看，非結(jié)構(gòu)數(shù)據(jù)源在電力系統(tǒng)的日常運(yùn)行、管理中將占據(jù)較大比例，甚至所占份額會(huì)超過電力系統(tǒng)的結(jié)構(gòu)數(shù)據(jù)源。考慮結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)之間的差異性無法實(shí)現(xiàn)關(guān)聯(lián)匹配。為進(jìn)一步降低結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)之間的差異性，基于異構(gòu)數(shù)據(jù)對(duì)發(fā)電側(cè)、輸變電側(cè)、用電側(cè)三方面進(jìn)行分類管理[6]。

①發(fā)電側(cè)：供電最前端所產(chǎn)生的信息化數(shù)據(jù)，用于分析目前設(shè)備的運(yùn)行狀態(tài)和故障提示等；②輸變電側(cè)：主要源于相量測(cè)量裝置。隨著檢測(cè)電的增多，數(shù)據(jù)采集量也呈現(xiàn)指數(shù)增長(zhǎng)趨勢(shì)，一般數(shù)源是類似于圖像和視頻信息等非結(jié)構(gòu)化數(shù)據(jù)；③用電側(cè)：主要源于用戶終端數(shù)據(jù)的智能監(jiān)測(cè)設(shè)備，具有采集數(shù)據(jù)量大、類型多等特性。以往的數(shù)據(jù)處理系統(tǒng)簡(jiǎn)單、僅僅對(duì)特定的數(shù)據(jù)進(jìn)行定向獲取，且軟件和硬件的相關(guān)設(shè)備老化、設(shè)備功能性故障，造成大量的數(shù)據(jù)無法被采集；隨之電力系統(tǒng)數(shù)據(jù)的升級(jí)優(yōu)化、硬件配置的完善應(yīng)用、升級(jí)，每時(shí)每刻所產(chǎn)生的數(shù)據(jù)、信息都會(huì)被保存且上傳到數(shù)據(jù)中心進(jìn)行計(jì)算分析。

從現(xiàn)有的電力數(shù)據(jù)采集系統(tǒng)來看，電網(wǎng)配電過程中采集量不斷增加，不僅需要對(duì)配電過程進(jìn)行管理還需要完成各個(gè)檢測(cè)點(diǎn)的數(shù)據(jù)、信息的收集。采集的數(shù)據(jù)源不僅包括傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)如功率、電壓等，還包括檢測(cè)點(diǎn)的圖形、地理信息、氣象數(shù)據(jù)、圖形資料等非結(jié)構(gòu)化數(shù)據(jù)。

為進(jìn)一步提高電力系統(tǒng)的運(yùn)行可靠性、穩(wěn)定性，獲取穩(wěn)定數(shù)據(jù)并從中獲取有價(jià)值信息是當(dāng)前電力研究的重要方向。

2 數(shù)據(jù)融合技術(shù)

數(shù)據(jù)融合技術(shù)的發(fā)展是金融、軍工領(lǐng)域的新興技術(shù)產(chǎn)業(yè)，通過算法融合設(shè)計(jì)、數(shù)據(jù)點(diǎn)定點(diǎn)獲取、計(jì)算，實(shí)現(xiàn)對(duì)檢測(cè)范圍區(qū)域模型構(gòu)建完成數(shù)據(jù)點(diǎn)的精準(zhǔn)獲取。具體的數(shù)據(jù)融合流程如圖1所示。

圖1 融合示意圖

數(shù)據(jù)融合可以在電力系統(tǒng)采集點(diǎn)區(qū)域預(yù)測(cè)目前該檢測(cè)點(diǎn)數(shù)據(jù)的冗余性，根據(jù)預(yù)警數(shù)值大小分配對(duì)應(yīng)的電網(wǎng)帶寬資源克服了隨著檢測(cè)點(diǎn)數(shù)據(jù)的增多造成數(shù)據(jù)擁塞，延遲等現(xiàn)象。當(dāng)數(shù)據(jù)采集硬件系統(tǒng)發(fā)生故障，可以在較短的時(shí)間內(nèi)根據(jù)反饋的數(shù)據(jù)融合信息，明確數(shù)據(jù)故障點(diǎn)。基于數(shù)據(jù)融合技術(shù)優(yōu)勢(shì)提高系統(tǒng)處理能效，增強(qiáng)系統(tǒng)數(shù)據(jù)的穩(wěn)定性和可靠性[7]。

3 電力大數(shù)據(jù)融合結(jié)構(gòu)的設(shè)計(jì)

3.1 結(jié)構(gòu)模型

具體如圖2所示為多源數(shù)據(jù)融合基本結(jié)構(gòu)，數(shù)據(jù)融合是將X的n個(gè)分塊信息經(jīng)過數(shù)值變化，根據(jù)融合級(jí)別的高低依次歸納為數(shù)據(jù)層、特征層和決策層[1]。

圖2 多源數(shù)據(jù)融合基本結(jié)構(gòu)

數(shù)據(jù)融合應(yīng)用最為普遍的一種融合技術(shù)，通過采用數(shù)值方法對(duì)所檢測(cè)的數(shù)據(jù)源信息進(jìn)行特征值計(jì)算，分析目前數(shù)據(jù)源的特征信息屬性，獲得準(zhǔn)確的數(shù)據(jù)值。

特征層融合通過對(duì)采集點(diǎn)的數(shù)據(jù)源信息進(jìn)行特征量提取、融合，基于數(shù)據(jù)融合反饋值進(jìn)行關(guān)聯(lián)、融合通過區(qū)域模型構(gòu)建來完成數(shù)據(jù)特征值的計(jì)算；決策層則基于所得數(shù)值進(jìn)一步完成數(shù)據(jù)精準(zhǔn)計(jì)算和模型范圍重構(gòu)，一般需要基于模型算法，對(duì)算法進(jìn)行分類、推理分析等。

3.2 融合架構(gòu)設(shè)計(jì)

電力系統(tǒng)融合架構(gòu)設(shè)計(jì)如圖3所示。在數(shù)據(jù)層中有傳感測(cè)量模塊，主要采集環(huán)境變量，依賴于網(wǎng)絡(luò)線路對(duì)數(shù)據(jù)點(diǎn)進(jìn)行傳輸并保存至融合中心層；此外系統(tǒng)構(gòu)架還兼容了NoSQL、HDFS等工具的數(shù)據(jù)管理工具，能進(jìn)一步對(duì)數(shù)據(jù)進(jìn)行提煉、保存、分析；尤其是利用Map Reduce工具對(duì)數(shù)據(jù)進(jìn)行精準(zhǔn)的分析、預(yù)處理和應(yīng)用實(shí)現(xiàn)各個(gè)功能模塊的兼容，增強(qiáng)系統(tǒng)的并發(fā)性和穩(wěn)定性[2]。

圖3 電力大數(shù)據(jù)融合架構(gòu)

電力系統(tǒng)采集的數(shù)據(jù)源種類繁多且結(jié)構(gòu)化趨勢(shì)明顯，大部分的電氣量仍需要借助多個(gè)觀測(cè)點(diǎn)的數(shù)據(jù)特征值進(jìn)行定量分析才能得出最準(zhǔn)確的數(shù)據(jù)；通過數(shù)據(jù)融合技術(shù)完成數(shù)據(jù)精準(zhǔn)計(jì)算和模型范圍重構(gòu)獲取不同區(qū)域集合點(diǎn)的數(shù)據(jù)信息。

3.2.1 數(shù)據(jù)預(yù)處理

電力系統(tǒng)數(shù)據(jù)量多、基數(shù)龐大且數(shù)據(jù)之間的關(guān)聯(lián)性較低，所采集的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)冗余度高，因此對(duì)所采集的數(shù)據(jù)進(jìn)行預(yù)處理一般主要包括清洗數(shù)據(jù)、數(shù)據(jù)歸一和數(shù)據(jù)壓縮。清洗數(shù)據(jù)主要剔除缺失、失效以及冗余等數(shù)據(jù)；數(shù)據(jù)歸一主要對(duì)數(shù)據(jù)統(tǒng)一歸化便于數(shù)據(jù)融合；數(shù)據(jù)壓縮在保證數(shù)據(jù)完整性穩(wěn)定性的前提下對(duì)數(shù)據(jù)進(jìn)行壓縮，進(jìn)一步提高數(shù)據(jù)的計(jì)算效率。

圖4 電力系統(tǒng)信息融合結(jié)構(gòu)圖

3.2.2 數(shù)據(jù)級(jí)融合

電力系統(tǒng)中的數(shù)據(jù)來源于采集終端設(shè)備裝置，按照設(shè)備種類依次獲取不同的數(shù)據(jù)量，在數(shù)據(jù)融合計(jì)算時(shí)需對(duì)數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析。基于物理模型、算法進(jìn)行數(shù)據(jù)級(jí)別的融合得到準(zhǔn)確的結(jié)果。如圖5所示采集數(shù)據(jù)依次分為電氣量、過程量以及狀態(tài)量，通過三者之間的數(shù)據(jù)耦合形成同類二維關(guān)系，基于同類二維關(guān)系數(shù)據(jù)融合、計(jì)算最終實(shí)現(xiàn)跨類二維關(guān)系。

圖5 二維關(guān)聯(lián)數(shù)據(jù)的形成

電力系統(tǒng)數(shù)據(jù)源于采集終端數(shù)據(jù)，通過傳感技術(shù)、儲(chǔ)存技術(shù)實(shí)現(xiàn)信息數(shù)據(jù)融合的目的。隨著監(jiān)測(cè)技術(shù)手段的不斷發(fā)展和對(duì)設(shè)備運(yùn)行規(guī)律的把控，這一級(jí)別的融合會(huì)更加準(zhǔn)確全面。

3.2.3 信息級(jí)融合

大部分的數(shù)據(jù)級(jí)的融合只是數(shù)理計(jì)算，對(duì)數(shù)據(jù)挖掘應(yīng)用則需要通過信息級(jí)融合可以對(duì)數(shù)據(jù)進(jìn)行深加工，如采用數(shù)據(jù)集中工具、管理工具以及儲(chǔ)存工具構(gòu)建物理模型完成電力數(shù)據(jù)信息級(jí)融合。

3.3 融合平臺(tái)

基于Hadoop平臺(tái)數(shù)據(jù)管理人員根據(jù)電力數(shù)據(jù)的基本屬性，構(gòu)建不同電力系統(tǒng)采集終端的數(shù)據(jù)源。一方面以數(shù)據(jù)挖掘、XML為核心技術(shù)實(shí)現(xiàn)電力采集數(shù)據(jù)的歸一化、標(biāo)準(zhǔn)化；另一方面采用模型范圍數(shù)據(jù)重構(gòu)實(shí)現(xiàn)對(duì)數(shù)據(jù)的精準(zhǔn)計(jì)算和監(jiān)測(cè)如運(yùn)行數(shù)據(jù)、后臺(tái)訪問記錄數(shù)據(jù)等，為電力系統(tǒng)的穩(wěn)定提高可靠的運(yùn)行環(huán)境，實(shí)現(xiàn)對(duì)電力大數(shù)據(jù)的高效處理，從而有效解決電力系統(tǒng)運(yùn)行數(shù)據(jù)過程中的數(shù)據(jù)孤島等問題。

3.4 系統(tǒng)參數(shù)

電力系統(tǒng)大數(shù)據(jù)融合系統(tǒng)基于數(shù)據(jù)發(fā)布、系統(tǒng)反饋以及運(yùn)行維護(hù)三大運(yùn)行體系通過系統(tǒng)功能之間的反饋、協(xié)同應(yīng)用。基于服務(wù)應(yīng)用對(duì)電力大數(shù)據(jù)進(jìn)多源異構(gòu)數(shù)據(jù)融合，對(duì)數(shù)據(jù)源挖掘應(yīng)用，提升數(shù)據(jù)處理質(zhì)量和效率和系統(tǒng)的運(yùn)行穩(wěn)定性。

目前多元信息融合技術(shù)在電網(wǎng)數(shù)據(jù)中發(fā)揮著重要的作用，數(shù)據(jù)融合可以將有關(guān)聯(lián)的數(shù)據(jù)融合在一起，對(duì)多種類型數(shù)據(jù)源進(jìn)行整理、分析、提煉、分析，通過對(duì)采集點(diǎn)的數(shù)據(jù)源信息進(jìn)行特征量提取、融合，基于數(shù)據(jù)融合反饋值進(jìn)行關(guān)聯(lián)、融合通過區(qū)域模型構(gòu)建來完成數(shù)據(jù)特征值的計(jì)算；決策層則基于所得數(shù)值進(jìn)一步完成數(shù)據(jù)精準(zhǔn)計(jì)算和模型范圍重構(gòu)。通過基于Web Service 構(gòu)建服務(wù)數(shù)據(jù)體系、構(gòu)建通信協(xié)議完成數(shù)據(jù)的預(yù)處理；電力系統(tǒng)采集點(diǎn)區(qū)域預(yù)測(cè)目前該檢測(cè)點(diǎn)數(shù)據(jù)的冗余性，根據(jù)預(yù)警數(shù)值大小分配對(duì)應(yīng)的電網(wǎng)帶寬資源克服了隨著檢測(cè)點(diǎn)數(shù)據(jù)的增多造成數(shù)據(jù)擁塞，延遲等現(xiàn)象，信息數(shù)據(jù)交互層基于融合系統(tǒng)、XML技術(shù)對(duì)異構(gòu)數(shù)據(jù)進(jìn)行格式標(biāo)準(zhǔn)轉(zhuǎn)化逐步增強(qiáng)系統(tǒng)的并發(fā)性和穩(wěn)定性，提高系統(tǒng)的運(yùn)行效率；數(shù)據(jù)融合應(yīng)用基于模型數(shù)據(jù)、人工智能應(yīng)用實(shí)現(xiàn)對(duì)電力大數(shù)據(jù)的融合，包括人機(jī)交互、智能算法應(yīng)用、神經(jīng)網(wǎng)絡(luò)電力模型；通過網(wǎng)絡(luò)協(xié)議，將各個(gè)采集點(diǎn)的電力大數(shù)據(jù)耦合在一起，實(shí)現(xiàn)數(shù)據(jù)之間穩(wěn)定有序，交互應(yīng)用的協(xié)同管理，實(shí)現(xiàn)電力大數(shù)據(jù)的融合與共享。

4 數(shù)據(jù)對(duì)比分析

如圖6所示，在相關(guān)數(shù)據(jù)源數(shù)據(jù)大小下，分別對(duì)數(shù)據(jù)融合處理時(shí)間、傳統(tǒng)數(shù)據(jù)處理時(shí)間的運(yùn)行效率進(jìn)行分析，從圖中可以看出在15GB大小以內(nèi)數(shù)據(jù)融合處理時(shí)間、傳統(tǒng)數(shù)據(jù)處理時(shí)間基本差別不大，但當(dāng)數(shù)據(jù)量大于15GB時(shí)數(shù)據(jù)融合處理計(jì)算框架快速計(jì)算隨著數(shù)據(jù)量增大處理時(shí)間增長(zhǎng)趨于線性，與傳統(tǒng)算法比較而言更適合于大數(shù)據(jù)的處理。

圖6 不同數(shù)據(jù)組下處理效率的比較

5 結(jié)語

隨著電力系統(tǒng)數(shù)據(jù)的優(yōu)化配置，電力數(shù)據(jù)的類型、數(shù)量呈現(xiàn)指數(shù)增長(zhǎng)，目前多元信息融合技術(shù)在電網(wǎng)數(shù)據(jù)中發(fā)揮著重要的作用，數(shù)據(jù)融合可以將有關(guān)聯(lián)的數(shù)據(jù)融合在一起，對(duì)多種類型的數(shù)據(jù)源進(jìn)行整理、分析、提煉。

基于大數(shù)據(jù)技術(shù)實(shí)現(xiàn)電網(wǎng)多源數(shù)據(jù)的融合已經(jīng)成為電網(wǎng)系統(tǒng)不可或缺的技術(shù)之一。為保障電力系統(tǒng)數(shù)據(jù)穩(wěn)定、高效地運(yùn)行，本文針對(duì)電力數(shù)據(jù)中的融合模塊進(jìn)行結(jié)構(gòu)設(shè)計(jì)，采用傳統(tǒng)數(shù)據(jù)處理模型和電力大數(shù)據(jù)融合處理模型對(duì)比分析，結(jié)果表明融合處理計(jì)算框架快速計(jì)算隨著數(shù)據(jù)量增大處理時(shí)間增長(zhǎng)趨于線性。