基于狀態(tài)估計的海量多元異構智能電網(wǎng)數(shù)據(jù)壓縮存儲方法

馬興明， 董 成， 毛新宇， 焦玉新， 李 浩

(1.國網(wǎng)黑龍江省電力有限公司大慶供電公司，黑龍江 大慶 163311；2.武漢國電武儀電氣股份有限公司，湖北 武漢 430074)

0 引 言

電力是經(jīng)濟發(fā)展的基礎，我國對智能電網(wǎng)建設力度逐年加大。在智能電網(wǎng)的運行中，會出現(xiàn)海量多元異構智能電網(wǎng)數(shù)據(jù)[1-3]，其呈現(xiàn)出多樣化的特點，會產(chǎn)生數(shù)據(jù)重復存儲現(xiàn)象，導致智能電網(wǎng)系統(tǒng)資源利用率不高[4-6]。如何處理海量多元異構智能電網(wǎng)數(shù)據(jù)是智能電網(wǎng)公司亟待解決的難題[7]。

國內(nèi)學者針對海量多元異構數(shù)據(jù)展開了眾多研究，如閆會玉等[8]，研究工況數(shù)據(jù)壓縮方法，根據(jù)從工業(yè)電氣設備采集到的多維時間序列數(shù)據(jù)的變化情況設定死區(qū)限值大小，收集設備工況信息并標記工況標簽，根據(jù)標簽序列的變化制定設備運行狀態(tài)分類規(guī)則，實現(xiàn)數(shù)據(jù)的分類壓縮與存儲。但是該方法在壓縮時未能對海量多元異構數(shù)據(jù)進行數(shù)據(jù)處理，海量數(shù)據(jù)中的壞數(shù)據(jù)加大了計算難度，增加了壓縮誤差，影響了最終的壓縮存儲效果。王鶴等[9]研究基于分布式壓縮感知的數(shù)據(jù)壓縮存儲方法，將設計的自適應聯(lián)合重構算法應用到以分布式壓縮感知為邊緣算法的云邊協(xié)同框架中，分析邊緣上傳的字典原子和測量值，實現(xiàn)電能質(zhì)量數(shù)據(jù)的壓縮存儲。但是該方法在進行儲存前沒有對數(shù)據(jù)進行預處理，導致數(shù)據(jù)壓縮存儲過程中的冗余信息較多，增加了運行時間。

狀態(tài)估計是智能電網(wǎng)基礎數(shù)據(jù)處理方法，通過數(shù)據(jù)分析，預測智能電網(wǎng)設備質(zhì)量狀態(tài)，保證智能電網(wǎng)的正常運行。因此，本文提出基于狀態(tài)估計的海量多元異構智能電網(wǎng)數(shù)據(jù)壓縮存儲方法，提高海量多元異構智能電網(wǎng)數(shù)據(jù)管理質(zhì)量。

1 方法研究

1.1 基于狀態(tài)估計的海量多元異構智能電網(wǎng)數(shù)據(jù)融合

多元異構數(shù)據(jù)是一種混合型數(shù)據(jù)，包括結構化數(shù)據(jù)和非結構化數(shù)據(jù)。在智能電網(wǎng)的運行中，數(shù)據(jù)來源較多，數(shù)據(jù)類型多種多樣，且數(shù)據(jù)量較為龐大，數(shù)據(jù)融合的難度較大。因此，本文設計的數(shù)據(jù)壓縮儲存方法通過測量數(shù)據(jù)來識別海量多元異構智能電網(wǎng)數(shù)據(jù)[10]。狀態(tài)估計是數(shù)據(jù)處理的重要方法之一，為提高智能電網(wǎng)數(shù)據(jù)的分析效率，將采集的海量多元異構智能電網(wǎng)數(shù)據(jù)進行實時數(shù)據(jù)處理，以此對數(shù)據(jù)狀態(tài)進行估計，實現(xiàn)海量多元異構智能電網(wǎng)數(shù)據(jù)融合。

為了推導出準確的智能電網(wǎng)數(shù)據(jù)，依據(jù)狀態(tài)估計的運算結果進行數(shù)據(jù)處理與參照物比較，識別海量多元異構智能電網(wǎng)數(shù)據(jù)。智能電網(wǎng)中狀態(tài)估計數(shù)據(jù)與海量多元異構數(shù)據(jù)的融合流程如圖1所示。

圖1 狀態(tài)估計數(shù)據(jù)與海量多元異構數(shù)據(jù)的融合流程

由圖1可知，狀態(tài)估計是智能電網(wǎng)數(shù)據(jù)處理的核心，利用狀態(tài)估計實現(xiàn)正常狀態(tài)估計、不良數(shù)據(jù)檢測和界限辨識，將融合后的多元異構智能電網(wǎng)數(shù)據(jù)存入數(shù)據(jù)庫[11]，為智能電網(wǎng)的監(jiān)視、分析和控制提供數(shù)據(jù)支持。其中狀態(tài)估計基于加權最小二乘法的狀態(tài)估計方法實現(xiàn)，流程如圖2所示。

圖2 狀態(tài)估計流程

海量多元異構智能電網(wǎng)數(shù)據(jù)內(nèi)存在一些壞數(shù)據(jù)，若直接采用原始數(shù)據(jù)實施狀態(tài)估計會降低準確性。為提升海量多元異構智能電網(wǎng)數(shù)據(jù)的狀態(tài)估計質(zhì)量，必須實施數(shù)據(jù)處理。壞數(shù)據(jù)處理包括四個環(huán)節(jié)，其中利用數(shù)態(tài)重獲來查驗智能電網(wǎng)的狀態(tài)和數(shù)據(jù)來源，實施相關規(guī)則進行壞數(shù)據(jù)檢測，采用決策樹理論實施壞數(shù)據(jù)辨識與修補，經(jīng)可觀測性分析后完成壞數(shù)據(jù)處理。最后采用分解速度快的加權最小二乘法對處理后的數(shù)據(jù)實施狀態(tài)估計。

1.2 基于張量Tucker分解的海量多元異構智能電網(wǎng)數(shù)據(jù)壓縮方法

采用張量Tucker分解方法對數(shù)據(jù)融合后的海量多元異構智能電網(wǎng)數(shù)據(jù)實施壓縮。首先分析海量多元異構智能電網(wǎng)數(shù)據(jù)，通過張量定義表明，BS∈EIN×It×Im表示數(shù)據(jù)張量的三個模展開矩陣，用下式描述：

(1)

式中：B(1)為依據(jù)站點階的模展開矩陣；JN為海量多元異構智能電網(wǎng)數(shù)據(jù)的站點；Jt為海量多元異構智能電網(wǎng)數(shù)據(jù)的采集時間；Jm為海量多元異構智能電網(wǎng)數(shù)據(jù)的量測量；B(2)為依據(jù)時間階的模展開矩陣；B(3)為依據(jù)量測量階的模展開矩陣。

通過變換方法分解張量的模展開矩陣，用下式描述：

(2)

式中：D、W分別為左、右奇異值矩陣；Y為三個奇異值矩陣。

為獲取三個模展開矩陣的近似奇異值分解公式，需選取奇異值τk之后的值，得到下式：

(3)

式中：DE、WE分別為選取的近似左、右奇異值矩陣；YE為第P、Q、E個奇異值中選取的近似奇異值對角陣；BE為奇異值分解近似陣。

通過Tucker分解處理n階張量Bn，得到下式：

Bn=G×1D1×2D2×…×nDn

(4)

(5)

式中：G為壓縮過程中的約束參數(shù)；D1、D2、…、Dn分別為對應階的因子矩陣；H為核心張量。

依據(jù)式(5)對海量多元異構智能電網(wǎng)數(shù)據(jù)張量BY實施Tucker分解，得出壓縮后的核心張量，如下所示：

(6)

通過上式說明的正交基和原始張量，計算出核心張量HY∈EP×Q×E。所以原數(shù)據(jù)張量維度降到P、Q、E。

(7)

在海量多元異構智能電網(wǎng)數(shù)據(jù)中，非結構化的彩色圖片、彩色視頻和灰度視頻數(shù)據(jù)[12,13]的張量模型階數(shù)不同。

(1) 彩色圖片數(shù)據(jù)。五階核心張量用HP描述，其中HP∈EP3×Q3×…×D3；用BP表示彩色圖片，計算出重構數(shù)據(jù)張量：

(8)

式中：Jc為圖像顏色空間。

(2) 彩色視頻數(shù)據(jù)。壓縮后六階核心張量用HCW描述，其中HCW∈EP2×Q2×…×D2；用BCW表示彩色視頻，彩色視頻的重構數(shù)據(jù)張量，用下式描述：

(9)

式中：Jf為圖像幀。

(3) 灰度視頻數(shù)據(jù)。壓縮后五階核心張量用HDCW描述，其中HDCW∈EP1×Q1×…×T1；用BDCW表示彩色視頻，灰度視頻的重構數(shù)據(jù)張量，用下式描述：

(10)

采用張量Tucker分解方法對數(shù)據(jù)融合后的海量多元異構智能電網(wǎng)數(shù)據(jù)實施壓縮，流程如圖3所示。

圖3 張量Tucker分解的數(shù)據(jù)壓縮流程

2 數(shù)據(jù)存儲過程

在海量多元異構智能電網(wǎng)數(shù)據(jù)壓縮后的存儲過程中，通過采用可擴展標記語言(XML)技術實施數(shù)據(jù)預處理，將處理后的數(shù)據(jù)，利用非關系型的數(shù)據(jù)庫(NoSQL)技術，實現(xiàn)海量多元異構智能電網(wǎng)數(shù)據(jù)的快速存儲。

2.1 數(shù)據(jù)預處理

因壓縮后的海量多元異構智能電網(wǎng)數(shù)據(jù)具有多樣性，在進行數(shù)據(jù)儲存之前，需采用XML技術標記數(shù)據(jù)、定義數(shù)據(jù)類型，對全部基礎數(shù)據(jù)實施數(shù)據(jù)預處理，處理流程如圖4所示。

圖4 海量多元異構智能電網(wǎng)數(shù)據(jù)預處理流程

由圖4可知，海量多元異構智能電網(wǎng)數(shù)據(jù)包括非結構化數(shù)據(jù)與結構化數(shù)據(jù)，針對不同的數(shù)據(jù)類型采用不同的數(shù)據(jù)處理流程，將數(shù)據(jù)以XML格式數(shù)據(jù)表存儲至海量多元異構智能電網(wǎng)的各節(jié)點中，實現(xiàn)數(shù)據(jù)預處理。

2.2 數(shù)據(jù)快速存儲優(yōu)化策略

通過NoSQL，對預處理后的海量多元異構智能電網(wǎng)數(shù)據(jù)實施快速存儲。實際數(shù)據(jù)在NoSQL上分配海量多元異構智能電網(wǎng)數(shù)據(jù)存儲優(yōu)化的存儲策略如下。

(1) 按照內(nèi)外網(wǎng)原則對海量多元異構智能電網(wǎng)數(shù)據(jù)主節(jié)點實施冗余計算。

(2) 分別儲存智能電網(wǎng)的內(nèi)外網(wǎng)海量多元異構數(shù)據(jù)，在對應單位的IT資源內(nèi)存儲智能電網(wǎng)的外網(wǎng)數(shù)據(jù)；智能電網(wǎng)內(nèi)部IT資源只存儲智能電網(wǎng)的內(nèi)網(wǎng)數(shù)據(jù)。

(3) 按照不同對象分類存儲智能電網(wǎng)外部海量多元異構數(shù)據(jù)；按照不同屬性分類存儲智能電網(wǎng)內(nèi)部海量多元異構數(shù)據(jù)。

(4) 最小路徑分配存儲策略的出發(fā)點是NoSQL內(nèi)的主節(jié)點，通過XML數(shù)據(jù)表調(diào)用元數(shù)據(jù)，依據(jù)元數(shù)據(jù)為原始數(shù)據(jù)配置相對容量的存儲空間[14]，假如XML數(shù)據(jù)表內(nèi)剩余存儲空間較小,無法滿足需求，依據(jù)相鄰最近原則，通過續(xù)存方式分配所缺的原始數(shù)據(jù)存儲空間[15]。

(5) 尋找空閑IT資源里智能電網(wǎng)節(jié)點路徑，依據(jù)XML存儲優(yōu)先分配數(shù)據(jù)，實現(xiàn)快速存儲。

3 試驗分析

以某地智能電網(wǎng)25個配電站的真實監(jiān)測數(shù)據(jù)集作為試驗數(shù)據(jù)，其中包括結構化數(shù)據(jù)和非結構化數(shù)據(jù)，驗證本文提出的基于狀態(tài)估計的海量多元異構智能電網(wǎng)數(shù)據(jù)壓縮存儲方法的實際應用效果。

在智能電網(wǎng)穩(wěn)定運行狀態(tài)下，以某一條輸電線路為例，隨機選取6小時內(nèi)的數(shù)據(jù)，并選取兩種試驗對比方法，分別為文獻[8]面向電氣設備的工況識別和數(shù)據(jù)壓縮方法、文獻[9]基于分布式壓縮感知的配電網(wǎng)電能質(zhì)量數(shù)據(jù)壓縮存儲方法。

3.1 不同方法估計線路電阻、電抗動態(tài)參數(shù)對比

由于海量多元異構智能電網(wǎng)數(shù)據(jù)來源較多，電網(wǎng)運行過程中的數(shù)據(jù)量較為龐大，某時段的電阻與電抗的數(shù)據(jù)是具有一定波動性的，因此計算電阻與電抗的動態(tài)參數(shù)能夠進一步降低海量多元異構智能電網(wǎng)數(shù)據(jù)壓縮誤差。動態(tài)參數(shù)估計值與實際值越相近，說明該方法準確性越高，越能保證后期海量多元異構智能電網(wǎng)數(shù)據(jù)壓縮效果。分析三種方法估計得到的線路電阻、電抗動態(tài)參數(shù)，結果如圖5和圖6所示。

圖5 電阻動態(tài)參數(shù)估計

圖6 電抗動態(tài)參數(shù)估計

由圖5和圖6可知，本文方法估計的線路電阻、電抗動態(tài)參數(shù)分別為0.032、0.530，結果明顯優(yōu)于其他兩種方法，且與實際值非常接近，說明本文方法動態(tài)參數(shù)的估計準確性較高，能夠保證后期海量多元異構智能電網(wǎng)數(shù)據(jù)的壓縮效果。

3.2 不同方法對異常狀態(tài)估計的結果精度對比

海量多元異構智能電網(wǎng)數(shù)據(jù)存在較多的變化。由于數(shù)據(jù)量較大，在數(shù)據(jù)壓縮過程中服務器易出現(xiàn)過載情況。很多伺服驅動器的制動電阻因過載保護方法不當，會產(chǎn)生電阻突變，從而導致動態(tài)參數(shù)出現(xiàn)突然變化。因此，需要在進行數(shù)據(jù)壓縮的過程中，對電網(wǎng)異常狀態(tài)進行估計，準確預測動態(tài)參數(shù)變化趨勢，對電網(wǎng)數(shù)據(jù)異常進行及時預警，實現(xiàn)智能電網(wǎng)數(shù)據(jù)的壓縮存儲。測試三種方法對異常狀態(tài)下電阻動態(tài)參數(shù)的估計情況，其結果如圖7所示。

圖7 異常狀態(tài)下電阻動態(tài)參數(shù)估計

由圖7可知，文獻[8]方法與文獻[9]方法并沒有識別出異常狀態(tài)下電阻動態(tài)參數(shù)的變化，與實際值差距較大，影響數(shù)據(jù)壓縮效果。而本文方法采用張量Tucker分解對數(shù)據(jù)進行融合，估計的動態(tài)電阻與實際值基本一致，可識別出參數(shù)的異常變化，識別精度較高，能夠實現(xiàn)異常狀態(tài)下對參數(shù)突變的及時預警，實現(xiàn)智能電網(wǎng)數(shù)據(jù)的壓縮存儲。

3.3 不同方法的平均絕對誤差和F-范數(shù)誤差比

海量多元異構智能電網(wǎng)數(shù)據(jù)類型較多，因此在壓縮過程中，很容易由于數(shù)據(jù)的復雜而增加壓縮誤差，影響壓縮效果。因此計算三種方法的平均絕對誤差(MAE)和F-范數(shù)誤差比(FER)，二者越低，說明該方法的壓縮誤差越低，壓縮效果越好。選取驗證本文方法數(shù)據(jù)壓縮效果的信息損失水平指標如下。

(1) 其第h個量測量的MAE如下：

(11)

(2) 總體損失水平的FER如下所示：

(12)

分析三種方法的壓縮效果，結果如圖8所示。

圖8 數(shù)據(jù)壓縮誤差結果

由圖8可知，本文方法所產(chǎn)生的壓縮誤差處于平穩(wěn)并緩慢上升態(tài)勢，尤其在低壓縮比下，本文方法的誤差明顯低于其他兩種方法。本文方法在不同數(shù)據(jù)壓縮比下的壓縮MAE、FER分別為0.240、0.025，均比其他兩種方法的誤差低，證明了本文方法的壓縮誤差低，壓縮效果較好。

3.4 不同方法的運行時間對比

在并行計算模式下，測試三種方法的運行時間，結果如圖9所示。由圖9可知，本文方法的平均運行時間為213 ms，分別比其他兩種方法的平均運行時間快353、257 ms，明顯少于其他兩種方法，說明本文方法的運行效率高，可實現(xiàn)海量多元異構智能電網(wǎng)數(shù)據(jù)的快速壓縮存儲。

圖9 不同方法運行時間

4 結 語

為了提高海量多元異構智能電網(wǎng)數(shù)據(jù)壓縮存儲效率，本文提出了基于狀態(tài)估計的海量多元異構智能電網(wǎng)數(shù)據(jù)壓縮存儲方法。采用基于加權最小二乘法的狀態(tài)估計實施數(shù)據(jù)融合，結合張量Tucker分解數(shù)據(jù)壓縮方法和NoSQL技術實現(xiàn)海量多元異構智能電網(wǎng)數(shù)據(jù)的壓縮存儲。試驗結果表明，本文方法的精度高，誤差小，運行時間低至213 ms，運行效率高。