基于門控循環注意力網絡的配電網故障識別方法

陳昊藍, 靳冰瑩, 劉亞東, 錢慶林 王 鵬, 陳艷霞, 于希娟, 嚴英杰

(1. 上海交通大學 電子信息與電氣工程學院,上海 200240; 2. 國網青海省電力公司,西寧 810008; 3. 國網北京市電力公司,北京 100031)

配電網作為電力系統的最終環節,與用戶體驗息息相關.相比于主網,配電網具有設備多、范圍廣的特點,且設備成本遠低于主網.因此,不同于成熟的主網故障預警技術,配電網的維護往往采用事后搶修的方式.近年來隨著用戶對供電質量的要求越發提高,配電網自身改革和發展的需求越發迫切[1-2].如果能有效建立配電網故障辨識機制,在故障發生時及時發現故障設備及原因,故障搶修工作量將大大減少,運維效率和質量將大大提升[3].

配電網故障辨識仍然存在較多研究難點.首先,訓練樣本少[4].盡管近年來配電網故障波形采集裝置逐步普及,暫態波形被大量收集,但波形背后的故障原因難以確認,需要人員現場勘察,由于配電網設備多、覆蓋面廣,往往只能確認少部分異常事件.其次,故障種類多.盡管目前有不少文獻[5-7]提出暫態故障、永久性故障、暫態干擾的分類方法,故障辨識的最終結果還需要落實到故障設備及原因上,以便運維人員對設備進行檢修.不同設備故障波形往往存在一定相似性,人工判斷往往需要大量經驗,因而準確率并不穩定.綜上所述,急需提出一種數據依賴度低、適用各種故障類型的配電網故障辨識方法.

模型驅動方法需要搭建故障電路模型[7-8],對于不同故障類型需重新進行仿真,且存在個別類型難以仿真的缺點,因此不進行重點討論.數據驅動方法則根據數據推導波形和事件類別之間的關系,具有較強的自適應性,在配電網故障辨識這一小樣本學習任務中,只需減少方法的數據依賴性即可.現有數據驅動方法無法處理上述場景的原因主要在于模型表達能力和對數據需求量之間的矛盾.文獻[9]中使用 Logistic 算法識別配電網故障,但實驗中使用的數據量較大,算法擬合能力也不強,只能用于二分類任務;文獻[10]中首先利用局部特征尺度分解法構造波形時頻矩陣,再利用支持向量機(SVM)區分時頻矩陣的奇異譜,從而區分故障類別,該方法同樣未考慮小樣本學習問題,且不具備遷移能力;文獻[11]中使用小波分解濾除波形中的諧波和非周期分量,將剩余的工頻信息作為輸入訓練神經網絡,從而判斷故障短路相,由于模型只使用工頻信息,所以對于暫態故障識別效果較差,且模型對數據需求仍然較大.綜上所述,在現有數據驅動方法中,高復雜度模型的表達能力較強,能處理多種類型故障,但對數據需求量較高;而簡單模型則犧牲部分表達能力以減少對訓練樣本的需求.

配電網故障辨識任務中的波形數據本質為時間序列,對于時序數據,需要考慮不同時刻間的相關性,而自然語言處理領域有較多關于序列相關性建模的研究[12-14],其中門控循環網絡(GRU)能更好地捕捉時間序列中的長距離依賴,即較大時間間隔的時刻間相關關系,因此受到廣泛關注.不僅如此,近些年提出的模擬人類認知的視覺注意力機制[15]同樣能有效降低數據依賴度.盡管上述方法在其他領域中一定程度上解決了模型數據需求量過大的問題,但在配電網故障辨識中還未得到充分應用.配電網故障辨識任務中波形數據獨有的特征,如數據具備周期性、信息密度小、不同相的電壓電流波形間存在對應關系等,使得針對這一場景的特定開發和改進策略成為關鍵.

針對上述問題,提出一種基于門控循環注意力網絡(GRAN)的配電網故障辨識方法,該模型基于注意力機制捕捉波形中的關鍵信息,從而降低對訓練數據的需求,同時借助循環神經網絡的結構存儲波形記憶,有效處理序列數據.具體實現思路如下:對于關注的信息,利用非線性映射獲得對應的權重向量,通過加權運算實現關鍵區域提取;對于波形序列信息,傳遞不同階段的隱含層信息作為記憶,該記憶信息和當前階段的輸入共同決定當前階段的輸出.基于仿真數據和實際數據的實驗均表明,該方法明顯優于其余幾種常用的分類模型,為配電網故障辨識研究提供了一種全新的思路.

1 模型框架

1.1 基于注意力機制的關鍵區域提取

配電網故障波形辨識存在關鍵區域,即人類在認知波形時往往會關注波形發生變化的周期和其中故障出現或消失的時刻.由于上述注意力機制,人類能夠憑借少量樣本學習波形中的重點特征,實現故障類型辨識.利用數學模型引入這一注意力機制,提取波形關鍵區域,減少訓練樣本量需求.

注意力機制可以被視為一種加權運算[15]:

xout=w°xin

(1)

式中:xin、xout∈Rn×c分別為輸入特征和輸出特征,其中n為特征維度,c為通道數;w∈Rn為權重向量;算符°表示逐元素相乘.對于被重點關注的特征維度i,其對應權重wi幅值遠大于其余維度.

對于不同應用場景,權重向量計算是算法設計的關鍵.配電網故障波形辨識主要關注波形畸變所在周期,而常用的畸變捕捉算法為小波分解[5,16].對于故障波形,小波分解得到的高頻細節系數d反映了波形的突變情況,細節系數越高意味著突變情況越嚴重.以工頻下單個基波周期作為單位長度,該周期內的畸變情況D可表示為單位長度內細節系數幅值之和.對于歸一化后的畸變情況,利用非線性映射f可獲得最終的權重向量w,該模塊的實現可采用兩層全連接神經網絡,其中權重向量的長度等于波形周期數.上述過程可寫作:

(2)

w=f(Norm(D))

(3)

式中:Tl為特征維度集合;Norm為歸一化操作.綜合上述等式,可以獲得波形關鍵區域提取框架,如圖1所示.

圖1 波形關鍵區域提取框架Fig.1 Framework of key region extraction in waveform

1.2 門控循環網絡

相較于目前流行的卷積神經網絡(CNN)模型,循環神經網絡[17]能更好地處理序列信息,即前一階段的輸入和后一階段的輸入存在聯系的信息.配電網故障波形作為序列數據,其不同周期間存在極強的關聯性.循環神經網絡處理序列信息的方式是傳遞隱含層數據,即前一階段的隱含層數據傳遞到下一階段,與下一階段的輸入共同決定下一階段的輸出.這一隱含層信息可以理解為人類認知中的記憶信息,這種信息在長序列傳遞過程中存在嚴重的衰退和丟失問題,即數學意義上的梯度消失和爆炸.為了解決這一問題,門控機制被提出[18-19],其中更新門負責捕捉序列中的長期記憶,重置門負責捕捉序列中的短期記憶,二者計算方式如下:

zt=σ(Wzxt+Uzht-1)

(4)

rt=σ(Wrxt+Urht-1)

(5)

式中:zt、rt分別為更新門和重置門的輸出;Wz、Uz分別為更新門中當前階段輸入xt和前一階段隱含層狀態ht-1對應的權重;Wr、Ur分別為重置門中當前階段輸入xt和前一階段隱含層狀態ht-1對應的權重;σ為sigmoid激活函數.

更新門和重置門的輸出本質是一種控制信號,其中重置門決定是否重置之前存儲的隱含層信息,計算表達式為

(6)

而更新門決定如何更新當前階段的隱含層信息,即長期記憶和短期記憶所占權重,計算表達式為

(7)

1.3 基于GRAN的故障類別判別

對于配電網中的一次異常事件,其故障類別需要綜合三相電壓、電流波形進行判斷.首先討論單一波形中的信息處理,單一波形中包含多個周期,且每個周期內包含不同的信息.基于單個周期的類別預測可由當前階段的隱含層信息表示:

yt=σs(Woht)

(8)

式中:yt∈RK為第t個周期內波形對應的預測概率,即yt, k∈[0, 1]為該周期內波形屬于第k個類別的概率,K為類別數;Wo為當前階段隱含層信息ht對應的權重矩陣;σs為softmax函數.

由于單一波形中包含多個周期,所以需要綜合考慮各周期對應的預測概率.在1.2節中提取了波形關鍵區域,獲得了各周期對應的權重向量,因此將兩者結合,如圖2所示,獲得最終的預測概率:

(9)

式中:Y∈RK為最終事件預測概率,即Yk∈[0, 1]為該波形屬于第k個類別的概率;wt∈R為基于注意力的第t個周期對應的權重;T為周期總數.

圖2 GRAN框架Fig.2 Structure of gated recurrent attention network

前文討論了基于單一波形的故障類別判別,下面考慮多波形,即三相電壓、電流條件下的信息綜合.通常情況下,配電網瞬時性故障類別根據故障相電流進行判斷[5],但發生多相故障時,綜合考慮多相電流波形更為合理.此外,由于模型的輸入為故障點處的測量波形,此時的電壓波形同樣能幫助判斷故障類型.首先考慮單相故障,單相故障條件下的相關波形為故障相電壓U、電流I,利用GRAN分別對兩組波形進行運算即可獲得單波形下的類別預測概率YU、YI∈RK,其中YU為基于故障相電壓波形的類別預測概率,YI為基于故障相電流波形的類別預測概率,此時電壓、電流波形使用的網絡參數各自獨立.最終概率YE為兩組概率YU、YI的平均值.對于多相故障或故障相未知的情況,需要綜合考慮三相電壓、電流波形.對于配電網故障,不同相對應的權重取決于該相故障嚴重程度,而這一指標往往與該相電流最大幅值相關[20].因此,利用注意力機制可以求得三相波形對應的權重向量并獲得最終預測概率:

wY=fY([mIAmIBmIC])

(10)

(11)

訓練時直接使用交叉熵作為誤差函數L,利用誤差反向傳播即可更新各個部分的權重矩陣,從而獲得最佳權重,組成最佳預測模型.

(12)

2 數據采集

考慮到數據完備性和真實性,采集的數據分為兩部分:仿真數據和實際數據.使用仿真數據的目的在于獲得各種工況下的數據,由于實際數據較少,所以必須利用仿真獲取;使用實際數據的目的在于驗證模型性能,由于仿真數據和實際數據存在偏差,所以有必要在兩種數據下同時進行測試.

2.1 仿真系統

在電磁暫態仿真軟件PSCAD/EMTDC中搭建配電網10 kV架空線路仿真系統,該系統基于IEEE 13節點模型[21],系統結構如圖3所示,并采用非直接接地方式.其中,系統頻率為50 Hz,采樣頻率為 4 096 Hz,采樣長度為16個周波.仿真事件類型包含瞬時性故障、永久性故障和暫態干擾3種.仿真中隨機選取參數以模擬各種條件下的配電網故障數據.變化參數包含噪聲強度、短路電阻、故障起始角、故障位置、故障距離、故障電弧參數、負載參數、線路參數.此外,各種子類型均考慮在內,如不同故障相數(單相接地、相間、多相接地)和不同暫態干擾類型(負載變化、電容器投切).仿真數據中瞬時性故障、永久性故障和暫態干擾事件各120起,共計360起.

圖3 配電網10 kV架空線路模型Fig.3 Overhead line model in a 10 kV-class power distribution system

具體參數和條件設置如下.

(1) 噪聲級別:仿真中使用不同信噪比的白噪聲.

(2) 電弧模型和參數:采用Kizilcay的電弧模型模擬瞬時故障,該模型下的電弧公式可寫為

(13)

(14)

式中:τ為任意時刻;g(τ)為電弧電導率;if(τ)為電弧電流;uf(τ)為電弧電壓;ct為電弧時間常數;uo為特征電弧電壓;ro為特征電弧阻抗.各參數對應的取值范圍為ct=0.2～0.4 ms,uo=300～4 000 V,ro=0.01～0.015 Ω.每次仿真隨機設定上述參數值.

(3) 故障電阻、起始角和距離:短路電路中除電弧以外還設置了其他的故障電阻.每次仿真時隨機選定故障電阻設定值、故障起始角設定值以及故障距離設定值.

(4) 故障位置、電容投切位置和負載變化位置:每次仿真隨機選定故障位置、電容投切位置以及負載變化位置.

(5) 線路參數(單位長度電阻、電感和電容)與負載參數(有功功率和無功功率):每次仿真隨機選定線路參數設置值以及負載參數設置值.

2.2 實驗數據

整個數據集包含4種類型的設備:避雷器、變壓器柔性電纜、變壓器肘型頭和架空線.其中故障原因包含雷擊引起避雷器本體炸裂擊穿、避雷器上引線觸碰橫擔、接地故障引起變壓器柔性電纜燒毀、接地故障引起變壓器肘型頭絕緣擊穿、架空線樹線矛盾.除了展示波形,還給出各種事件類型對應的數量:避雷器故障有24起,變壓器柔性電纜故障有18起,變壓器肘型頭故障有61起,架空線故障有22起,共計125起.

現場運行數據由配電網10 kV架空線路上故障檢測裝置采集,其中電壓采集原理為空間電容分壓,電流采集原理為印制電路板羅氏線圈[22].該裝置采樣頻率為 4 096 Hz,每條記錄長度為16個周波,包含4～5個周波的觸發前信號和11～12個周波的觸發后信號,觸發方式為電壓或電流波形幅值出現異常.圖4為各種設備故障的典型波形.

圖4 各種設備故障的典型波形Fig.4 Typical waveforms of different equipment

3 實驗驗證

將GRAN模型同另外3種常用的分類器: SVM、梯度提升決策樹(GBDT)、CNN進行比較,以體現本文方法的優越性.

3.1 實驗數據說明

使用仿真數據和實際數據進行實驗,每種實驗進行20次,每次隨機劃分訓練集、驗證集和測試集,劃分比例為3∶1∶1,以消除事件類型分布的影響.輸入波形數據首先經過小波去噪以及幅值歸一化處理.門控循環單元數量與周期數一致,對于仿真數據和實際數據而言均為16,每一階段輸入特征維度等于單周期采樣點數,對于仿真數據和實際數據而言均為82.模型訓練在訓練集中進行,超參數確定在驗證集中進行,最終性能測試在測試集中進行.

實驗中使用的評價指標說明如下:分類任務需要綜合考慮準確率p和召回率r,兩者的調和平均數即F1分數[23]通常作為模型評價指標.其定義如下:p為模型判斷為正的樣本中分類正確率,r為實際正樣本中模型對應的檢出率.對于多分類問題,平均F1分數取各類別F1分數的平均值.

3.2 對比其他模型

對比3種常用的分類模型:SVM、GBDT[24]和CNN[25].SVM模型的本質是通過核函數將樣本映射至線性可分特征空間,并尋找可以最大化類間間隔的分類超平面.GBDT的核心思想是利用模型疊加不斷減小預測誤差來最終達到最佳效果.CNN模型是一種深層前饋神經網絡,在通過線性加權和激活函數擬合非線性映射的同時,利用卷積操作減少參數量,達到增加網絡深度、提升模型性能的目的.由于SVM和CNN使用的是標準結構,所以只給出GBDT的模型結構,如圖5所示.由圖可見,該模型本質為簡單決策樹的集成學習.

圖5 GBDT模型結構Fig.5 Structure of GBDT model

各模型實現細節如下:SVM模型在MATLAB環境中進行,使用工具為libsvm軟件包[26],SVM類型為C分類,核函數選擇多項式函數,核函數中的gamma值和懲罰因子通過交叉驗證確定.GBDT在python環境中進行,使用工具為xgboost軟件包[27],每棵隨機采樣的特征的占比(colsample_bytree)參數為0.7,最小子節點權重為3,學習率(eta)為0.1.SVM方法參考文獻[16],首先利用3層db4小波基函數對波形進行分解,提取近似系數和細節系數的每個周期內最大幅值作為輸入特征向量,由于存在多組波形,所以將每個波形的輸入特征向量拼接得到最終輸入特征.CNN在python環境中進行,使用tensorflow框架,其結構參數如下:假設采樣總長度為N,則輸入層尺寸為(1,N,6).對于基于實際數據的實驗,由于訓練數據較少,所以使用了基于仿真數據的預訓練網絡.

表中事件類別說明如下:仿真類別1、2、3分布代表暫態故障、永久性故障和暫態干擾,實驗類別1、2、3、4分別代表避雷器故障、變壓器柔性電纜故障、變壓器肘型頭故障和架空線樹線矛盾.首先對比不同模型的F1分數(見表1),可以看到,GRU的分類準確率優于其余3種模型.這是因為GRU考慮了不同階段的輸入之間的關系,對不同周期間的相關性進行有效建模.而其余幾種模型只是單純將不同周期內的特征視作不同輸入屬性.其次,相比于SVM和GBDT,GRU和CNN在實際數據上的表現更好,這是因為后兩個模型使用了基于仿真數據的預訓練網絡.預訓練網絡中保留的權重對應特征提取層,通過較多的仿真數據可以獲得較好的特征提取效果,再通過實際數據微調網絡參數就可以大大降低模型的數據依賴性.

表1 不同模型F1分數對比Tab.1 Comparison of F1 score of different models

其次,對比不同模型的平均F1分數分布情況(見圖6),這一結果體現了模型的性能穩定性,即事件類型分布對模型性能的影響程度.可以看到,所提方法最適合在配網故障辨識這一場景中使用.這是因為GRAN的分類準確率在平均值附近波動,較為穩定.相比之下,SVM和GBDT的準確率整體水平較低,無法應用于實際場景中,CNN參數量高、數據需求大,其準確率受數據類型分布影響大.

圖6 不同模型平均F1分數分布Fig.6 Distribution of average F1 score of different models

3.3 注意力機制對應的性能提升

對比GRU和所提GRAN.GRAN訓練流程如下:首先,利用3層dB4小波基函數對原始波形進行分解,利用最后一層細節系數計算畸變向量,再利用兩層全連接神經網絡對畸變向量進行映射獲得權重向量;然后,將波形輸入GRAN輸出類型預測結果.由于單起事件中存在三相電壓、三相電流共6組波形,所以需要對每組波形進行上述運算,再對每組波形預測概率進行加權平均.需要說明的是,每組波形使用不同的網絡參數,即本次實驗一共訓練6個GRAN,分別用于處理三相電壓和三相電流數據.同時,由于實際數據量太小,利用真實數據進行實驗時使用的是基于仿真數據的預訓練模型.對每個波形而言,畸變向量到權重向量的非線性映射擬合采用兩層全連接神經網絡,兩層隱含層神經元個數均為周期數.對于每個事件而言,電流幅值向量到三相權重向量的非線性映射擬合采用兩層全連接神經網絡,兩層隱含層神經元個數均為相數.這里畸變向量到權重向量的非線性映射在同類型波形間共享,電流幅值向量到三相權重向量的非線性映射在所有事件中共享.

表2給出GRAN和GRU的性能,仿真類別1、2、3分布代表暫態故障、永久性故障和暫態干擾,實驗類別1、2、3、4分別代表避雷器故障、變壓器柔性電纜故障、變壓器肘型頭故障和架空線樹線矛盾.可以看到,該模型適用于仿真數據和實際數據中的各種事件類型,即具備良好的泛化性能.同時,注意力機制使得模型相較于GRU性能進一步提升.

表2 本文所提模型在不同事件類別下的F1分數

以基于單波形的故障類別判別為例,在綜合各周期預測概率階段,注意力機制使得畸變較為嚴重的周期對應的權重更高,這導致最終預測結果主要參考畸變較為嚴重的周期.這一基于領域知識的機制有效提高了預測準確率.這里稱畸變較為嚴重的周期為關鍵周期,其余周期為非關鍵周期.不同類型故障在非關鍵周期差異不大,因此預測概率趨近于各類別均勻分布.但在關鍵周期,通過波形特征能很好地判斷故障類型,此時預測概率集中分布在目標類別.賦予關鍵周期預測結果更高的權重,使得最終綜合預測結果更加準確.另外,由于關鍵周期對應權重更高,誤差反向傳播時,GRU參數更新主要在關鍵周期對應的階段進行.這一現象可近似看作截取關鍵周期波形數據訓練網絡,數據維度下降,模型對數據需求量相應減少.上述分析基于單波形條件下的故障類別判別,對于多波形條件下的故障類別判別,所提模型同樣利用注意力機制確定了主要故障相,最終預測結果也主要參考主要故障相下的電壓、電流信息.此外,作為所提框架的基礎,GRU能夠有效處理序列數據,建立起不同階段間的依賴關系,對提升準確率同樣起到關鍵作用.上述實驗結果及分析表明,該模型為解決配電網故障識別中小樣本學習這一關鍵問題提供了一種全新且有效的思路.

4 結語

在配電網故障辨識任務中,樣本收集困難,降低模型數據需求量成為研究關鍵.GRAN借助注意力機制和循環神經網絡結構有效提取序列中的關鍵信息,進而準確識別配電網故障類型.其中,注意力機制本質是一種加權運算,通過輸入關注信息經由非線性映射獲得權重向量;循環神經網絡則是通過傳遞隱含層狀態,建立起不同階段輸入、輸出之間的關系,進而有效處理序列信息.基于仿真數據和實際數據的實驗表明,該方法在配電網不同設備故障識別任務中準確率明顯優于其余幾種常用分類方法,推進了配電網智能化進程.