基于GRU神經網絡的電網告警信息分類研究?

徐家慧 張 昊 肖林朋 何 慧 張 宇 耿 艷 周雅爽

（1.南瑞集團（國網電力科學研究院）有限公司 南京 211100）（2.北京科東電力控制系統有限責任公司 北京 100192）

（3.國網冀北電力有限公司 北京 100053）（4.華北電力大學 北京 102206）

1 引言

多年來，我國電網輸變電設備運檢模式主要是依據相應章程進行按期排查以及檢修［1］。但此種模式存在種種弊端如過渡維修、維修不足等，不僅帶來資源浪費，而且使得電力設備的可靠供電大打折扣，并且還存在增加設備隱患的可能性。隨著電力系統規模的不斷擴大，大型變電站的數量逐步增加，其自動化程度也越來越高，對變電站后臺監控系統的要求更是日益上升［2］，主要體現在其告警信息處理能力上［3］。遙信是將被監視廠站的設備狀態信號遠距離傳給調度，通常用于測量開關的位置、變壓器內部故障、保護裝置的動作、通信設備運行狀況等［4］。這些信息均以自然語言的形式記錄，為分析這些告警信息對電網的影響程度，首先要對其進行基本的屬性分類。目前，變電站后臺監控系統存在的主要問題主要是缺乏對豐富的信息量的進一步處理，監控系統采集到各種模擬量、開關量信息后，只簡單依照時間次序顯示，沒有做進一步的分析判斷［5］。

機器學習領域包含了很多較為成熟且可以解決文本分類問題的算法，目前流行的有支持向量（SVM）［6～7］、K-近鄰法（KNN）［8］、樸素貝葉斯［9］、決策樹［10］等方法。這些方法也可以分為三大類：有監督學習、無監督學習和半監督學習。唐慧豐等人詳細研究了中文情感分類問題，并對目前的有監督學習方法做了對比分析［11］；李婷婷等從文本數據中人工構建若干特征，再利用傳統的機器學習方法進行文本分類［12］；李榮陸等利用最大嫡模型實現了中文文本分類［13］。相比于傳統的機器學習算法，深度學習可以通過加深模型層級數量模擬人腦的信息處理過程，從而能夠在輸入的特征中進一步提取出更加抽象的層級特征，使得模型最終分類時所依賴的信息更加可靠。

本文開發了基于電網監控數據的設備風險運行評估系統，系統結構圖如圖1 所示。首先將收集到的設備故障指標導入系統，形成了設備故障指標體系；然后對告警信號進行預處理及語義分析操作；最后提出了一種電網告警信息分類模型，通過GRU 神經網絡將信號按照其對電網影響程度大小進行分類。

2 電網監控數據語義分析

2.1 電網監控數據描述

電網監控數據主要包括電網目前是否正常運行，異常元件及其動作的信息等。告警信息按照其對電網的影響程度可分為五類：異常、事故、越限、變位、告知。其中，告知信號是提示類信息，不影響系統的正常運行，調度運行人員將重點放在異常、事故、越限、變位4 類上。事故及異常信號是需實時監控、立即處理的重要信號；越限信號主要反映遙測量超出報警的上下限區間；變位是需實時監控的重要信息。遙信信號通過自然語言描述表達電網的告警信息，是電網故障診斷的基礎數據，表示電網內部產生故障或出現異常情況。遙信信號主要分為異常、事故、變位、告知四類，地區電網可采集的遙信信息往往會多達數萬條甚至幾十萬條。

圖1 設備風險運行評估系統結構圖

2.2 數據預處理

以某電網近五年來的遙信信號為例，共包含3萬條記錄，經過剔除無效樣本、人工標注日志類別、分詞、過濾停用詞等數據預處理步驟后，分為變位、告知、事故、異常四類類別，共27793 條有效數據。將文本數據以及停用詞詞庫導入系統，并通過結巴分詞的進行預處理。例如一條標簽為“異?！钡母婢畔ⅲ骸皩挾级€CSC 縱聯電流差動保護裝置通信中斷”，預處理結果為“CSC 縱聯電流差動保護裝置通信中斷”。

2.3 語義分析

Word2vec 能夠將文本詞語轉化為向量空間中的向量，而向量的相似度可以表示文本語義的相似度。Word2vec 包含CBOW 和Skip-Gram 兩種訓練模 型［14］。 本 文 采 用 的 是Skip-Gram 模 型 ，Skip-Gram 模型認為相似的詞語具有相似的上下文語境，它使用一個大小為2l+1 的滑動窗口來對輸入文本進行處理。在每個滑動窗口中，模型使用窗口最中間的詞wk來預測它的上下文詞匯wk-l，wk-l+1，…，wk+l，如圖2所示。

Skip-Gram 使用一個優化的神經網絡模型來訓練詞向量，它使用的神經網絡只有三層結構：輸入層，投影層，輸出層［15］。其中輸入層與傳統的神經網絡有所不同，輸入的節點不再是一個標量值，而是一個向量，向量的每一個值為實數，訓練過程中要對其更新，這個向量就是每一個詞匯所對應的詞嵌入（Word Embedding）。對于詞匯量為N的語料，Skip-Gram 訓練得到的詞匯向量結果集是一個矩陣Md×N，其中d是結果向量的維數。M 的第k列向量ewk即為詞匯的詞向量。wk上下文wk+j出現的概率可用Softmax函數計算，如式（1）。對于整個語料數據，Skip-Gram 的目標是最大化公式（2）中的目標函數。

其中，θ是要學習的參數，j∈[-l，l]，為輸入向量，是輸出向量。

圖2 Skip-Gram模型結構圖

遙信信號經過預處理之后利用Skip-Gram 模型進行計算，結果可作為告警信息分類算法的輸入。圖3 為文本分析的二維語義空間展示，在語義空間中的坐標距離越近，表明它們在日志中上下文越相像。

圖3 二維空間中的語義相似度計算結果展示

3 電網告警信息分類模型

3.1 GRU神經網絡

隨著深度學習的研究和應用的興起，研究者提出了將LSTM 神經網絡應用于分類的方法，這種方法可以自動學習特征，有效建模長距離依賴信息，但是該模型較復雜，并存在著模型訓練和預測時間長的缺陷。Cho，et al.于2014 年提出GRU 神經網絡，旨在解決該問題，雖然GRU 如今應用不是很廣泛，但該方法繼承了LSTM 模型可自動學習wk特征，并能有效建模長距離依賴信息的優點，不僅在速度上有顯著提升，且具有與LSTM 神經網絡中文分詞相當的性能［16］。

GRU 神經元中僅包含兩個門結構：更新門和重置門，GRU 網絡結構如圖4 所示。對于更新門zt，取值越大表示當前神經元的要保留的信息越多，而上一個神經元的要保留的信息越少。對于重置門rt，當等式取值為0 時，表示要拋棄上一個神經元傳來的信息，即只要當前神經元的輸入作為輸入，這樣就可以使當前的神經元拋棄一些上一個神經元無用的信息。

圖4 GRU神經元結構圖

式（3）～（6）為GRU 神經網絡的神經元數學表達公式。其中，zt表示更新門（Update Gate），rt表示重置門（Reset Gate），ht-1表示上一個神經元的輸出，xt表示本次神經元的輸入，Wz表示更新門的權重，Wr表示重置門的權重，σ表示Sigmoid 函數，ht表示本次神經元的輸出值，h表示本次神經元中待定的輸出值。

為驗證GRU 神經網絡模型的分類效果，本文與以下兩種模型進行實驗對比。

1）支持向量機（Support Vector Machine，SVM）

SVM是一種二分類的模型，其基本模型是在特征空間中定義了間隔最大的線性分類器。SVM 的學習策略是使間隔最大化，可形式化為求解凸二次規劃問題，相當于正則化的合頁損失函數的最小化問題［4］。

2）K最近鄰（K-Nearest Neighbor，KNN）

KNN 是最簡單的機器學習算法之一，也是理論上較為成熟的方法。該方法思路是如果一個樣本在特征空間中有K 個最鄰近的樣本，且這些鄰近樣本中的大多數屬于某一類別，那么該樣本也屬于這個類別［5］。

3.2 實驗與分析

3.2.1 實驗設計與評價指標

將5000 條告警信號分為訓練集數據和測試集數據，比例為9：1。首先對數據進行剔除無效樣本、人工標注日志類別、分詞、過濾停用詞等預處理操作；然后由上一步的分詞結果作為Skip-Gram 模型的輸入，進行詞向量的訓練；最后將得到的詞向量作為GRU 神經網絡模型的輸入，進行訓練得到電網告警信息分類模型。使用測試集數據對模型進行結果驗證，并利用SVM、KNN模型驗證GRU神經網絡的效果。

完成分類后，使用混淆矩陣對結果進行評估，如表1 所示。混淆矩陣通過將模型預測的結果與測試數據進行對比，使用準確率（P），召回率（R）和度量值（F1）指標對模型的分類效果進行評估，指標計算方法如式（7）～（9）。

表1 混淆矩陣

3.2.2 實驗結果與分析

表2 為三種模型的告警信息分類結果。實驗結果表明，KNN 在短文本分類中準確率較低，GRU較SVM、KNN模型有較好的準確率，并且GRU要訓練的參數少，在收斂的時間和需要訓練的數據量上，也會更勝一籌，同時實驗也驗證了GRU 神經網絡結構在電力設備風險運行評估領域的適用性。

表2 告警信息分類結果

4 結語

本文開發了電力設備風險運行評估系統，并在其基礎上提出了電網告警信息分類模型。首先建立故障指標體系，然后對報警信號進行預處理，使用Skip-Gram 模型對報警信號進行訓練，得到詞向量后，將其用于GRU 神經網絡分類，共分為變位、告知、事故、異常四類。實驗結果表明了電網告警信息分類模型的有效性，該模型進一步提高了電網監控的自動化程度，省去了人工分類所浪費的各類資源，每個類別對電網影響程度大小都不同，自動化分類之后可以按照其對電網影響程度采取不同的解決措施，對電網的安全穩定運行具有十分重要的意義。