電網信息運維監控數據異常檢測技術

向華偉 王林 呂垚 何映軍

摘 要：隨著電力企業業務及相關應用數量的逐年攀升，運維數據量的爆炸式增長給以運維數據異常檢測為首的電網信息運維監控分析帶來了嚴峻的挑戰。在大數據分析與挖掘飛速發展的驅動下，結合長短時記憶神經網絡的變量異常檢測技術可以滿足電網信息運維監控數據普遍存在的異常檢測需求，達到減少電網信息運維成本的目的，而這一異常檢測流程的可行性、可靠性與準確性也在電網實際運行過程中的服務器流量數據集上得到驗證。

關鍵詞：大數據分析;深度學習;長短時記憶神經網絡;電網信息運維監控;異常檢測

中圖分類號：TM76 文獻標識碼：A 文章編號：1671-2064（2019）18-0157-02

0 引言

電力信息網絡作為電網公司信息系統的主要核心組成部分，則是確保電網能夠在合理有序的監控下穩定運行的重中之重[1]。由于目前電網領域下的IT運維監控系統在設計過程中往往由于考慮不足而出現故障報警信息雜亂、報警不及時、報警不穩定以及故障定位信息不明等問題，甚至報警策略的設置存在邏輯性問題。針對這些現象及問題，本文基于電網場景下的海量信息運維監控數據，融合深度學習先進算法中的長短時記憶網絡（Long-Short Term Memory，LSTM），通過構建正常行為模型（Normal Behavior Model，NBM）對電網信息運維監控數據中待檢測序列的預測值與真實值之間的關系及變化情況進行分析的方式來檢測異常，使電網信息運維監控系統最終具備故障檢測能力，從而達到降低運維開銷的最終目的。

1 傳統電網IT運維數據管理系統現狀概述

電網場景中，隨著電力企業業務及相關應用數量的逐年攀升以及云計算、虛擬化、公司企業管理信息系統CSGII的推廣和建設，應用系統的復雜度和規模都在不斷的增長和變化，運維的數據量也呈現快速增長趨勢[2]。許多大型電力企業針對性開發的信息集中控制系統很大程度上解決了各類運維及監控系統采集數據間的接口規范和數據標準問題，從一定程度上實現了IT基礎監控數據的集中抽取和存儲，如電網針對數據共享、存儲、處理及分析等問題基于大數據技術開發IT運維數據管理系統[3]。但不可否認的是運維管理系統仍然殘存一些由于不同系統、不同類型數據融合問題而導致的數據整合與深度分析方面的不足，監控系統間的數據難以打通并進行有效的關聯分析，極大的阻礙了運維能力的提升和業務質量的有效保障。

2 運維監控數據驅動下的電網運維故障檢測技術

運維數據或監控數據從本質上來說都是具有時間信息的一系列數據，又稱時間序列，而有關異常（或故障）的出現往往是時間序列的變化情況偏離了原有的正常變化情況。

2.1 異常檢測技術

針對電網信息運維監控領域中存在的時間序列相關異常問題：如網絡流量異常、溫度過高或過低等電網信息運維過程中常見的各類異常現象或故障問題，本文設計了基于深度學習先進預測技術與統計過程控制分析相結合的異常檢測技術，該技術架構面向的異常檢測問題與時間因素密不可分，即異常在初期形成時可以在數據集中得以體現，且異常的發展是隨著時間的累積而愈發明顯，并不適用于突發類型異常的檢測：如突然的環境因素或人為因素導致的設備功能異常或損壞等形成與發展特別迅速的故障等。

2.2 數據預處理

在數據分析的基礎流程中，常見的數據預處理技術包括幾個主要步驟[4]：數據清理、數據集成、數據規約以及數據變換。而在當今電力企業所開發的信息集中控制系統中已經包括了數據集成的功能，因此需要針對電力行業的信息運維數據進行數據清洗，數據規約以及數據變換等幾方面的數據預處理工作。

2.2.1 數據清洗

時間序列數據中的數據清洗主要針對數據集中缺失的數據值進行處理：對于缺失的數據類型為整數或表示狀態的設備運行數據時，缺失值所對應的時間測的的整條數據均采取忽略刪去的方式進行處理;而對于實數型運維數據，則首先分析該數據是否呈對稱的分布形式，若是則采取前一段時間該數據的均值進行插補，反之則采用前一段時間該數據的中位數進行插補;而對于一些實際現場中記錄的一些線下文件數據的缺失，則視其在運維流程中的重要程度來決定是否需要進行人工問詢填補的方式進行處理。

2.2.2 數據規約

在時間序列數據進行分析前，可以通過適當的分析及處理方式對數據進行整合或刪減，從而達到在最大限度保持數據集原有相關特征的基礎上來盡可能的減小數據集的規模;另一方面，可以利用如典型相關分析（Canonical Correlation Analysis，CCA）或文獻[5]中所提出的針對多重分形交叉相關分析指數等變量相關性分析算法來判別兩個時間序列之間的相似性程度，以達到有效地從數據屬性維度進行數據規約。

2.2.3 數據變換

數據變換的目的是為了將數據預處理成適合進行數據分析的格式或狀態，其中最為重要的一點是數據規范化。無論是電網運維數據還是實際的運行數據，對于某一個時間序列而言，其最大值和最小值之間相差可能很大，這將會給諸如神經網絡等一系列算法的效果帶來較大的影響，因此大部分先進的數據分析算法都離不開數據的規范化。常見的規范化方法包括最大值最小值歸一化與Z-Score標準化等方法，其算法本質是通過線性或非線性的比例縮放，將數據從原來數值相差較大的區間映射到一個相差較小的區間中。在本文中選用的算法為Z-Score標準化方法，其具體變換映射公式定義如下：

xt= ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（1）

其中，xt和xt分別為變換映射前后時間序列中的第t個數據;μ和σ分別為變換前時間序列xt的均值及方差。即整個變換將原時間序列xt映射為均值為0，標準差為1的無量綱時間序列xt。

2.3 長短時記憶神經網絡LSTM

循環神經網絡（Recurrent Neural Network，RNN）作為深度學習算法的領頭羊之一，自被提出以來一直以十分優異的效果在深度學習領域的占據一席之地，但由于RNN本身沒有存儲單元來存儲和輸出信息[6]，促使了長短時記憶神經網絡LSTM的應運而生，其在變量預測與語義識別等基礎領域的成就更是不言而喻[7]，而其自身在不斷發展過程中也逐漸演變出許多變種以彌補不同情況下的不足，如文獻[8]中的門限循環單元（Gated Recurrent Unit，GRU）以及文獻[9]中的窺探卷積LSTM（Peephole Convolutional LSTM，PC-LSTM）等。

3 異常檢測示例——數據流量異常檢測分析

本文針對電力運維系統場景下的數據流量異常問題對電網信息運維監控中的數據異常檢測技術的有效性進行驗證。數據集具體包括諸如CPU利用率、內存使用情況等服務器正常運行數據及狀態信息共81個屬性，以及待進行異常分析檢測的服務器流量數據，數據采集間隔為10分鐘，經過數據清洗等數據預處理步驟之后的數據信息共計40560條。

對服務器流量數據異常檢測分析流程如下：在完成數據預處理后，首先將所有數據集按照時間先后順序以及6：1：3的比例劃分為訓練集，交叉驗證集以及測試集，其中訓練集和交叉驗證集僅包含服務器正常運作的數據，而測試集則既包括服務器正常數據，又包括異常的數據;之后基于訓練數據集中全部的81個屬性值通過訓練LSTM預測服務器流量這一變量的方式來構建服務器流量的正常行為模型，之后通過計算EWMA的上下控制界限來對數據的異常情況進行檢測，并通過交叉驗證數據集加以模型可靠性與準確性的驗證;最后將訓練好參數的模型直接應用到測試集上，從而通過算法能否在服務器流量異常這一問題出現時及時實現檢測功能來驗證算法的有效性與準確性。

4 結語

本文針對電網信息運維監控領域中目前存在的不足之處，針對性地提出了一種結合長短時記憶神經網絡LSTM電網信息運維監控數據異常檢測流程及算法，用于對電網信息運維監控領域中存在的時間序列異常問題進行檢測。通過利用實際電網運行過程中的服務器流量相關數據集的訓練及測試，成功的驗證了所提出方法的可行性、可靠性以及有效性，對電網信息運維成本的降低有著積極的指導意義。

參考文獻

[1] 郭創新，陸海波，俞斌，等.電力二次系統安全風險評估研究綜述[J].電網技術，2013（1）：112-118.

[2] 付林.自動化技術在電力企業IT運維中的應用[J].電子技術與軟件工程，2018（8）：141+149.

[3] 張雪堅，張榆，釧濤，等.基于大數據技術的IT運維數據管理系統構建方法[J].電子科技，2018（4）：84-86.

[4] 黃天立.面向動車組運維的多源數據預處理關鍵技術研究與實現[D].北京交通大學，2018.

[5] 田嬙.時間序列的相關性與相似性分析[D].北京交通大學，2016.

[6] 厙向陽，蘇學威.基于CNN和LSTM混合模型的人體跌倒行為研究[J/OL].計算機應用研究：1-5[2018-10-26].

[7] Wu Y，Schuster M，Chen Z，et al.Googles Neural Machine Translation System： Bridging the Gap between Human and Machine Translation[J].eprint arXiv，1609.08144， 09/2016.

[8] Cho K， Van Merrinboer B， Gulcehre C，et al.Learning phrase representations using RNN encoder-decoder for statistical machine translation[J].CoRR，2014：abs/1406. 1078.

[9] Xingjian S H I， Chen Z，Wang H，et al.Convolutional LSTM network： A machine learning approach for precipitation nowcasting[C].Advances in neural information processing systems，2015：802-810.