融合統計方法和雙向卷積LSTM的多維時序數據異常檢測

摘 要： 通過數據分析進行異常檢測，有助于準確識別異常行為，從而提高服務質量和決策能力。然而，由于多維時序數據的時空依賴性以及異常事件發生的隨機性，現有方法仍然存在一定的局限性。針對上述問題，提出一種融合新型統計方法和雙向卷積LSTM的多維時序數據異常檢測方法MBCLE。該方法引入堆疊的中值濾波處理輸入數據中的點異常并平滑數據波動；設計雙向卷積長短期記憶網絡（Bi-ConvLSTM）和雙向長短期記憶網絡（Bi-LSTM）相結合的預測器進行數據建模和預測；通過雙向循環指數加權移動平均（BrEWMA）平滑預測誤差；使用動態閾值方法計算閾值以檢測上下文異常。實驗結果表明，MBCLE具有良好的檢測性能，各步驟均對性能提升有所貢獻。

關鍵詞： 多維時序數據； 異常檢測； 長短期記憶網絡； 中值濾波

中圖分類號： TP309"" 文獻標志碼： A

文章編號： 1001-3695（2022）05-013-1362-06

doi：10.19734/j.issn.1001-3695.2021.10.0451

Multi-dimensional time series data anomaly detection fusing statistical

methods and bidirectional convolutional LSTM

Xia Ying， Han Xingyu

（School of Computer Science amp; Technology， Chongqing University of Posts amp; Telecommunications， Chongqing 400065， China）

Abstract： Anomaly detection through data analysis helps to accurately identify abnormal behaviors，improving service quality and decision-making capabilities.However，due to the temporal and spatial dependence of multi-dimensional time series data and the randomness of abnormal events，the existing methods still have certain limitations.Regarding the issue above，this paper proposed a multi-dimensional time series data anomaly detection method MBCLE，which combined new statistical methods and bidirectional convolutional LSTM.The method introduced a stacked median filter to handle point anomalies in the input data and smooth data fluctuations，and designed a neural network predictor combining Bi-ConvLSTM and Bi-LSTM for data modeling and prediction.It smoothed the prediction errors using bidirectional recurrent exponentially weighted moving average（BrEWMA）.The method used dynamic threshold to calculate the threshold to detect contextual anomalies.The experimental results show that MBCLE has good detection performance and each step contributes to the performance improvement.

Key words： multi-dimensional time series data； anomaly detection； long short-term memory network； median filter

0 引言

異常檢測通常是指在特定場景下從特征、模式等角度檢測出與正常情況相比具有顯著差異的數據點或數據段［1］。在軍事、醫療、工業、金融、物聯網等領域中，數據普遍具有多維和時間序列特征［2，3］，對多維時間序列數據進行異常檢測是進行異常行為識別、故障診斷、預測分析、預警處置等信息服務的基礎，對維護系統穩定、提高生產效率、提升服務質量等具有重要意義［4］。但由于數據維度高、不同維度之間存在相關性、異常多樣性和隨機性等原因，對多維時間序列數據異常檢測方法的研究仍然面臨著一些挑戰。

近年來，時間序列數據異常檢測方法得到廣泛研究，現有的異常檢測算法大致可分為基于統計的方法、基于聚類的方法、基于距離的方法、基于密度的方法以及基于深度學習的方法等。周大鐲等人［5］使用基于距離的無監督異常檢測方法K近鄰檢測時間序列數據的異常點，但該方法依賴于k的取值，不能很好地適應大數據量的處理需求；Manevitz等人［6］提出一類支持向量機將正常數據視為一個類別來區分正常數據和異常數據，但該方法不能充分捕獲數據的時間相關性；Goldsein等人［7］提出基于直方圖的異常值檢測方法，該方法假設特征之間的獨立性，且能夠在不使用任何標簽的情況下檢測異常值，但異常檢測取決于數據在特定統計分布中生成的假設；Siffer等人［8］提出基于極值理論的單變量時間序列數據點異常檢測方法，能夠一定程度上改善閾值設置的局限性，但仍不能很好地適應數據規模大和數據維度高的處理需求［9］。

隨著人工神經網絡在不同領域的適應性不斷提高，越來越多基于深度學習的異常檢測技術應運而生。研究人員發現長短期記憶網絡（long-short term memory，LSTM）在單變量時間序列數據異常檢測領域具有很好的效果，通過在正常數據上訓練LSTM［10～12］，將其作為預測器，對預測誤差進行建模以檢測點異常，即真實值與預測值相差很大的點被識別為異常值。Hundman等人［13］提出基于預測的無監督單通道長短期記憶網絡（SC-LSTM），預測多維航天器運行數據并檢測每個維度的異常序列，同時提出動態閾值方法以確定每個維度的閾值，但是該方法沒有考慮維度間的相關性，且對上下文異常的檢測性能有待提高。Zheng等人［14］提出基于卷積神經網絡（convolutional neural networks，CNN）的多維時序數據分類方法，使用多通道深度CNN提取多維時間序列數據的特征，并根據特征將其分為正常序列和異常序列。但是分類器的精度往往會受數據集中數據分布的影響。衡紅軍等人［15］提出基于LSTM的自動編碼器與孤立森林（isolation forest，IF）相結合的多維時間序列數據異常點檢測算法，自動編碼器提取數據特征并重構數據用以突出異常點，孤立森林進行異常檢測。但是基于LSTM的自動編碼器模型在解碼長序列時可能出現錯誤累積，影響異常檢測精度，且當數據維度過高時會降低孤立森林方法的異常檢測性能。Zheng等人［16］提出基于注意力的卷積LSTM（convolutional LSTM）結合雙向LSTM（Bi-LSTM）的方法，通過提取數據時空特征預測交通流量。Tariq等人［17］提出聯合多維卷積LSTM與混合概率主成分分析（mixed probability principal component analysis，MPPCA）的多通道方法檢測航天器運行中的異常。

現有的異常檢測方法大多側重于檢測點異常，為了能夠檢測數據中的多種異常類型同時提高異常檢測精度，本文在現有研究基礎上提出多維時間序列數據異常檢測方法MBCLE（fusing stacked median filter，bidirectional ConvLSTM-bidirectional LSTM and BrEWMA）。該方法改進傳統的中值濾波方法，使用堆疊的滑動窗口平滑數據波動并檢測數據中的點異常；設計Bi-ConvLSTM和Bi-LSTM相結合的多變量神經網絡預測器，在減少模型訓練參數的基礎上提高對多維時間序列數據的時間和空間特征學習能力，對數據的所有維度進行同步預測；同時為避免預測誤差導致的異常檢測性能下降，對傳統的指數加權移動平均方法進行改進，使用不同權重系數對預測誤差進行雙向循環處理，在保留異常誤差序列的基礎上平滑正常誤差序列；最后使用動態閾值方法分別計算平滑誤差序列中每個維度的閾值，以檢測上下文異常。

3.4 結果分析

為驗證MBCLE的有效性，在Yahoo Webscope的A2子數據集上與其他三種基于預測的異常檢測方法進行比較，如下所示：a）LSTM［12］，使用單層LSTM與固定閾值的異常檢測方法；b）SC-LSTM［13］，融合堆疊的LSTM與傳統EWMA的單通道異常檢測方法并使用動態閾值檢測異常；c）CL-MPPCA［17］，融合堆疊的ConvLSTM與MPPCA的多通道異常檢測方法，同時使用傳統EWMA和動態閾值檢測異常。實驗首先比較MBCLE與其他方法的數據預測和異常檢測性能。同時對每個步驟進行消融實驗，驗證MBCLE中每個步驟的可行性。

3.4.1 預測器性能分析

為體現公平性，本文將提出的堆疊MF運用到其他對比方法中進行數據預處理，并使用相同的迭代訓練次數。在訓練過程中，MBCLE選擇Adam優化器作為優化技術，損失函數選擇MSE。不同之處在于LSTM、SC-LSTM和MBCLE的輸入序列長度ls以及預測輸出序列lp長度為30，而單步預測方法CL-MPPCA的輸出序列lp長度為1。表2顯示了使用堆疊MF和不使用堆疊MF的所有方法的MAE、MSE和RMSE值，可以看出，使用了堆疊MF預處理器后的預測結果均優于不使用堆疊MF預處理器的預測結果，說明堆疊MF可以有效地提高預測精度。

表2還顯示了MBCLE要優于CL-MPPCA，MAE、MSE和RMSE分別提高了21.95%、50%和16.07%，這表明基于Bi-ConvLSTM和Bi-LSTM的方法能夠更好地提取時間序列數據中的時空和周期性特征并生成建模預測。此外，由于LSTM對上下文異常不敏感的局限性，導致生成的預測序列不僅能與真實序列中的正常數據重疊，也能與真實序列中的上下文異常數據重疊，使得異常檢測方法不能有效檢測出上下文異常，因此LSTM和SC-LSTM的三種評價指標均低于CL-MPPCA和MBCLE。

3.4.2 異常檢測性能分析

本節對提出方法的異常檢測性能進行實驗評估。表3顯示了不同異常檢測方法的精確率、召回率和F1分數。從表3中可以看出，由于LSTM對上下文異常不敏感的局限性，生成的預測序列受到了上下文異常序列的影響，導致LSTM和SC-LSTM方法無法檢測到大部分上下文異常，因此召回率較低，僅有0.38和0.433 3。相反，這兩種方法的準確性較高，分別為0.662 8和0.725 3，這意味著基于LSTM的方法能夠檢測到測試集中大部分的點異常，但是整體異常檢測性能較差，導致F1分數僅有0.483 1和0.565 8。由于基于預測的方法是使用訓練模型生成數據預測，所以異常檢測精度受其訓練數據集質量的限制。然而LSTM和SC-LSTM方法并沒有數據預處理步驟，訓練集中的異常數據會被納入模型中進行訓練，這會進一步影響異常檢測的性能。

從表3可以看出，使用了與SC-LSTM相同的平滑誤差與動態閾值計算方法的CL-MPPCA，該方法使用堆疊的ConvLSTM結合MPPCA提取多維時間序列數據的時空相關性特征并生成預測，與SC-LSTM相比進一步提高了異常檢測能力，尤其是上下文異常，三種評價指標的值為0.833 2、0.860 9和0.846 8，分別提高了12.95%、49.67%和33.18%。而MBCLE的優勢在于其對多維時間序列中正常周期性和趨勢行為的預測，以及誤差平滑效果更優秀的BrEWMA，使得MBCLE能夠更精確地檢測測試集中偏離正常行為的異常數據。因此，在所有評估方法中MBCLE表現最佳，與最佳對比方法CL-MPPCA相比，精確率、召回率和F1分數分別提高了3.5%、7.2%和5.3%。

3.4.3 消融實驗

本節對MBCLE進行消融實驗，分析所提方法中各步驟的貢獻。表4顯示了在相同數據集上的實驗結果，其中M表示堆疊MF，E表示BrEWMA，BL表示Bi-LSTM。首先，分別從MBCLE中刪除堆疊MF和使用LSTM代替Bi-LSTM得到MBCLE-nM和MBCLE-nBL；其次，在MBCLE-nM的基礎上刪除BrEWMA得到MBCLE-nM-nE，這意味著模型僅使用原始數據建模預測得到的預測誤差計算動態閾值；然后，使用SC-LSTM中的堆疊LSTM代替本文提出的Bi-ConvLSTM-Bi-LSTM預測器得到LSTM-nM-nE；最后，使用完整的MBCLE作對比。

由表4可以看出，使用LSTM作為輔助模塊的MBCLE-nBL較MBCLE的檢測性能有所下降，這是因為使用了后向訓練層的Bi-LSTM改善了模型的長期依賴關系，充分利用了過去和未來的輸入數據特征，提高了模型預測的準確性。同時，刪除了堆疊MF的MBCLE-nM的評價指標均有明顯下降，是因為原始數據中的波動和異常降低了神經網絡預測性能，使用堆疊MF處理后的數據與原始數據的對比如圖9（a）所示，可以看出處理后的數據在不改變數據行為趨勢的情況下消除了點異常并平滑了數據波動，這一結果表明，堆疊MF具有很好的數據預處理能力。

由表4可知，刪除了BrEWMA的MBCLE-nM-nE的精確率有較為明顯的降低，原因是未經平滑的原始預測誤差會影響動態閾值的選擇，使得原本的正常數據被標記為異常，造成了過多的假陽性率。圖9（b）為原始預測誤差與BrEWMA的平滑處理結果對比，可以看出BrEWMA在保留了異常誤差序列的同時平滑了多個誤差尖峰。從表4中還可以看出，LSTM-nM-nE與MBCLE-nM-nE相比精確率有所提高，但F1分數進一步下降，原因是LSTM很難從未經平滑的原始數據中提取深層特征，導致預測誤差較大，進而影響動態閾值的選取。

消融實驗結果表明，本文針對多維時間序列數據異常檢測所提出的堆疊MF、雙向循環指數加權移動平均和神經網絡預測器均可有效提升檢測性能。

4 結束語

為進一步提高多維時間序列數據中針對不同異常類型的檢測精度，本文提出一種融合新型統計方法和雙向卷積長短期記憶網絡的多維時間序列數據異常檢測方法MBCLE，該方法通過提取預處理數據的時空和周期性特征并生成數據預測，結合BrEWMA平滑預測誤差以檢測異常。實驗結果表明，MBCLE在檢測精度方面優于對比方法。未來的工作主要考慮以下兩個方面：a）本文方法是無監督方法，引入相關領域的先驗知識或者異常標簽可能有益于性能提升；b）探索超參數選擇和優化、在線訓練等技術，進一步提高異常檢測精度和效率。

參考文獻：

［1］Kong Fanhui，Li Jianqiang，Jiang Bin，et al.Integrated generative model for industrial anomaly detection via bi-directional LSTM and attention mechanism［J/OL］.IEEE Trans on Industrial Informatics.（2021-05-07）.https：//doi.org/10.1109/TII.2021.3078192.

［2］Habeeb R A A，Nasaruddin F，Gani A，et al.Real-time big data processing for anomaly detection：a survey［J］.International Journal of Information Management，2019，45（4）：289-307.

［3］Chalapathy R，Chawla S.Deep learning for anomaly detection：a survey［EB/OL］.（2019-01-23）.https：//arxiv.org/pdf/1901.03407v2.pdf.

［4］Oliveira J C M，Pontes K V，Sartori I，et al.Fault detection and diagnosis in dynamic systems using weightless neural networks［J］.Expert Systems with Applications，2017，84（10）：200-219.

［5］周大鐲，劉月芬，馬文秀.時間序列異常檢測［J］.計算機工程與應用，2008，44（35）：145-147. （Zhou Dazhuo，Liu Yuefen，Ma Wen-xiu.Effective time series outlier detection algorithm based on segmentation［J］.Computer Engineering and Applications，2008，44（35）：145-147.）

［6］Manevitz L M，Yousef M.One-class SVMs for document classification［J］.Journal of machine Learning research，2001，2（3）：139-154.

［7］Goldstein M，Uchida S.A comparative evaluation of unsupervised anomaly detection algorithms for multivariate data［J］.PLoS One，2016，11（4）：e0152173.

［8］Siffer A，Fouque P A，Termier A，et al.Anomaly detection in streams with extreme value theory［C］//Proc of the 23rd International Confe-rence on Knowledge Discovery and Data Mining.New York：ACM Press，2017：1067-1075.

［9］李貝貝，彭力，戴菲菲.結合馬氏距離和自編碼器的網絡流量異常檢測［J］.計算機工程，2022，48（4）：133-142. （Li Beibei，Peng Li，Dai Feifei.Network traffic anomaly detection combining Mahalanobis distance and autoencoder［J］.Computer Engineering，2022，48（4）：133-142.）

［10］Malhotra P，Vig L，Shroff G，et al.Long short term memory networks for anomaly detection in time series［C］//Proc of European Sympo-sium on Artificial Neural Networks，Computational Intelligence and Machine Learning.2015：89-94.

［11］Zhang Minghu，Guo Jianwen，Li Xin，et al.Data-driven anomaly detection approach for time-series streaming data［J］.Sensors，2020，20（19）：article No.5646.

［12］Kim T Y，Cho S B.Web traffic anomaly detection using C-LSTM neural networks［J］.Expert Systems with Applications，2018，106（9）：66-76.

［13］Hundman K，Constantinou V，Laporte C，et al.Detecting spacecraft anomalies using LSTMs and nonparametric dynamic thresholding［C］//Proc of the 24th International Conference on Knowledge Discovery amp; Data Mining.New York：ACM Press，2018：387-395.

［14］Zheng Yi，Liu Qi，Chen Enhong，et al.Time series classification using multi-channels deep convolutional neural networks［C］//Proc of International Conference on Web-Age Information Management.Cham：Springer，2014：298-310.

［15］衡紅軍，劉靜.基于混合方法的多維時間序列駕駛異常點檢測［J］.計算機工程，2020，46（3）：99-104. （Heng Hongjun，Liu Jing.Driving outlier detection using multidimensional time series based on hybrid methods［J］.Computer Engineering，2020，46（3）：99-104.）

［16］Zheng Haifeng，Lin Feng，Feng Xinxin，et al.A hybrid deep learning model with attention-based conv-LSTM networks for short-term traffic flow prediction［J］.IEEE Trans on Intelligent Transportation Systems，2020，22（11）：6910-6920.

［17］Tariq S，Lee S，Shin Y，et al.Detecting anomalies in space using multivariate convolutional LSTM with mixtures of probabilistic PCA［C］//Proc of the 25th International Conference on Knowledge Discovery amp; Data Mining.New York：ACM Press，2019：2123-2133.

［18］Zhang Haofan，Nian Ke，Coleman T F，et al.Spectral ranking and unsupervised feature selection for point，collective，and contextual anomaly detection［J］.International Journal of Data Science and Analytics，2020，9（1）：57-75.

［19］Chandola V，Banerjee A，Kumar V.Anomaly detection：a survey［J］.ACM Computing Surveys，2009，41（3）：article No.15.

［20］Ma Chunbo，Lyu Xuewei，Ao Jun.Difference based median filter for removal of random value impulse noise in images［J］.Multimedia Tools and Applications，2019，78（1）：1131-1148.

［21］Zhang Minghu，Li Xin，Wang Lili.An adaptive outlier detection and processing approach towards time series sensor data［J］.IEEE Access，2019，7：175192-175212.

［22］Shi Xingjian，Chen Zhourong，Wang Hao，et al.Convolutional LSTM network：a machine learning approach for precipitation nowcasting［C］//Proc of the 28th International Conference on Neural Information Processing Systems.Cambridge MA：MIT Press，2015：802-810.

［23］Riaz M，Abbas Z，Nazir H Z，et al.On designing a progressive EWMA structure for an efficient monitoring of silicate enactment in hard bake processes［J］.Arabian Journal for Science and Engineering，2021，46（2）：1743-1760.

［24］Raza H，Prasad G，Li Yuhua.EWMA model based shift-detection methods for detecting covariate shifts in non-stationary environments［J］.Pattern Recognition，2015，48（3）：659-669.

［25］Theumer P，Zeiser R，Trauner L，et al.Anomaly detection on industrial time series for retaining energy efficiency［J］.Procedia CIRP，2021，99：33-38.

［26］Song Hongmei，Wang Wenguan，Zhao Sanyuan，et al.Pyramid dilated deeper ConvLSTM for video salient object detection［C］//Proc of the 15th European Conference on Computer Vision.Cham：Springer，2018：744-760.

［27］宋宇，李治霖，程超.基于CNN-BILSTM的工業控制系統ARP攻擊入侵檢測方法［J］.計算機應用研究，2020，37（S2）：242-244. （Song Yu，Li Zhilin，Cheng Chao.Intrusion detection method of ARP attack in industrial control system based on CNN-BILSTM［J］.Application Research of Computers，2020，37（S2）：242-244.）

［28］霍緯綱，王慧芳.基于自編碼器和隱馬爾可夫模型的時間序列異常檢測方法［J］.計算機應用，2020，40（5）：1329-1334. （Huo Weigang，Wang Huifang.Time series anomaly detection method based on autoencoder and hidden Markov model［J］.Journal of Computer Applications，2020，40（5）：1329-1334.）