基于HMM的通信流量異常檢測

張天雄

摘 要：選用HMM在原模型的基礎上針對算法下溢、概率轉移矩陣過大、計算結果P（O|Ψ）值過小等問題分別進行優化。使用優化后的HMM對訓練集進行訓練，并根據訓練結果，調整部分參數使模型正確率得到提高。實驗結果證明HMM在通信流量時間序列異常檢測方面效果更好。HMM作為異常檢測的基本算法，因其不需要針對每種類型的異常點分別進行優化，從而降低了復雜度，且對未知異常值也有一定的檢測能力。

關鍵詞：異常檢測； HMM； 時間序列

Abstract： The optimized HMM is used to train the training set， and some parameters are adjusted to improve the accuracy of the model according to the training results. The experimental results show that the accuracy of HMM is better than that of ARIMA model. As the basic algorithm of anomaly detection， HMM reduces the complexity because it does not need to optimize the exception point for each type， and also has certain detection ability for the unknown outliers. This paper uses distributed Euclidean distance algorithm， distributed ARIMA optimization model and distributed HMM optimization model to detect abnormal test set data. In order to compare the differences of distributed algorithms， a comparative experiment is designed and implemented.

Key words： anomaly detection； Hidden Markov Model； Time series

引言

一直以來，通信流量數據的分析是一個熱門話題，很多網絡管理人員都很注重通信流量的異常檢測。在很多大公司以及企業中，主機的通信流量異常可直接作為檢測主機通信故障的依據。因此，如何快速發現和定位主機通信流量中的異常成為時下的一個熱門研究課題。近年來有些研究人員提出了一種新的主機通信流量異常檢測方法，該方法的原理是通過一定的方法將時域流量信息轉變到頻域，并根據頻域的特征來進行異常檢測[1-2]。也有研究人員提出可以利用小波分析理論的結果來進行通信流量異常檢測，實質上該結果為類異常檢測的結果。但該理論有其局限性，因為使用的算法實現起來極其復雜，所以在處理海量數據實時計算方面效果不盡人意。除了域變換的方法，也有研究人員提出可以利用通信流量數據自相似性的特征來進行異常流量檢測，根據流量的參數變化情況來判斷該時刻是否出現異常。但是這種方法準確性不是很穩定，在網絡繁忙且樣本量大的時候檢測結果較為準確，而當網絡處于空閑時段時，由于流量的自相似性不強，其精度會有所下降[3]。

1 HMM模型及算法研究

應用HMM異常檢測的一般步驟可以分為以下4點[4-5]：

（1）對數據進行標準化處理，可以使用Min-Max或者Z-Score標準化方法。

（2）構建HMM，初始化模型。

（3）反復訓練確定模型參數以及閾值。

（4）檢測測試集，給出分析檢驗結果。HMM異常檢測步驟如圖1所示。

在時間序列的異常檢測中引入五元組的HMM，Ψ=（S，O，A，B，π）。異常檢測中狀態有2個值0或1，0為正常狀態，1為異常狀態。

其中：S為馬爾科夫鏈中的狀態數；O為觀察值集合；A為狀態轉移矩陣；B為給定狀態下觀察值概率矩陣；π為初始化概率。

基于HMM的異常檢測方法在對訓練集數據學習時使用的是Baum-Welch算法和Viterbi算法，異常檢測時使用的是前向算法。

1.1 數據預處理

本文使用的數據是主機通信流量數據，其中異常點均有標注。將數據存儲于MySQL中，通信流量序列的每點之間的時間間隔為5 s，即在樣本采集時每隔5 s采集一次通信流量值。主要內容是類似于（20151028142645，520 697）這樣的鍵值對，該組數據表示2015年10月28日14時26分45秒時該主機的通信流量為520 697。由于通信流量數據是周期性變化的數據，如圖2所示，通過觀察數據的特征以及異常值的分布情況，發現其異常點均在峰值時出現。

圖2為使用部分數據繪制的通信流量時序圖，可以明顯觀察到數據具有周期性的特點，并且通過觀察被標為異常的點，會發現異常值均出現在波峰的位置，即黑色實線以上部分。

在Viterbi算法中，也會出現算法下溢的情況，在連續相乘之后，用于判斷是否為最優序列的P（O|Ψ）值會越來越小，因為該值僅代表一個衡量的標準，并不代表真實的概率數值，所以將該值取對數后，再參與比較。

因為在該數據集中存在很多種不同類別的異常點，例如：加性異常點、水平位移異常點、革新異常點、暫時變化異常點以及組合異常點，而異常點所占的比例很小，大概為1.8%左右。如果對每一種異常點單獨建立模型的話樣本數量是遠遠不夠的，因此這里假設訓練集中的點均為正常點，僅對正常點建模，模型建好之后，只要確定該模型的一個合適的閾值，使用這個閾值來區分正常點和異常點即可。在本次實驗的建模過程中不對異常點和正常點進行區分。

假定為理想狀態，序列中無異常值，那么初始狀態轉移矩陣A（°）{0， 1， 1， 0}。 表示不管當前為何種狀態，下一步均跳轉到正常態。那么初始概率分布為π{1，0}， 表示100%的正常點。

本文采用的數據為訓練集數據。訓練的過程是先初始化模型，然后使用Viterbi算法求得第一次計算后的狀態序列，再經過Baum-Welch算法求得第一次計算后的五元組模型參數，最后經過重估公式的判斷，進行迭代運算，求得最優五元組模型，建模步驟如圖4所示。

s

2 實驗

對于窗口大小和閾值的選擇，使用訓練集數據做出如下實驗。為了找到合適大小的閾值，用五組只包含正常點的序列和五組只包含異常點的序列進行實驗，計算每個序列的平均P（O|Ψ）值。考慮到在數據集中異常值所占比例極小，序列長度不宜選擇過長，所以這里選取觀察序列長度為L=10的固定長度序列，見表2，其中W為窗口寬度。

通過觀察全部為正常點序列的實驗結果，可以發現正常序列與異常序列之間存在明顯的閾值，全部為正常點序列的平均值均在0.055以上，所以得到結論：在使用該模型對通信流量時間序列數據進行異常檢測的時候，計算某段待測序列的平均P（O|Ψ）值，如果P（O|Ψ）>0.055，說明該序列為正常序列，反之為異常序列，即該序列中包含異常點。

對于滑動窗口大小的選擇，由于HMM計算量比較大，同時會占用很大的內存空間。本文中，采用列舉的方法，通過比較檢出率來尋找適當的窗口的寬度值。見表3，其中L為觀察序列長度，W為滑動窗口寬度。

可以看出，L對實驗的影響不大，檢出率隨著W增大而略有增大，但由于實際問題中的計算量會比較大，所以選擇窗口大小因實際需求而定。

通過實驗結果來看HMM效果很好，正確率在90%以上，HMM作為異常檢測的基本算法，其不需要針對每種類型的異常點分別進行優化，即降低了復雜度，且對未知異常值也有一定的檢測能力。

3 結束語

本文主要工作是構建HMM，根據數據特點采取優化方案以及調整參數。HMM首先使用的是Baum-Welch算法和Viterbi算法對訓練集數據進行訓練，對訓練中出現的算法下溢和概率矩陣過大等問題，分別采取了相應的優化方法。通過訓練計算出模型的最佳參數，確定五元組模型Ψ=（S，O，A，B，π）。在對通信流量時間序列數據異常監測部分，使用前向算法，但由于其隨著觀測序列的不斷增加，計算量會越來越大，并且其計算結果會越來越小，這不利于對異常點做出判斷，所以采用添加滑動窗口的方法來固定序列長度。通過對訓練集數據進行訓練，調整閾值和窗口寬度，使模型的正確率得到提升。

參考文獻

[1] 劉文. 海量時間序列數據處理的關鍵技術研究[D]. 大連：大連理工大學，2017.

[2] 宋若寧. 海量數據環境下的網絡流量異常檢測的研究[D]. 北京：北京郵電大學，2015.

[3] 馬衛，熊偉. 基于協同神經網絡的網絡流量異常檢測[J]. 華中師范大學學報（自然科學版），2012，46（5）：537-539，568.

[4] 蒲天銀，秦拯. 基于Netflow的流量異常檢測技術研究[J]. 計算機與數字工程，2009，37（7）：115-118.

[5] LANE T D. Machine learning techniques for the computer security domain of anomaly detection[M]. Indiana， USA： Purdue University，2000.