基于變分自編碼器的異常檢測算法研究

（杭州電子科技大學通信工程學院，浙江杭州 310018）

0 引言

在人們日常生活與生產中會生成海量數據，也會產生較多異常數據。這些異常數據不但無益，反而有害，易造成巨大經濟損失。因此，如何從海量數據中監控并檢測異常數據是亟待解決的重要問題。異常檢測指在數據中檢測出不符合期望行為的數據，異常數據在統計領域也被稱為偏差值或離群值，是指遠離大量正常數據點的數據［1］。產生異常的原因很多，比如由數據本身錯誤引起，或人為因素造成，這些異常往往蘊含著一些隱秘的行為信息。在金融尤其是互聯網金融領域［2］，高效準確的異常檢測系統能夠識別并預警用戶潛在的異常行為，控制金融風險，減少因為金融欺詐行為導致的經濟損失。此外，異常檢測還廣泛應用于網絡入侵檢測［3］、醫療圖像輔助病癥判斷［4］、工業設備異常監控［5］、智能安防監控［6］等領域，為各類系統的正常運轉提供重要支撐。因此，研究高效的異常檢測算法對眾多領域而言具有重要現實意義。

1 相關工作

針對異常檢測問題，J?rg［7］提出了局部異常因子算法（Local Outlier Factor，LOF），LOF 算法是一種經典的基于密度估計的異常檢測算法，其將數據點的可達距離、局部可達密度與其鄰域數據點進行比較，并計算局部離群因子評估數據異常程度，判斷數據是否屬于異常；Liu 等［8］提出孤立森林（Isolation Forest，IF）算法，其采用集成學習方式，通過二叉搜索樹對樣本進行孤立計算，并以此衡量樣本異常程度。異常點往往具有與正常點分離的特性，因此會被更快地孤立。

近年來，隨著數據維度的提高，深度神經網絡已經顯示出其優于傳統機器學習的優點。因此，越來越多研究人員開始利用深度學習進行異常檢測。Boracchi 等［9］提出一個基于稀疏表示的模型，通過共同監視數據的稀疏性表示和重構誤差以提高掃描電子顯微鏡圖像的異常檢測性能；杜辰飛等［10］提出一個基于稀疏自編碼器的異常檢測模型，輸入正常數據對稀疏自編碼器進行訓練和優化，然后基于測試數據的重構誤差檢測數據中的異常情況；Li 等［11］提出基于膠囊網絡的深度異常檢測算法，其使用膠囊網絡搭建編碼器和分類器，并基于預測概率和重建誤差對圖片數據進行異常檢測；丁建立等［12］采用自然語言處理常用的seq2seq 模型對數據進行建模，通過計算數據的重構誤差對廣播式自動監視數據進行異常檢測。

目前，異常檢測算法大多依賴于重建誤差或是重建概率等啟發式方法進行異常判斷。因此，本文在變分自編碼器［13］基礎上引入深度支持向量網絡，利用神經網絡壓縮特征空間，通過尋找最小超球體分離異常數據和正常數據，從而達到異常檢測目的。該方法擺脫了目前主流的基于重構誤差的異常檢測方法，而是基于數據特征的訓練優化進行異常檢測。

2 異常檢測模型

2.1 變分自編碼器

本文采用變分自編碼器作為異常檢測模型的特征提取網絡。變分自編碼器是一種基于變分推斷的有向概率圖模型，通過將深度學習與概率統計相結合，能夠學習到數據特征分布，是深度學習領域的一種重要模型。變分自編碼器的有向概率圖模型如圖1 所示。

Fig.1 The directed graphical model of the variational autoencoder圖1 變分自編碼器有向概率圖模型

圖1 中，實線代表生成觀察數據x 的過程。此時，數據邊緣概率分布pθ(x)如式（1）所示。

對于任意復雜的數據分布而言，邊緣概率分布pθ(x)很難計算。為了解決這一難題，變分自編碼器引入識別模型qφ(z|x)，也稱近似后驗，代替真正的后驗分布pθ(z|x)。在引入識別模型qφ(z|x)后，對數邊緣似然函數logpθ(x)如式（2）所示。

根據Jensen 不等式［14］，式（2）可以寫成式（3）。

其中，L(θ,φ; x)為對數似然函數通過變分推斷得到的變分下界（Evidence Lower Bound，ELBO），此時最大化變分下界等價于最大化對數似然函數。

在標準變分自編碼器中，近似后驗分布qφ(z|x)=N(z; μ,σ2I)符合高斯分布，先驗pθ(z)=N(z; 0,I)屬于標準高斯分布。正則化項可以由高斯分布的KL 散度公式進行計算，重構項可以使用蒙特卡洛采樣技巧進行近似評估，則變分下界可以寫為如式（4）所示。

2.2 深度支持向量網絡

支持向量數據描述（Support Vector Data Description，SVDD）是Tax 等［15］提出的一種在統計學理論基礎上發展起來的單值分類方法。異常檢測問題其實也是一種單值分類問題，可以將正常數據看作目標類數據，將各種異常數據均看作離群類數據，因此可以使用單值分類思想解決異常檢測問題。SVDD 的目標是在特征空間?k中找到中心c∈?k，半徑R＞0 的超球體，該超球體將大多數目標類數據包圍，以此分離目標類數據與所有非目標類數據。

假設輸入數據為x(i)∈{x(1),x(2),…,x(n)}，SVDD 在特征空間上尋找最優超球體的優化目標被定義為式（5）。

其中，R為超球體半徑，ξ(i)為松弛變量，懲罰參數ν∈(0,1)控制對離群點懲罰的權重，φ(x(i))為輸入x(i)在特征空間的映射，c 為超球體中心，‖φ(x(i))-c‖2為輸入x(i)在特征空間的映射到超球體中心c 的歐式距離。

受支持向量數據描述啟發，本文使用一種全新的方法進行異常檢測，通過訓練一個神經網絡將網絡輸出擬合到最小超球體中，以學習數據特征分布變化的共同因素。本文將深度支持向量網絡的目標定義為如式（6）所示。

其中，φ是神經網絡參數，φ(x(i);φ)是神經網絡輸入為x(i)的輸出，第2 項是L2 正則化項，L是神經網絡層數，φ(l)是第l層神經網絡參數，λ是正則化系數，該正則化項可以減少模型過擬合出現次數，提高模型泛化能力。

對于給定測試數據x'，根據測試數據經過神經網絡的輸出到超球體中心的距離，定義深度支持向量網絡的異常分數s(x')如式（7）所示。

2.3 異常檢測過程

在訓練階段構建并訓練變分自編碼器，通過訓練變分自編碼器得到正常類別數據的特征表示及特征的均值c。將均值c 作為超球體中心，構建并訓練深度支持向量網絡。在測試階段將測試數據輸入深度支持向量網絡，根據式（7）計算異常分數。異常檢測判斷公式如式（8）所示，當測試數據的異常分數小于閾值，說明該數據落在超球體之內，認為是正常數據；當測試數據的異常分數大于閾值，說明該數據落在超球體之外，認為是異常數據。

3 網絡模型

本文使用卷積神經網絡搭建變分自編碼器，其網絡結構如圖2 所示。在編碼器中，輸入圖像首先經過一層含64個卷積核大小為3×3、步長為1 的卷積層，激活函數使用非線性的ReLU 函數［16］。ReLU 函數作為激活函數可以避免出現梯度消失等問題，并加快模型收斂速度。池化層具有特征降維、減少模型參數、增大卷積核感受野等特點，但是池化層在進行下采樣操作時，容易丟失有價值的信息［17］。因此，本文使用含64 個卷積核大小為3×3、步長為2 的卷積層代替池化層進行下采樣操作，以保留圖片中的重要信息。級聯一層含128 個大小為3×3 卷積核的卷積層、步長為1 的卷積層，同樣使用含128 個卷積核大小為3×3、步長為2 的卷積層代替池化層；最后級聯含256 個卷積核大小為3×3 的卷積層、步長為1 以及含256 個卷積核大小為3×3、步長為2 的卷積層，再連接兩個全連接層，維數分別是2 304 和10。

解碼器中使用反卷積完成對特征的復原工作。解碼器在結構上與編碼器對稱，使用兩個維數分別是10 和2 304的全連接層，然后級聯3 層反卷積層，分別具有128 個、64個、1 個大小為3×3 的卷積核。與編碼器使用步長為2 的卷積層代替池化層類似，解碼器使用步長為2 的反卷積層代替上采樣。除最后一層反卷積使用Sigmoid 作為激活函數外，其余卷積層、反卷積層均使用ReLU 作為激活函數。

4 實驗結果分析

4.1 實驗配置及數據集

實驗采用Windows10 平臺下的Python3.6 編譯器。計算機參數配置為 Intel（R）Core（TM）i5-7300HQ@2.50GHzCPU，內存為8GB，使用的編程環境為TensorFlow和Keras，編程語言為Python。網絡使用正態分布隨機值初始化網絡參數，Batch Size 設置為100，使用Adam 優化器更新模型參數，學習率設置為0.000 1。

Fig.2 Network structure of anomaly detection model圖2 異常檢測模型網絡結構

本文使用MNIST 數據集［18］和Fashion-MNIST 數據集［19］進行實驗。在MNIST 數據集中，根據數字的不同，可以從MNIST 數據集中分離出10 種不同數字（0～9）的數據集，將其中一種數字作為正常類別數據，其余9 種數字作為異常類別數據。訓練集使用正常類別的數據集，約有6 000個樣本，測試集中有10 000 個樣本，其中包括正常類別數據和異常類別數據。為了更好地進行實驗，本文將所有MNIST 數據集圖像像素值縮放到[0,1]區間。

同樣，從Fashion-MNIST 數據集中分離出10 種不同時尚商品的數據集，將其中一種時尚商品作為正常類別數據，其余9 種時尚商品作為異常類別數據。訓練集使用正常類別的數據集，約有6 000 個樣本，測試集中有10 000 個樣本，其中包括正常類別數據和異常類別數據。本文將所有Fashion-MNIST 數據集圖像像素值縮放到[0,1]區間。

4.2 MNIST 數據集實驗結果

為了進一步驗證本文方法的有效性，在MNIST 數據集上進行異常檢測實驗，并與其它優秀異常檢測算法作對比。本文算法與OC-SVM［20］、IF［8］、DCAE［21］、ANOGAN［22］等算法在MNIST 數據集上的實驗結果對比如表1 所示，加粗顯示代表效果優于其它算法。

Table 1 Comparison of results of MNIST data set under various anomaly detection methods表1 MNIST 數據集在各種異常檢測方法下的實驗結果對比（單位：%）

由表1 可知，本文算法平均AUC 值較其它優秀異常檢測算法有一定提高，表明本文算法在MNIST 數據集中實現了較好檢測效果，能夠實現有效異常檢測。

4.3 Fashion-MNIST 數據集實驗結果

基于Fashion-MNIST 數據集開展異常檢測實驗，將本文算法與其它優秀異常檢測算法作對比。本文算法與OC-SVM［20］、IF［8］、DCAE［21］、ANOGAN［22］等算法在Fashion-MNIST 數據集上的實驗結果對比如表2 所示，加粗顯示代表效果優于其它算法。

由表2 可知，本文算法平均AUC 值較其它優秀異常檢測算法有一定提高，說明本文算法在Fashion-MNIST 數據集中實現了較好檢測效果，能夠實現有效異常檢測。

Table 2 Comparison of results of Fashion-MNIST data set under various anomaly detection methods表2 Fashion-MNIST 數據集在各種異常檢測方法下的實驗結果對比 （單位：%）

5 結語

本文提出了一種基于變分自編碼器和深度支持向量網絡的異常檢測算法，采用變分自編碼器提取數據特征，并利用深度支持向量網絡壓縮特征空間，尋找最小超球體分離正常數據與異常數據以進行異常檢測。實驗結果表明，本文算法優于其它優秀方法，實現了較好的異常檢測效果。該算法擺脫了基于重構誤差的異常檢測方法，為異常檢測提供了一種新思路，未來可以設計更加高效的網絡結構，進一步提升異常檢測效果。