基于包裹學習算法在異常點檢測上的研究

何鎏一 楊國為

摘要：針對正常與異常樣本分布不平衡的異常點檢測問題，本文以小球大距離（small sphere large margin，SSLM）超球支持向量機為基礎，提出一種高正確率識別的包裹學習算法。基本思想為建立正常樣本的同類特征集合的緊密包裹集，在特征空間內構造一個半徑最小的超球，使超球內盡可能地包含大多數的正常樣本，并使超球邊界與包裹集及異常樣本間隔最大化，所構造的超球邊界會近似與正常樣本邊界擬合，同時將該方法與支持向量機方法和超球支持向量方法進行實驗對比，并在uci數據集中的醫學診斷數據及USPS數字集上進行對比實驗。實驗結果表明，與同類經典算法相比，包裹學習算法在不同的異常檢測數據上分別達到了最高準確率。該研究可應用于樣本分布不均的異常行為檢測中。

關鍵詞：異常點檢測; 支持向量機; 包裹學習

異常點檢測問題又稱一類分類問題（oneclass classification），用于解決異常點檢測問題的方法有基于密度估計法[1]和基于神經網絡法[2]，而支持向量機（support vector machines，SVM）[3]不但在分類問題上被大量利用，而且在異常檢測問題[4-7]上也得到了廣泛應用，其思想為將所有特征向量映射到一個高維空間，在此空間建立一個最大間隔超平面，該超平面對應的原始空間曲面就是分類決策面。在分開兩類特征向量（數據）的超平面兩邊，建有兩個互相平行的超平面，分隔超平面使兩個平行超平面的距離最大化。在針對異常點檢測問題時，SVM分類面會向樣本數據少的一側偏移，其分類效果表現不佳。D.M.J. Tax等人[8]通過改進SVM模型，提出支持向量數據描述（support vector data description，SVDD）的方法，解決異常點檢測問題[9-11]，但是SVDD在訓練中僅使用一類樣本，訓練時會導致核參數選取困難，不能保證獲得的描述邊界一定非常緊湊，從而造成識別率偏低;B.Schlkopf等人[12]提出一類支持向量機（one class support vector machine，OCSVM），通過在特征空間求解一個最優超平面，實現正常樣本和異常樣本的最大分離;Wang J等人[13]提出分割超球模型（separating hypersphere，SH），其綜合了SVM和SVDD的建模思想，構造一個超球將正負兩類樣本分割;Wen C等人[14]提出最大間隔最小體積的思想，構造兩個同心超球，小超球包裹正常樣本，大超球將異常樣本排斥在外;Wu M等人[15]運用小球大間隔（small sphere large margin，SSLM）的思想，將包含正常樣本的超球半徑最小化，同時最大化其邊界與異常樣本點的距離。在實際應用方面，Zhao Y等人[17]將SVDD應用于冷水機組的故障檢測;楊金鴻等人[18]針對支持向量數據描述的訓練集中同時含有正常點和離群點的問題，為降低離群點對SVDD訓練偶像的不利影響，提出了一種基于單簇核可能性C-均值的SVDD離群點檢測算法;V.Mygdalis等人[19]提出一種半監督子類支持向量描述方法，通過引入兩個附加項，實現了對SVDD的優化。基于此，本文提出同類特征集合的緊密包裹學習算法，構造出正常樣本的同類特征集合的緊密包裹集，用小球大間隔（small sphere large margin，SSLM）模型，將包裹集樣本與異常樣本歸為一類進行訓練，使超球邊界與正常樣本更加擬合，從而實現有效的異常點檢測效果。該研究為樣本分布不均的異常行為檢測提供了理論依據。

1 同類特征集合的緊密包裹集

4 結束語

本文首先指出了SVM分類器、超球SVDD等分類器在解決異常點檢測問題上出現的弊端，提出了用于解決異常點檢測問題的包裹學習算法。該算法包括緊密包裹集存在性證明及構造算法和包裹曲面的求解算法。實驗證明，包裹學習算法求解的分類曲面能夠較為貼合的描述原樣本區域，通過uci數據庫和USPS手寫數字庫中的數據進行對比實驗，說明本文提出的分類器設計算法在異常點檢測問題上具有較高的準確率。然而該分類設計算法仍不夠完善，從理論上來說，包裹學習算法要求原樣本空間為致密凸集，但在實際工作中，大部分訓練樣本并不能達到該要求;由于構造高維數據致密包裹集的計算復雜度較高，因此還有較大的優化空間。

參考文獻：

[1] Roberts S， Tarassenko L. A Probabilistic resource allocating network for novelty detection[J]. Neural Computation， 1994， 6（2）： 270-284.

[2] Towell G G. Local expert autoassociators for anomaly detection[C]∥Seventeenth International Conference on Machine Learning. San Francisco， USA： Morgan Kaufmann Publishers Inc， 2000.

[3] Vapnik N V. The nature of statistical learning theory[M]. NewYork： Springer， 1995.

[4] 吳銳， 陳靜. 基于SVM的電信網絡異常點檢測技術的研究[J]. 赤峰學院學報： 自然科學版， 2017， 33（21）： 46-47.

[5] 徐兵， 郭淵博， 葉子維， 等. 基于圖分析和支持向量機的企業網異常用戶檢測[J]. 計算機應用， 2018， 38（2）： 357-362.

[6] 陳志全， 楊駿， 喬樹山. 基于單類支持向量機的異常聲音檢測[J]. 電子設計工程， 2016， 24（23）： 19-22.

[7] 劉敬， 谷利澤， 鈕心忻， 等. 基于單分類支持向量機和主動學習的網絡異常檢測研究[J]. 通信學報， 2015， 36（11）： 136-146.

[8] Tax D M J， Duin R P W. Support vector data description[J]. Machine Learning， 2004， 54（1）： 45-66.

[9] 馬詠雪. 基于SVDD的模擬電路異常檢測方法研究及應用[D]. 哈爾濱： 哈爾濱工業大學， 2016.

[10] 周勝明， 王小飛， 高峰， 等. 基于在線SVDD的航空發動機異常檢測方法[J]. 計測技術， 2015， 35（5）： 20-22， 56.

[11] 曾現靈， 張立燕， 胡榮華. 基于主成分建模的 SVDD 高光譜圖像異常檢測[J]. 智能系統學報， 2014， 9（3）： 343-348.

[12] Bernhard S， Williamson R C， Smola A J， et al. Support vector method for novelty detection[C]∥Advances in Neural Information Processing Systems 12. Denver， Colorado， USA： DBLP， 1999： 582-588.

[13] Wang J G， Neskovic P， Cooper L N. Pattern classification via single spheres[M]. 8th International Conference on Discovery Science. Singapore： Springer， 2005.

[14] Wen C J， Zhan Y Z， Chen C J. Maximalmargin minimalvolume hypersphere support vector machine[J]. Control & Decision， 2010， 25（1）： 79-83.

[15] Wu M， Ye J. A small sphere and large margin approach for novelty detection using training data with outliers[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2009， 31（11）： 2088-2092.

[16] Chang C C， Lin C J. Training vsupport vector classifiers： theory and algorithms[J]. Neural Computation， 2001， 13（9）： 2119-2147.

[17] Zhao Y， Wang S W， Xiao F. Pattern recognitionbased chillers fault detection method using support vector data description （SVDD）[J]. Applied Energy， 2013， 112： 1041-1048.

[18] 楊金鴻， 鄧廷權. 一種基于單簇核PCM的SVDD離群點檢測方法[J]. 電子學報， 2017， 45（4）： 813-819.

[19] MygdalisV， Iosifidis A， Tefas A， et al. Corrigendum to “Semisupervised subclass support vector data description for image and video classification” [Neurocomputing， 278 （2018）， 51-61][J]. Neurocomputing， 2018， 291： 237-241.

[20] Dua D， Graff C. UCI machine learning repository [M/OL]. Irvine， CA： University of California， School of Information and Computer Science， 2019.[http： ∥archive. ics. uci. edu/ml]