人工智能集成學習方法在入侵檢測中的運用

金雅晴，丁振興，姬慶慶

(1. 北京工業大學 北京未來網絡科技高精尖創新中心，北京 100124；2. 中國科學院大學 計算技術研究所前瞻研究實驗室，北京 100190)

0 引言

隨著互聯網的快速發展，網絡攻擊行為不斷涌現，保護網絡信息安全的問題日益迫切。信息系統具有完整性、機密性、可用性，任何破壞以上性質的網絡活動都被認為是網絡入侵[1]。因此，安全信息需要經歷一些階段(1)保護：自動防止入侵；(2)檢測：自動檢測入侵；(3)反應：當系統被侵入時自動反應或報警；(4)恢復：修復或恢復由于入侵造成的損失[2]。這些階段中對入侵的精確檢測是最重要的，只有經過精確的入侵檢測，才能進入信息安全恰當的反應和恢復階段。

一些入侵檢測系統的開發基于單分類技術，而其他入侵檢測系統的開發(稱為混合/集成入侵檢測系統)應用了多分類技術。基于集成學習的入侵檢測系統與單一技術實現的入侵檢測系統相比有許多優點。一些研究者利用弱分類器和數據集的不同特性，提出了解決入侵檢測問題的不同集成學習方法。為了覆蓋集成學習的各個方面，一些研究者提出了不同的分類系統。通過結合基于人工智能技術相對于其他技術的優勢和集成學習的優勢，一些研究者提出了基于人工智能的集成學習以解決入侵檢測問題。但是，目前還沒有一篇應對入侵檢測問題的關于通用集成學習的分類系統和基于人工智能集成學習方法的綜述。

本文有三個目的。第一個目的是提出關于基于監督分類器的集成學習及其通用分類系統的更新的綜述。第二個目的是提出近年來針對入侵檢測的各種基于人工智能的混合/集成入侵檢測系統的綜述，這些系統通過以下一系列的評價指標進行對比：(1)遵循的體系結構和方法；(2)在集成學習的不同階段使用的不同方法；(3)用于評估集成學習分類性能的其他方法。第三個目的是介紹關于開發入侵檢測的高效集成系統的研究問題和方向。

本文首先介紹了入侵檢測系統的概念、目的和分類，然后介紹了集成學習的相關概念和其對于解決入侵檢測問題的優點，接著重點介紹了近年來為入侵檢測提供的各種基于人工智能的集成學習方法，最后總結本文并提出未來的研究方向。

1 入侵檢測系統

入侵檢測系統(IDS)被定義為“一種有效的安全防護技術，可以對計算機攻擊行為進行檢測、預防和采取主動反應措施”，是安全基礎設施的標準組件之一。它監視計算機或網絡系統中的目標活動源(如審計和網絡流量數據)，之后通過部署各種技術提供安全服務。入侵檢測系統的主要目標是用有效的方式對侵入式和非侵入式網絡活動進行分類。入侵檢測的過程涉及以下任務：(1)數據采集或收集；(2)數據預處理和特征選擇； (3)數據分析的模型選擇；(4)分類和結果分析[3]。為了完成這些任務，入侵檢測系統分為用于高效入侵檢測的不同模塊，包括數據采集和存儲單元、數據分析和處理單元以及信號[4-5]，如圖1所示。

圖1 入侵檢測系統模塊

基于這些模塊，入侵檢測系統可以分為不同的類型，如基于主機的入侵檢測系統(HIDS)與基于網絡的入侵檢測系統(NIDS)，基于誤用或基于特征的入侵檢測系統與基于異常的入侵檢測系統，被動入侵檢測系統與主動入侵檢測系統等[5]。入侵檢測系統通過基于評估數據集的多種不同方式來進行評估[6]。可以通過性能、正確性、可用性等多種特征來評估入侵檢測系統。但是，相關文獻中大多數實驗主要集中在測量入侵檢測系統的準確性和有效性，即誤報率和成功檢測率。研究人員也利用其他一些指標來衡量入侵檢測系統的性能，這些指標可以分為三類：閾值、排序和概率[7-8]。基于人工智能的集合/混合分類器提高了單分類器的性能，但是還存在一些問題需要研究，包括基本分類器的多樣性、集成規模、計算開銷、輸入特征空間和組合策略等。

2 集成學習

集成涉及多個基分類器的使用，需要結合它們的預測數據來獲得可靠和更準確的預測。通過利用不同數據集訓練的多個分類器并利用問題的不同特點，即使缺乏足夠數量的高質量訓練數據，集成也能夠提高檢測準確性和降低誤報率。集成有助于解決以下入侵檢測的問題

(1)集成由多個弱分類器而不是單一分類器組成，多個分類器結合可以提高整體性能。

(2)集成使用綜合知識在不同子集的數據集或特征子空間上對問題的假設進行建模，即使缺乏足夠的高質量訓練數據，弱分類器的結合也有助于提高性能。

(3)由于集成使用了多個分類器，所以有助于找到能夠降低誤報率，提高檢測精度的全局解決方案。

(4)不穩定的基分類器有助于生成有效集成的各種基分類器。

(5)用相同數據集訓練的分類器表現出不同的性能，有助于保持基分類器的多樣性。集成學習過程有三個階段：集成生成、集成選擇和集成整合。如果集成中的分類器所用的都是同一種學習算法，那么這種集成生成是同質的。如果集成中包含不同類型的分類器，那么這種集成生成是異質的。在集成生成階段，會生成一個不同的基分類器池。集成選擇需要從不同的基分類器池中選擇分類器。集成整合涉及在集成選擇階段中選擇的一組基分類器的最終預測。

簡而言之，可能有不同的特征集、訓練集、分類方法或訓練過程，通過這些可以產生一組分類器，它們的輸出可以結合起來用以改善整個分類性能[9]。如果這組分類器是固定的，那么問題集中在集成整合階段。也可以使用固定的組合并優化輸入分類器的組合，這時問題集中在生成和選擇階段。

3 入侵檢測中基于人工智能的集成方法

許多研究人員采用基于人工智能的集成混合方法來提高入侵檢測系統的性能。重點是關于分類器的組合和相關的警報，以減少網絡安全管理員的警報[3]。分類器的結合涉及集成在學習生成和選擇階段的發展，而集成整合階段涉及多個分類器的不同預測。 接下來介紹了近年來提出的重要的基于人工智能集成學習的綜合研究。

文獻[10]提出了一個基于多分類器系統的方法。該方法基于人類專家使用不同特征集來檢測不同類型攻擊的動機。文中使用KDD cup 99數據集的不同特征子集(即intrinsic、content和traffic特征)進行訓練，從而生成不同的基于神經網絡的分類器。被訓練分類器的預測結合在一起，通過使用多數同意規則、平均規則和信度函數等方法產生集合的最終預測。結果表明這些多策略技術，特別是信度函數，比單獨的三個神經網絡都要好，整體性能也與在整個特征集上訓練的單個神經網絡近似或更好。然而，單一的神經網絡可以更好地識別潛在攻擊。Didaci等人也進行了類似的實驗[11]。文獻[12]提出了一種多分類器方法來檢測入侵，利用不同的分類器即ANN、K-means聚類和高斯分類器，通過使用KDD cup 1999數據集對不同類型的入侵進行分類，用訓練數據集的所有特征進行訓練生成了多個分類器，得到的集成在不同類型的入侵中得到了最高的準確率，被用來檢測相應的入侵類別。結果表明分類器的集成提高了分類性能。

在文獻[13]提出了一種檢測入侵的混合方法，利用貝葉斯網絡(BN)和分類和回歸樹(CART)及其集成來生成混合系統。文獻[14]提出了DT、SVM的集成和DT、SVM組成的混合系統，這些分類器是通過對KDD cup 99數據集的訓練生成的。文獻[15]提出了一種多模式方法，使用多種不同的異常檢測技術(貝葉斯方法)來檢測針對Web服務器和基于Web的應用程序的攻擊。多模有助于減少檢測過程在模仿攻擊方面的脆弱性。CORONA I等人也提出了類似的方法[16]，解決了與訓練集中存在噪聲(如攻擊)有關的問題。所提出的模型由一組獨立的專用模塊組成。文獻[17]提出了一個基于聚類的混合模塊來結合多重報警，有助于減少入侵檢測系統產生的警報量。文獻[18]提出了一個三層混合方法來檢測入侵。文獻[19]提出了一種基于柔性神經樹、進化算法和粒子群優化算法(PSO)的混合柔性神經樹入侵檢測系統，通過減少輸入特征和用于組合基本分類器的混合方法來改善入侵檢測的性能。 文獻[20]提出了SVM和聚類的混合方法來減少訓練時間。

文獻[21]基于改進的MOGA(改進NSGA-II)提出了用于入侵檢測的神經網絡集成，使用改進的MOGA來選擇數據集的相關特征子集，選擇的特征子集用于訓練準確和多樣的基分類器，最后的集成通過使用集成選擇方法來構建。文獻[22]提出了一個涉及多級混合分類器的分層混合系統，該分類器結合了監督決策樹分類器和無監督貝葉斯分類方法來檢測入侵行為。文獻[11]提出了一個基于AdaBoost算法的集成，它依次使用決策樹作為基分類器，分別利用連續和分類的特征，沒有任何強制轉換。文獻[23]提出了一個基于微觀模型的異常傳感器集成，以凈化訓練數據。文獻[24]提出了由線性遺傳程序設計(LGP)、自適應神經模糊推理系統(ANFIS)和隨機森林(RF)集合的異質集成，基分類器是使用KDD cup 99數據集的類特定功能生成的。實證證明，通過在集成方法中為分類器分配適當的權重，比單個分類器各類網絡流量的檢測精度有所提高。文獻[2]提出了一種迭代布爾組合(IBC)技術，用于有效融合在ROC空間中固定大小數據集上訓練的任何清晰或軟檢測器的響應。所提出的技術應用所有布爾函數來組合與多個分類器對應的ROC曲線。不需要先驗假設，其時間復雜度與分類器的數量成線性關系。文獻[25]提出了多層感知器和徑向基函數的混合體系結構及其入侵檢測集成，通過訓練減少的數據集生成不同的集成模塊。最后的報告指出，所提出的方法顯著提高了入侵檢測的預測準確性。文獻[26]提出了一種聚類和分類的組合方法。聚類是通過使用K-means算法在早期階段形成相似數據組。接下來，在第二階段，使用樸素貝葉斯分類器將聚類數據按攻擊類別分類。報告中表明與KDD cup 1999數據集相比，提出的混合方法在單個奈奎爾貝葉斯分類器上表現的性能更好，但是所提出的方法受限于它不能檢測類似U2R和R2L的攻擊。

這些相關研究可以通過以下一系列評估指標進行比較：(1)遵循的架構和方法；(2)集成學習的不同階段采用不同的方法；(3)用于評估集合的分類性能的其他方法。系統的體系結構可以是并行的、級聯的或分層的[24]，分類器可以通過集合/混合方法進行組合。集成層次是指在不同的集成學習階段(集成生成、集成選擇和集成整合)中使用的不同層次(組合層次、分類器層次、特征層次或數據層次)。 基本分類器之間的多樣性可以通過隱式或顯式方法來測量[27]。為了評估性能，可以基于基準數據集來計算不同的性能指標。

4 結論

人工智能技術及集成學習方法目前正吸引研究界對入侵檢測越來越多的關注，其靈活性、適應性、新模式識別、容錯性、學習能力、高計算速度和對噪聲數據的錯誤恢復能力，都是構建高效入侵檢測系統的前提。集成方法模仿人類天性，在作出重要決定之前先尋找一些建議。其基本原則是評估幾個單獨的模式分類器，并將它們整合以達到比單個分類器獲得更好的性能。

本文介紹了近年提出的監督學習中基于人工智能的入侵檢測集成，歷史上這是一個較早被研究并應用于多個領域的方法。更準確地說，本文提出了一種通用的分類法，區分決策和覆蓋優化集成，考慮到不同的監督式基本分類器可以生成或組合在一起，介紹了近年來提出的基于人工智能的入侵檢測系統。

但是，基于人工智能的分類器的運用表明，每個分類器對于入侵檢測問題都會有各自的優點和缺點。集成可以將這些分類器的優點結合起來，以彌補它們的缺點，從而提供更好的解決方案。因此，把集成學習作為本文的一個主題。總結并比較了每項研究中的成果，使得能夠清楚地認識到入侵檢測方面現有的研究挑戰和研究方向。希望本文可以幫助讀者梳理入侵檢測中基于人工智能方法的集成學習方法。

[1] MCCUMBR J. Information system security: a comprehensive model[C]// Proceedings of the 14th National Computer Security Conference, Baltimore, MD, USA, 1991.

[2] KHREICH W. GRANGER E. MIRI A, et al. Iterative Boolean combination of classifiers in the ROC space: an application toanomalydetectionwithHMMs[J]. Pattern Recognition, 2010, 43(8): 2732-2752.

[3] CORANA I, GIACINTO G, MAZZARIELLO C, et al. Information fusion for computer security: state of the art and open issues[J]: Information Fusion, 2009, 10(4): 274-284.

[4] AXELSSON S. Research in intrusion detection system—a survey[R]. Chalmers University of Technology, CMU/SEI, 1999.

[5] KUMAR G, KUMAR K, SACHDEVA M. The use of artificial intelligence based techniques for intrusion detection—a review. Artificial Intelligence Review, vol. 34, no. 4, pp. 369-387, 2010.

[6] KRUEGEL C, VALUER F, VIGNAi G, Intrusion detection and correlation: challenges and solution[M]. Springer, 2005.

[7] CARUANA R, NICULESCU-MIZIL A. Data mining in metric space: an empirical analysis of supervised learning performance criteria[C]//Proceedings of the 10th ACM SIGMOD International Conference on Knowledge Discovery and Data Mining (KDD-2004), 2004:69-78.

[8] KUMAR G, KUMAR K. AI based supervised classifiers an analysis for intrusion detection[C]// Proceedings of the International Conference on Advances in Computing and Artificial Intelligence (ACAI `11), Chitkara, India, 2011: 170-174.

[9] JAIN A K, DUIN R P W, MAO J. Statistical pattern recognition: a review[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(1): 4-37.

[10] GIACINTO G, ROLI F. Anapproach to the automatic design of multiple classifier systems[J]. Pattern Recognition Letters, 2001, 22(1): 25-33.

[11] HU W M, HU W, MAYBANK S. AdaBoost-based algorithm for network intrusion detection[J]. IEEE Transactions on Systems, Man, and Cybernetics B, 2008, 38(2): 577-583.

[12] SABHNANI M, SERPEN G. Application of machine learning algorithms to KDD intrusion detection dataset within misuse detection context[C]// Proceedings of the International Conference on Machine Learning; Models, Technologies and Applications (MLMTA `03), 2003: 209-215.

[13] CHEBROLU S, ABRAHAM S, THOMAS J P. Feature deduction and ensemble design of intrusion detection systems[J]. Computers and Security, 2005, 24(4): 295-307.

[14] ABRAHAM A, THOMAS V. Distributed intrusion detection systems: a computational intelligence approach[M]. Applications of Information Systems to Homeland Security and Defense New York: Idea Group, 2005: 105-135.

[15] KRUEGEL C, VIGNA G, ROBERTSON W. A multi-model approach to the detection of web-based attacks[J]. Computer Networks, 2005,48(5): 717-738.[16] CORONA V, ARIU V, GIACINTO G. HMM-web: a framework for the detection of attacks against web applications[C]// Proceedings of the IEEE International Conference on Communications (ICC `09), 2009, 15(1): 747-752.

[17] PERDISCI R, GIACINTO G, ROLI F. Alarm clustering for intrusion detection systems in computer networks[J]. Engineering Applications of Artificial Intelligence, 2006, 19(4): 429-438.

[18] HWANG T S, LEE T J, LEE Y J. A three-tier IDS via data mining approach[C]// Proceedings of the 3rd Annual ACM Workshop on Mining Network Data (MineNet `07), 2007: 1-6.

[19] CHEN Y, ABRAHAM A, YANG B. Hybrid flexible neural-tree-based intrusion detection systems[J]. International Journal of Intelligent Systems, 2007, 22(4): 337-352.

[20] KHAN L, AWAD V, THURAISINGHAM B. A new intrusion detection system using support vector machines and hierarchical clustering[J]. The International Journal on Very Large Data Bases, 2007, 16(4): 507-521.

[21] YAN Y, HAO H. An ensemble approach to intrusion detection based on improved multi-objective genetic algorithm[J]. Journal of Software, 2007, 18(6): 1369-1378.

[22] XIANG C, YONG P C, MENG L S. Design of multiple-level hybrid classifier for intrusion detection system using Bayesian clustering and decision trees[J]. Pattern Recognition Letters, 2008, 29(7): 918-924.

[23] CRETU G F,STAVROU A, LOCASTO M E, et al. Casting out demons: sanitizing training data for anomaly sensors[C]// Proceedings of the IEEE Symposium on Security and Privacy (SP `08), IEEE Computer Society, 2008:81-95.

[24] ZAINAL A, MAAROF M A, SHAMSUDDIN S M. Ensemble classifiers for network intrusion detection system[J]. Journal of Information Assurance and Security, 2009,4: 217-225.

[25] GOVINDARAJAN M, CHANDRASEKARAN R M. Intrusion detection using neural based hybrid classification methods,”Computer Networks, 2011, 55(8): 1662-1671.

[26] MUDA Z, YASSIN W, SULAIMAN M N, et al. A K-Means and Naive Bayes learning approach for better intrusion detection[J]. Information Technology Journal, 2011,10(3): 648-655.

[27] BROWN G, WYATT J, HARRIS R, et al. Diversity creation methods: asurveyand categorisation[J]. JournalofInformation Fusion, 2005,6(1): 5-20.