基于強化學習的入侵檢測系統生成方案

耿嘉炫

（四川大學計算機學院，成都610065）

0 引言

由于計算機網絡技術的不斷發展，各種類型的設備都連接到了互聯網。網絡設備的相互連接給生活帶來了便利，從而也導致了大數據時代的到來。同時，設備的激增導致了網絡系統的復雜性，從而使其容易受到不同類型的網絡攻擊。越來越多的攻擊事件發生也意味著惡意流量的檢測與識別成為了網絡安全的一大重要挑戰。

作為最有效的防御工具之一，入侵檢測系統（IDS）有望抵御攻擊者并保護網絡安全。通常，IDS的主要功能是監視流經設備的網絡流量，以捕獲潛在的惡意活動并阻止來自攻擊者的惡意流量。在入侵檢測場景中，IDS的基本目標是從巨大的網絡流量中識別惡意流量。根據檢測的性質，IDS主要可分為兩類，即基于誤用的IDS和基于異常的IDS。前者根據預定義規則（也稱為簽名）識別惡意流量。即使基于誤用的IDS可以有效過濾已知的惡意流量，但在檢測未知流量方面卻顯示出較差的適用性。另外，基于異常的IDS依靠機器學習方法來捕獲惡意流量。例如，K-means、神經網絡、支持向量機等算法均被用于入侵檢測問題上。近年來，深度學習技術在計算機視覺、自然語言處理等領域的成功應用也促使研究人員利用深度學習技術來解決IDS的構建問題。

盡管上述工作取得了令人矚目的成就，但仍然存在一些明顯的缺點。例如，盡管基于深度學習的IDS可以高精度地完成檢測任務。不幸的是，此類方法十分耗時，這大大增加了系統的響應時間。更進一步，現有的基于機器學習的IDS大多是通過以下步驟構建的：采用特征選擇方法從原始特征集中選擇特征，并將所選擇的特征輸入到所選擇的機器學習算法中訓練IDS。然而，窮盡特征子集和機器學習算法的所有組合來構造IDS是不切實際的。考慮到這些情況，需要一種更新穎的IDS構造方案。

強化學習在幾年前AlphaGo問世時，就已顯示出有效的決策能力。考慮到強化學習的試錯搜索特性，本文提出了一種新穎的入侵檢測方案DQ-IDS用于捕獲和識別網絡中的惡意流量。基于強化學習DQN算法，將IDS的構建問題轉化為決策問題。同時，還調整了獎勵函數以適應的相應場景，這樣可以迫使智能體逐漸做出最佳的策略。最終，訓練好的智能體能夠在無需人工干預的情況下選擇用于構建IDS的較優特征并用于基于機器學習方法的檢測器訓練。為了驗證DQ-IDS的可行性和有效性，本文基于NSLKDD數據集進行了一系列實驗。同樣值得注意的是，與基于深度學習方法的IDS相比，利用本文所提出的方法構建的IDS足夠輕量，適合現實世界的情況，具有一定的實用價值。實驗結果表明，該方法的準確性、誤報率和其他評估指標均優于一些現有方法。

1 相關工作

關于IDS的研究自計算機網絡的興起便一直存在。在近十年的時間里，有非常多的學者致力于將機器學習和深度學習方法應用到入侵檢測的問題上，也就是基于異常的入侵檢測。另外，為了進一步增強這些IDS的性能，研究人員還利用了各種特征選擇方法。由于本文所提出的DQ-IDS主要是通過分析流經主機的網絡流量來捕捉惡意流量的，所以本節將主要討論使用了各種機器學習和深度學習技術的IDS。此外，在本節中還將討論有關強化學習的相關研究。

1.1 基于機器學習的入侵檢測

如前面所述，基于機器學習的入侵檢測技術主要有3個步驟：數據預處理、特征選擇以及檢測器訓練。就大部分現有的關于IDS的文獻而言，許多文獻對后面的兩個步驟做了相應的研究工作。早在2007年，Munz等[1]就使用數據挖掘技術來對網絡流量進行分析。他們提出了一種基于K-means算法的基于流的入侵檢測方案。他們主要的關注點在于檢測的時間，在當時能夠滿足實時檢測的需求。考慮到傳統IDS采用的特征較多的缺點，Staudemeyer等[2]應用決策樹算法對原始功能的重要性進行排序，并從網絡流量中提取核心特征。進一步而言，他們枚舉了幾種機器學習算法，最終發現采用MLP構建IDS能達到92.57%的準確率。他們的結果表明，對于大多數攻擊而言，實際上許多特征都是多余的。在文獻[3]的研究中，研究人員結合了現有的特征選擇方法OneR和Relief提出了一種雜交的特征選擇方法，以減少網絡流量的維數。所提出的模型對流量有了更好的表示，其減少了70.73%的特征維度空間。但是，就惡意流量的檢測效果而言，結果并不令人滿意。在文獻[4]中，提出了一種基于遺傳算法的特征選擇方法，同時還采用了諸如基于相關的特征選擇和信息增益之類的不同特征選擇技術來選擇特征。最終基于樸素貝葉斯的分類器顯示出更好的檢測準確性，同時從NSL-KDD數據集中獲得的特征數量最少。Moham?med等[5]提出了一種旨在降低計算成本的有效IDS構建方案。通過使用兩種不同類型的特征選擇方法Filter和Wrapper，最終確定了6個特征，并使用LS-SVM算法訓練了IDS。實驗結果表明，基于KDD99數據集，該方法能將準確率提高到99%以上，同時減少了惡意流量的檢測時間。最近，Selvakumar等[6]采用了基于Wrapper和Filter的方法以及螢火蟲算法來選擇特征。最終，基于KDD99數據集，利用C4.5和貝葉斯網絡算法訓練了IDS。結果表明，10個特征足以捕獲惡意攻擊，并且提高了IDS捕獲惡意流量的準確性。

1.2 基于深度學習的入侵檢測

近幾年來，計算機運算能力的爆炸增長使得深度學習技術進入視野。深度學習技術目前已經在計算機視覺[7-8]、自然語言處理[9-10]等領域展現優越的性能。此外，隨著深度學習技術在惡意軟件檢測等計算機安全方面的應用[11-13]，一些學者創新性地將其應用到入侵檢測問題上。深度學習方法屬于表示學習的范疇，可以從原始特征中學習隱藏的知識。在此基礎上，Jin等[14]構建了一個包含4個隱藏層的深度神經網絡，并輸入大量的流量特征來構建IDS。但是，即使檢測能力出眾，它在計算時間上的性能是很差的。與傳統的深度神經網絡相比，循環神經網絡具有記憶能力。對于具有時序特性的網絡流量而言，循環神經網絡可能更適合用于流量的處理。因此Yin等[15]提出了基于RNN的RNN-IDS。他們對RNN中的各種超參數做了調節并對比，最終確定了一個比較好的模型。卷積神經網絡在圖像處理領域應用廣泛。于是，就有研究者[16-18]將流量數據轉換成相應的特征圖，并用不同結構的網絡對這些流量圖進行處理，并成功識別惡意流量。值得一提的是，用這種方法建立的IDS可以獲得很高的準確率，但是很費時間。為了進一步提升入侵檢測的準確率，文獻[19-22]在采用深度學習技術處理流量之前先對流量進行了某些特征選擇操作，這樣能夠減少深度學習方法的運算時間。由于深度學習方法的固有優勢，即它可以從數據中自動學習特征，從而消除了特征提取過程，極大地簡化了訓練過程。此外，利用深度學習構建的IDS在侵入檢測問題上的準確率、誤警率上都有較好的表現。但是，由該方法訓練出來的檢測模型一般都較大，檢測時的運算消耗較高。在一些輕量的設備上是難以部署的，難以適應現實的環境。

1.3 強化學習

上面的文獻表明，盡管在構建IDS以捕獲惡意流量方面已經取得了成就，但是這些IDS的性能指標（如誤報率、計算成本）仍然受到一定限制。因此需要有更加新穎的IDS構建方法，使得檢測器能夠提取盡可能少的流量特征，在各種檢測性能上有一定的提升，同時能夠減小運算時間來適應現實世界的場景。作為實現人工智能的一種方法，強化學習理論很早就被提出并進行了擴展性的研究。但是它也是和深度學習一樣直到最近才展現出其強大的能力，特別是在決策問題上。文獻[23-24]更是將強化學習引入了網絡空間安全領域。受這些工作的啟發，文獻[25]利用強化學習設計卷積神經網絡的體系結構以完成圖像分類任務。這些開拓性的工作為本文對入侵檢測和強化學習的理解做出了貢獻。因此，本文擴展到應用強化學習方法來構建一個輕量而高效的IDS。

2 方法

2.1 問題建模

在DQ-IDS的場景下，智能體期望與環境做交互，并選擇最相關的功能以進行后續的訓練。這樣，網絡流量的原始特征可以映射為狀態空間。更準確地說，狀態空間由智能體在每次交互過程中選擇的特征組成。這里考慮了DQ-IDS中狀態空間的兩種表示方法。在第一種方案中，狀態空間可以用One-Hot形式的向量來表示。也就是說，如果智能體選擇了初始特征集的第6個特征，那么表示狀態空間的向量第6個分量將被設置為1。其他沒被選擇的特征對應的分量則保持為0。相比之下，第二種方案僅僅考慮了已選擇的特征。狀態空間向量的長度與設置的最大可選特征長度相關。例如，如果只能選擇6個流量特征來訓練入侵檢測系統，則狀態空間的表示則是6維向量。在每一個訓練輪次開始時，狀態空間的表示都是一個全零的向量。一旦智能體在該輪次的第t步選擇了原始特征集的第i個特征，那么狀態空間向量的第t個位置將被設為i。不幸的是，第一種狀態空間表示方法會在狀態空間向量中帶來大量零，從而導致稀疏。以這種方式進行的訓練可能無法收斂，智能體可能無法連續選擇最佳特征。所以第二種的狀態空間表示方法將用于智能體的訓練過程中。在此設定下，狀態空間可以被定義為：

其中，St表示在某個輪次第t步時候的狀態，fi、fj以及fk表示已選特征的下標，它們并不相等。

根據強化學習的原理，動作空間是代理可以從中選擇的一組可用動作。為了適應DS-IS的主要目的，可以將動作空間A定義如下：

其中a表示所有可供選擇的原始特征，i對應特征的索引，Lf表示所設置的最大可選特征數。在每一輪的迭代中，智能體將會根據當前的狀態從動作空間中選擇出一個動作。需要注意的是，智能體在迭代過程中的動作也受到某些限制。例如被選過的特征將不允許再被選擇。這是合理的，因為選擇同樣的動作也就意味著重復選擇特征。重復選擇同一功能將特征的冗余，并且同樣沒有意義。通過在算法中對Q值進行降低可以防止智能體重復選擇同一特征。智能體根據該策略不斷地通過循環來搜索動作，直到找到可用的動作。

在強化學習中，智能體通過采取某種行動并對環境產生某種影響。同時，環境計算獎勵并將反饋返回給智能體。值得注意的是，環境不是評價所智能體所采取的行動是否合理，而是提供正面或負面的獎勵。通過回饋的不斷刺激，智能體促使做出朝著目標靠近的動作。整個過程不斷持續，直至達到目標。這是也強化學習方法區別與傳統的機器學習方法的地方。在DQ-IDS場景中，智能體的基本目的是找到特定的特征子集，該子集將被送到基于機器學習的預選算法中以訓練IDS，訓練好的IDS在入侵檢測任務中表現良好。簡單來說，入侵檢測問題可以視為二分類問題。評估檢測任務性能的標準主要包括分類準確性、檢測率、召回率、誤檢率等。為了全面提高檢測器的性能，本文考慮了盡可能多的評估指標，并相應設計了以下獎勵函數：

其中ra、rp以及rr分別代表了準確率、檢測率以及召回率的獎勵分量值。需要注意的是，公式中沒考慮誤警率以及漏警率，這是因為它們和精確率以及召回率是線性相關的。公式給出了ra、rp以及rr的詳細設定：

其中，prea,p,r表示使用上一步中所選的特征進行入侵檢測任務所獲得的準確率、檢測率和召回率。該公式是合理的，因為添加某個特征會使IDS的性能變差，這意味著該特征對當前選擇的特征集的影響是負面的。因此，需要負獎勵來反饋給智能體。此外，超參數ωa、ωp和ωr是準確性、精確率和召回率的權重，這些權重是根據這3個評估指標在IDS中的重要性確定的。ωa、ωp和ωr的詳細設定值將在實驗章節中給出。

2.2 算法描述

圖1直觀地給出了DQ-IDS的決策過程。此外，圖2還附加描繪了智能體的核心網絡結構，即深度Q學習網絡。

圖2 DS-IDS中智能體的網絡結構

圖1 DS-IDS決策過程

訓練算法中詳細介紹了訓練過程，在算法中采用了一些比較實用技巧，如探索利用、經驗回放策略以及雙網絡結構，這都能夠提升智能體學習的效果。DQ-IDS的訓練算法如下：

3 實驗

3.1 數據集描述與預處理

為了進行公平的比較，本文使用NSL-KDD數據集來測試和驗證所提出的DQ-IDS的可行性和有效性。NSL-KDD數據集長期以來一直被用作入侵檢測領域的基準數據集。NSL-KDD數據集衍生于KDD99數據集，并在其基礎上進行了優化。一方面，NSL-KDD數據集不包含冗余記錄，因此生成的IDS將更具有魯棒性。另一方面，訓練和測試集中的樣本數量是合理的，這使得訓練過程更快更穩定。在NSL-KDD數據集中，每個實例由41個特征組成，其中3個是符號特征，其余是數字特征。每個流量記錄都標有它的標簽，例如正常或其他惡意類型。由于原始NSL-KDD數據集包含不同類型的特征，因此無法直接將其輸入到算法中進行訓練。因此，將對其進行如下預處理操作：

（1）特征數值化：如上所述，原始數據集中存在不同數據類型的特征，因此需要對非數字特征進行編碼。例如協議特征包含TCP、UDP以及ICMP這3個非數字特征，可以將其映射為0、1、2。對其他的特征也是采取類似的操作。

（2）標簽映射：同樣，原始數據集中每個實例的標簽都是符號值，必須將其轉換為相應的值。在檢測任務的情況下，正常流量的標簽編碼為0，對于惡意流量，編碼為1。

（3）數據規范化：數值、整數值與浮點值混合在一起，這會使學習變得困難。因此，數值必須被歸一化處理。最小值-最大值歸一化應用于將數值映射至0-1之間。

表1中顯示了檢測場景中使用的流量記錄的詳細分布。

表1 NSL-KDD數據集的分布

3.2 實驗參數設置

本節中所有的實驗均是在配有Intel Xeon E5-2698（2.2 GHz）以及16 GB內存的NVIDIA Tesla V100 DGX工作站上開展的。在編程語言方面，Py?thon 3.7.3用于原始數據集的預處理，Scikit-learn 0.21.2用于基于機器學習方法的檢測器的訓練，而ChainerRL 0.7.0用于構建核心的深度Q學習網絡以及智能體的訓練。除了DQN算法的一些超參數外，還有其他的參數要設置。表2給出了算法中相應的參數及其描述。

表2 DQ-IDS的參數設置

3.3 實驗結果與分析

本節中進行了一系列實驗，通過數據證明所提出的基于強化學習的DQ-IDS在IDS構建任務上是成功的。DS-IDS的首要目的就是構建一個高效、可行、輕量的IDS，并且能夠滿足現實環境的需求。因此，為了盡可能全面地評估檢測系統的性能，需要考慮盡可能多的評估指標。這里使用了準確率、精確率、召回率、誤警率以及漏警率對DQ-IDS生成的IDS進行了評價。此外，對IDS的評價指標還考慮了對于每條流量記錄的檢測時間，因為在真實環境中IDS是否可以快速響應是至關重要的。

根據強化學習原理，智能體被期望于選擇較優流量特征用于訓練IDS，所生成的IDS應具有較優的檢測性能。因此，智能體在訓練過程中從迭代得到的準確率應該隨著訓練的進行逐步增加的。圖3展示的智能體所能獲得的準確率與訓練迭代輪次的關系。需要說明的，這里對智能體每訓練3個輪次才對準確率進行一次采樣。從圖中可以看到，在訓練剛開始的時候，智能體所能獲得的準確率較小，這是因為采取探索和利用策略的原因，智能體正在進行探索，做出的可能是隨機動作而并不一定是最優的決策動作。隨著訓練的進行，智能體探索結束并進入利用過程，其采取隨機動作的概率將大大減小，所做出的都是最優動作。可以看到，檢測準確率呈現總體上升的趨勢，這說明智能體從不斷的交互過程中學習到了知識，做出了有效決策。

圖3智能體所獲得的準確率與訓練輪次的關系

在第一組實驗中，算法池中可供智能體選擇的機器學習算法主要包括K近鄰（KNN）、決策樹（DT）、樸素貝葉斯（NB）、隨機森林（RF）、多層感知機（MLP）、AdaBoost、Bagging以及GBDT等。在訓練DQ-IDS的智能體過程中，每次將指定算法池中的算法用于IDS的訓練。同時，還設置了智能體最大可選動作數，即在每一輪的訓練中規定了智能體能夠選擇的最大特征數。智能體的最大可選動作數的范圍是6-10。即對于算法池中的每一種機器學習算法，智能體都會選擇6-10個流量特征用于IDS的訓練。圖4給出了在DQ-IDS的測試過程中基于算法池中的不同機器學習算法并使用由智能體選出的不同數量的流量特征訓練得出的IDS的性能指標（準確率）。從圖中可以看到，由決策樹類型算法所生成的IDS有較好的檢測效果，包括決策樹以及隨機森林等。同時，使用了由智能體選出的9個特征基于決策樹算法的IDS有最優的效果，檢測的準確率可達88.11%。此外，使用決策樹算法生成的檢測器檢測結果也較為穩定。

表3給出了在智能體測試過程中獲得最好檢測效果的IDS生成過程所使用的流量特征以及其描述。從表中可以看到，智能體選擇的流量特征包含了TCP連接的基本特征如連接的持續時間、協議的類型以及源主機到目標主機的數據字節長度。還包括了關于流量的統計特征如過去兩秒內與當前連接具有相同服務的連接數等。這些流量特征覆蓋全面，足以捕獲流量數據的入侵行為。同時，這些流量特征的選擇是合理的。例如，對應于DoS攻擊，srv_count特征是該類攻擊的一大主要特征。這說明智能體的決策有一定的合理性。

圖4在Test+數據集上不同算法使用智能體選擇的最好特征訓練的檢測結果

表3智能體所選的最優特征集合

為了進一步證明DQ-IDS中智能體所做決策的有效性，還進行了第二組實驗。在本組實驗中，將利用相同的機器學習算法（基于隨機森林算法）生成兩個不同的IDS，并利用NSL-KDD數據集的Test+數據集對其二者進行測試。第一個IDS采用的是表3中智能體所選取的9個最優特征集合進行訓練，而第二個IDS則使用NSL-KDD數據集中所有的41個特征進行訓練。實驗統計了這兩個IDS在入侵檢測任務上的各種指標，如準確率、精確率等。相應檢測指標的統計與對比結果如表4所示。從表中可以看出，兩個IDS在不同的評價指標上都達到了比較好的精度。在各項指標上，由DQ-IDS所生成的IDS均超過了使用全部流量特征生成的IDS。值得一提的是，在單個流量樣本的檢測時間上，由DQ-IDS所生成的IDS的檢測速度大大優于使用了全部41個特征的檢測系統，具有很好的實時性。上述結果說明，利用9個流量特征也足以完成入侵檢測任務，同時進一步說明DQ-IDS的智能體所做的決策是有效的。

表4 由DQ-IDS所選特征的IDS與特征全選的IDS之間的檢測性能比較

在第一組與第二組實驗中，DQ-IDS已經展現出其在構建IDS上的能力，由其所構建的IDS有較好的檢測效果。在第三組實驗中，將復現一些現有的入侵檢測方法并生成對應的IDS與DQ-IDS生成的IDS進行對比。同時，為了進行更為公平而全面的比較，將沿用NSL-KDD數據集對IDS的性能進行評估。就對比方法而言，考慮到對比方法的全面性，分別選擇了采用了不同特征選擇方法和機器學習算法構建IDS的方法[2]以及基于深度學習的入侵檢測方法[16,18]。由DQ-IDS所構建的IDS與現有的IDS在NSL-KDD的Test+數據集上的詳細性能比較結果如表5所示。

表5由DQ-IDS所構建的IDS與現有入侵檢測方法所構建的IDS比較

從表中可以看到，由所提出的DQ-IDS生成的IDS在準確率上均超過了幾個現有的方法。更需要注意的是，由所提出的DQ-IDS生成的IDS對惡意流量的檢測時間是大大快于基于深度學習方法[16,18]的IDS。同時，雖然基于深度學習方法的IDS檢測能力出眾，但是由于深度學習固有的特性，即神經元的計算導致了判別時間的增加，這一點難以適應現實環境。此外，在IDS的大小上，由DQ-IDS所生成的IDS大大小于由文獻[16]以及文獻[18]生成的IDS，可以滿足小型網絡設備的需求。

4 結語

本文提出了一個新穎的基于強化學習方法的IDS構建框架DQ-IDS。基于DQN算法，所提出的DQ-IDS能夠自動選擇地有效的網絡流量特征。作為DQ-IDS的核心組件，自學習的智能體能夠不斷采取動作，并根據當前狀態選擇最佳特征。這些高度差異化的特征隨后可以用于機器學習算法，以訓練高效的IDS。實驗結果表明，所提出的DQ-IDS不僅可以從流量中提取合理的特征來優化IDS的性能指標，而且還可以大大減小入核心檢測器的體積，以滿足實際情況。在未來的工作中，將應用其他強化學習算法，例如A3C，來增強IDS的魯棒性。同時，考慮到強化學習的試錯特性，還將把該方法擴展到其他決策任務上。