基于人工蜂群算法和XGBoost的網絡入侵檢測方法研究

徐 偉 冷 靜

(湖北警官學院信息技術系 湖北 武漢 430034)

(電子取證及可信應用湖北省協同創新中心 湖北 武漢 430034)

0 引 言

網絡攻擊給用戶帶來的損失巨大，其范圍廣、危害大，有些損失和破壞甚至不可恢復。針對網絡攻擊，很多大型用戶(企業級)使用入侵檢測系統[1](Intrusion Detection System,IDS)等多種安全系統來抵御攻擊。由于IDS可以識別異常模式和流量，并對系統中所有未授權活動進行監測、檢測和響應[2]，因此它一直是網絡安全領域的重要研究方向。

IDS一般包括誤用檢測和異常檢測[3]。在誤用檢測方法中，將預構建的入侵模式作為規律保存在數據集中，每個模式代表一種特定的攻擊類型。這種情況下無法檢測到網絡中的新型攻擊[4]，因為其模式不在數據庫中。異常檢測方法是基于網絡正常行為或特征來制定決策，將明顯違背該模型的業務事件或數據流視為入侵[5]。這種IDS分類方法能夠檢測到新型未知攻擊，但由于難以區分普通行為和異常行為的界限，會造成較高的虛警率。

目前已有一些IDS方面的研究成果。文獻[6]提出的模型通過數據分析將網絡數據分類為正常行為和異常行為，是一種多級混合入侵檢測模型，使用支持向量機和極值學習機來提升對已知攻擊和未知攻擊的檢測效率。此外，文獻[6]還提出了改進的K均值算法，用于構建能夠代表整個原始訓練數據集的多個較小的新訓練數據集，顯著降低了分類器的訓練時間，提升了入侵檢測系統的性能。文獻[7]提出了DDoS攻擊的應用層實時檢測方法，根據絕對時間間隔準則，推導出了一組新的訓練和測試工具，該方法使用了布谷鳥等算法，其中布谷鳥二元聚類策略最大限度降低了算法的開銷成本，并提升了預測準確度。文獻[8]提出一種基于網絡連接數據分析和在線貫序極限學習機分類器的IDS，對入侵數據庫中的網絡連接數據進行分析，通過特征選擇算法選擇出最優特征子集，利用優化后的樣本特征集來訓練OSELM分類器。鑒于DoS攻擊是基礎設施的一個主要隱患，文獻[9]提出了一個基于cookie的統計模型，使用定性和定量結果對各種統計模型進行了分析，以提高模型檢測效率。

目前，很多入侵檢測的研究中使用了機器學習算法，例如分類和聚類算法或以不同方式將機器學習算法與特征選擇方法結合在一起[10]。但這些研究很少考慮降低虛警率的問題。本文針對該問題提出了能夠降低虛警率的異常檢測方法，使用了人工蜂群(ABC)算法和XGBoost算法的混合檢測，其中ABC算法被用于特征選擇，XGBoost算法則被用于特征的評價和分類。實驗結果證明了所提出的方法在準確度和檢測率方面的優勢。

1 混合式異常檢測IDS

一般IDS方法都由三個主要階段組成：預處理、特征選擇、分類。由于數據集包括數值特征、非數值特征、字符串，應該對其進行同質化。因此，首先必須對數據集進行預處理。一般預處理包括兩個階段：1) 將數據集中非數值特征轉換為數值量；2) 數值歸一化。由于NSL-KDD數據集[11]特征包括離散量和連續量，特征量位于不同區間，所以這些特征不具備可比性。因此使用歸一化完成特征的標準化，且所有數值均被限制在區間[0，1]內。

本文方法通過ABC算法進行特征選擇，以提升準確度，并加快檢測時間；通過XGBoost算法用于特征評價和分類。本文方法的流程如圖1所示。

圖1 本文方法的流程示意圖

1.1 特征選擇(ABC算法)

在ABC算法中，每類蜜蜂各司其職，食物源代表問題相關的解，而食物源花蜜量則表示解的質量。求解過程主要分為以下四個階段：初始化階段、雇傭蜂階段、旁觀蜂階段、偵查蜂階段[12]。

首先建立一群蜜蜂，其中半數為雇傭蜂，另一半為旁觀蜂。生成NF個解，每個解Xi(i=1,2,…,NF)為一個D維向量。Xi表示蜂群中第i個食物源。每個食物源(解)僅對應一只雇傭蜂，即雇傭蜂或旁觀蜂的數量等于解的數量。根據式(1)隨機生成每個候選解。然后計算適應度并保存最優解。由于本文選擇封裝方法進行特征選擇，因此使用了XGBoost進行適應度評價。

(1)

vi,j=xi,j+φi,j(xi,j-xk,j)

(2)

式中：xi,j為上一個位置；φi,j為區間[-1，1]內的隨機量;xk,j為xi,j的一個鄰居。通過下式計算每個解的適應度：

(3)

式中：f(xi)為第i個解的目標函數值。

在所有雇傭蜂都完成探索過程后，將更新后解的適應度數值與旁觀蜂共享。蜜蜂基于食物源概率選擇一個食物源。利用下式計算任意解的選擇概率[13]：

(4)

式中：fiti為雇傭蜂計算出的第i個解的適應度數值。根據式(4)隨機選擇鄰近解，并通過式(2)搜索周圍更好的解，使得位置xi,j的變化減少。由此在搜索空間中搜索到的最優解是在附近的。在利用式(2)完成每個探索后，若上一個食物源的位置不優于新位置，則將trial的數值加1。為了防止局部最優陷阱，若經過幾次連續的重復后，食物源的trail數值是預先確定的限值，且未更新，則丟棄該食物源，與其對應的雇傭蜂將該食物源丟棄給偵查蜂。接著，基于式(1)利用隨機探索選擇一個新的食物源來替代丟棄的食物源，丟棄食物源的trial數值為0。最后，通過反復探索計算出最優食物源，若計算出的最優食物源優于整個算法的最優食物源，則進行替換。ABC算法的流程如圖2所示。

圖2 應用ABC算法的流程示意圖

1.2 分類(XGBoost算法)

由于入侵檢測數據集中包含多個分類，目前很多智能算法(如AdaBoost算法)是針對二元分類設計的，并不適用于多分類問題。因此，本文在XGBoost算法的基礎上，利用偽損失的概念來衡量弱假設的優良度。其偽代碼如算法1所示。將包含5片樹葉的決策樹作為基分類器，初始時所有樣本權重相等，在每個T中改變樣本權重。弱分類器旨在最小化步驟3中的偽損失。如果弱分類器能夠不斷生成偽損失小于1/2的弱假設，則對其進行增強。

算法1XGBoost算法

輸入：m個帶標簽樣本的序列((x1,y1),(x2,y2),…,(xm,ym));yi∈Y={1,2,…,k};弱分類算法DT;迭代次數T。

輸出：分類結果hfin(x)。

fort=1,2,…,Tdo

2.DT(給出分布Dt和標簽加權函數qt)

ht:X×Y→[0,1]

式(5)和式(6)通過XGBoost函數建立網絡用戶的行為模型，該模型通過對測試數據集的分類進行預測(正常類或攻擊類)。

[MDL]=XGBoost(X,t)

(5)

pre=predict(MDL,XTest)

(6)

式中：X和t分別表示訓練數據集和樣本標簽；XTest為測試數據集。然后根據式(7)確定實際情況下的模型誤差量，通過重復最大搜索次數的方式確定影響IDS性能的最佳特征。

L=loss(MDL,XTest,GroupTest)

(7)

式中：GroupTest為測試集標簽。根據這些最佳特征設定檢測操作的參數，這些參數將會影響到運行時間和求解效率。

2 實 驗

2.1 數據集

為了評價該方法，本文在NSL-KDD(KDD99修改版本)和ISCXIDS2012數據集上基于MATLAB進行了仿真。網絡拓撲如圖3所示，在上述數據集中定義不同的攻擊場景。仿真參數如表1所示。

圖3 混合式計算機網絡拓撲

表1 仿真參數設定

2.2 評價指標

鑒于IDS性能存在若干標準，本文在方法驗證中計算了檢測率DR、虛警率FPR和準確率Ac。具體計算公式為：

(8)

(9)

(10)

式中：TP表示真陽性；TN表示真陰性；FP表示假陽性；FN表示假陰性。其含義為：1) 真陽性(TP)：生成警報且確實存在入侵。2) 假陰性(FN)：未生成警報，但存在入侵，即漏警。3) 假陽性(FP)：生成警報，但不存在入侵，即虛警。4) 真陰性(TN)：未生成警報，且不存在入侵。

2.3 仿真結果

本文使用NSL-KDD和ISCXIDS2012數據集來測試本文方法在不同場景下的性能。仿真在MATLAB中完成，訓練時間和測試時間分別為2.3 s和32.5 s。捕捉期間每秒的數據流數量在10 MB以上。基于流量可視化的分析[14]使用Wireshark工具繪制，如圖4所示。

圖4 流量可視化分析的Wireshark工具界面

2.3.1場景1

在場景1中，攻擊者使用的攻擊類型包括：

1) DoS攻擊(拒絕服務)：攻擊者占用處理有效請求所需的計算資源或內存資源，使得系統無法應答正常的用戶請求。

2) R2L攻擊(遠程到本地)：攻擊者遠程非授權接入系統，使用有效用戶賬戶。

3) U2R攻擊(用戶到Root)：攻擊者遠程接入網絡，并非法獲得超級用戶權限，使用有效用戶賬戶。

4) 探測攻擊：攻擊者試圖獲得計算機網絡相關信息。

表2給出了本文方法使用NSL-KDD數據集在場景1下的運行結果，可以看出，該方法成功完成了攻擊檢測。特別針對攻擊特征與正常業務非常相似的攻擊類型(識別難度較大)，表3進一步給出了場景1下本文方法的運行情況。

表2 場景1攻擊的多項檢測結果

表3 場景1攻擊檢測的樣本情況

2.3.2場景2

場景2中，攻擊者使用的攻擊手段包括：

1) 滲透攻擊：攻擊者首先收集目標相關信息，包括網絡IP段、服務器名等。通過使用網絡管理工具查詢資源記錄來實現[15]。

2) 暴力SSH攻擊：一種常見的網絡攻擊，窮舉弱用戶名和密碼組合完成賬戶入侵。該場景設計是對郵件服務器進行暴力攻擊以獲取SSH賬戶[15]。

3) 僵尸網絡攻擊：將上述行為合并為單個平臺，最終幫助平臺上的用戶執行針對世界各地網絡的復雜攻擊。此類行為包括掃描、分布式拒絕服務(DDoS)活動等[15]。

本文方法使用ISCXIDS2012數據集在場景2的運行結果如表4所示，其中：正確報警率為86%，錯誤報警率為14%，虛警率小于等于5%，漏警率為3%，準確率為83%，檢測率為73%，誤差率為27%。表5給出了本文方法與其他方法的比較結果。可以看出，方法在所有三個重要標準中均顯著優于其他方法。這主要因為ABC算法能夠避免局部最優區域，選擇出最優相關特征，從而實現性能改進。

表4 本文方法對場景2攻擊的檢測結果

表5 與其他方法的結果比較

2.4 靈敏度分析

表6給出了對于DR、Ac和FPR標準，本文方法在每個特征子集中單獨實施的結果。可見，參數T的數量至少要在200以上調整。當T=200時，DR和Ac會隨最大循環數的增加而上升，且FPR則會下降。同樣，當maxcycle=10時，T增加會帶來性能提升。由于相關特征直接影響到分類準確度，循環次數增加會提高選擇最合適的分類特征的概率，由此對攻擊檢測造成積極的影響。另一方面，由于XGBoost的設計能夠降低分類中的誤差，在迭代次數較高的水平上調整特征數也能得到較理想的結果。

表6 本文方法的靈敏度分析

為了分析NF的影響，以maxcycle=10，T=200運行程序，NF分別為25和50。得到25個解時，DR=98.81，Ac=93.67，FPR=0.093；在50個解時，DR=99.40，Ac=97.50，FPR=0.040。結果表明增加NF能夠提升性能。4個實驗下的分類誤差如圖5所示，其中最佳情況下分類誤差低于0.006(T=200，maxcycle=50)。

(a) T=500，maxcycle=10的情況

各方法的復雜度結果如表7所示。可以看出，本文方法在攻擊檢測中表現出很高的效率。在選定的數據集上，本文方法能夠以適當的時間和空間復雜度有效檢測網絡異常，其ABC算法的適應度函數在30次迭代即可達到收斂狀態。

表7 時間和空間復雜度結果

3 結 語

網絡流量數據集非常大且不平衡，會影響到IDS的性能，其不平衡性會造成傳統的數據挖掘算法無法正確檢測少數異常類，而少數實例類非常重要。因此本文針對不平衡數據采用了XGBoost算法，使本文方法能夠準確地對不同攻擊類型進行分類。另一方面，ABC算法適用于優化IDS問題，因此采用ABC算法進行特征選擇。在NSL-KDD和ISCXIDS2012數據集上執行了仿真和評價。實驗結果表明，該方法在準確度和檢測率方面的性能優秀，強于傳統方法。