一種基于卷積神經(jīng)網(wǎng)絡(luò)的入侵檢測(cè)方法

時(shí)東閣 章曉慶 毛保磊 李潤(rùn)知 林予松,2*

1(鄭州大學(xué)互聯(lián)網(wǎng)醫(yī)療與健康服務(wù)河南省協(xié)同創(chuàng)新中心 河南 鄭州 450052) 2(鄭州大學(xué)軟件學(xué)院 河南 鄭州 450003)

0 引 言

隨著科學(xué)技術(shù)的發(fā)展，互聯(lián)網(wǎng)走進(jìn)了千家萬(wàn)戶，在給我們生活帶來(lái)便利的同時(shí)，也帶來(lái)了網(wǎng)絡(luò)安全問(wèn)題。工業(yè)界和學(xué)術(shù)界采取各種技術(shù)和措施解決網(wǎng)絡(luò)安全問(wèn)題，其中入侵檢測(cè)系統(tǒng)(Intrusion Detection System，IDS)是網(wǎng)絡(luò)安全體系的重要組成部分，一直以來(lái)備受網(wǎng)絡(luò)安全領(lǐng)域?qū)W者的關(guān)注。IDS作為防火墻后第二道安全屏障，從網(wǎng)絡(luò)中收集信息并進(jìn)行分析，從中發(fā)現(xiàn)違反安全策略的網(wǎng)絡(luò)行為，并和其他設(shè)備聯(lián)動(dòng)做出響應(yīng)。雖然當(dāng)前人們信息安全意識(shí)在不斷提高，但網(wǎng)絡(luò)攻擊的復(fù)雜性以及攻擊手段的多樣性，使得信息安全事件頻繁發(fā)生。海量復(fù)雜且標(biāo)簽不平衡的入侵?jǐn)?shù)據(jù)，給入侵檢測(cè)帶來(lái)了重大的挑戰(zhàn)。如何有效地從入侵?jǐn)?shù)據(jù)中選擇特征進(jìn)行多分類，并提高入侵檢測(cè)的精度，在網(wǎng)絡(luò)安全領(lǐng)域具有重要的研究?jī)r(jià)值和廣闊的應(yīng)用前景。

1 研究現(xiàn)狀

目前，將機(jī)器學(xué)習(xí)和深度學(xué)習(xí)應(yīng)用于入侵檢測(cè)領(lǐng)域是個(gè)重要的課題。機(jī)器學(xué)習(xí)能對(duì)特征進(jìn)行學(xué)習(xí)并發(fā)現(xiàn)重要特征，利用機(jī)器學(xué)習(xí)的方法可以將入侵檢測(cè)轉(zhuǎn)化為對(duì)網(wǎng)絡(luò)中正常和異常行為分類的問(wèn)題。Balabine等[1]提出了SVM算法應(yīng)用于網(wǎng)絡(luò)流量異常檢測(cè)的專利；Pan等[2]和Tahir等[3]將K-means和SVM算法結(jié)合用于入侵檢測(cè)；Ambusaidi等[4]采用網(wǎng)絡(luò)流量的相關(guān)性檢測(cè)網(wǎng)絡(luò)的惡意行為；聚類也是常用的入侵檢測(cè)方法，基于聚類的入侵檢測(cè)主要包含有常規(guī)聚類方法[5]和聯(lián)合聚類方法[6]。上述方法雖然有較高的檢測(cè)率，但是由于數(shù)據(jù)的維度較大，特別在數(shù)據(jù)處理階段會(huì)依據(jù)專家經(jīng)驗(yàn)進(jìn)行特征提取，這不僅需要較長(zhǎng)的時(shí)間來(lái)選擇合適的特征，還可能破壞數(shù)據(jù)之間的相關(guān)性，從而漏掉一部分有效特征。

近年來(lái)，深度學(xué)習(xí)在語(yǔ)音識(shí)別、圖像識(shí)別和自然語(yǔ)言處理等領(lǐng)域取得了不錯(cuò)的成果[7]。深度學(xué)習(xí)可以從原始特征提取出抽象的高層特征，不需要依據(jù)專家經(jīng)驗(yàn)進(jìn)行特征選擇，因其強(qiáng)大的學(xué)習(xí)能力，國(guó)內(nèi)外已有學(xué)者嘗試將深度學(xué)習(xí)技術(shù)應(yīng)用于網(wǎng)絡(luò)安全領(lǐng)域中。文獻(xiàn)[8]將J48決策樹(shù)應(yīng)用到NSL-KDD[9]數(shù)據(jù)集上進(jìn)行入侵檢測(cè)；文獻(xiàn)[10]將數(shù)據(jù)集的70%作為訓(xùn)練集，剩余部分作為測(cè)試集，利用ANN進(jìn)行入侵預(yù)測(cè)；文獻(xiàn)[11]將隨機(jī)樹(shù)應(yīng)用于入侵檢測(cè)中并取得了不錯(cuò)的成果。上述方法雖然取得了不錯(cuò)的效果，但是其在模型訓(xùn)練和測(cè)試時(shí)只使用了官方的訓(xùn)練集，具有一定的局限性。此外，官方測(cè)試集中攻擊方法比官方訓(xùn)練集的攻擊方法多17種，因此本文在模型的訓(xùn)練和測(cè)試中分別采用官方訓(xùn)練集和官方測(cè)試集，這樣有利于提高模型的健壯性。

本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的入侵檢測(cè)模型(CNN-Focal)。該模型將卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)中的門限卷積[12]和Softmax[13]應(yīng)用于入侵檢測(cè)領(lǐng)域中進(jìn)行多分類，針對(duì)不平衡數(shù)據(jù)集[14]采用Focal Loss[15]損失函數(shù)進(jìn)行優(yōu)化，有效提升了入侵檢測(cè)精度。

2 CNN-Focal入侵檢測(cè)模型

2.1 卷積神經(jīng)網(wǎng)絡(luò)基本原理

在深度學(xué)習(xí)領(lǐng)域中，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)是一種高效的神經(jīng)網(wǎng)絡(luò)模型，已成為眾多領(lǐng)域的研究熱點(diǎn)。卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)由輸入層、卷積層、池化層、全連接層和輸出層組成，如圖1所示。在一個(gè)模型中卷積層、池化層和全連接層可以有一個(gè)或者多個(gè)，其中卷積層和池化層二者一般交替出現(xiàn)，即卷積層連接池化層，或池化層后連接卷積層，以此類推。全連接層一般緊隨在池化層后面。

圖1 卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)

全連接層中每個(gè)神經(jīng)元與前一層所有神經(jīng)元進(jìn)行全連接，位于CNN結(jié)構(gòu)的末端。通常在全連接層之后是輸出層，即分類層。輸出層對(duì)卷積神經(jīng)網(wǎng)絡(luò)提取到的特征進(jìn)行分類，分類的輸出即為結(jié)果。

Softmax回歸是Logistic回歸模型的推廣，主要用于多分類。當(dāng)進(jìn)行2分類的時(shí)候，Softmax回歸會(huì)退化為L(zhǎng)ogistic回歸。在多分類問(wèn)題中，類標(biāo)簽y取兩個(gè)以上的值，即類標(biāo)簽y有k(k為大于2的整數(shù))個(gè)不同的值。給定的數(shù)據(jù)集{(x1,y1),(x2,y2),…,(xn,yn)}，yi表示第i類標(biāo)簽，i∈{1,2,…,k}。對(duì)于給定的x，Softmax回歸估計(jì)出x在k類標(biāo)簽中每一類的概率。

損失函數(shù)(Loss function)是用來(lái)評(píng)估模型的預(yù)測(cè)值f(x)和真實(shí)值Y的差別程度，通常表示形式為L(zhǎng)(Y,f(x))。損失函數(shù)反映了模型的魯棒性，即損失函數(shù)值越小，模型的魯棒性越好。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

入侵檢測(cè)問(wèn)題是一個(gè)分類問(wèn)題，可以通過(guò)有監(jiān)督學(xué)習(xí)訓(xùn)練出分類模型，然后使用訓(xùn)練的模型對(duì)未知數(shù)據(jù)進(jìn)行預(yù)測(cè)。在使用卷積神經(jīng)網(wǎng)絡(luò)時(shí)，輸入層輸入數(shù)據(jù)通常是二維的，入侵記錄是一維數(shù)據(jù)，因此在卷積操作選擇方面，本文采取一維卷積方法對(duì)入侵記錄數(shù)據(jù)進(jìn)行卷積操作。根據(jù)NSL-KDD標(biāo)簽不平衡和模型實(shí)際分類性能等情況，本文設(shè)計(jì)了CNN-Focal模型，其結(jié)構(gòu)如圖2所示。CNN-Focal模型共有10層，1個(gè)輸入層、3個(gè)卷積層、3個(gè)Dropout層、1個(gè)Max-pooling層、1個(gè)全連接層和1個(gè)Softmax層。

圖2 CNN-Focal模型結(jié)構(gòu)

該模型具體描述如下：

1)輸入層：第一層為輸入層。入侵記錄是一維數(shù)據(jù)，經(jīng)過(guò)數(shù)據(jù)標(biāo)準(zhǔn)化、one hot預(yù)處理后，單條入侵記錄數(shù)據(jù)由1×41轉(zhuǎn)換為1×122。

2)卷積層：第2、4、6層都是卷積層。在卷積層使用了門限卷積的概念，門限卷積中分為兩部分：一部分是卷積的激活值，即B；另一部分是直接線性得到卷積，即A。A、B兩部分相乘得到相應(yīng)的卷積值。已有不少文獻(xiàn)證明較小的卷積核能得到更好的局部特征和分類性能[16]，因此在卷積核大小的設(shè)計(jì)方面，CNN-Focal采用了小卷積核策略，卷積核大小分別為1×3、1×2和1×1，卷積核的個(gè)數(shù)分別為16、32、64。除此之外小卷積核可以對(duì)學(xué)習(xí)到的特征進(jìn)行聚類，在一定程度上緩解卷積冗余對(duì)模型性能的影響。

3)Dropout層：卷積神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練過(guò)程中容易出現(xiàn)過(guò)擬合現(xiàn)象，過(guò)擬合對(duì)模型實(shí)際性能影響很大。為了緩解此問(wèn)題，CNN-Focal模型中第3、5和7層都采用了Dropout。Dropout值的大小分別設(shè)置為0.6、0.5和0.4，這是根據(jù)CNN-Focal模型實(shí)際分類效果進(jìn)行設(shè)置的。

4)Max-Pooling層：池化層能減小計(jì)算量，CNN-Focal模型第8層為Max-Pooling層，stride為2，即參數(shù)數(shù)量減少為原來(lái)的一半。

5)全連接層：CNN-Focal中全連接層神經(jīng)元的個(gè)數(shù)為200。

6)Softmax層：在深度學(xué)習(xí)中，Softmax回歸通常作為標(biāo)準(zhǔn)的分類器用于多分類或二分類問(wèn)題。CNN-Focal采用Softmax回歸作為多分類器。

2.3 優(yōu)化策略

在模型訓(xùn)練中一般會(huì)遇到收斂速度慢、數(shù)據(jù)不平衡、耗費(fèi)資源大等問(wèn)題，因此需要引入相應(yīng)的優(yōu)化策略減少這些問(wèn)題帶來(lái)的負(fù)面影響。為了提高CNN-Focal模型的性能，本文采用以下三種優(yōu)化策略。

1)批標(biāo)準(zhǔn)化(Batch Normalization)。在深度學(xué)習(xí)中，深度網(wǎng)絡(luò)參數(shù)訓(xùn)練時(shí)內(nèi)部存在協(xié)方差偏移(Internal Covariate Shift)現(xiàn)象。根據(jù)鏈?zhǔn)揭?guī)則，隨著層數(shù)的增加，偏移現(xiàn)象會(huì)被逐漸放大，這將影響網(wǎng)絡(luò)參數(shù)學(xué)習(xí)。因?yàn)樯窠?jīng)網(wǎng)絡(luò)的本質(zhì)是表示學(xué)習(xí)(Representation Learning)，如果數(shù)據(jù)分布發(fā)生改變，神經(jīng)網(wǎng)絡(luò)不得不學(xué)習(xí)新的分布。批標(biāo)準(zhǔn)化對(duì)每一層都進(jìn)行標(biāo)準(zhǔn)化處理，使輸入樣本之間不相關(guān)。通過(guò)標(biāo)準(zhǔn)化每一層的輸入，使每一層的輸入服從相同分布，因此克服內(nèi)部協(xié)方差偏移的影響。批標(biāo)準(zhǔn)化可以看做對(duì)輸入樣本的一種約束，最大作用是加速收斂和提高模型分類性能。

2)損失函數(shù)優(yōu)化。本文采用的入侵檢測(cè)數(shù)據(jù)集的標(biāo)簽分布是不平衡的，數(shù)據(jù)集標(biāo)簽統(tǒng)計(jì)如圖3所示。Focal Loss函數(shù)適用于不平衡數(shù)據(jù)集，因此本文采用Focal Loss作為模型的損失函數(shù)。與其他損失函數(shù)相比，F(xiàn)ocal Loss損失函數(shù)修正了正負(fù)樣本、難分和易分樣本對(duì)損失的貢獻(xiàn)量。

圖3 數(shù)據(jù)集標(biāo)簽統(tǒng)計(jì)

3)Adam優(yōu)化算法。Adam算法[17]可以替代傳統(tǒng)隨機(jī)梯度下降過(guò)程的優(yōu)化算法，能基于訓(xùn)練數(shù)據(jù)迭代地更新網(wǎng)絡(luò)模型的權(quán)重。Adam算法具有減少深度學(xué)習(xí)的時(shí)間以及占用計(jì)算機(jī)的資源等優(yōu)勢(shì)，因此被廣泛應(yīng)用于深度學(xué)習(xí)領(lǐng)域。CNN-Focal模型采用Adam算法提高模型的性能。

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)?zāi)康?/h3>

針對(duì)本文數(shù)據(jù)集不平衡問(wèn)題，本文將Focal Loss損失函數(shù)應(yīng)用到模型中。為了驗(yàn)證Focal Loss的有效性，本文將Focal Loss和深度學(xué)習(xí)中常用的交叉熵?fù)p失函數(shù)進(jìn)行實(shí)驗(yàn)對(duì)比，即將CNN-Focal模型的損失函數(shù)換成交叉熵?fù)p失函數(shù)，更改損失函數(shù)后的模型記為CNN-Cross。除此之外，為了驗(yàn)證CNN-Focal模型具有更好的分類效果，本文將CNN-Focal與SVM、RandomForest、DecisionTree、GaussianNB四種方法進(jìn)行了對(duì)比實(shí)驗(yàn)。

3.2 實(shí)驗(yàn)方法

在入侵檢測(cè)領(lǐng)域，NSL-KDD數(shù)據(jù)集被廣泛應(yīng)用，本文將經(jīng)過(guò)數(shù)據(jù)預(yù)處理的NSL-KDD數(shù)據(jù)集用于CNN-Focal以及對(duì)比模型的訓(xùn)練和測(cè)試。另外本文選取了精度、準(zhǔn)確率、召回率、F1評(píng)分等指標(biāo)對(duì)模型進(jìn)行評(píng)估。

1)數(shù)據(jù)集介紹。在入侵檢測(cè)的研究中，KDD CUP 99數(shù)據(jù)集是使用最為廣泛的數(shù)據(jù)集。KDD CUP 99數(shù)據(jù)集中訓(xùn)練集有約500萬(wàn)條記錄，測(cè)試集有約30萬(wàn)條記錄，該數(shù)據(jù)集的數(shù)據(jù)量對(duì)實(shí)驗(yàn)硬件環(huán)境要求較高。另外，各種統(tǒng)計(jì)分析顯示KDD CUP 99數(shù)據(jù)集中存在大量冗余的記錄[18]，這將使模型出現(xiàn)過(guò)擬合現(xiàn)象，且在訓(xùn)練過(guò)程中需要更多的計(jì)算機(jī)資源，模型收斂緩慢。

NSL-KDD數(shù)據(jù)集解決了KDD CUP 99數(shù)據(jù)集中存在的問(wèn)題，目前有許多研究成果都是基于NSL-KDD數(shù)據(jù)集的。NSL-KDD數(shù)據(jù)集中包含41列特征和1列標(biāo)簽。標(biāo)簽列分為5大類：Normal，Probe，Dos，U2L和R2L。

NSL-KDD數(shù)據(jù)集中訓(xùn)練集共有125 973條(約18.2 MB)，測(cè)試集共有22 543條(約3.2 MB)。這個(gè)數(shù)據(jù)集的數(shù)量級(jí)對(duì)實(shí)驗(yàn)硬件環(huán)境的要求不高，可以在普通機(jī)器上進(jìn)行實(shí)驗(yàn)。另外，訓(xùn)練集和測(cè)試集中包含的攻擊方法不同，所以使用該數(shù)據(jù)集訓(xùn)練出的模型對(duì)于新型的攻擊具有較好的檢測(cè)效果。

2)數(shù)據(jù)預(yù)處理。機(jī)器學(xué)習(xí)中一般使用標(biāo)稱型和數(shù)值型兩種數(shù)據(jù)類型，NSL-KDD數(shù)據(jù)集中41列特征屬性值既有標(biāo)稱型又有數(shù)值型。該數(shù)據(jù)集中protcol_type、service、flag和label 4列屬性值類型為標(biāo)稱型，剩余各列為數(shù)值型。

數(shù)據(jù)的標(biāo)準(zhǔn)化(Normalization)是把數(shù)據(jù)按比例縮放到一個(gè)特定區(qū)間，使之從一個(gè)大區(qū)間落入一個(gè)小區(qū)間。標(biāo)準(zhǔn)化后的數(shù)據(jù)具有縮短模型的收斂時(shí)間、提高模型精度等優(yōu)勢(shì)。本文對(duì)數(shù)值型特征進(jìn)行標(biāo)準(zhǔn)化操作，使之縮放到[0,1]之間。具體如下：

(1)

式中：x、xmin、xmax分別表示原始樣本數(shù)據(jù)值、樣本數(shù)據(jù)的最大值、樣本數(shù)據(jù)的最小值。

one-hot編碼，又稱獨(dú)熱編碼，它不僅能處理非連續(xù)型數(shù)值的特征，也會(huì)讓特征之間的距離更加合理。本文中使用sklearn包中的OneHotEncoder對(duì)protcol_type、service、flag和label 4列標(biāo)稱型數(shù)據(jù)進(jìn)行one-hot編碼。

3)評(píng)價(jià)指標(biāo)。對(duì)模型進(jìn)行評(píng)估，不僅需要有效可行的實(shí)驗(yàn)方案，還需要有衡量模型泛化能力的評(píng)價(jià)指標(biāo)，這就是性能度量。在不平衡分類任務(wù)中，最常用的性能度量有精度(Accuracy)、準(zhǔn)確率(Precision)、召回率(Recall)以及F1評(píng)分四種。本文以這四種指標(biāo)來(lái)評(píng)估模型。

3.3 環(huán)境構(gòu)建

本文實(shí)驗(yàn)環(huán)境采用了Ubuntu 16.04 64位操作系統(tǒng)、Intel Core i7處理器、64 GB內(nèi)存。實(shí)驗(yàn)平臺(tái)采用了TensorFlow 1.9.0、Sklearn 0.20.1等框架，在程序?qū)崿F(xiàn)中使用了Python 3.5.2進(jìn)行編程。

3.4 結(jié)果分析

本文所有實(shí)驗(yàn)均使用NSL-KDD數(shù)據(jù)集。CNN-Cross和CNN-Focal兩組對(duì)比實(shí)驗(yàn)的結(jié)果如表1-表3所示。SVM、RandomForest、DecisionTree、GaussianNB四組實(shí)驗(yàn)與CNN-Focal的實(shí)驗(yàn)結(jié)果的對(duì)比結(jié)果如表4-表6所示。

表1 兩種損失函數(shù)總體指標(biāo)對(duì)比

表2 兩種損失函數(shù)準(zhǔn)確率對(duì)比

表3 兩種損失函數(shù)召回率對(duì)比

表4 總體指標(biāo)對(duì)比

表5 準(zhǔn)確率對(duì)比

表6 召回率對(duì)比

表1為CNN-Focal和CNN-Cross在精度、平均準(zhǔn)確率、平均召回率和F1評(píng)分上的對(duì)比結(jié)果。可以看出，CNN-Focal取得了79.25%的精度、82.56%的平均準(zhǔn)確率、79.25%的平均召回率和76.90%的F1評(píng)分，均高于CNN-Cross。

由表2可知，CNN-Focal在Normal、Probe、U2L、R2L等五種類型上分別取得了70.43%、81.44%、95.93%、70.69%和91.19%的準(zhǔn)確率，均高于CNN-Cross。

由表3可知，CNN-Focal在Normal、Probe、U2L、R2L等五種類型上分別取得了96.19%、73.01%、82.60%、9.90%和20.96%的召回率，均高于CNN-Cross。

綜合對(duì)比表1-表3實(shí)驗(yàn)結(jié)果，F(xiàn)ocal Loss 損失函數(shù)在本文數(shù)據(jù)集上的分類效果優(yōu)于交叉熵?fù)p失函數(shù)。

表4列出了CNN-Focal模型和其他四種模型在精度、平均準(zhǔn)確率、召回率和F1評(píng)分上的結(jié)果對(duì)比?？梢钥闯觯珻NN-Focal模型取得了79.25%的精度、82.56%的平均準(zhǔn)確率、79.25%的平均召回率、76.90%的F1評(píng)分，均高于其他四種模型。

由表5可知CNN-Focal模型在Normal、Probe和U2L三種類型的準(zhǔn)確率上均高于其他四種模型。CNN-Focal模型在Dos、R2L兩種分類上準(zhǔn)確率略低于SVM模型，而高于其他三種方法。但是SVM在U2L類別上的準(zhǔn)確率為0，即SVM沒(méi)有檢測(cè)出U2L類型的攻擊，而文中設(shè)計(jì)的CNN-Focal模型達(dá)到了0.706 94的準(zhǔn)確率。總體來(lái)說(shuō)，CNN-Focal模型在準(zhǔn)確率上優(yōu)于其他四種模型。

由表6可知，CNN-Focal模型在召回率上均高于其他四種模型，尤其在U2L攻擊類型的檢測(cè)效果上比其他四種更有效。

綜合表4-表6實(shí)驗(yàn)結(jié)果，本文提出的CNN-Focal模型具有更好的分類效果，與其他方法相比，本文模型在取得較高的準(zhǔn)確率的同時(shí)，也提高了不同攻擊類型的檢測(cè)準(zhǔn)確率。

4 結(jié) 語(yǔ)

針對(duì)傳統(tǒng)入侵檢測(cè)系統(tǒng)在網(wǎng)絡(luò)流量較大及復(fù)雜入侵環(huán)境下檢測(cè)能力弱且精度低的問(wèn)題，本文提出了CNN-Focal模型。實(shí)驗(yàn)結(jié)果表明，與SVM、RandomForest、DecisionTree和GaussianNB等方法相比，本文模型具有較高分類精度和F1評(píng)分。在未來(lái)工作中，將進(jìn)一步優(yōu)化模型結(jié)構(gòu)，減少訓(xùn)練時(shí)間，提高分類效果，同時(shí)還將探索二維卷積模型在入侵檢測(cè)中的應(yīng)用。