基于改進(jìn)CNN-LSTM的網(wǎng)絡(luò)入侵檢測(cè)模型研究

葛繼科 劉浩因 李青霞 陳祖琴

摘? 要：針對(duì)網(wǎng)絡(luò)入侵檢測(cè)模型特征提取算法復(fù)雜、訓(xùn)練參數(shù)過多、檢測(cè)結(jié)果不理想等問題，提出一種改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)與長短期記憶網(wǎng)絡(luò)結(jié)合的網(wǎng)絡(luò)入侵檢測(cè)方法（GCNN-LSTM）。首先，使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)流量數(shù)據(jù)做特征選擇，并選擇全局池化層代替其中的全連接層;其次，結(jié)合長短期記憶網(wǎng)絡(luò)強(qiáng)大的時(shí)間序列學(xué)習(xí)能力對(duì)改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)選擇后的特征進(jìn)行學(xué)習(xí)分類，以期在網(wǎng)絡(luò)異常數(shù)據(jù)檢測(cè)方面獲得更好的效率和準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明，提出的模型在UNSW-NB15數(shù)據(jù)集上有著較好的檢測(cè)效果。在同等條件下，使用傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的模型準(zhǔn)確率為84.97%，訓(xùn)練時(shí)間為76.3 s;本模型準(zhǔn)確率達(dá)到了88.96%，訓(xùn)練時(shí)間為61.1 s。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò);LSTM;全局池化;網(wǎng)絡(luò)入侵檢測(cè)

中圖分類號(hào)：TP393.8? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：2096-1472（2022）-01-56-03

Abstract： Aiming at the problems of complex feature extraction algorithm， too many training parameters， and unsatisfactory detection results in the network intrusion detection model， this paper proposes a network intrusion detection method （GCNN-LSTM） combining improved convolutional neural network and long short-term memory （LSTM） network. Firstly， convolutional neural network is used to perform feature selection on the flow data， and its full connection layer is replaced by global pooling layer. Then， in view of its powerful time series learning ability， LSTM is used to learn and classify the features selected by the improved convolutional neural network， in order to obtain better efficiency and accuracy in network abnormal data detection. Experimental results show that the proposed model has a good detection effect on the UNSW-NB15 dataset. Under the same conditions， the accuracy of the model using the traditional convolutional neural network is 84.97%， and its raining time is 76.3 s， while the accuracy of the proposed model is 88.96%， and its training time is 61.1 s.

Keywords： convolutional neural network; LSTM; global pooling; network intrusion detection

1? ?引言（Introduction）

隨著網(wǎng)絡(luò)攻擊手段的不斷提升，基于淺層模型的網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)很難對(duì)復(fù)雜情況下的網(wǎng)絡(luò)流量進(jìn)行有效識(shí)別[1]。因此，網(wǎng)絡(luò)入侵檢測(cè)模型結(jié)構(gòu)的優(yōu)化已經(jīng)成為當(dāng)前安全研究領(lǐng)域的研究熱點(diǎn)[2]。傳統(tǒng)的入侵檢測(cè)方法主要包括統(tǒng)計(jì)分析方法、閾值分析方法、特征分析方法等[3]。這些異常檢測(cè)方法雖然能夠?qū)阂饬髁窟M(jìn)行識(shí)別，但只是對(duì)已經(jīng)發(fā)現(xiàn)的惡意流量行為的總結(jié)，并不能適應(yīng)當(dāng)前互聯(lián)網(wǎng)的海量數(shù)據(jù)和多變的網(wǎng)絡(luò)攻擊方式[4]。

深度學(xué)習(xí)能夠直接從原始數(shù)據(jù)中提取特征，已逐漸被用于網(wǎng)絡(luò)流量分類任務(wù)中。LSTM作為一種深度學(xué)習(xí)方法，由于具有保持長期記憶的能力，也逐漸被應(yīng)用到各種網(wǎng)絡(luò)入侵檢測(cè)模型中。高忠石等[5]使用堆棧LSTM模型檢測(cè)多維時(shí)間序列中的異常數(shù)據(jù)，并在ECG等四個(gè)數(shù)據(jù)集上進(jìn)行驗(yàn)證，該模型在時(shí)間序列數(shù)據(jù)上有較好的驗(yàn)證結(jié)果。方圓等[6]提出了一種層次化的CNN-RNN模型，并在NSL-KDD與UNSW-NB15數(shù)據(jù)集上進(jìn)行了分類實(shí)驗(yàn)。王毅等[7]使用CNN-LSTM方法構(gòu)建入侵檢測(cè)模型并在NSL-KDD數(shù)據(jù)集上進(jìn)行分類實(shí)驗(yàn)。為提高模型性能，研究人員對(duì)傳統(tǒng)CNN網(wǎng)絡(luò)進(jìn)行了改進(jìn)，使用全局平均池化層代替全連接層[8]。

綜合上述卷積神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)內(nèi)部特征分析與長短期記憶網(wǎng)絡(luò)在序列間關(guān)聯(lián)提取方面的優(yōu)勢(shì)，本文提出一種基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)與長短期記憶網(wǎng)絡(luò)相結(jié)合的網(wǎng)絡(luò)入侵檢測(cè)方法（GCNN-LSTM），以期在網(wǎng)絡(luò)異常數(shù)據(jù)檢測(cè)方面獲得更好的效率和準(zhǔn)確率。

2 改進(jìn)的CNN-LSTM模型構(gòu)建（GCNN-LSTM model construction）

針對(duì)傳統(tǒng)CNN中全連接層產(chǎn)生參數(shù)比重過大導(dǎo)致的過擬合問題，本文提出一種優(yōu)化的網(wǎng)絡(luò)檢測(cè)模型GCNN-LSTM。該模型采用全局池化層代替全連接層的方式對(duì)CNN進(jìn)行改進(jìn);并結(jié)合LSTM算法強(qiáng)大的時(shí)間序列學(xué)習(xí)能力對(duì)特征選擇后的數(shù)據(jù)進(jìn)行訓(xùn)練;最后采用Sigmoid激活函數(shù)對(duì)訓(xùn)練結(jié)果作二分類預(yù)測(cè)。GCNN-LSTM模型結(jié)構(gòu)如圖1所示。

2.1? ?改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）是一種重要的深度學(xué)習(xí)算法，在空間特征提取方面有著很好的效果，常用于信號(hào)處理及圖像分類當(dāng)中。典型的CNN結(jié)構(gòu)如圖2所示，由卷積層、池化層、全連接層交叉堆疊組成。其中，卷積層通過控制卷積核大小提取樣本數(shù)據(jù)的局部特征。池化層一般處于卷積層下一層，主要用于特征選擇，減少原始數(shù)據(jù)的特征維數(shù)，防止過擬合。全連接層負(fù)責(zé)對(duì)前面提取的局部特征進(jìn)行整合，再把處理后的輸出值傳輸?shù)椒诸惼?。全連接層的輸出數(shù)據(jù)通過緊隨其后的非線性激活函數(shù)（tanh、Sigmoid、rectifier等）生成特征映射。

但常用的CNN直接應(yīng)用在入侵檢測(cè)數(shù)據(jù)中的特征選擇時(shí)，并不能很好地對(duì)關(guān)鍵特征進(jìn)行提取，主要是因?yàn)閭鹘y(tǒng)CNN模型中的全連接層產(chǎn)生的參數(shù)占總模型參數(shù)比重過大，導(dǎo)致迭代時(shí)的計(jì)算量增加，且容易引起過擬合，影響整個(gè)模型的泛化能力。使用全局池化代替全連接層對(duì)CNN進(jìn)行優(yōu)化能有效解決該問題。

全局池化相比于普通池化，將整張?zhí)卣鲌D輸出為一個(gè)值，使得輸出數(shù)量等同于最后一層的通道數(shù)。假設(shè)模型的最后一個(gè)卷積層為m×n×4的特征圖，全連接與全局池化的結(jié)構(gòu)如圖3（a）、圖3（b）所示。

全局池化分為全局最大池化與全局平均池化，特征圖對(duì)應(yīng)輸出的特征值公式分別如式（1）、式（2）所示。

2.2? ?長短期記憶網(wǎng)絡(luò)

CNN主要是對(duì)單個(gè)數(shù)據(jù)包內(nèi)部的特征進(jìn)行分析，缺乏對(duì)序列之間關(guān)聯(lián)的提取分析，因此與長短期記憶網(wǎng)絡(luò)（Long Short Term Memory Networks， LSTM）結(jié)合構(gòu)建的模型在網(wǎng)絡(luò)入侵檢測(cè)方面會(huì)有更好的訓(xùn)練效果。LSTM作為一種深度學(xué)習(xí)方法，由于具有保持長期記憶的能力，逐漸被應(yīng)用在各種網(wǎng)絡(luò)入侵檢測(cè)模型中。LSTM通過三個(gè)“門”保持對(duì)過長數(shù)據(jù)的記憶能力，分別為遺忘門、輸入門、輸出門，詳細(xì)計(jì)算方法如式（3）—式（6）所示。

其中，表示遺忘門、輸入門、單元狀態(tài)與輸出門，分別表示權(quán)重與偏置。

遺忘門使用Sigmoid函數(shù)決定當(dāng)前時(shí)間會(huì)丟棄多少信息，使得LSTM可以在保留上下文信息的基礎(chǔ)上，會(huì)“遺忘”一部分信息;輸入門主要對(duì)輸入信息進(jìn)行篩選，以此來更新單元狀態(tài);輸出門根據(jù)單元狀態(tài)確定輸出值。最后將輸出數(shù)據(jù)放入分類器進(jìn)行分類處理，本文采用Sigmoid函數(shù)作為激活函數(shù)對(duì)輸出數(shù)據(jù)作二分類，該激活函數(shù)的公式如式（7）所示。

3? ?實(shí)驗(yàn)設(shè)計(jì)與分析（Experimental setup and analysis）

3.1? 評(píng)估指標(biāo)

實(shí)驗(yàn)采用四種常用評(píng)價(jià)指標(biāo)對(duì)提出的入侵檢測(cè)模型進(jìn)行評(píng)估：準(zhǔn)確率（Accuracy）、召回率（Recall）、精確度（Precision）及F1值（F1-score）。計(jì)算公式如式（8）—式（11）所示。

其中，關(guān)于每種評(píng)價(jià)指標(biāo)的參數(shù)TP、TN、FP和FN的定義如表1所示。

3.2? ?實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)使用澳大利亞網(wǎng)絡(luò)安全中心（ACCS）于2015 年建立的入侵檢測(cè)數(shù)據(jù)集UNSW-NB15。該數(shù)據(jù)集共有82，332 條樣本數(shù)據(jù)，包含除正常情況外的模糊測(cè)試、滲透分析、漏洞利用、DoS、泛型攻擊、后門、偵察、shellcode、蠕蟲等九種攻擊方式。每條樣本數(shù)據(jù)包含45 維特征，其中前35 維數(shù)據(jù)是從報(bào)頭數(shù)據(jù)包中收集的綜合信息，包括流量特征、基礎(chǔ)特征、內(nèi)容特征和時(shí)間特征;36—43 維特征表示其他生成特征;最后兩維是標(biāo)簽數(shù)據(jù)。由于本文是對(duì)異常數(shù)據(jù)進(jìn)行識(shí)別，因此只需要對(duì)標(biāo)簽數(shù)據(jù)進(jìn)行二分類。

3.3? ?實(shí)驗(yàn)結(jié)果與分析

使用全局池化改進(jìn)的CNN-LSTM網(wǎng)絡(luò)模型在UNSW-NB15數(shù)據(jù)集上訓(xùn)練，得到的識(shí)別準(zhǔn)確率與損失函數(shù)變化如圖4（a）、圖4（b）所示。

為了更加全面地驗(yàn)證模型在測(cè)試集上的預(yù)測(cè)效果，將GCNN-LSTM模型與傳統(tǒng)模型進(jìn)行對(duì)比實(shí)驗(yàn)。模型激活函數(shù)設(shè)置為Sigmoid，學(xué)習(xí)率為0.01。實(shí)驗(yàn)結(jié)果如表2所示，可以看出這兩種優(yōu)化后的模型在準(zhǔn)確率與訓(xùn)練時(shí)間上都比傳統(tǒng)模型有更好的效果。

4? ?結(jié)論（Conclusion）

針對(duì)當(dāng)前攻擊手段的不斷提升，基于淺層模型的網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)很難對(duì)復(fù)雜情況下的網(wǎng)絡(luò)流量進(jìn)行有效識(shí)別的現(xiàn)狀，本文提出一種改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)與長短期記憶網(wǎng)絡(luò)結(jié)合的入侵檢測(cè)模型GCNN-LSTM，使用全局池化層優(yōu)化后的卷積神經(jīng)網(wǎng)絡(luò)結(jié)合LSTM能夠更有效地進(jìn)行特征選擇。實(shí)驗(yàn)結(jié)果表明，該方法能提升模型準(zhǔn)確度，減少訓(xùn)練時(shí)間，提高了入侵檢測(cè)模型的性能。但該模型在分類時(shí)使用的方法過于單一，只采用了Sigmoid函數(shù)進(jìn)行簡單的二分類處理，希望未來能在這一方面有進(jìn)一步的優(yōu)化。

參考文獻(xiàn)（References）

[1] 張蕾，崔勇，劉靜，等.機(jī)器學(xué)習(xí)在網(wǎng)絡(luò)空間安全研究中的應(yīng)用[J].計(jì)算機(jī)學(xué)報(bào)，2018，41（09）：1943-1975.

[2] 周杰英，賀鵬飛，邱榮發(fā)，等.融合隨機(jī)森林和梯度提升樹的入侵檢測(cè)研究[J].軟件學(xué)報(bào)，2021，32（10）：3254-3265.

[3] HUBBALLI N， SURYANARAYANAN V. False alarm minimization techniques in signature-based intrusion detection systems： A survey[J]. Computer Communications， 2014（49）：1-17.

[4] TAN Z， JAMDAGNI A， He X， et al. Detection of denial-of-service attacks based on computer vision techniques[J]. IEEE Transactions on Computers， 2014， 64（9）：2519-2533.

[5] 高忠石，蘇旸，柳玉東.基于PCA-LSTM的入侵檢測(cè)研究[J].計(jì)算機(jī)科學(xué)，2019，46（S2）：473-476，492.

[6] 方圓，李明，王萍，等.基于混合卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)的入侵檢測(cè)模型[J].計(jì)算機(jī)應(yīng)用，2018，38（10）：2903-2907，2917.

[7] 王毅，馮小年，錢鐵云，等.基于CNN和LSTM深度網(wǎng)絡(luò)的偽裝用戶入侵檢測(cè)[J].計(jì)算機(jī)科學(xué)與探索，2018，12（04）：575-585.

[8] YAO G， LEI T， ZHONG J. A review of convolutional-neural-network-based action recognition[J]. Pattern Recognition Letters， 2019， 118：14-22.

作者簡介：

葛繼科（1977-），男，博士，副教授.研究領(lǐng)域：人工智能.

劉浩因（1998-），女，碩士生.研究領(lǐng)域：深度學(xué)習(xí)，網(wǎng)絡(luò)安全.

李青霞（1998-），女，碩士生.研究領(lǐng)域：機(jī)器學(xué)習(xí)，推薦系統(tǒng).

陳祖琴（1981-），女，博士，副研究館員.研究領(lǐng)域：情報(bào)學(xué).本文通訊作者.