拆分降尺度卷積神經(jīng)網(wǎng)絡(luò)入侵檢測方法

關(guān)生， 周延森

(國際關(guān)系學(xué)院網(wǎng)絡(luò)空間安全學(xué)院， 北京 100091)

隨著全球互聯(lián)網(wǎng)絡(luò)的快速發(fā)展，網(wǎng)絡(luò)安全問題也愈加復(fù)雜和多樣化。如何有效排除網(wǎng)絡(luò)有害流量，保證網(wǎng)絡(luò)空間和信息系統(tǒng)安全，使信息設(shè)備按照預(yù)期穩(wěn)定可靠運(yùn)行，一直是研究人員關(guān)注的課題。入侵檢測是維護(hù)網(wǎng)絡(luò)和系統(tǒng)安全的一種方法，其優(yōu)點(diǎn)在于能夠發(fā)現(xiàn)未知攻擊和變異攻擊，近年來與快速發(fā)展的機(jī)器學(xué)習(xí)算法相結(jié)合，取得了一些新的研究進(jìn)展。

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)是機(jī)器學(xué)習(xí)的代表算法，其通過卷積、升維度和降尺度等操作，將圖像中有助于分類的信息映射至高維空間，并與標(biāo)簽值相對應(yīng)，從而實(shí)現(xiàn)圖像識(shí)別。經(jīng)典CNN模型包括LeNet-5、AlexNet、Inception、ResNet，以及Inception-ResNet，這些模型先后在字符識(shí)別領(lǐng)域和ImageNet大規(guī)模視覺識(shí)別挑戰(zhàn)賽ILSVRC中獲得了巨大成功。

入侵檢測與圖像識(shí)別本質(zhì)上都是對樣本進(jìn)行分類，因此研究人員開始將CNN應(yīng)用于入侵檢測領(lǐng)域。針對入侵檢測問題，研究人員從提高CNN在入侵檢測領(lǐng)域的適用性，改進(jìn)模型輸入，優(yōu)化模型結(jié)構(gòu)，以及拓展應(yīng)用領(lǐng)域等方面著手，不斷提高基于CNN入侵檢測模型的性能。

但CNN結(jié)構(gòu)中的降尺度層(grid size reduction layer)仍面臨引入待訓(xùn)參數(shù)數(shù)量過大的問題，導(dǎo)致模型訓(xùn)練時(shí)間過長。例如，使用池化降尺度層時(shí)，為避免出現(xiàn)表達(dá)瓶頸，應(yīng)首先擴(kuò)充特征圖維度，再進(jìn)行池化操作，因此具有較高的計(jì)算復(fù)雜度。降尺度層是CNN中負(fù)責(zé)降低特征圖尺度的網(wǎng)絡(luò)結(jié)構(gòu)，經(jīng)典CNN中使用的降尺度層除池化層外，還包括步長為2的卷積層。廣義的降尺度層除了降低特征圖的尺度外，還應(yīng)該包括提升特征圖維度的過程，因?yàn)樯S度、降尺度是兩個(gè)緊密聯(lián)系的過程，缺一不可，只降尺度不升維度，將導(dǎo)致信息在傳遞過程中出現(xiàn)損失，只升維度不降尺度，則會(huì)使計(jì)算量趨于爆炸，也難以將網(wǎng)絡(luò)輸出與標(biāo)簽值對應(yīng)起來。在此過程中，降尺度層的使用還會(huì)使CNN面臨特征丟失的問題。

針對上述問題，提出在CNN中使用一種新的降尺度結(jié)構(gòu)，即拆分層。拆分層通過在特征圖相鄰像素處拆分，在實(shí)現(xiàn)特征圖升維度和降尺度的同時(shí)保持?jǐn)?shù)據(jù)特征完整性，并且通過減少CNN中引入的待訓(xùn)參數(shù)數(shù)量，以提升入侵檢測模型的檢測性能和訓(xùn)練效率。最后，在NSL-KDD數(shù)據(jù)集上對所提方法的有效性進(jìn)行驗(yàn)證，以期為相關(guān)研究提供一定的科學(xué)依據(jù)。

1 相關(guān)工作

1.1 基于CNN的入侵檢測

為提高CNN在入侵檢測領(lǐng)域的適用性，Li等[1]將數(shù)據(jù)樣本特征分為4個(gè)部分，分別使用CNN訓(xùn)練之后將網(wǎng)絡(luò)模型合并，最終輸出至分類器。

在數(shù)據(jù)預(yù)處理方面，楊錦溦等[2]將深度卷積生成對抗網(wǎng)絡(luò)(deep convolution generation adversarial network, DCGAN)與深度神經(jīng)網(wǎng)絡(luò)(deep neural network, DNN)相結(jié)合構(gòu)建入侵檢測模型，以改善入侵檢測數(shù)據(jù)樣本不平衡問題；Li等[3]針對性地將網(wǎng)絡(luò)流量編碼為灰度圖像，以適應(yīng)CNN輸入，在NSL-KDD數(shù)據(jù)集上取得了優(yōu)于多數(shù)傳統(tǒng)分類方法的結(jié)果；Kim等[4]改進(jìn)網(wǎng)絡(luò)流量編碼方法，令單個(gè)流量特征轉(zhuǎn)化為24維二進(jìn)制向量并對應(yīng)1個(gè)像素，最終將網(wǎng)絡(luò)流量編碼為RGB圖像，訓(xùn)練得到的CNN模型的檢測效果得到了提升，說明改進(jìn)編碼方法是提高CNN入侵檢測模型性能的有效途徑；馮英引等[5]提出使用一種類別重組方法，并引入Focal Loss 損失函數(shù)，提升了檢測性能。

在模型的網(wǎng)絡(luò)結(jié)構(gòu)方面，Sinha等[6]結(jié)合CNN和雙向長短期記憶網(wǎng)絡(luò)(bidirectional long short-term memory, BiLSTM)的各自優(yōu)勢，令模型學(xué)習(xí)數(shù)據(jù)的空間和時(shí)間特征，取得了較好的檢測效果；商富博等[7]引入主成分分析法對網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行降維，之后使用深度可分離卷積神經(jīng)網(wǎng)絡(luò)和BiLSTM提取數(shù)據(jù)特征；Hassan等[8]將CNN與WDLSTM(weight-dropped long short-term memory)相結(jié)合；Cai等[9]通過構(gòu)建并行的CNN和LSTM結(jié)構(gòu)，以及引入度量學(xué)習(xí)，實(shí)現(xiàn)了較好的檢測性能；楊杰等[10]提出將自編碼器與CNN相結(jié)合，分別采用正常流量和異常流量訓(xùn)練兩個(gè)獨(dú)立的自編碼器，然后將自編碼器重構(gòu)的特征向量與原始樣本共同組成多通道特征向量，輸入CNN進(jìn)行處理；吳啟睿等[11]在CNN入侵檢測模型中引入三支決策方法，對于無法即時(shí)決策的網(wǎng)絡(luò)行為再次提取特征；徐雪麗等[12]根據(jù)網(wǎng)絡(luò)異常檢測的特點(diǎn)，提出將CNN與支持向量機(jī)(support vector machine, SVM)相結(jié)合；李勇等[13]在模型中引入Inception 結(jié)構(gòu)和ResNet殘差網(wǎng)絡(luò)，實(shí)驗(yàn)表明，該模型性能較樸素貝葉斯、深度信念網(wǎng)絡(luò)等常見機(jī)器學(xué)習(xí)算法有所提高；劉月峰等[14]借鑒Inception 結(jié)構(gòu)，提出一種多尺度卷積神經(jīng)網(wǎng)絡(luò)檢測模型。

在不同應(yīng)用背景方面，Zhang等[15]在控制器局域網(wǎng)絡(luò)入侵檢測應(yīng)用背景下，將編碼器與CNN結(jié)合構(gòu)造入侵檢測模型，并在模型中引入Inception-ResNet結(jié)構(gòu)，實(shí)驗(yàn)表明，該模型與原始CNN網(wǎng)絡(luò)相比，取得了更好的檢測效果；俞建業(yè)等[16]在模型中采用分布式計(jì)算框架，并引入CNN和LSTM結(jié)構(gòu)實(shí)現(xiàn)入侵檢測，以提升入侵檢測的實(shí)時(shí)性，更好滿足車聯(lián)網(wǎng)的應(yīng)用需要。

在當(dāng)前研究中，研究者從數(shù)據(jù)預(yù)處理和借鑒Inception、ResNet、Inception-ResNet等經(jīng)典CNN網(wǎng)絡(luò)結(jié)構(gòu)的角度出發(fā)，有效提升了入侵檢測模型的性能，但同時(shí)對CNN結(jié)構(gòu)的研究改進(jìn)不多。

1.2 經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)中的降尺度層

目前CNN中常用降尺度層包括池化降尺度層和卷積降尺度層。

在使用池化降尺度層時(shí)，為避免出現(xiàn)表達(dá)瓶頸，一般應(yīng)首先使用大量卷積核進(jìn)行卷積操作、提升特征圖的維度，然后才能連入池化層進(jìn)行降尺度，整個(gè)過程的計(jì)算復(fù)雜度較高。而且在工程實(shí)踐中，具體應(yīng)該選擇最大值池化(MaxPool)還是平均值池化(AvgPool)，以及應(yīng)該選擇重疊池化(Overlapping Pooling)還是非重疊池化，并沒有統(tǒng)一的標(biāo)準(zhǔn)，需要實(shí)驗(yàn)測試性能后才能進(jìn)行選擇。

Inception-v3[17]針對池化降尺度層計(jì)算復(fù)雜度較高的問題，提出一種可以避免出現(xiàn)表達(dá)瓶頸，同時(shí)又有效節(jié)約計(jì)算資源的降尺度方法，Inception-v4[18]沿用了這一方法。如圖1所示，該方法在降尺度時(shí)使用多個(gè)通道分別對特征圖執(zhí)行步長為2的卷積和池化操作，然后將輸出特征圖合并，從而獲取多個(gè)通道保留下來的信息。該方法綜合運(yùn)用了池化降尺度層和卷積降尺度層，在池化通道和卷積通道均對輸入進(jìn)行了降尺度，然后通過合并特征圖完成了升維度。

雖然卷積降尺度層通過使用步長為2(或更大步長)的卷積實(shí)現(xiàn)對特征圖的降尺度，但這種做法并不具有很好的解釋性。另外一個(gè)可能的問題是，步長為2的卷積層并沒有完全發(fā)揮局部感受野的能力，從而造成圖像特征的丟失。如圖2所示，假設(shè)圖像A存在一個(gè)標(biāo)志性特征：像素段3-9-3，即只要包含像素段3-9-3的圖像就認(rèn)為是圖像A，否則就不是。圖2(a)中，當(dāng)卷積步長為1時(shí)，后層神經(jīng)元可以觀察到完整的3-9-3像素段；當(dāng)卷積步長為2時(shí)，如圖2(b)所示，后層神經(jīng)元無法再觀察到圖像A的標(biāo)志性特征，而是觀察到2個(gè)像素片段：3-9和9-3，接下來的網(wǎng)絡(luò)可能需要在這兩個(gè)后層神經(jīng)元之間建立一個(gè)很強(qiáng)的聯(lián)系，才能提高學(xué)習(xí)效果，而不同于圖2(a)完整的特征被單一后層神經(jīng)元所記錄。

MaxPool為最大值池化；Conv為卷積；Concat為合并；Stride為步長； Relu為激活函數(shù)；Previous Layer為前一圖層圖1 Inception-v4中的降尺度層Fig.1 Grid size reduction layer used in Inception-v4

圖2 大步長的卷積造成特征的丟失Fig.2 Convolution with large stride causes loss of features

2 基于拆分降尺度CNN的入侵檢測方法

2.1 拆分層

殘差網(wǎng)絡(luò)ResNet[19]的核心設(shè)計(jì)思路是通過創(chuàng)建直連通道，賦予卷積神經(jīng)網(wǎng)絡(luò)恒等映射能力，從而解決深層網(wǎng)絡(luò)退化(degradation)問題。

在殘差網(wǎng)絡(luò)ResNet的啟發(fā)下，在降尺度時(shí)同樣把輸入完整地直連給下一層神經(jīng)元，因此提出了拆分層。具體處理過程如圖3所示，以一維卷積為例，當(dāng)網(wǎng)絡(luò)需要升維度、降尺度時(shí)，則將輸入特征圖F在相鄰像素處拆分，形成A、B特征圖，然后將A、B特征圖合并，傳遞給下一層。拆分層通過對前層輸入的所有特征圖執(zhí)行拆分、合并，最終實(shí)現(xiàn)特征圖升維度、降尺度的功能。拆分層算法如下。

輸入:二維數(shù)組M,其中不同維度的特征圖按行存儲(chǔ)輸出:二維數(shù)組M'if M有偶數(shù)列 then Mo←M奇數(shù)列集合 Me←M偶數(shù)列集合 M'←Mo+Me(垂直拼接)else M←M+1列0元素(水平拼接) Mo←M奇數(shù)列集合 Me←M偶數(shù)列集合 M'←Mo+Me(垂直拼接)endreturn M'

將特征圖在相鄰像素處拆分，而不是從中間對折，是為了保留特征圖的空間相關(guān)性，相鄰像素拆分使得后層神經(jīng)元仍能觀察到來自同一區(qū)域、具有強(qiáng)空間相關(guān)性的像素集合，而不是來自其他區(qū)域的像素集合。拆分層還可根據(jù)需要，對相鄰多個(gè)像素進(jìn)行拆分，使特征圖尺度成倍下降，比如取相鄰3個(gè)像素進(jìn)行拆分，從而使特征圖尺度降為原來的1/3，維度提升為3倍。

拆分層沒有破壞特征的完整性。如圖4所示，拆分層將輸入特征圖拆分為A、B特征圖后，后層神經(jīng)元可通過賦予卷積核參數(shù)[0, 1, 0](對應(yīng)通道A)和[-1, 2, 0](對應(yīng)通道B)、以及偏置值0，記錄圖像A的特征：像素段3-9-3，即完整的特征被單一后層神經(jīng)元所記錄，并可在圖像識(shí)別時(shí)正確提取該特征，進(jìn)而成功識(shí)別圖像A。

圖3 拆分層Fig.3 Split layer

圖4 拆分層的卷積Fig.4 Convolution on split layer

拆分層將相鄰像素這種具有相關(guān)性的點(diǎn)放置在A、B特征圖對應(yīng)位置，使其連接到同一后層神經(jīng)元，這種做法符合Hebbian principle：一起激活的神經(jīng)元連在一起(neurons that fire together, wire together)；且在處理過程中沒有損失任何一個(gè)像素值，因此不會(huì)產(chǎn)生表達(dá)瓶頸；不引入任何參數(shù)，計(jì)算復(fù)雜度低；處理標(biāo)準(zhǔn)統(tǒng)一，簡潔直觀，解釋性強(qiáng)。

2.2 基于拆分降尺度CNN的入侵檢測

基于拆分降尺度CNN的入侵檢測方法，主要包括4個(gè)部分：①數(shù)據(jù)預(yù)處理，包括數(shù)據(jù)讀取、數(shù)據(jù)清洗和特征轉(zhuǎn)換；②數(shù)據(jù)的圖像化處理，將網(wǎng)絡(luò)流量數(shù)據(jù)轉(zhuǎn)換為圖像作為模型輸入；③基于拆分降尺度CNN構(gòu)建入侵檢測模型；④使用NSL-KDD數(shù)據(jù)集進(jìn)行訓(xùn)練、驗(yàn)證和測試。

2.2.1 數(shù)據(jù)預(yù)處理

首先讀入訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)，然后根據(jù)數(shù)據(jù)集中不同特征的定義，去除錯(cuò)誤數(shù)據(jù)，補(bǔ)全缺失數(shù)據(jù)。NSL-KDD數(shù)據(jù)集中共包含41維特征，其中特征num_outbound_cmds的取值恒為0，對分類沒有幫助，將該特征刪去。

在完成數(shù)據(jù)清洗后，對其中狀態(tài)類特征執(zhí)行one-hot編碼。經(jīng)過清洗后的NSL-KDD數(shù)據(jù)集編碼前包含特征40維，編碼后包含特征121維。

2.2.2 圖像化處理

CNN通過建立感受野、權(quán)值共享機(jī)制，能夠很好地提取圖像的局部特征，從而完成對圖像的識(shí)別。在此基礎(chǔ)上，又一定程度允許圖像發(fā)生移位、縮放或變形，具有很好的泛化效果。為增強(qiáng)CNN在非圖像識(shí)別領(lǐng)域的適用性，在將輸入轉(zhuǎn)化為圖像的同時(shí)，需要在圖像上構(gòu)建穩(wěn)定的局部特征，這就要求輸入圖像在局部區(qū)域上的像素是相關(guān)的。

圖像化處理方法如下。

(1)由于不同特征間取值是不相關(guān)的，因此使圖像在一維空間上延伸，并盡可能擴(kuò)大不同特征間的距離。

(2)同一特征對應(yīng)連續(xù)的圖像區(qū)域，從而保證該區(qū)域內(nèi)像素取值是相關(guān)的。

(3)對于取值為0/1的二值特征，分配連續(xù)的8個(gè)像素進(jìn)行表示，考慮到需要和其他特征保持距離，將對應(yīng)像素區(qū)域中首尾各2個(gè)像素置0，中間4個(gè)像素與特征取值保持一致，即特征取值為0時(shí)編碼為像素段0x00，取值為1時(shí)編碼為像素段0x3c。

如數(shù)據(jù)集中特征字段“icmp”，該字段取值為{0, 1}。當(dāng)“icmp”取值為1時(shí)，對應(yīng)特征圖如圖5(a)所示，當(dāng)“icmp”取值為0時(shí)，對應(yīng)特征圖如圖5(b)所示。

(4)對于連續(xù)取值的特征，由于特征取值數(shù)可能較多，為提高特征圖的表示能力，為此類特征分配連續(xù)的24個(gè)像素進(jìn)行表示，同樣將首尾各2個(gè)像素置0，然后根據(jù)特征值在取值區(qū)間的位置，將中間20個(gè)像素區(qū)域中的對應(yīng)像素置1，其余像素置0，像素置1的位置loc(從0開始)可表示為

(1)

式(1)中：V為特征當(dāng)前取值；Vmin為特征取值區(qū)間最小值；Vmax為特征取值區(qū)間最大值。

如數(shù)據(jù)集特征字段“num_failed_logins”表示當(dāng)前會(huì)話嘗試登錄失敗的次數(shù)，取值區(qū)間為[0, 5]，Vmax=5，Vmin=0。假定當(dāng)前特征字段取值V=3，根據(jù)式(1)計(jì)算得到loc值為11，因此應(yīng)該在圖6中間20個(gè)像素區(qū)域中的第11個(gè)位置像素值置1，其他位置像素值為0。

經(jīng)過數(shù)據(jù)預(yù)處理后的NSL-KDD數(shù)據(jù)集包含二值特征89個(gè)，連續(xù)特征32個(gè)，再應(yīng)用上述圖像化處理方法，最終每條網(wǎng)絡(luò)流量數(shù)據(jù)都被轉(zhuǎn)化為長1 480像素、寬1像素的圖像。

圖5 二值特征圖像化Fig.5 Visualization of binary features

2.2.3 基于拆分降尺度CNN的檢測模型

Inception特點(diǎn)是使用稠密結(jié)構(gòu)近似構(gòu)造稀疏網(wǎng)絡(luò)， ResNet可以解決深層網(wǎng)絡(luò)退化問題，因此將結(jié)合Inception和ResNet，構(gòu)造盡可能稀疏的網(wǎng)絡(luò)，同時(shí)提高網(wǎng)絡(luò)堆疊效果，避免出現(xiàn)退化現(xiàn)象。在實(shí)現(xiàn)上，使用GoogLeNet團(tuán)隊(duì)構(gòu)造的Inception-ResNet[18]網(wǎng)絡(luò)并進(jìn)行改進(jìn)，同時(shí)為與圖像化處理生成的一維圖像相匹配，在模型中使用一維卷積結(jié)構(gòu)。所構(gòu)建的Split入侵檢測模型整體結(jié)構(gòu)如圖7所示。

首先使用64個(gè)1×3卷積核對輸入圖像執(zhí)行步長為2的卷積操作，然后引入N個(gè)相似的Block結(jié)構(gòu)，最后連入均值池化層、全連接層和Softmax層，輸出最終結(jié)果。Split模型中的Block由卷積結(jié)構(gòu)和拆分層構(gòu)成，如圖8(a)所示，其中卷積結(jié)構(gòu)包含1個(gè)直連通道和3個(gè)卷積通道，在卷積通道中首先使用1×1卷積層將輸入圖像維度壓縮至1/8，分別執(zhí)行不同尺度的卷積后進(jìn)行合并，然后使用1×1卷積層恢復(fù)特征圖維度，并與直連通道輸出疊加，最后將處理結(jié)果傳遞給拆分層Split layer；拆分層處理后傳遞給下一層網(wǎng)絡(luò)結(jié)構(gòu)。圖8(b)為原始Inception-ResNet模型中相對應(yīng)的Block結(jié)構(gòu)。

括號(hào)中數(shù)字為引入的卷積核數(shù)量；Stride為步長，未標(biāo)明處的Stride值為1；標(biāo)注Relu處均先后執(zhí)行了BN(batch normalization)和ReLu激活操作；Input為輸入；AvgPool為平均值池化；Dense為 全連接層圖7 入侵檢測模型結(jié)構(gòu)圖Fig.7 Structure diagram of intrusion detection model

3 實(shí)驗(yàn)及結(jié)果

3.1 實(shí)驗(yàn)環(huán)境與評估標(biāo)準(zhǔn)

實(shí)驗(yàn)環(huán)境：GPU型號(hào)NVIDIA 1080Ti，操作系統(tǒng)Win10，tensorflow版本2.1.0，keras版本2.3.1。

為了全面客觀評價(jià)模型性能，選用評價(jià)指標(biāo)包括損失(Loss)、準(zhǔn)確率(accuracy)和召回率(recall)。損失用來度量模型輸出與標(biāo)簽值之間的差距，描述模型在訓(xùn)練過程中的收斂效果；準(zhǔn)確率用來描述模型在數(shù)據(jù)集上的整體表現(xiàn)；召回率用來描述模型在各分類上的表現(xiàn)。

括號(hào)中數(shù)字為引入的卷積核數(shù)量；Stride為步長，未標(biāo)明處的Stride值為1；標(biāo)注Relu處均先后執(zhí)行了BN(batch normalization)和ReLu激 活操作；Next Layer為下一層；Split Layer為拆分層；d為當(dāng)前Block輸入圖像的維度；m、 n和p為卷積核數(shù)量圖8 Split模型和Inception-ResNet模型中的Block結(jié)構(gòu)Fig.8 Blockstructure of Split and Inception-ResNet model

準(zhǔn)確率計(jì)算公式為

(2)

召回率計(jì)算公式為

(3)

式中：TP為正確分類的正樣本數(shù)量；FP為錯(cuò)誤分類的正樣本數(shù)量；TN為正確分類的負(fù)樣本數(shù)量；FN為錯(cuò)誤分類的負(fù)樣本數(shù)量。

3.2 數(shù)據(jù)集與訓(xùn)練參數(shù)

KDDCup99是入侵檢測領(lǐng)域的經(jīng)典數(shù)據(jù)集，但面臨數(shù)據(jù)冗余等問題，經(jīng)過優(yōu)化后形成NSL-KDD數(shù)據(jù)集，可以更好地評估入侵檢測算法的性能。數(shù)據(jù)集中每條網(wǎng)絡(luò)流量數(shù)據(jù)使用41維特征描述，并被標(biāo)注為正常流量或是攻擊流量，攻擊流量會(huì)說明具體攻擊類型。攻擊類型分為4類，分別是探測攻擊(Probe)、拒絕服務(wù)攻擊(DoS)、未授權(quán)獲取管理員權(quán)限(U2R)和遠(yuǎn)程未授權(quán)訪問(R2L)。

鑒于NSL-KDD數(shù)據(jù)集中各分類樣本數(shù)量嚴(yán)重不均衡，將數(shù)據(jù)集中的KDDTrain+和KDDTest+文件合并，并按照6.4∶1.6∶2的比例劃分訓(xùn)練集、驗(yàn)證集和測試集，數(shù)據(jù)分布如表1所示。

每批處理樣本數(shù)batch size設(shè)置為128，訓(xùn)練輪次設(shè)置為25輪(Epoch)，使用He參數(shù)初始化方法，為卷積核中的權(quán)重參數(shù)加上L2正則化，設(shè)置正則化系數(shù)λ為1×10-5，使用Adam優(yōu)化方法，設(shè)置學(xué)習(xí)率為3×10-4，使用交叉熵?fù)p失函數(shù)(Cross Entropy)。

表1 數(shù)據(jù)集分布情況Table 1 Distribution of data set

3.3 實(shí)驗(yàn)結(jié)果

評估Split模型在NSL-KDD數(shù)據(jù)集上的表現(xiàn)，并和Inception-ResNet以及RestNet模型進(jìn)行了對比。為保證實(shí)驗(yàn)結(jié)果的有效性，按照圖7構(gòu)建了具有4個(gè)Block的Inception-ResNet模型，即incep-res-4模型。該模型中的Block結(jié)構(gòu)如圖8(b)所示，各Block參數(shù)m、n、p值如表2所示。

表2 Inception-ResNe模型參數(shù)Table 2 Parameters of Inception-ResNemodel

首先評估了拆分層在Inception-ResNet網(wǎng)絡(luò)上的表現(xiàn)。表3列出了3個(gè)模型引入的待訓(xùn)參數(shù)數(shù)量以及訓(xùn)練過程(包括訓(xùn)練和驗(yàn)證)消耗的時(shí)間，其中，incep-res-4是包含4個(gè)Block的Inception-ResNet模型，incep-res-split-4是包含4個(gè)Block的Split模型，incep-res-split-5是包含5個(gè)Block的Split模型。圖9為Split模型和Inception-ResNet模型訓(xùn)練過程損失值變化情況。

根據(jù)表3和圖9可知，incep-res-split-4模型相較incep-res-4模型具有更強(qiáng)的擬合能力，且訓(xùn)練過程耗時(shí)減少了34%；incep-res-split-5同樣具有更強(qiáng)的擬合能力，訓(xùn)練過程耗時(shí)減少了16%。

選取各模型訓(xùn)練20輪后表現(xiàn)最好(驗(yàn)證損失最低)的3個(gè)輪次的模型參加測試，對測試結(jié)果取平均值，作為模型在測試集上的平均表現(xiàn)。測試結(jié)果如表4所示。

表3 模型待訓(xùn)參數(shù)數(shù)量及訓(xùn)練過程耗時(shí)Table 3 Number of model parameters to be trained and time consuming of training process

Epoch為訓(xùn)練集中的全部樣本都在訓(xùn)練模型中走一遍，并返回一 次(有去有回)，為一個(gè)Epoch圖9 Split模型和Inception-ResNet模型訓(xùn)練損失值變化Fig.9 Changes of training loss value of Split and Inception-ResNet model

表4 模型在測試集上的平均表現(xiàn)Table 4 Average performance of the models on the test set

根據(jù)表4可知，在上述3個(gè)模型中，incep-res-split-5模型在測試集上表現(xiàn)最好，而incep-res-split-4模型表現(xiàn)一般，但仍具有與incep-res-4模型相似的性能。上述實(shí)驗(yàn)結(jié)果說明本文構(gòu)造的Split入侵檢測模型與Inception-ResNet模型相比，具有更高的檢測準(zhǔn)確率、少數(shù)類樣本召回率，且訓(xùn)練過程耗時(shí)減少了16%。

評估拆分層在ResNet殘差網(wǎng)絡(luò)上的表現(xiàn)。按照圖7構(gòu)建ResNet-Split模型和ResNet模型，其中Block分別使用圖10(a)、圖10(b)所示網(wǎng)絡(luò)結(jié)構(gòu)。

表5列出了ResNet-Split模型和ResNet模型引入的待訓(xùn)參數(shù)數(shù)量以及訓(xùn)練過程消耗的時(shí)間，其中，res-4是包含4個(gè)Block的ResNet模型，res-split-4是包含4個(gè)Block的ResNet-Split模型，res-split-5是包含5個(gè)Block的ResNet-Split模型。

圖11為ResNet-Split模型和ResNet模型訓(xùn)練過程損失值變化情況。根據(jù)表5和圖11可知，Res-Net-Split模型相較ResNet模型具有更強(qiáng)的擬合能力，訓(xùn)練過程耗時(shí)分別減少了42%和27%。

圖10 ResNet-Split模型和ResNet模型中的Block結(jié)構(gòu)Fig.10 Block structure of ResNet-Split and ResNet model

表5 模型待訓(xùn)參數(shù)數(shù)量及訓(xùn)練過程耗時(shí)Table 5 Number of model parameters to be trained and time consuming of training process

選取各模型訓(xùn)練20輪后表現(xiàn)最好(驗(yàn)證損失最低)的3個(gè)輪次的模型參加測試，對測試結(jié)果取平均值，作為模型在測試集上的平均表現(xiàn)，測試結(jié)果如表6所示。可以看出，在上述3個(gè)模型中，res-split-5模型在測試集上表現(xiàn)最好。上述實(shí)驗(yàn)結(jié)果說明，使用拆分層提高了ResNet入侵檢測模型的檢測準(zhǔn)確率和少數(shù)類樣本召回率，并將訓(xùn)練過程耗時(shí)降低了27%。

綜合表4和表6實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，在上述6個(gè)模型中，incep-res-split-5模型在測試集上表現(xiàn)最好。

圖11 ResNet-Split模型和ResNet模型訓(xùn)練損失值變化Fig.11 Changes of training loss value of ResNet-Split and ResNet model

表6 模型在測試集上的平均表現(xiàn)Table 6 Average performance of the models on the test set

4 結(jié)論

(1)首先對傳統(tǒng)CNN中使用的池化降尺度層和卷積降尺度層進(jìn)行分析，針對傳統(tǒng)降尺度層計(jì)算復(fù)雜度高等問題，提出了拆分降尺度層，然后基于Inception-ResNet和拆分層構(gòu)建了入侵檢測模型Inception-ResNet-Split。將Inception-ResNet與本文模型在NSL-KDD數(shù)據(jù)集上進(jìn)行仿真實(shí)驗(yàn)對比，結(jié)果表明本文模型不僅提高了檢測準(zhǔn)確率和少數(shù)類樣本召回率，而且使訓(xùn)練過程耗時(shí)減少了16%。

(2)對比常用入侵檢測模型ResNet和使用了拆分層的模型ResNet-Split，得到了相似的結(jié)論，說明拆分層具有較好的適用性。在不考慮訓(xùn)練耗時(shí)的情況下，incep-res-split-5取得了優(yōu)于Inception-ResNet和ResNet模型的檢測效果。未來工作中，將在更多應(yīng)用領(lǐng)域和場景測試拆分層的效果。