基于深度學習的工業(yè)物聯(lián)網(wǎng)智能入侵檢測①

胡向東,周 巧

(重慶郵電大學 自動化學院,重慶 400065)

隨著工業(yè)物聯(lián)網(wǎng)應用程度的加深,復雜的網(wǎng)絡環(huán)境和層出不窮的攻擊手段使得其面臨許多挑戰(zhàn),諸如黑客入侵、安全漏洞攻擊、蠕蟲[1]等.工業(yè)物聯(lián)網(wǎng)可分為感知層、網(wǎng)絡層、應用層,其感知層安全需求主要致力于保障數(shù)據(jù)安全,表現(xiàn)為防止惡意節(jié)點攻擊、采集樣本與節(jié)點數(shù)據(jù)偽造破壞等.網(wǎng)絡層安全表現(xiàn)為阻止Dos 攻擊,保證路由安全.應用層安全則滿足用戶隱私和訪問控制等.目前針對工業(yè)物聯(lián)網(wǎng)的安全機制大多偏向被動防御,而入侵檢測(Intrusion Detection,ID)是可以在不影響網(wǎng)絡內部的情況下,對網(wǎng)絡的傳輸數(shù)據(jù)進行實時監(jiān)控并采取措施對入侵行為進行監(jiān)測、分析、預警等處理,從而提高網(wǎng)絡應對外部威脅的能力.傳統(tǒng)的基于深度學習的入侵檢測研究不完善,仍然存在以下問題.

(1)工業(yè)物聯(lián)網(wǎng)環(huán)境復雜,采集的網(wǎng)絡流量數(shù)據(jù)是高維度的,目前許多的入侵檢測模型手動選取特征,不夠有效且依據(jù)較少,可能會丟失重要特征而保留冗余特征.

(2)自適應能力差.隨著工業(yè)物聯(lián)網(wǎng)運行環(huán)境和結構變化,要想檢測出現(xiàn)的新型未知攻擊,需要不斷更新模型.

(3)低頻攻擊檢測困難.在實際的網(wǎng)絡環(huán)境中,不同類型的流量數(shù)據(jù)是不平衡的,這使得分類器偏向于數(shù)量大的類,少數(shù)類的攻擊檢測難度大且檢測率不高.

(4)模型擬合能力差.傳統(tǒng)機器學習模型結構簡單,特征提取及學習能力有限,當面臨大規(guī)模數(shù)據(jù)集時無法對數(shù)據(jù)分布形成有效的非線性映射.

考慮到上述因素,本文提出堆疊降噪卷積自編碼神經網(wǎng)絡(SDCAENN)入侵檢測模型,將降噪自編碼與卷積神經網(wǎng)絡結合,利用卷積神經網(wǎng)絡(Convolutional Neural Network,CNN)的卷積特性,充分學習網(wǎng)絡特征,通過重構誤差來求解模型,同時采用在隨機梯度下降法(Stochastic Gradient Descent,SGD)改進下的自適應算法(Adam)優(yōu)化網(wǎng)絡;此外增加卷積自編碼網(wǎng)絡的池化自適應能力,使其盡可能地學習入侵特征;并針對低頻攻擊檢測困難問題,對數(shù)據(jù)進行區(qū)域自適應過采樣操作,從算法角度平衡數(shù)據(jù),再轉化為二維灰度圖像進入深度卷積自編碼網(wǎng)絡進行訓練.

1 相關工作

隨著互聯(lián)網(wǎng)和工業(yè)物聯(lián)網(wǎng)等的飛速發(fā)展,網(wǎng)絡安全成為信息安全國防系統(tǒng)基礎設施中的重要部分.為了檢測惡意入侵,將深度學習應用在網(wǎng)絡安全領域.文獻[2]采用貪婪多層深度置信網(wǎng)絡(DBN)模型,首先利用受限玻爾茲曼機(RBM)消除噪聲和異常數(shù)據(jù)對網(wǎng)絡的負面影響,然后采用反向傳播(BP)算法來微調DBN 實現(xiàn)分類任務.文獻[3]使用深度自動編碼(DAE)模型,其中前一層每個自動編碼器的輸出用作下一層的輸入,以逐層貪婪的分層方式進行訓練,以避免過度擬合和局部最優(yōu).文獻[4]中,張寶安提出基于棧式稀疏自編碼網(wǎng)絡并結合分階段抽樣算法的集成學習,將多分類集成學習加權融合,在入侵病毒初期就能有很好的檢測.文獻[5]改進卷積神經網(wǎng)絡,與傳統(tǒng)的“卷積-池化-全連接”結構不同,采用跨層聚合網(wǎng)絡的設計,將兩層卷積-池化-全連接聚合輸出到分類決策,具有較高的準確率.文獻[6]提出了基于層次化時空特征學習的網(wǎng)絡流量異常檢測方法應用在工業(yè)物聯(lián)網(wǎng),結合CNN和LSTM,取得高檢測率和低誤警率.文獻[7]提出了一種基于深度學習模型的IICS 異常檢測技術,該模型可以使用從TCP/IP 數(shù)據(jù)包收集的信息進行學習和驗證,它包括自動編碼器和深度前饋神經網(wǎng)絡訓練過程和實驗.文獻[8]使用BiLSTM-RNN 檢測工業(yè)物聯(lián)網(wǎng)攻擊.使用新型UNSWNB15 數(shù)據(jù)集對多層深度神經網(wǎng)絡進行了訓練,BiLSTM 模型在攻擊檢測中達到了95%以上的準確率.

分析這些研究發(fā)現(xiàn),由于存在大量冗余和噪聲等干擾,占用系統(tǒng)資源,現(xiàn)有工業(yè)物聯(lián)網(wǎng)入侵檢測仍然存在檢測時間長、準確率低、時效性差等問題.因此,提出一種堆疊降噪卷積自編碼入侵檢測模型,以改善這些問題.

2 基于深度學習的工業(yè)物聯(lián)網(wǎng)入侵檢測模型

本文的模型框架是一種基于堆疊降噪卷積自編碼神經網(wǎng)絡的入侵檢測模型,該模型的總體框架如圖1所示.

2.1 入侵檢測模型總體架構

由圖1可知,該模型對工業(yè)物聯(lián)網(wǎng)入侵檢測的識別主要有以下3 個步驟:

(1)數(shù)據(jù)預處理.搭建工業(yè)物聯(lián)網(wǎng)環(huán)境,利用數(shù)據(jù)包捕獲實時網(wǎng)絡數(shù)據(jù),包含源地址、目標地址、連接屬性等相關信息.對其進行預處理轉化為構建的堆疊降噪卷積自編碼器可以處理的格式.本文中數(shù)據(jù)預處理分為3 個部分.

① 屬性映射,將protocol-type、service 和flag 等字符型數(shù)據(jù)轉換為數(shù)值型數(shù)據(jù).

② 數(shù)據(jù)歸一化,將數(shù)據(jù)歸一化到[0,1]區(qū)間內,以消除網(wǎng)絡連接中不同特征取值量綱過大對入侵檢測模型的訓練造成影響.

③ 區(qū)域自適應過采樣算法(RASmote),對于少數(shù)類樣本,在算法層面上生成新樣本,適當處理數(shù)據(jù)分布不平衡問題,再進行下一步操作,可以優(yōu)化少數(shù)類數(shù)據(jù).

圖1 工業(yè)物聯(lián)網(wǎng)入侵檢測模型

(2)通過建立SDCAENN 模型,訓練網(wǎng)絡模型,提取分析特征,結合卷積神經網(wǎng)絡和自編碼器特性,對標準數(shù)據(jù)集進行預訓練和調參處理,實現(xiàn)標準數(shù)據(jù)特征的最優(yōu)提取.

① 輸入層:為后續(xù)神經網(wǎng)絡做準備,將數(shù)據(jù)集映射為二維灰度圖像處理格式.

② 隱藏層:由卷積層、池化層和全連接層的編碼和解碼構成.其中卷積層激活函數(shù)采用ReLU,自主學習特征信息,對池化層進行改進,全連接層引入Dropout方法,防止由于訓練集不足或過度訓練造成過擬合.

(3)決策輸出.通過Softmax 分類器輸出分類決策,其中Softmax 權重參數(shù)可以與神經網(wǎng)絡一起反向傳播微調得出.

2.2 堆疊降噪卷積自編碼網(wǎng)絡

結合降噪自編碼和CNN 提出堆疊降噪卷積自編碼神經網(wǎng)絡(Stacking Denoising Convolutional Auto-Encoder Neural Network,SDCAENN),降噪自編碼通過加入卷積系列操作,實現(xiàn)局部感受野和權值共享,能更好的解決工業(yè)物聯(lián)網(wǎng)中各類數(shù)據(jù)信息冗余失真等問題,有效提高檢測率.

由于卷積層與池化層交替設置的網(wǎng)絡結構,池化操作頻繁,會使特征信息模糊,可能造成不能正確描述入侵,因此本文改進卷積層與池化層的結構,使得每經過兩個卷積操作進行一次池化,加強網(wǎng)絡的學習能力.整體網(wǎng)絡結構如圖2所示.

圖2 卷積自編碼模型

該神經網(wǎng)絡由二個卷積自編碼構成.輸入經過兩次卷積操作之后得到特征C2,C2 池化后得到P1 作為第二個卷積自編碼的輸入,第二個卷積自編碼通過卷積得到特征C4 并池化輸出P2.P2 輸入兩個全連接層FC1,FC2,結果作為輸出層Softmax 的輸入,訓練得到五分類.

2.2.1 卷積自編碼網(wǎng)絡

卷積自編碼網(wǎng)絡結構如圖3所示,詳細的編碼解碼過程推導如下:

(1) 編碼過程

卷積層輸出可以表示為:

式中,x表示輸入特征向量,?為卷積操作,表示第1 層權重,表示第1 層偏置,而Sf為非線性激活函數(shù),常見的有Sigmoid,Tanh,ReLU,由于ReLU 相較于其他激活函數(shù)可以使網(wǎng)絡更快收斂,減小訓練時間,因此本文采取ReLU 激活函數(shù),即:

池化層層輸出可以表示為:

其中,pool表示池化操作,down(·)表示下采樣.

(1)解碼過程

式中,x′為重構后的x,和為解碼時第1 層卷積的權重和偏置.和為解碼時第2 層卷積的權重和偏置,為解碼卷積輸出,upsample為 上采樣,為解碼池化輸出,S g為解碼激活函數(shù),同編碼器中一樣.

圖3 卷積自編碼網(wǎng)絡結構

2.2.2 卷積自編碼網(wǎng)絡的訓練

SDCAENN 的訓練流程如圖4所示.

(1)前向傳播

① 從標準數(shù)據(jù)集隨機選取batch 輸入,輸入數(shù)據(jù)參數(shù)維度(batch_size,h,w,c).

② 輸入圖2所示卷積降噪自編碼神經網(wǎng)絡,卷積運算和池化運算分別如式(7)和式(8).

③ 利用Tensorflow 中conv2d_transpose 函數(shù)和upsample函數(shù)進行反卷積池化解碼.并輸入到全連接層輸出結果.全連接層(FC)計算如式(9):

④ 求解重構誤差,Softmax 決策輸出進行數(shù)據(jù)分類.

圖4 SDCAENN 模型訓練流程圖

(2)反向傳播

① 根據(jù)訓練集樣本分類結果,計算整體損失函數(shù)J(ω,b).

② 反向傳播訓練網(wǎng)絡的權重和偏置,直到收斂.在模型的訓練過程中,為了加快收斂時間和提高收斂精度,本文使用Adam 對網(wǎng)絡模型參數(shù)更新,該方法解決了收斂速度慢和容易局部最優(yōu)問題,并節(jié)約了計算機的資源.

本模型的損失函數(shù)為:

交叉熵對權重和偏置的求導如下:

代入式(13)可得:

本文采用Adam 優(yōu)化算法對權重和偏置更新.算法如算法1 所示.

算法1.Adam算法α 1.Require:步長 ;2.Require:矩估計的指數(shù)衰減速率 ;J(θ)β1,β2 ∈(0,1)3.Require:有參數(shù)的損失函數(shù) ;θ 4.Require:初始參數(shù);5.一階和二階矩變量進行初始化,始化時間同步 ;6.While沒有達到停止準則{x1,x2,···,xn} yi 7.從訓練集中采取N樣本,對應目標為 ;g ← 1 s=0,γ=0 t=0 iL(f(xi;θ),yi)8.計算梯度:;t ←t-1∑N ?θ 9.;S t ←β1S t-1+(1-β1)g 10.更新偏一階矩陣 ;γt ←β2γt-1+(1-β2)g2 11.更新偏二階矩陣:;?st ← st 12.修正偏一階矩陣 ;?γt ← γt 1-β1t 13.修正偏二階矩陣 ;1-β2t θt ←θt-1-α ?st 14.更新參數(shù) ;θ ←θ+Δθ√?γt+ξ 15.應用更新 .

一般情況下,α=0.001、β1=0.9、β2=0.999、ξ=10-8.

2.2.3 改進的池化方法

池化技術可以對特征進行縮放、位移等,且保持特征不變,可以減少網(wǎng)絡負擔,篩選冗余特征.傳統(tǒng)的池化方法有平均池化(Average Pooling)和最大池化(Max Pooling).平均池化選取池化核平均值,可能會有較強信息被弱化,同理最大池化也可能使得關鍵信息丟失,因此,本文提出式(18)的自適應池化算法.可以對池化核的不同元素動態(tài)分配合適的池化權值,能更好的表達特征信息.

自適應池化:

其中,μij為池化因子,μij=

Fij表示卷積特征F中池化核c*c對應的元素,c表示當前池化核的大小,Fsum表示池化核所有元素和,σ是標準差.自適應池化算法克服了最大池化、平均池化片面性問題,可以獲取更為準確的信息.

3 實驗及結果分析

為了驗證本文提出的入侵檢測方法在工業(yè)物聯(lián)網(wǎng)背景下的優(yōu)勢,對本文入侵檢測模型進行仿真,設計評價指標來對性能進行測試.

3.1 實驗環(huán)境及參數(shù)選擇

本實驗使用Tensorflow 來進行實驗模擬,選擇Python 編程語言.計算機硬件配置為Inter(R) Core(TM)i7-6700CPU@3.40 GHz 處理器,8 GB 內存,操作系統(tǒng)為64 位Windows10 系統(tǒng).

在模型中主要的參數(shù)變量包含卷積自編碼網(wǎng)絡結構參數(shù)、學習率、連接概率和訓練次數(shù)等.參數(shù)的具體數(shù)值如表1所示.

3.2 實驗數(shù)據(jù)來源

目前,工業(yè)物聯(lián)網(wǎng)入侵的公共數(shù)據(jù)集主要有KDDCup99,NSL-KDD[9],GasPipeline Datasets,Water Datasets,UNSW-NB15 等,這些數(shù)據(jù)集存在數(shù)據(jù)和屬性冗余重復等問題,本文選用NSL-KDD 數(shù)據(jù)集作為實驗基準數(shù)據(jù).它解決了KDDCup99 數(shù)據(jù)集冗余數(shù)據(jù)的問題,其原始訓練集KDDTrain 包含125973 條數(shù)據(jù),原始測試集KDDTest 包含22544 條數(shù)據(jù),本文選用KDDTrain+20%的25192 條數(shù)據(jù)作為實驗數(shù)據(jù).數(shù)據(jù)集中的每一行數(shù)據(jù)都有41 個特征屬性和1 個標簽屬性,其中主要包括4 種類型的攻擊:Dos (拒絕服務攻擊)、Probe (端口漏洞掃描攻擊)、R2L (遠程非法訪問攻擊)、U2R (越權訪問攻擊).NSL-KDD 訓練數(shù)據(jù)集包含22 種攻擊,測試數(shù)據(jù)集包含17 種攻擊,具體分布占比如表2所示.

3.3 數(shù)據(jù)預處理

NSL-KDD 數(shù)據(jù)集中包含41 個特征屬性,其中包括符號型特征(tcp,udp,icmp,…)和數(shù)值型特征,需要將數(shù)據(jù)進行標準化預處理才能應用到檢測算法之中.

(1) 字符型映射數(shù)值型

“0,tcp,ftp_data,SF,491,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,2,0,0,0,0,1,0,0,150,25,0.17,0.03,0.17,0,0,0,0.05,0,Nor mal”是該數(shù)據(jù)集中的一條數(shù)據(jù),分析可知,數(shù)據(jù)的第2,3,4 維數(shù)值是字符類型,需要轉化為數(shù)值類型,例如第2 維有(tcp,udp,icmp)3 種類型,第3 維有(‘auth’,‘bgp’,‘courier’等)70 種類型,第4 維有(‘OTH’,‘REJ’,‘RSTO’等)11 種類型,按照圖5的one-hot 編碼來處理,最終將41 維轉化為122 維屬性.

表1 實驗變量參數(shù)

表2 NSL-KDD 數(shù)據(jù)集占比情況

圖5 One-hot 編碼數(shù)值化

(2) 數(shù)值歸一化

不同的特征屬性其數(shù)據(jù)量綱和對應取值范圍都有明顯的差異,為了方便實驗結果分析,采用Min-Max標準化方法將數(shù)值型數(shù)據(jù)統(tǒng)一映射到[0,1]區(qū)間,使得數(shù)據(jù)處于同一量級.

其中,x表示樣本特征原始值,xmin,xmax分別表示該條數(shù)據(jù)中的最小值和最大值,Xnormal表示每條數(shù)據(jù)歸一化后新特征值.

(3) 低頻樣本處理

盡管當前工業(yè)物聯(lián)網(wǎng)攻擊呈快速增長的趨勢,但攻擊類別以及個別攻擊類別相較于正常數(shù)據(jù)流量仍然屬于低頻范疇,導致難以捕捉其特征記錄,還由于大多數(shù)人工智能模型以最大樣本整體分類準確率為目的,因此具有明顯的分類偏向性.因此本文改進采樣算法,引入?yún)^(qū)域自適應合成過采樣算法(RASmote)增量處理低頻樣本,算法公式如下:

利用歐氏距離計算最近鄰半徑內低頻樣本距離.r為最近鄰半徑,Xr為最近鄰樣本集合,Xmi為低頻樣本,Xnew為新樣本集合.X∈Xmi其中,為低頻樣本.

3.4 評價指標

判斷入侵檢測模型的性能可以從模型對比和分類檢測兩方面考慮,模型的對比主要與傳統(tǒng)的入侵檢測技術進行對比,具體見3.5.3 節(jié).系統(tǒng)檢測準確性主要指標有準確率、精確率、檢測率等,本文采取混淆矩陣度量實驗結果,如表3所示.

表3 入侵檢測混淆矩陣

則評價指標分別如下:

準確率(Accuracy,ACC):分類正確的樣本數(shù)與樣本總數(shù)之比.

精確率(Precision,P):正確判定為入侵/正常的數(shù)據(jù)占預測為入侵/正常數(shù)據(jù)的總數(shù).

檢測率/召回率(Recall,R):正確判定為入侵/正常的數(shù)據(jù)占實際為入侵/正常數(shù)據(jù)的總數(shù).

誤報率(False Alarm Rate,FAR):正常數(shù)據(jù)被預測錯誤的個數(shù)占正常數(shù)據(jù)總數(shù).

F1-Score:該指標是Precision 與Recall 的調和平均.

3.5 結果分析

3.5.1 RASmote 算法對檢測率影響

為了驗證RASmote 算法的有效性,實驗將RASmote處理前后的數(shù)據(jù)集在本文模型上進行驗證.實驗表明采樣率為60%,最近鄰半徑r=55 時,獲取的新數(shù)據(jù)集分布最均衡,效果最好.實驗結果如表4所示.

表4 采樣算法比較試驗結果(%)

由表可知,經過RASmote 處理的數(shù)據(jù)比未經其處理的數(shù)據(jù)在檢測率和精確率上明顯提高,其中Normal因為數(shù)量多檢測率已經較高,因此變化微小,還可以得出,其中Dos 的精確率下降0.13%,但是稀少類樣本U2R 的精確率提高17.57%,檢測率提高26.38%.R2L的精確率提高3.28%,檢測率提高31.39%.結果證明,采用自適應采樣算法可以適當平衡數(shù)據(jù),提高稀少類的檢測性能.

3.5.2 網(wǎng)絡結構性能分析

本節(jié)針對提出的神經網(wǎng)絡結構進行實驗和測試,采用KDDTrain+20%數(shù)據(jù)作為本次實驗數(shù)據(jù),取70%作為訓練集,30%作為測試集,數(shù)據(jù)分配如表5所示.

表5 測試集和訓練集分布情況

由于卷積核過大會導致模型訓練復雜,降低檢測性能,卷積核過小容易導致特征學習不完整,因此本文選取卷積核大小3×3.為了檢測提出的堆疊卷積自編碼入侵檢測模型的性能,本文設置3 組卷積自編碼網(wǎng)絡結構來做實驗對比,分別為1 組卷積+池化,2 組卷積+卷積+池化,2 組卷積+池化.實驗準確率和精確率結果如圖6所示.并在這3 種網(wǎng)絡結構下每類攻擊準確率實驗結果如圖7所示.

圖6 準確率和精確率對比

圖7 各類攻擊精確率對比

由圖6可以看出,在兩組卷積卷積池化結構下,整體準確率和精確率占優(yōu)勢,且每一類準確率均高于一組卷積池化結構,Normal 和Probel 的準確率分別低于兩組卷積池化結構0.91%和3.01%.因此兩組卷積卷積池化結構比其他兩組更有優(yōu)勢,不會造成特征提取不充分,也不會引起特征模糊稀疏.

本文選取兩組卷積卷積池化的結構在進行130 次迭代后,其準確率及損失函數(shù)變化結果如圖8,呈穩(wěn)定趨勢且收斂,因此該結構效果良好,且可以避免過擬合.

3.5.3 本文模型與其他模型性能比較

為了評估本文模型的性能,設計實驗與常規(guī)模型和局部算法進行比較.將本文模型與傳統(tǒng)檢測模型DBN、RNN、DCNN 和LeNet-5 進行實驗對比,分別得到如表6所示結果.

由表6可知,本文提出模型在準確率和檢測率上均高于其他4 種模型,而誤報率均比3 種模型略高,較LeNet-5 低0.25%,這說明本文模型對入侵檢測數(shù)據(jù)的識別能力較強.

圖8 準確率和損失函數(shù)曲線

表6 與經典網(wǎng)絡模型比較(%)

此外,為了更好地驗證模型的有效性,與改進的卷積神經網(wǎng)絡入侵檢測模型IDABCNN[14]、NIDMBCNN[15]和CNN-Bi-LSTM[16]進行對比,均采用NSL-KDD 數(shù)據(jù)集訓練和測試,實驗結果如表7所示.

表7 與改進的CNN 模型對比(%)

由表8可知,本文提出的模型在準確率上比文獻[14]提高了4.6%,比文獻[15]提高了0.04%,比文獻[16]提高了3.05%,檢測率分別提高5.81%、5.09%和23.18%.但是其誤報率分別高于文獻[14]、文獻[15] 0.83%和0.96%,低于文獻[16] 4.71%.綜上可以得出,本文結合卷積神經網(wǎng)絡和自編碼網(wǎng)絡特性,提出的入侵檢測方法能夠保證應用到工業(yè)物聯(lián)網(wǎng)入侵檢測系統(tǒng)中,并且訓練出的網(wǎng)絡模型具有較好的分類檢測性能.

為了驗證R2L 和U2R 分類檢測結果,本文與CNN和SSAE-XGB 作比較,結果如表8.結果表明本文檢測算法在R2L 的F1-Score相對CNN 提高了48.06%,而比SSAE-XGB 降低了0.03%,U2R 的F1-Score相對CNN和SSAE-XGB 分別提高了19.51%和28.78%.因此可以得出結論,引入的區(qū)域自適應過采樣算法使得少數(shù)類攻擊檢測性能提高,有效改善了工業(yè)物聯(lián)網(wǎng)個別攻擊問題.

表8 少數(shù)類檢測模型對比(%)

3.5.4 模型復雜度分析

時間復雜度即模型的運算次數(shù),可用浮點運算次數(shù)(FLoating-point OPerations,FLOPs)衡量,其決定了模型前項傳播訓練時間,如果時間復雜度較大,會導致消耗大量時間,無法快速驗證預測.空間復雜度決定了模型的參數(shù)數(shù)量,包括總參數(shù)量加各層輸出特征圖.計算公式分別如下:

時間復雜度:

可見,時間復雜度由輸出特征圖面積M2、卷積核面積K2、輸入輸出通道數(shù)決定.其中,L為網(wǎng)絡深度,l為第l個卷積層,Cl第l個卷積層的卷積輸出通道數(shù).

輸出特征圖尺寸:

空間復雜度:

空間復雜度只與卷積核尺寸K、通道數(shù)C、層數(shù)L相關.而與輸入圖片尺寸M無關.

文獻[14]為3 個卷積3 個池化,卷積核大小為2×2,文獻[15]為3 個卷積3 個池化,卷積核大小為3×3.由于本文模型使用Dropout 稀疏網(wǎng)絡,使得網(wǎng)絡參數(shù)大幅減少,但其涉及到的卷積操作較多,根據(jù)公式可知,其空間復雜度低于文獻[14]和文獻[15],時間復雜度高于文獻[14]和文獻[15].

為了改進時間復雜度,可以采用小卷積操作代替大卷積優(yōu)化,不僅可以減小網(wǎng)絡訓練參數(shù),而且可以在保證有效提取特征的情況下減少訓練時間.

4 結果與展望

針對目前工業(yè)物聯(lián)網(wǎng)深度學習入侵檢測技術的檢測效率低、特征丟失、低頻檢測率困難、自適應能力差等問題,本文提出了一種基于區(qū)域自適應過采樣算法與堆疊降噪卷積自編碼結合的入侵檢測模型,與傳統(tǒng)的多層自編碼網(wǎng)絡與卷積神經網(wǎng)絡相比,可以更充分地學習網(wǎng)絡特征.其中Dropout 正則化避免了過擬合;Adam 優(yōu)化重構誤差,加快收斂速度,并避免局部最優(yōu);自適應池化算法,減少特征丟失和不平衡.此外,針對NSL-KDD 數(shù)據(jù)集存在比例差別大的問題,對少數(shù)類進行改進的采樣算法,有效提高檢測精度.對比實驗結果表明,本文提出的RASmote-SDCAENN 模型準確率和檢測率明顯上升,分別達到97.38%和96.42%,誤報率稍微降低.

雖然本文方法對解決工業(yè)物聯(lián)網(wǎng)入侵檢測有改善,但仍然有問題尚未解決,下一步集中關注的問題主要有3 方面:(1)如何節(jié)省工業(yè)物聯(lián)網(wǎng)節(jié)點存儲空間,并保證入侵檢測效率;(2)針對模型訓練過程中可能出現(xiàn)的梯度彌散,局部最優(yōu)等問題,考慮用改進的遺傳算法等啟發(fā)式算法來進行參數(shù)調優(yōu);(3)目前背景下,入侵檢測數(shù)據(jù)集眾多,嘗試采其他代表性的數(shù)據(jù)集進行驗證試驗,進一步提高泛化能力.