應用深度自編碼網絡的網絡安全態勢評估

張玉臣，張任川，劉 璟，汪永偉

信息工程大學，鄭州450004

1 引言

網絡安全態勢感知這一概念由Bass 提出后[1]，引起廣泛關注，學界根據各種研究模型提出了很多理論方法，例如模糊識別[2]、灰色理論[3]、證據理論[4]等。這些模型的實際效果良好，但也存在一些缺陷，如識別空間中基本概率分配過于依賴領域知識和專家經驗，評估效果存在不確定性；建立先期經驗知識庫與選取訓練樣本的過程代價龐大，態勢感知效率難以提高等等。BP（Back Propagation）神經網絡[5]作為一種利用非線性方式表示復雜問題的方法，近年來在態勢感知領域得到了重點關注，多個基于BP神經網絡的態勢評估模型[6-8]相繼被提出。

文獻[6]提出一種基于BP 神經網絡（BPNN）的網絡安全態勢感知方法。利用網絡安全態勢指標體系來表征整個網絡的安全狀態，然后運用BP神經網絡模型，解決了態勢要素與評估結果之間的不確定性及模糊性問題。

文獻[7]提出一種基于布谷鳥搜索優化BP神經網絡（CSBPNN）的網絡安全態勢評估方法。使用浮點數編碼方式將神經網絡的權值編碼成布谷鳥，并使用CS 算法對權值進行優化，得到用于態勢評估的神經網絡模型。實驗結果表明，與傳染BP神經網絡方法相比，該方法具有較快的收斂速度和較高的評估準確率。

文獻[8]提出一種基于粗糙集神經網絡的網絡安全態勢評估方法，該方法具有利用粗糙集理論在處理冗余信息和特征提取等方面的能力，結合神經網絡處理噪音和任意逼近能力，構造出由指標層、離散層、規則層、決策層組成的態勢評估模型。并與BP神經網絡方法進行對比研究。仿真實驗結果表明，所提方法能更客觀、準確地分析網絡安全狀況。

上述模型具有優良的自我學習能力，能夠從未知的模式中發現規律；并且建模過程也較為簡單，具有傳統模型難以比擬的效率優勢。

但與此同時，基于神經網絡類方法的態勢評估模型普遍存在一個缺陷，即BP 神經網絡的訓練過程是有監督學習過程，需要大量有標簽數據作為訓練集，而在態勢感知的實際環境中，有標簽數據往往是稀缺的，為數據添加標簽的過程也是復雜耗時的，這就對BP 神經網絡在態勢感知領域的應用造成了嚴重影響。為此，本文提出了一種基于深度自編碼網絡（DAEN）的網絡安全態勢評估方法，這種模型應用深度自編碼器作為基本結構，使用逐層無監督預訓練和有監督微調訓練[9]解決對態勢數據標簽的依賴問題。通過對比實驗表明，相對于BP 神經網絡，本文提出的模型克服了標簽依賴缺陷，并且具有較高的態勢評估精度。

2 深度自編碼網絡

2.1 BP神經網絡及標簽依賴問題

神經網絡中的節點單元通過調整相互間連接的權值，從而實現學習復雜表示的能力。如圖1 所示，感知器（Perception）是這些節點單元的常用結構。該結構本質是一種分類器，具有將輸入向量經過權重關系和激活函數的映射輸出到一個值上的功能，并擁有通過設置偏置值改變決策邊界的能力。

圖1 感知器模型

單個感知器表述能力十分有限，只能處理簡單問題，不能滿足復雜非線性映射的需求，為此，需要利用多個感知器的組合來提高網絡的能力，這就構成了BP 神經網絡[10]：其結構圖如圖2所示。

通常使用有監督學習和無監督學習對BP神經網絡的學習過程進行分類，分類依據輸入數據是否含有標簽信息而定。有監督學習過程的實質就是利用數據指導網絡找到特征和標簽之間的聯系并調整至最優結構的過程，這樣無監督學習就可以通過已訓練的網絡得到未知數據的標簽。

圖2 BP神經網絡

因此，BP 神經網絡的訓練過程是一種典型的有監督學習過程，其特點是信息前向傳遞，誤差反向傳播，并通過相應算法調整網絡的參數。受網絡結構和訓練算法的限制，傳統的神經網絡模型通常存在以下幾點缺陷[11]：

（1）過于依賴標簽，神經網絡的訓練過程需要大量有標簽數據，而在網絡安全態勢感知模型當中，有標簽數據樣本較為稀缺，在實際訓練樣本較小的情況下，應用深層結構容易導致過擬合的問題出現。

（2）梯度彌散問題，因為神經網絡模型的誤差采用反向傳播機制，梯度逐層減弱，導致各層不能有效工作，影響學習效果。

（3）局部最優問題，神經網絡擬合的是一個高維非凸多模態的函數，使用梯度下降方法很容易出現局部最優問題，導致模型不能得到全局最優解。

針對上述缺陷，本文提出一種基于深度自編碼網絡的態勢感知方法，以提高模型的準確性和泛化能力。

2.2 自動編碼器與深度自編碼網絡

首先，為解決BP 神經網絡模型對標簽數據的依賴性，本文應用自動編碼器（Auto Encoders，AE）[12]作為深度自編碼網絡的基本結構，圖3 形象地展示了自動編碼器的應用過程，其原理和描述如下所示。

圖3 自動編碼器形象化表示

自動編碼器的隱藏層為m 維，不同于感知器，自動編碼器的輸入與輸出可以同為n 維。自動編碼器包括編碼器和解碼器兩個基本結構，編碼器設置在輸入層和隱藏層之間，其功能函數為：

解碼器設置在隱藏層和輸出層之間，其功能函數為：

公式（1）和（2）中，f 和g 分別代表編、解碼映射函數，sf和sg代表編、解碼器的激勵函數，w 是權重參數，p和q 是偏置。在模型給定輸入訓練集參數集θ={w,p,q}的情況下，根據誤差函數L整體重構的自動編碼器重構誤差函數為：

因此，對自動編碼器進行訓練的實質就是調整參數集θ 使得自動編碼器整體重構誤差最小值。在此過程中，通常選擇均方誤差或交叉熵函數作為誤差函數，使用梯度下降算法求解JAE(θ)的最小值，經過多輪迭代得到參數集θ 的滿意結構。

由此可見，自動編碼器的這種獨有的編碼-解碼-重構誤差的結構，可以通過無監督訓練學習輸入，解決了基于單層感知器的BP神經網絡必須依賴有標簽數據的問題。

在此基礎上，為解決梯度彌散和局部最優問題，本文應用了深度學習的思想[13]，基于自動編碼器構建了一個結合深度編碼器和BP（Back Propagation）算法的神經網絡模型。其結構如圖4所示。

圖4 深度自編碼網絡

在模型中，訓練完第一個自動編碼器后，所有無標簽訓練樣本經過編碼器得到了特征，將這些特征作為下一個自動編碼器的輸入，并按相同方法訓練該自動編碼器，最后將多個以前向傳播方式訓練好的自動編碼器堆疊在一起，形成深度堆棧自編碼網絡[12]。在輸出階段，模型將輸入和通過輸出層解碼器提取的數據特征聯系起來，并將其進行最終重構輸出。這種建模方法通過逐層無監督訓練，使得自編碼器具有了識別分類能力。其特點在于將彼此相鄰的隱藏層視為一個只有2 層的淺層神經網絡，從而有助于減少深度結構面臨的梯度彌散和局部最優問題[13]，同時交叉深度結構又可以提高模型的學習能力。

2.3 訓練深度自編碼網絡

深度自編碼網絡的基本結構是若干由自編碼器堆疊而成的淺層自編碼網絡，這種組織結構能夠分層地提取輸入數據的特征，可以使模型從底層學習到更多的能夠表示數據隱含特征的抽象知識。建立在自動編碼器訓練的基礎上，深度自編碼網絡的訓練過程主要分為兩步，第一步是預訓練，利用無標簽數據對深度堆棧自編碼網絡進行無監督訓練，確定網絡各層間權值的范圍空間；第二步是使用有監督學習方法對網絡進行參數微調，本文選用BP算法，利用少量有標簽數據對經過預訓練的網絡進行調整，使用有監督訓練方法對網絡各層參數及權值進行優化。如圖5，深度自編碼網絡的詳細訓練步驟如下所示（與圖對應起來）：

（1）無監督逐層預訓練階段

步驟1訓練第一個自動編碼器，使其重構誤差最低。

步驟2將上一個自動編碼器的輸出作為下一個自動編碼器的輸入，后者按上一步的相同方案進行訓練。

步驟3重復步驟2的過程，直到各層的訓練完成為止。

步驟4將最后一層的輸出是下一個有監督層的輸入，在保持前面各層均不變的情況下，初始化有監督層參數。

（2）有監督微調階段

步驟1網絡結構初始化，將之前經過預訓練確定的參數輸入網絡，初始化BP神經網絡的權值、偏置等參數。

步驟2根據有標簽數據利用BP算法對網絡進行有監督訓練，計算每一層的輸出。

步驟3計算網絡中每一層的有監督學習重構誤差，據此對網絡權值系數和偏置向量進行微調。

圖5 深度自編碼網絡訓練流程

步驟4將各性能指標與規則值進行比對，若不能滿足要求，則跳轉到步驟2繼續微調，直至達到預期要求。

2.4 過擬合及克服方法

在對態勢數據的訓練過程中，會遇到過擬合[14]問題，即神經網絡只適合于被訓練的網絡安全態勢輸入集，而對一般性態勢數據的泛化效果不佳。產生這種情況的原因首先是隨著模型復雜度越來越高，優化函數容易陷入局部最優解而偏離真正的全局最優解，其次是態勢訓練樣本的匱乏加速了這種困境的出現。

針對這兩點，本文采用以下辦法克服過擬合現象：

（1）降低模型復雜度。首先可以采用預訓練的方式，通過無監督學習提供先驗性，降低訓練規模。其次可以為參數加上范數約束，通過使參數集取值空間變小降低訓練復雜度。最后可以采用Dropout 技術[15]，在訓練時候以一定的概率來丟棄一定的神經元，利用神經網絡模型的容錯性，降低復雜度和過擬合可能。

（2）豐富數據增加多樣性。最直接的辦法是盡量使用更多的訓練數據，這種方法可以使對未來數據估計與模擬更加準確。同時，以噪聲的方式向數據施加一定的影響，通過增強數據的隨機性提高模型的泛化能力。

3 基于深度自編碼網絡的網絡安全態勢評估

3.1 網絡安全態勢指標

在網絡安全態勢感知過程中，由于網絡自身的復雜性和安全數據的異構性，使得很難以直接衡量原始網絡數據的方式來評估網絡安全態勢，因此，需要建立網絡安全態勢指標體系[16]，并通過對指標體系的高效組織體現網絡安全的狀態和發展趨勢。作為整個網絡態勢分析的基礎，指標選取對于態勢感知至關重要。

為了在準確達成對所保護網絡安全狀況認知的同時，提高從獲取原始信息到作出態勢響應之間過程的效率。本文在層次化評估網絡安全態勢的基礎上[17]，對網絡中的節點信息、防護信息、拓撲信息、流量信息、報警信息、配置信息進行提取和分析，并借鑒相關研究成果，綜合選取部分能表征宏觀網絡脆弱性、容災性、威脅性和穩定性的態勢指標[16]，選取情況如表1所示。

表1 網絡安全態勢評估指標

3.2 態勢評估

由于態勢指標中存在權重、等級等大量難以精準衡量的非線性因素，不可避免需要運用專家經驗進行界定，而不同的專家經驗會對最終評估結果產生明顯的影響，并且形成的網絡安全態勢最終評估結果也依賴于專家經驗進行準確性判定。針對這一問題，使用基于深度自編碼網絡的態勢評估方法的解決思路在于，利用態勢數據提取的態勢指標進行自學習預訓練，并運用少量專家經驗對自學習評估模型進行參數調整，從而使模型達到接近專家經驗判定的功能。同時，利用深度自編碼網絡的標簽不依賴特性，可以弱化過多的人為因素對評估結果的影響。

在獲取網絡安全歷史態勢數據并對其進行指標提取的基礎上，本文采取層次化評估結合專家經驗的方法評估網絡安全態勢，其計算過程如公式（4）所示：

其中，Ea為通過專家經驗得出的攻擊嚴重性向量，Ss為各類服務遭受的攻擊數量向量，Sa為計算得出的各服務威脅態勢向量，Ep為通過專家經驗加權得出的服務權重向量，ks為各主機節點開放的服務向量，Sm為得出的主機威脅態勢向量，Em為通過專家經驗得出的主機權重向量，b為在系統層面通過專家經驗加權得出的對網絡安全態勢的修正值，Sa為最終計算得出的系統網絡安全態勢值。

詳細步驟和說明如下所示：

步驟1以固定時間段內采集的入侵檢測報警和網絡中各類動靜態原始信息為數據源，綜合計算各態勢指標的值，并進行數據歸一化，去除不同物理量綱的干擾。

步驟2在各類態勢指標值的基礎上，依據多位專家經驗值進行加權，對各權重指標進行綜合定量評估，根據各主機所提供服務的情況，計算各服務遭到的總體攻擊威脅情況。

步驟3以服務受威脅情況綜合評估系統中各主機的安全狀況；依據多位專家經驗，定量各主機的權重信息，在此基礎上評估系統的安全威脅態勢。

步驟4建立測試集和訓練集，在得到網絡安全態勢評估值的基礎上，選取相鄰一段時段態勢指標值組合起來，構建態勢指標值向量Xi=[xi(1),xi(2),…,xi(n)]，以及其各自對應的當前時間段的態勢評估值Yi。

步驟5將序列Xi的各分量的值作為深度自編碼網絡的輸入，并進行無監督逐層預訓練。

步驟6利用Yi進行有監督微調訓練，調整模相關權值和偏置參數，使模型獲得最佳的性能。

步驟7在將深度自編碼模型訓練完成的基礎上，運用模型開展對網絡安全態勢的評估。

基于深度自編碼網絡的網絡安全態勢評估模型訓練流程的偽代碼如算法1所示：

算法1 AE_Train(λ,η,Dataset_Train,AE(W,B))

輸入：訓練數據集Dataset_Train，學習率η，迭代次數λ，未初始化的深度自編碼網絡AE(W,B)。

輸出：訓練好的深度自編碼網絡AET(W,B)。

首先從訓練數據集中提取態勢要素，構建無標簽樣本空間和有標簽樣本空間。

for data in Dataset_Train：{

elements ←Extract(data)；//提取態勢要素

sample_space ←sample_space ∪

Record(elements)；//構建無標簽樣本空間

time_series ←Series(elements)；//構建態勢指標值向量

valuation ←Assessment(time_series)；//評估安全態勢

sample_space_label ←sample_space ∪

valuation；//構建有標簽樣本空間

}

其次利用無標簽樣本對自編碼網絡進行無監督逐層預訓練。

AE(W,B))←Init(AE(W,；B)//)初始化權值和偏置

AE(W,B)←Pre_train(AE(W,B),sample_spa；ce/)/無 監督逐層預訓練

最后利用有標簽樣本對自編碼網絡進行有監督微調訓練。

for sample in sample_space_label：{

time_series ←Series(sample；)//

while i ＜λ{

Data_Forward_propagation（

time_series，(AE(W,B；))//數據正向傳播

error(L(W,B))←Error_backward_

propagation（time_series，(AE(W,B)；)//誤差反向傳播

for w in W：{

w ←Update_weigh（t

error(L(W,B)),W,B,；η)//調整權值參數

}

for b in B：{

b ←Update_bias（

error(L(W,B)),W,B,η//)調整偏置

}

i ←i+1；

}

return AET(W,B)

在此基礎上，基于深度自編碼網絡的網絡安全態勢評估流程的偽代碼如算法2所示。

算法2 AE_Train(Dataset_Train,AET(W,B))

深度自編碼網絡AET(W,B)；

輸出：態勢評估值

首先從待評估數據集中提取態勢要素，構建待評估樣本空間。

for data in Dataset_Evaluation：{

elements ←Extract(data)；//提取態勢要素

sample_space ←sample_space ∪

Record(elements)；//構建樣本空間

}

for sample in sample_space：{

time_series ←Series(sample)；//構建態勢指標值向量

value ←Data_Forward_propagation（

time_series,AET(W,B))；//數據正向傳播

return value；//得到評估值

}

}

綜合算法1 和算法2，基于深度自編碼網絡的態勢評估流程圖如圖6 所示。流程分為兩個部分，評估模型通過無監督預訓練和有監督微調的組合，獲得滿足需要的評估模型；在評估階段，只需要態勢要素提取和數據正向傳播就可以獲得系統的安全態勢評估值。相比單純使用有監督的訓練方法，由于無監督預訓練方法的使用，基于深度自編碼網絡的態勢評估擁有以下兩點優勢，一是樣本數據較為容易獲取，并且明顯減輕了為數據添加標簽過程的開銷，且通過無監督預訓練，明顯提高了網絡的成熟程度，使得少量有監督微調過程明顯加快；二是明顯減少了不準確專家的經驗數據會對最終評估結果產生的影響。

圖6 基于深度自編碼網絡的態勢評估流程圖

4 仿真實驗

4.1 實驗環境

本課題實驗采用的數據集是DARPA 1999[18]攻擊場景測評數據集。該數據集包含了5 周的連續數據，其中，第2、4和5周包含精心設計的各類網絡攻擊，集中覆蓋了Probe、DoS、R2L、U2R和DATA五大類共58種常見攻擊方式，是全面的網絡安全態勢研究數據集。該數據集的優勢在于數據容量豐富且擁有全面的標注信息，能夠在實驗中盡量減少對無關或冗余的信息的處理開銷。同時，便于容易提取數據記錄之間的關聯性，給評估模型的精度和效率帶來積極影響。

該測評數據集網絡拓撲如圖7 所示，根據這一數據環境，本文設計了針對BP 神經網絡和深度自編碼網絡的網絡安全態勢評估效果對比實驗。首先利用Tcpreplay工具重放數據流，使用Snort 軟件作為入侵檢測工具評估數據流，并得到各類安全事件報警。然后從數據集中選取第2 和第4 周336 個小時的數據及其報警記錄作為訓練集空間，結合專家經驗，對各時間段的數據進行態勢指標提取和態勢評估，并使用其下一個時間段的態勢評估值作為有監督學習的標簽；最后選取第5 周168 個連續時間段的數據及其評估值作為測試集分析兩個態勢評估模型的性能。

圖7 DARPA 1999網絡拓撲圖

4.2 安全態勢評估實驗

表2 部分攻擊類型嚴重性權重向量

表3 服務權重向量

表4 部分主機節點重要性向量

根據專家經驗定義的權重和等級指標如表2～4所示。

采用時間段態勢評估的方式，將一天的數據分為24個時間段，利用專家經驗提取指標進行態勢評判，并對最終評估結果進行修正，作為訓練集的標簽。訓練樣本的部分網絡安全態勢評估值如表5所示。

表5 部分訓練樣本態勢評估值

4.2.1 實驗過程

實驗的思路是分別選用BP 神經網絡、CSBPNN 和深度自編碼網絡在給定不同數量樣本的情況下觀察各自對標簽空間的依賴程度和所能達到的最佳學習效果，并將三者的態勢評估準確率進行對比。實驗步驟如下所示：

步驟1是樣本構建階段。作為對比實驗的基礎，本文按照訓練樣本數量等量逐漸增加的順序構建不同規模的訓練空間，以第5 周數據和態勢評估值作為測試空間。

步驟2選用不同的模型參數如學習率、正則化方法、Dropout 比率、隱藏層節點數等對分別對BP 神經網絡、CSBP 神經網絡和深度自編碼網絡進行模型訓練和性能測試，并允許選取各自實驗平均效果最佳時的模型作對比分析。實驗使用以態勢評估序列和專家經驗態勢評估序列間的均方根誤差值作為評價函數評估模型，進行態勢評估的準確性。

步驟3增加樣本數量，采用上述方式繼續考察三者的態勢評估性能，直至達到樣本空間的極限。

4.2.2 對比實驗和分析

由此，得出在訓練效果最佳時各模型評估誤差指標，如表6所示。

圖6 給出了三種算法在部分測試集上進行評估的均方根誤差曲線圖，從表6和圖8中均可以看出，隨著訓練數據的增多，各模型的均方根誤差都呈現出下降趨勢。不同之處在于，基于深度自編碼網絡的下降過程較為穩定，波動較小，顯示出對標簽數據的依賴程度較低。此外，在小規模的訓練樣本下，深度自編碼網絡的均方根誤差明顯小于另兩者，表明其在評估精準性上強于另兩者，體現出深度堆棧自編碼結構的優勢。

表6 不同樣本容量下的最小均方根誤差指標及最佳模型參數

圖8 不同樣本容量下各模型最小均方根誤差指標對比

綜上所述，由于深度自編碼網絡在處理非線性問題上的優點，能夠比較精確地體現網絡安全態勢指標體系各一級指標和相應的網絡安全態勢之間的聯系。本文認為采用深度自編碼網絡進行網絡安全態勢評估是有效的。

5 結語

本文針對傳統BP神經網絡類方法對標簽數據過于依賴的缺陷進行分析，給出了一種基于深度自編碼網絡的態勢評估模型。模型以深度自動編碼器為基本模塊，采用一種無監督逐層預訓練和有監督微調訓練相結合的訓練算法克服標簽數據稀缺和過擬合問題。在DAR‐PA1999 數據集上對BP 神經網絡和深度自編碼網絡的態勢評估性能進行了對比測試。結果顯示，本文提出的模型對標簽依賴性較小，且具有較好的評估準確性。下一步將在更豐富的數據集上進行實驗，并考慮更多因素對模型性能的影響。