基于MHA-BiLSTM的網(wǎng)絡流量異常檢測方法

葉文冰 詹仕華

DOI：10.19850/j.cnki.2096-4706.2024.02.015

收稿日期：2023-05-29

基金項目：福建省高等學校教育技術研究會基金項目（H2000134A）；福建農(nóng)林大學橫向科技創(chuàng)新基金項目（KHF190015）

摘? 要：針對傳統(tǒng)的網(wǎng)絡流量異常檢測方法存在識別準確率低、忽略特征之間的相互關系等問題，提出一種基于多頭注意力機制（MHA）和融合Highway連接的雙向長短時記憶網(wǎng)絡（BiLSTM）的網(wǎng)絡流量異常檢測方法。通過使用多頭注意力機制學習數(shù)據(jù)之間的特征關系，實現(xiàn)對不同維度特征關系的提取，接下來采用多層BiLSTM進行長距離依賴特征提取，并利用Highway連接來緩解深層網(wǎng)絡訓練中的梯度消失問題。通過NSL-KDD數(shù)據(jù)集，驗證了該方法的準確度和有效性。

關鍵詞：異常流量；多頭自注意力機制；雙向長短時記憶網(wǎng)絡；Highway連接；深度學習

中圖分類號：TP183；TP393.0? ? 文獻標識碼：A? ? 文章編號：2096-4706（2024）02-0065-05

Anomaly Detection Method of Network Traffic Based on MHA-BiLSTM

YE Wenbing1， ZHAN Shihua2

（1.College of Mechanical and Electrical Engineering， Fujian Agriculture and Forestry University， Fuzhou? 350108， China; 2.College of Computer and Information Sciences， Fujian Agriculture and Forestry University， Fuzhou? 350028， China）

Abstract： A network traffic anomaly detection method based on MHA and BiLSTM connected with fused Highway is proposed to address the issues of low identification accuracy and neglect of inter-feature relationships in traditional network traffic anomaly detection methods. Through utilizing the MHA mechanism to learn feature relationships among data， the feature relationships of different dimensions are extracted. Subsequently， multiple layers of BiLSTM are employed for capturing long-term dependency features， while the Highway connections are utilized to alleviate the issue of gradient vanishing in deep network training. The accuracy and effectiveness of the proposed method are validated through the NSL-KDD dataset.

Keywords： abnormal traffic; multi-head self-attention mechanism; BiLSTM; Highway connection; Deep Learning

0? 引? 言

隨著計算機技術的迅猛發(fā)展，互聯(lián)網(wǎng)的數(shù)據(jù)規(guī)模不斷擴大，網(wǎng)絡環(huán)境也日益復雜，導致網(wǎng)絡安全問題如入侵攻擊和網(wǎng)絡病毒等日益嚴重。為了解決這些問題，保障網(wǎng)絡安全已經(jīng)成為迫切的任務，吸引了學術界的廣泛關注。在網(wǎng)絡流量異常檢測中，傳統(tǒng)的機器學習算法如K近鄰算法[1]、支持向量機[2]、隨機森林[3]和決策樹[4]等已經(jīng)被廣泛應用。這些算法在網(wǎng)絡流量異常檢測中取得了一定的準確率提升，但仍存在表達復雜函數(shù)能力有限和泛化能力不強的問題[5]。為了進一步提高網(wǎng)絡流量異常檢測的性能，近年來，深度學習算法如卷積神經(jīng)網(wǎng)絡[6]、循環(huán)神經(jīng)網(wǎng)絡[7]和深度自編碼器[8]等也被引入網(wǎng)絡流量異常檢測領域，并在實驗中表現(xiàn)出了很好的性能。相比傳統(tǒng)的機器學習算法，深度學習算法具有更強的表達能力和更好的泛化能力，可以更準確地檢測出網(wǎng)絡流量中的異常行為。文獻[9]提出了一種結合了數(shù)據(jù)時空特征的卷積神經(jīng)網(wǎng)絡和雙向長短期記憶網(wǎng)絡（BiLSTM）的網(wǎng)絡流量異常檢測模型，并取得了良好的結果。文獻[10]提出了一種基于自注意力機制（Self-Attention）的模型來提取網(wǎng)絡流量數(shù)據(jù)多特征的相關性，提高了檢測率并降低了誤報率。然而，自注意力機制僅考慮了當前特征與其他特征的相關性，無法捕捉到更復雜的關系和模式。對此，本文提出一種結合多頭注意力（MHA）機制和融合Highway連接的雙向長短期記憶網(wǎng)絡（BiLSTM）的異常網(wǎng)絡檢測方法。多頭注意力機制通過引入多個注意力頭，可以從多個維度提取網(wǎng)絡流量的非線性變化，增加對不同特征之間的關注，發(fā)掘特征之間的內(nèi)在聯(lián)系。同時，使用雙向長短時記憶網(wǎng)絡可以提取特征之間的長距離依賴關系，并利用Highway連接來緩解深層網(wǎng)絡訓練中的梯度消失問題。最后，采用Softmax分類器對輸出進行分類。

1? 模型介紹

1.1? 相關技術

1.1.1? 多頭注意力機制

傳統(tǒng)的神經(jīng)網(wǎng)絡模型在處理序列或圖像等數(shù)據(jù)時，通常是通過局部感受野和固定的權重來對輸入進行處理。這種方法存在一個限制，即模型只能關注輸入數(shù)據(jù)的局部信息，而無法捕捉全局信息的聯(lián)系和依賴關系。多頭自注意力機制最初在自然語言處理（NLP）領域被引入[11]，并被廣泛應用于多個場景。本文中，使用多頭注意力機制通過多個并行計算的注意力機制獲得異常網(wǎng)絡流量數(shù)據(jù)中每個特征的加權注意力分數(shù)，這樣的注意力分數(shù)允許模型對輸入數(shù)據(jù)的不同特征進行加權關注，使模型過濾無用特征，關注重點特征。通過多個頭的并行計算，提供多個不同的關注點和特征表示，可以從多個維度理解和挖掘信息，提高模型的表達能力和泛化能力。多頭注意力結構如圖1所示。

在注意力機制中，使用的是縮放點積注意力（Scaled Dot-Product Attention），它通過計算查詢（query）和鍵（key）之間的相似性得到分配給每個值（value）的權重分數(shù)。這些分數(shù)經(jīng)過Softmax函數(shù)歸一化后，與對應的值相乘，得到加權和作為輸出。使用點積注意力可以并行計算，從而減少訓練時間。其計算式（1）如下：

（1）

式（1）中Q、K、V分別表示Query、Key、Value三個矩陣，dk表示它們的維度。為了提取更豐富的特征，本文引入了多頭注意力。每個注意力頭都有自己的可學習參數(shù)，計算式（2）如下。其中，，， 表示可學習的參數(shù)。其中Qi表示第i個注意力頭的查詢矩陣，Ki表示第i個注意力頭的鍵矩陣，Vi表示第i個注意力頭的值矩陣。

（2）

多頭注意力機制通過創(chuàng)建多個不同的注意力頭，從不同的特征子空間中學習不同的特征信息。計算式如（3）所示，其中i表示多頭注意力中的頭數(shù)，headi表示第i個特征子空間中學到的特征：

（3）

最后，將每個頭的輸出進行拼接操作并做線性變換，得到包含多維信息的向量矩陣。如式（4）所示，其中Concat表示拼接操作：

（4）

1.1.2? 雙向長短時記憶網(wǎng)絡

長短時記憶神經(jīng)網(wǎng)絡（LSTM）[12]循環(huán)神經(jīng)網(wǎng)絡RNN，通過門控機制解決長序列中的遠距離信息丟失、梯度爆炸和梯度消失問題等問題，LSTM網(wǎng)絡能夠保留有價值的信息，刪除冗余記憶，具有較強的建模能力。LSTM結構如圖2所示。圖中“×”表示內(nèi)積操作，“+”表示加操作，“σ”表示sigmoid激活函數(shù)，“tanh”表示雙曲正切激活函數(shù)。

LSTM結構包括輸入門It、遺忘門Ft和輸出門Ot，以及臨時記憶狀態(tài) 、當前記憶狀態(tài)Ct和最終隱藏層狀態(tài)Ht。計算式（5）～（10）描述了LSTM中的計算過程，其中包括各個門的計算和狀態(tài)的更新。

（5）

（6）

（7）

（8）

（9）

（10）

然而，傳統(tǒng)的LSTM神經(jīng)網(wǎng)絡只能學習到前向數(shù)據(jù)的依賴關系。為了更好地捕捉序列中的長期依賴關系，引入了雙向長短時記憶神經(jīng)網(wǎng)絡（BiLSTM）。BiLSTM由前向LSTM和反向LSTM組成，分別對輸入進行前向和后向計算，并獲得前向和反向的所有信息。這樣可以更全面地理解序列數(shù)據(jù)，提供更準確的特征表示。圖3展示了BiLSTM的結構。

在BiLSTM中，將前向和反向的最后一個輸出進行拼接，作為下一層的輸入。拼接后的輸出可以包含前向和反向信息的綜合表示。這樣的結構可以為異常網(wǎng)絡檢測提供更準確的預測條件。式（11）描述了輸出的拼接過程：

（11）

其中，ht表示t時刻經(jīng)前向輸出和反向輸出拼接后的最終輸出結果。

1.1.3? Highway網(wǎng)絡

相對于傳統(tǒng)的RNN，LSTM網(wǎng)絡在一定程度上能夠緩解梯度消失的問題。然而，再深層網(wǎng)絡中，隨著網(wǎng)絡層數(shù)的增加，梯度信息在網(wǎng)絡傳播中容易受到阻礙，導致訓練過程變得困難[13]。為了應對這個問題，本文采用了Highway連接來連接各層的BiLSTM網(wǎng)絡。

Highway網(wǎng)絡利用門控機制來控制信息的流動。在傳統(tǒng)的神經(jīng)網(wǎng)絡中，每一層的輸出經(jīng)過非線性函數(shù)變換。而在深層模型中引入Highway連接，將輸入的一部分特征經(jīng)過非線性變換，而另一部分則直接傳遞到下一層網(wǎng)絡，從而實現(xiàn)特征信息在多個層之間的傳遞。為了實現(xiàn)這一目的，為每一層的輸出添加轉換門（transform gate）和攜帶門（carry gate），形成了Highway網(wǎng)絡。Highway網(wǎng)絡的定義（12）如下：

（12）

其中y表示Highway網(wǎng)絡的輸出，x表示輸入，W表示權重參數(shù)，T（x，WT）表示轉換門狀態(tài)，C（x，Wc）表示攜帶門狀態(tài)。通過控制轉換門和攜帶門的權重，Highway網(wǎng)絡可以靈活地調節(jié)特征信息的傳遞和保留，從而更好地訓練深層模型。

1.2? 本文模型

本文提出的模型利用多頭注意力機制和融合Highway連接的雙向長短時記憶網(wǎng)絡的協(xié)同作用提取數(shù)據(jù)的特征。該模型由6個部分組成：數(shù)據(jù)預處理部分、Embedding層、多頭注意力模塊、雙向長短時記憶模塊、全連接層和Softmax層，模型結構如圖4所示。首先，原始數(shù)據(jù)經(jīng)過數(shù)據(jù)預處理階段進行預處理，然后被輸入到Embedding層，Embedding層將離散的輸入映射到連續(xù)的向量空間，以更好地理解輸入的語義和特征信息。接下來，經(jīng)過多頭注意力模塊對特征進行分析，該模塊能夠計算特征的重要程度，并篩選出關鍵特征，得到豐富的多維特征信息。然后，經(jīng)過4層融合了Highway連接的BiLSTM網(wǎng)絡，這種網(wǎng)絡在緩解梯度消失問題的同時獲取前后特征之間的聯(lián)系且保留其時序信息，之后通過全連接層對特征進行融合，最后將融合后的特征輸入到Softmax分類器中，得到最終分類結果。

2? 實驗與分析

在本實驗中，在公開數(shù)據(jù)集NSL-KDD上驗證了基于多頭注意力機制（MHA）和融合Highway連接的雙向長短時記憶網(wǎng)絡（BiLSTM）的網(wǎng)絡流量異常檢測方法的有效性，并使用準確率（Accuracy）、精確率（Precision）、召回率（Recall）和F1-score作為評估指標來評估模型的性能。還與多種傳統(tǒng)機器學習算法以及1D-Conv、Transformer算法模型進行了性能比較，實驗結果表明：本文提出的基于多頭注意力機制和融合Highway連接的雙向長短時記憶網(wǎng)絡的網(wǎng)絡流量異常檢測方法表現(xiàn)出較好的性能。

2.1? 實驗環(huán)境

實驗環(huán)境基于windows 10操作系統(tǒng)，使用了Intel Core第12代處理器i5-12400F和NVIDIA 3060 Ti 8 GB顯卡，內(nèi)存容量為16 GB。并使用Python 3.10.9編程語言和PyTorch 2.0.0深度學習框架來實現(xiàn)本文提出的異常檢測方法。

2.2? 評估指標

本文使用混淆矩陣來表示評估指標，如表1所示。混淆矩陣中，真正例（True Positive， TP）表示分類器將正類樣本預測為正的樣本數(shù)量，真負例（True Negative， TN）表示分類器將負類樣本預測為負類的樣本數(shù)量，假負例（False Negative， FN）表示分類器將正類樣本預測為負類樣本的樣本數(shù)量，假正例（False Positive， FP）表示分類器將負類樣本預測為正類樣本的嚴樣本數(shù)量。

常用的評估指標包括準確率（Accuracy）、精確率（Precision）、召回率（Recall）和F1-score。其中，Accuracy表示模型能夠正確分類的樣本數(shù)量占總樣本數(shù)量的比例，定義如式（13）所示：

（13）

Precision表示被正確分類的正類樣本數(shù)量與其中實際正類樣本數(shù)量的比例，定義如式（14）所示：

（14）

Recall表示被正確分類的正類樣本數(shù)量與真實正類樣本數(shù)量的比例，定義如式（15）所示：

（15）

F1-score是Precision和Recall的調和平均數(shù)，定義如式（16）所示：

（16）

2.3? 實驗數(shù)據(jù)集

本文使用NSL-KDD數(shù)據(jù)集進行實驗。該數(shù)據(jù)集是基于KDD CUP 99數(shù)據(jù)集進行改進和精簡的新數(shù)據(jù)集，去除了大量冗余記錄。數(shù)據(jù)集包含4個子數(shù)據(jù)集：KDDTrain+、KDDTrain+_20Percent、KDDTest+、KDDTest-21。其中KDDTrain+_20Percent和KDDTest-21是KDDTrain+和KDDTest+的子集。數(shù)據(jù)集中包含41個特征屬性和1個類型標簽。類型包括正常行為（Normal）以及4種攻擊行為：偵察（Probing）攻擊行為、拒絕服務（Dos）攻擊行為、遠程到本地（R2L）攻擊行為、用戶到根（U2R）攻擊行為。在本實驗中，使用KDDTrain+_20Percent作為訓練集，KDDTest+作為測試集。各類型數(shù)據(jù)信息如表2所示。

2.4? 數(shù)據(jù)預處理

由于神經(jīng)網(wǎng)絡無法直接處理文本信息，而NSL-KDD數(shù)據(jù)集中存在字符型數(shù)據(jù)，不符合神經(jīng)網(wǎng)絡的輸入格式要求。因此，在數(shù)據(jù)預處理階段，首先需要將非數(shù)值數(shù)據(jù)轉化為數(shù)值型數(shù)據(jù)，使用獨熱編碼（One-Hot Encoding）將離散特征映射為二進制向量，從而將特征向量的維度轉變?yōu)?26維。獨熱編碼的目的是消除離散特征之間的大小關系和數(shù)值偏好，使得神經(jīng)網(wǎng)絡能夠更好地處理這些特征。此外，由于原始數(shù)據(jù)中的一些特征可能具有不同的分布和取值范圍，為了保證模型的穩(wěn)定性和收斂性，本文還對特征進行了歸一化處理，使得不同特征之間的數(shù)值范圍相對統(tǒng)一。

同時，NSL-KDD數(shù)據(jù)集存在數(shù)據(jù)不平衡問題，即多數(shù)類數(shù)據(jù)的樣本數(shù)量遠遠大于少數(shù)類數(shù)據(jù)的樣本數(shù)量。如果直接進行模型訓練將會導致分類結果偏向于多數(shù)類數(shù)據(jù)而忽視少數(shù)類數(shù)據(jù)。因此，本文采用過采樣以及欠采樣算法對數(shù)據(jù)進行數(shù)據(jù)預處理，使得實驗中使用的數(shù)據(jù)集多數(shù)樣本和少數(shù)樣本相對均衡，從而增加模型對于少數(shù)類數(shù)據(jù)的分類準確率。

2.5? 實驗參數(shù)設置

在本實驗中，設置了以下參數(shù)：每次訓練的批次大小（batch_size）為1 024，訓練輪數(shù)（epochs）為40，學習率（learning rate）為0.000 1，我們采用了8個注意力頭（attention heads）的多頭注意力機制，使用Adam優(yōu)化器和交叉熵損失函數(shù)。本實驗的雙向長短時記憶網(wǎng)絡（BiLSTM）包含4層，每層節(jié)點數(shù)為128。

2.6? 結果分析

為了評估模型的性能，本文采用了控制變量的方法，對比了不同算法在相同機器環(huán)境上的運行結果。為了消除準確率、精確率、召回率和F1-score值的隨機性，本文對每個模型進行了10次實驗，并計算其平均值作為最終結果。

首先，進行了消融實驗，驗證了Highway網(wǎng)絡和多頭注意力機制對模型性能的影響。實驗結果如表3所示。從表3可以看出，在BiLSTM網(wǎng)絡基礎上融合Highway連接后，模型的準確性提高了2.26%，準確率提高了3.98%，召回率提高了1.4%，F(xiàn)1-score提高了1.97%，這表明了Highway連接對模型有著重要作用。Highway連接通過門控機制幫助網(wǎng)絡更好地學習輸入數(shù)據(jù)中的重要特征，避免信息的損失和失真，從而提升模型性能。之后，在BiLSTM網(wǎng)絡中融合多頭注意力機制后，模型的準確率、召回率和F1-score各提升了1.63%、7.21%和2.17%。多頭注意力機制通過并行計算多個注意力頭，每個注意力頭專注于不同的子空間，同時捕捉多個不同的關注點和關聯(lián)模式，從而提升模型的表達能力和泛化能力。實驗結果表明多頭注意力機制有效提升了模型的性能。

接下來，通過與傳統(tǒng)機器學習算法、1D-Conv和Transformer模型進行對比實驗，進一步驗證了本文提出的模型的性能。實驗結果如表4所示。

實驗結果顯示，本文模型的準確率達到90.29%，召回率達到93.04%，F(xiàn)1-score達到91.49%，均優(yōu)于其他對比算法模型。相比于只學習淺層特征的傳統(tǒng)機器學習算法，本文模型表現(xiàn)更優(yōu)越。與1D-Conv和Transformer模型的比較結果也驗證了本文模型的準確性和有效性。

3? 結? 論

本文構建了一種網(wǎng)絡流量異常檢測算法，結合了多頭注意力機制（MHA）和融合了Highway連接的雙向長短期記憶網(wǎng)絡（BiLSTM）。MHA模塊能夠有效地捕捉不同特征之間的聯(lián)系，并提取更豐富的特征表示；BiLSTM模塊能夠捕捉網(wǎng)絡流量數(shù)據(jù)的長距離依賴和時序信息，從而更好地建模數(shù)據(jù)的動態(tài)性。Highway連接允許信息在網(wǎng)絡中快速傳播，通過添加門控機制來選擇性地傳遞信息，從而保持梯度的有效傳遞，進一步提高模型性能。同時，通過對比是否添加Highway網(wǎng)絡或多頭注意力機制的模型實驗結果，證明了Highway網(wǎng)絡的重要性和多頭注意力機制的有效性。最后和多種模型在公開數(shù)據(jù)集NSL-KDD上進行對比實驗評估，實驗結果表明，本文算法在網(wǎng)絡流量異常檢測任務上取得了良好的性能表現(xiàn)。未來的工作中，將進一步解決網(wǎng)絡流量數(shù)據(jù)集不平衡問題，這可能涉及采樣策略、類別權重調整或生成合成樣本等方法。此外，還將致力于優(yōu)化模型結構和參數(shù)設置，以提高模型的準確率和魯棒性。

參考文獻：

[1] KACHAVIMATH A V，NAZARE S V，AKKI S S. Distributed denial of Service Attack Detection Using Na?ve Bayes and K-Nearest Neighbor for Network Forensics [C]//2020 2nd International Conference on Innovative Mechanisms for Industry Applications （ICIMIA）.Bangalore：IEEE，2020：711-717.

[2] DONG S. Multi Class SVM Algorithm with Active Learning for Network Traffic Classification [J].Expert Systems with Applications，2021，176：114885.

[3] ELMRABIT N，ZHOU F X，LI F Y，et al. Evaluation of Machine Learning Algorithms for Anomaly Detection [C]//2020 International Conference on Cyber Security and Protection of Digital Services （Cyber Security）.Dublin：IEEE，2020：1-8.

[4] HENRIQUES J，CALDEIRA F，CRUZ T，et al. Combining K-Means and XGBoost Models for Anomaly Detection Using Log Datasets [J].Electronics，2020，9（7）：1164.

[5] LIU L，WANG P C，LIN J，et al. Intrusion Detection of Imbalanced Network Traffic Based on Machine Learning and Deep Learning [J].IEEE Access，2020，9：7550-7563.

[6] 杭夢鑫，陳偉，張仁杰.基于改進的一維卷積神經(jīng)網(wǎng)絡的異常流量檢測 [J].計算機應用，2021，41（2）：433-440.

[7] 鄧華偉，李喜旺.基于深度學習的網(wǎng)絡流量異常識別與檢測 [J].計算機系統(tǒng)應用，2023，32（2）：274-280.

[8] 張國梁，郭曉軍.基于自編碼器的網(wǎng)絡異常檢測研究綜述 [J].信息安全學報，2023，8（2）：81-94.

[9] SINHA J，MANOLLAS M. Efficient Deep CNN-BiLSTM model for Network Intrusion Detection [C]//Proceedings of the 2020 3rd International Conference on Artificial Intelligence and Pattern Recognition.Xiamen：ACM，2020：223-231.

[10] 皇甫雨婷，李麗穎，王海洲，等.自注意力的多特征網(wǎng)絡流量異常檢測與分類 [J].華東師范大學學報：自然科學版，2021（6）：161-173.

[11] VASWANI A，SHAZEER N，PARMAR N，et al. Attention is All You Need [J/OL].arXiv：1706.03762 [cs.CL].（2017-06-12）.https：//arxiv.org/abs/1706.03762.

[12] HOCHREITER S，SCHMIDHUBER J. Long Short-Term Memory [J].Neural Computation，1997，9（8）：1735-1780.

[13] SRIVASTAVA R K，GREFF K，SCHMIDHUBER J. Highway Networks [J/OL].arXiv：1505.00387 [cs.LG].（2015-05-03）.https：//arxiv.org/abs/1505.00387.

作者簡介：葉文冰（1998—），男，漢族，福建福州人，碩士研究生在讀，研究方向：人工智能；通訊作者：詹仕華（1968—），男，漢族，福建福安人，副教授，本科，研究方向：網(wǎng)絡通信與信息安全。