聯合膠囊和雙向LSTM網絡的VPN加密流量識別

楊忠富，常 俊，許 妍，羅金燕，吳 彭

云南大學 信息學院，昆明 650500

隨著通信感知一體化、5G、邊緣計算等信息技術的蓬勃發展，對網絡的管理提出了更高的要求。網絡流量分類作為提高網絡控制能力的必要技術之一，通過區分網絡應用類型，不僅能夠提供更好的服務質量（QoS），而且能夠有效地監督和管理網絡。近年來，隨著個人信息隱私保護和數據安全意識的提高，加密技術在互聯網網絡通信中得到了廣泛的應用。然而，網絡流量加密技術的發展也導致了網絡安全管理面臨許多挑戰。目前，大多數惡意軟件和攻擊通過使用加密技術，使得可以避開防火墻和網絡安全系統的檢測。因此，如何高效準確地識別出加密流量類型成為當下研究熱點。

在早期階段，大多數研究側重于基于端口的流量識別，使用TCP或UDP數據報頭的指定端口[1-2]，而隨著隨機端口和偽裝技術在網絡通信上的應用，該方法對流量識別率較低，已不再適用于當前網絡環境。文獻[3]使用基于數據包載荷的深度包檢測（DPI）方法，解決了基于端口分類的問題，卻不適合數據被加密的網絡。文獻[4-5]使用基于統計的方法提取流量的特征，然后通過機器學習對特征進行識別分類，如隨機森林、支持向量機（SVM）、樸素貝葉斯等[6]。機器學習模型因其處理高維復雜時空數據的能力而優于傳統模型，但是，在這些方法中，統計特征是手動提取的，需要大量的時間和專家經驗[7]。深度學習[8]作為一種端到端的方法應運而生，可以學習輸入和輸出之間的非線性關系，不需要額外地提取復雜的特征。與傳統機器學習模型相比，深度學習模型在網絡流量識別任務中取得了優異的性能。Wang 等人[9]提出了一種利用1D-CNN 來實現加密流量分類的方法，該模型是端到端的框架，不需要人工設計流量特征，直接使用Pcap格式的原始數據流量，通過對12類別的網絡流量分類準確率達到了86.6%。Zhang等人[10]提出了一種加密流量分類方法，可以獨立過濾和標記未知應用流量。Lotfollahi等人[11]提出一種叫“深度包”的流量分類框架，將經過預處理后的IP 包的前1 500 Byte 作為網絡輸入，然后使用SAE 和一維卷積CNN 網絡進行分類，結果表明F1 值高達95%。文獻[12]使用LSTM來提取流量數據包之間的時序特征。文獻[13]結合CNN 和LSTM 來提取流量數據的空間與時序特征，其平均準確率與1D-CNN 相比平均提高了5%，在精確率和召回率上達到了最高值。在文獻[14]中，對1D-CNN進行了改進，并同樣聯合使用了LSTM，在訓練階段為每個流量類別設置不同的權重參數，使數據平衡，結果顯示，對加密流量數據集進行分類，其準確率超過98%。據查閱文獻可知，在目前的基于深度學習的網絡流量分類方法中，采用CNN 和LSTM 的聯合模型的分類效果最好，主要原因是網絡流量數據本身的“數據流-數據包-字節”遞進結構，具有明顯的空間和時序特征。

在目前眾多的加密流量檢測中，基于深度學習的模型仍然采用CNN 來學習流量特征進行分類。然而，基于CNN 的空間特征提取有一定的局限性。首先，CNN只學習了數據報中的空間特征，忽略了內部字符串之間的相對位置、局部特征和整體之間的關系。其次，池化操作會主動丟棄大量信息。另外，針對網絡流量的表征形式，目前的處理方法分為語義和二進制表征[15]。語義表征是根據每個數據包報頭的語義字段，如IP、TCP 和UDP長度字段，然后將這些語義字段整合成一個完整的表征形式，但是該方法不保留數據包中的選項字段。而二進制表征類似于每個數據包的“圖像”，即將Bit 對應轉換成0～255 的像素，然后做成圖像數據集，但卻忽略了許多復雜的細節，容易造成錯位，在模型中引入噪聲，可能導致兩個數據包的特征向量對同一特征具有不同的解釋。

針對以上問題，本文設計了一種聯合使用CapsNet和BiLSTM 網絡的端到端加密流量分類方法。首先利用改進后的膠囊網絡的卷積層來提取網絡流量的底層特征，接著用膠囊層將卷積層的標量轉化成膠囊向量，向量的方向和長度分別對高級特征的狀態和特征的檢測概率進行編碼，其中，膠囊長度表示流量類別的概率，使用“動態路由”機制，捕獲流量字節數據之間的高級空間屬性，最后，利用BiLSTM結構來捕獲CapsNet學習到的空間特征中的層次時間依賴關系。CapsNet能夠很好地呈現出網絡流量內部結構的語義關系，在很大程度上解決了傳統CNN 中存在的問題。實驗結果表明，結合CapsNet和BiLSTM的框架優于多個最先進的流量分類基線模型。

1 網絡概述

1.1 CapsNet模塊

Geoffrey Hilton 教授提出膠囊神經網絡是一個三層的網絡[16]，當Capsule 識別出圖像某一區域的特定物體時，其輸出是一個膠囊向量，向量模長表示識別物體的概率，方向表示對象所包含的內部信息，如相對位置和方向，如果對象有輕微的變化，如旋轉、平移、方向、大小等，輸出向量模長不會改變，但是，方向將會有所改變，所以Capsule可以表征物體的變化規律。

膠囊網絡的功能類似于卷積神經網絡，將輸入圖像自下而上映射到特征空間。膠囊網絡模型主要由三部分組成：卷積層、初始膠囊層（primary capsule layer）和數字膠囊層（digital capsule layer），網絡結構如圖1所示。第一層是普通的卷積層，在輸入尺寸為28×28的圖片后，使用256個9×9的卷積核對圖片提取底層特征，步長為1，激活函數為ReLU 非線性函數。第二層為初始膠囊層，它將卷積層提取出來的標量特征圖轉換成向量膠囊，該層采用了通道數為32的卷積，這個通道數也就是膠囊數量，每個膠囊中含有8個卷積核大小為9×9，步長為2 的卷積單元，利用Squash 函數擠壓向量，實現0-1 的壓縮，保持其方向不變，每個向量是一個膠囊單元，膠囊的長度表示流量所屬類別的概率，膠囊方向代表流量的屬性（如固定字符串的位置、數據包之間的順序），最終每個膠囊的輸出是一個8 維向量。第三層是數字膠囊層，與全連接層類似，該層一共有N個膠囊，每個膠囊代表一個網絡應用服務類別，初始膠囊層和數字膠囊層之間的耦合系數是通過動態路由算法來更新的，再次利用Squash激活函數擠壓向量保證特征的位置關系，其中||L2||表示對數字膠囊的向量求模，輸出的向量模大小即為某個類別的概率。

圖1 膠囊網絡結構Fig.1 Structure of capsule network

初始膠囊層與數字膠囊層的網絡參數是通過動態路由迭代算法來更新的。在膠囊網絡中，為了得到由初始膠囊層提取到的網絡流量的局部特征和高級特征之間的空間關系，則需要進行以下計算：

式中，ui為初始膠囊層的第i個輸出向量，代表低層膠囊提取到的局部特征，Wij為權重矩陣，是編碼低層特征和高級特征的空間關系矩陣，通過反向傳播進行學習，為預測向量，Sj為第j個膠囊的輸入，是低層膠囊ui的線性加權和，cij為動態路由迭代確定的耦合系數，可以通過下式得出：

cij由Softmax函數計算得出，每個高層膠囊和低層膠囊之間都有一個對應的耦合系數，并且該系數和為1。bij表示初始膠囊i和高級膠囊j之間耦合的對數先驗概率，初值為0，迭代過程中通過當前層的輸出向量vj和上一層預測向量的內積之間的一致性來不斷更新。

此外，膠囊網絡使用一種被稱為Squash的非線性函數作為膠囊的激活函數，其計算表達式為：

其中，vj是膠囊j的輸出向量。該公式的作用是壓縮，如果Sj很長，則將其壓縮到約為1 的長度，如果Sj很短，那么就將壓縮至約等于0，因此，膠囊輸出向量的長度可以表示提取的局部特征存在的概率。

1.2 BiLSTM模塊

雙向LSTM神經網絡在兼顧上下文特征的同時，解決了循環神經網絡（RNN）對輸入數據的長距離依賴問題，而在網絡流量中有的數據流比較長，因此非常適合流量識別任務。BiLSTM的計算公式如下：

其中，it、ot分別代表輸入、輸出門，σ、W、分別表示激活函數、權重參數和記憶單元，ht代表t時刻的隱藏狀態。BiLSTM用于學習膠囊層的輸出，以增強網絡特征的擬合效果，結構如圖2所示。

圖2 BiLSTM網絡結構Fig.2 Structure of BiLSTM network

2 數據集及數據預處理

2.1 數據集

訓練模型最關鍵的是要有具有代表性的數據集，在本文的分類任務中，使用Lashkai 等人在2016 年發布的ISCX VPN-nonVPN 數據集[17]，該數據集提供了150 個原始流量文件，其文件為Pcap格式，不過并無標簽。按加密類型分為7種常規加密流量和7種協議封裝（VPN）流量，但對于Browser 和VPN Browser 兩類流量，例如Facebook-video既屬于Browser也屬于Streaming，因此，本文按照文獻[9]將該數據集進行標注，將其分為12類：6種常規加密流量，6種VPN加密流量，本文所用數據集統計如表1所示。

表1 數據集統計信息Table 1 Data set statistics

2.2 數據預處理

由于深度學習模型對輸入的數據有統一的格式，因此，需要將Pcap 格式流量文件進行預處理該方法總共分為以下幾個過程。

（1）流量切分：將原始數據包切分成網絡流至關重要，現有五種類型的網絡流量切分方式：Tcp連接、流、會話、服務和主機。目前，研究廣泛的是基于流和會話的切分方法。流是指具有相同的五元組（源IP地址、源端口、目的IP、目的端口、傳輸層協議）的所有報文，會話是由雙向流組成的所有報文，即五元組的源地址是可互換的。根據文獻[9]的結果表明，會話包含了雙方的交互信息，且對加密流量的識別本身就是依靠雙方交互的明文信息，所以本文選擇了會話進行實驗。利用SplitCap工具將原始的Pcap文件按照五元組信息切分成會話形式。

（2）去除無用信息：因為ISCX VPN-nonVPN 數據集是在數據鏈路層進行采集的，該層的信息對于與流量分類無關，因此首先刪除數據鏈路層數據。其次，刪除用來連接確認的無關數據包，在TCP 傳輸過程中，會有一些僅用于建立或者終止的數據包，例如ACK、SYN和FIN 標志數據包，這些數據中不包含流量分類信息，因此，可通過判斷TCP 數據包頭的標志信息來進行刪除。用于域名解析的字段（DNS）也與流量服務識別無關，也應刪除。最后，重復和空白的數據會影響神經網絡模型的訓練，降低分類準確率，因此刪除這些數據。

（3）五元組信息匿名化：數據在采集過程中，使用的固定幾個IP地址進行數據采集，有些數據甚至來自于同一個IP，所以為了防止MAC地址和IP地址對模型造成分類影響，特別是造成過擬合，因此，使用16 進制的0x00來替換五元組信息。

（4）統一長度：為了盡可能全面地包含網絡流量特征信息，實現更準確的網絡流量分類，截取固定長度為784 Byte的負載數據，文件超過784 Byte的進行刪除，不足的在末尾補上0x00。

（5）生成數據集：將784 Byte 的會話二進制后轉化成長度為784的數組，按順序將每個字節都轉化成一個uint8數據格式的8位像素，一個字節大小[0～255]對應于灰度像素，轉換為二維灰度圖像，并以PNG格式存儲。最后，我們將灰度圖像按8∶2的比例分成訓練集和測試集。

對上述預處理的結果進行可視化分析，每個圖像像素為28×28，如圖3所示。圖3（a）顯示了所有12類流量的可視化結果，且各流量中隨機選取一張圖片，從結果可看出，12種類型流量的圖片之間具有很好的分辨度，而且VPN 加密流量圖片間的紋理相差較大，更加容易區分，這是因為VPN 協議之間偽隨機數的發生器不一樣，會導致產生的流量完全不同。圖3（b）為隨機選取的兩類流量里的9張圖片，該結果顯示了同類流量具有很高的一致性。

圖3 加密流量可視化示意圖Fig.3 Visualization diagram of encrypted traffic

3 本文方法

網絡流量數據是一個顯著的時空層次化結構實體，其實質是一系列的流量字節串，然后根據網絡協議將字節組合成數據包，最后按照通信協議把數據包又組合為網絡流，它包含了包大小、流大小、上下行數據流字節數之比、數據包到達順序等局部特征，具有一定的排列規律和相對的空間信息。此外，對于相同IP報頭的TCP數據包和UDP 數據包擁有完全不同的信息，并不是所有的IP數據包都含有選項字段信息，傳統的標量表征容易造成同一特征的誤解，因此，本文設計了一個CapsNet-BiLSTM 架構。如圖4 所示，該架構由4 個卷積層、1 個膠囊網絡單元、1個雙向LSTM層和1個Softmax分類器組成，用于提取網絡流量的空間特征和時序特征，實現更加高效的網絡應用服務識別。

3.1 網絡模型

3.1.1 卷積層提取底層空間特征

本文串聯使用了4個3×3的卷積來代替1層9×9的卷積，多個小卷積核所需的參數量減小及降低了梯度消失的風險，而且與大卷積核感受野相同，較之擁有更多的非線性變化。本文所使用的ISCX VPN-nonVPN 數據集由于數據不平衡，有的類別數據量屬于小數據集，神經網絡參數量過大很容易出現過擬合現象，所以，為了防止模型過擬合，在4個卷積層中加入了L2正則化，并且使用了批量歸一化（batch normalization，BN），BN具有較高的初始學習率，能加速模型收斂過程。假設輸入的數據為xi，經過卷積層后的輸出Convi則為：

其中，Wconv和bi分別為卷積網絡的卷積核與偏置項，R為ReLU激活函數。

3.1.2 膠囊單元學習高級空間特征

首先，初始膠囊層使用卷積操作和Squash函數將卷積層輸出的標量特征轉為向量膠囊Prim，膠囊數量為32，然后使用動態路由機制將Prim與數字膠囊層進行全連接，得到整個CapsNet網絡的輸出Dig，其表達如下：

式中，Wprim、bprim分別是初始膠囊層的卷積核和偏置項，Wdig、bdig為數字膠囊層的權重和偏置，S代表Squash激活函數。在該層中，設置路由迭代次數為5，最終輸出的高級膠囊數則為分類類別數N。

3.1.3 BiLSTM學習時序特征

膠囊網絡的輸出Dig由N個膠囊向量組成，包含了網絡數據流的空間特征，同時，這些膠囊向量如同網絡交互的數據包一樣，具有很明顯的時間順序結構，因此，采用了一個BiLSTM，依次從正向和反向讀取兩個方向的時序特征。其隱藏層數設置為128。

最后使用Softmax函數將綜合得到的時空特征向量轉換為N×1 矩陣，得到輸出預測向量。

3.2 損失函數

對于CapsNet-BiLSTM 網絡，定義了一個聯合損失函數，由邊緣損失和交叉熵函數組成。

由于膠囊網絡需要同時對多個對象進行識別，不能使用傳統的交叉熵損失函數，因此，使用了邊緣損失函數代替。

式中，類別用c表示，Tc是存在函數，只有0和1兩種取值，類別c存在即為1，不存在為0，m+、m-分別表示上界和下界，取值為0.9 和0.1，分別用來懲罰假陽性（false positive）和假陰性（false negative），將實際存在的類別預測為不存在就是假陽性，將不存在的預測為存在就是假陰性，‖vc‖為膠囊的模長，表示概率，λ是比例系數，取值為0.5，用來調整兩者比例。

LSTM網絡采用交叉熵作為損失函數：

4 評估實驗

4.1 實驗環境

本文使用的計算機配置如下：處理器為Intel i5-8100，操作系統為Windows10，使用的開發語言為python3.6，采用tensorflow1.2作為深度學習框架。訓練過程中使用Adam optimizer 對網絡進行優化，Batch_size 與Epoch分別設為128和100。

4.2 評價指標

本文采用了準確率（Accuracy）、精確度（Precision）、召回率（Recall）和F1值（F1-score）四個指標來評估提出的方法。其中，準確率評價了分類模型的整體性能，精度和召回率反映了方法在單獨類別中的識別效率。F1值是基于召回率與精確率的調和平均，即通過綜合精度和召回率得到的評價指標。計算公式如下：

由于樣本數量的不平衡，會導致數據量較大的類別對準確率的影響占主要因素，因此，本文也使用了混淆矩陣來進行評估。

4.3 實驗結果及分析

為了驗證本文算法在加密流量多分類任務上的有效性，采用上述預處理后的ISCX VPN-nonVPN數據集進行了實驗，本文實驗總共分為兩個6分類和一個12分類，即6種常規加密業務分類、6種VPN加密業務分類及12 種加密業務分類，以下分別簡稱6_VPN、6_nonVPN、12_VPN non VPN。

首先驗證本文優化的CapsNet 性能，即針對改動的卷積層進行實驗，在此，只單獨使用膠囊網絡。圖4 顯示了改動的卷積層層數與原始CapsNet 在準確率上的對比結果。

由圖5 可知，使用卷積核尺寸為3×3 的2、3、4、5 層卷積的平均準確率分別為：96.93%、97.48%、98.75%及97.59%，1層9×9的卷積平均準確率為97.33%。與原始的CapsNet 模型相比，本文提出的4 層卷積網絡相對提高了1.26%。原因是原始CapsNet 只有一個卷積層，對于ISCX VPN-non VPN 數據集來說，其捕獲底層特征的能力受到限制，而采用多層卷積能夠更好地捕獲網絡流量的細節信息，故而證明了本文提出的4層小卷積模塊在加密流量分類上的有效性。另外，還可以從結果看出，在3類分類實驗中，6_VPN的識別率都是最高的，12分類最次，是因為VPN 加密流量和普通加密流量在進行加密時使用的加密協議不同導致，VPN加密流量協議之間的數據分布具有較大的區別，而普通加密流量使用的協議之間的差別不是很大，符合預期結果。

圖5 卷積層準確率對比Fig.5 Accuracy comparison of convolutional layer

圖6 顯示了本文的CapsNet-BiLSTM 模型在3 種分類實驗上的訓練和測試準確率曲線。結果表明，整體結果都達到了高平穩狀態。6_VPN、6_nonVPN及12_VPN non VPN的測試準確率分別為99.61%、99.19%和98.97%，與單獨使用CapsNet模型相比平均高出了1個百分點以上，這表明在膠囊層后面加入BiLSTM模型計算輸入的多個膠囊向量，能夠進一步提取網絡流量特征，因此，可以認為本文提出的模型能夠勝任具有時空特征的加密流量識別任務。

圖6 分類準確率變化圖Fig.6 Changes in classification accuracy

單獨的準確率指標在面對數據不平衡時具有很大不足，為此，表2、3 和4 顯示了CapsNet-BiLSTM 模型在每個加密流量服務識別任務上的精確率、召回率和F1值。可以看出，3個分類實驗中，3個指標結果都在97%以上，說明CapsNet-BiLSTM 模型充分發揮了提取流量數據空間和時序特征的優勢。

表2 6_nonVPN評價指標結果Table 2 Evaluation index results of 6_nonVPN單位：%

表3 6_VPN評價指標結果Table 3 Evaluation index results of 6_VPN單位：%

表4 12_VPN non VPN評價指標結果Table 4 Evaluation index results of 12_VPN non VPN單位：%

為了進一步詳細分析，繪制了如圖7所示的混淆矩陣，橫軸為預測標簽，縱軸為真實標簽，在此只展示12_VPN non VPN實驗的混淆矩陣，因為其他兩個實驗具有類似的結果。從整體上看，各個類別都帶有較深的紅色，且最低預測概率為97%，最高可達100%，證明了本文模型在加密流量識別上的可行性。從這個圖中，顯示出不管是6_VPN還是6_nonVPN，預測概率最低的類別是File 流量，可以看出本文模型傾向于將File 文件類別分類到VoIP 文件，主要原因是File 文件中的流量由Skype進行傳輸，而Skype是VoIP客戶端。最后，從混淆矩陣上可以看到，各個類別的分類錯誤只會發生在6_VPN和6_nonVPN內部，不會出現VPN加密流量類別被誤判為non VPN類別這種情況，反之亦然，再次說明了VPN加密流量與普通加密流量所用協議之間的差別。

圖7 12_VPN non VPN混淆矩陣Fig.7 Confusion matrix of 12_VPN non VPN

4.4 對比分析

為了更好地分析CapsNet-BiLSTM在加密流量識別中的優越性，實驗選擇文獻[9，11，13]的結果進行比較。文獻[9]中的實驗將數據集劃分成non VPN 及VPN，即進行與本文相似的實驗組合，文獻[11，13]中的實驗只進行加密流量服務分類，即本文的12 分類，因此，首先與文獻[9]進行6_nonVPN 和6_VPN 兩組實驗的對比，與其他方法則進行12_VPN non VPN分析。

從表5 可以看出，本文的6_nonVPN 實驗的識別準確率比1dCNN提高了16.19個百分點，精確率、召回率及F1 值提高了13 個以上的百分點，6_VPN 實驗準確率相比提高了1.01個百分點，另外3個指標也相對有所提高。

表5 6_nonVPN和6_VPN實驗對比Table 5 Experimental comparison of 6_nonVPN and 6_VPN 單位：%

圖8 顯示了與文獻[11，13]在12_VPN non VPN 分類中精確率、召回率、F1值上的結果對比，結果表明，與最優的結果即文獻[11]相比，本文模型在3 個指標上都有了極大提升。本文與文獻[11]在數據預處理上幾乎相似，僅除了網絡輸入尺寸，但最終的結果卻相差較大，主要原因是本文模型很好地提取了網絡流量的層次化特征，而文獻[11]只針對流量的空間特征，并且，如前文所說，CNN忽略了網絡流量的特性。因此，可以認為本文提出的CapsNet-BiLSTM模型在加密流量任務識別上具有很好的效果。

圖8 不同模型結果對比Fig.8 Comparison results of different models

5 結束語

本文提出了一種基于時空特征的加密流量識別方法。Caps-BiLSTM 模型考慮了固定字符串的位置和數據包之間的順序，尤其是CapsNet網絡使用的神經元是向量，它能準確刻畫出流量中數據包和字節的屬性，因此適合于加密流量分類任務，此外，網絡流量數據包具有很明顯的順序結構，使用雙向LSTM能更好地提取前后信息，最后，使用聯合損失函數比單一的邊緣損失函數能更好地勝任該模型。實驗結果表明，與最先進的方法相比，本文方法在ISCX VPN-nonVPN數據集上取得了顯著的成果。由于目前的加密流量種類太多，且網絡復雜度日漸上升，現有的模型在真實網絡環境中識別的實時性和魯棒性上均有所欠缺，未來的研究工作應該在真實環境中進行識別并提高準確率。