基于改進的CNN-Transformer加密流量分類方法

摘要： 針對傳統加密流量分類模型對特征提取不足導致分類準確率較低等問題， 使用深度學習技術， 提出一種基于改進的卷積神經網絡結合Transformer的加密流量分類模型.

為提高分類精度， 首先將數據集切割填充并完成標準化處理； 然后采用Transformer網絡模型中的多頭注意力機制捕獲長距離的特征依賴， 利用卷積神經網絡提取局部特征； 最后加

入Inception模塊實現多維特征提取和特征融合， 完成模型訓練和加密流量分類. 在公共數據集ISCX VPN-n

on-VPN 2016上進行實驗驗證， 實驗結果表明， 該模型的分類準確率達98.5%， 精確率、 召回率和F1值均達98.2%以上， 相比其他模型分類效果更優.

關鍵詞： 加密流量分類； 卷積神經網絡； 多頭注意力機制； 特征融合

中圖分類號： TP393.08" 文獻標志碼： A" 文章編號： 1671-5489（2024）03-0683-08

Improved CNN-Transformer Based EncryptedTraffic Classification Method

GAO Xincheng1， ZHANG Xuan2， FAN Benhang2， LIU Wei2， ZHANG Haiyang2

（1. Modern Education Technology Center， Northeast Petroleum University， Daqing 163318， Heilongjiang Province， China；

2. School of Computer and Information Technology， Northeast Petroleum University，Daqing 163318， Heilongjiang Province， China）

收稿日期： 2023-06-12.

第一作者簡介： 高新成（1979—）， 男， 漢族， 博士， 教授， 從事網絡安全、 網絡管理和大數據應用的研究， E-mail： gxc@nepu.edu.cn.

通信作者簡介： 張" 宣（1997—）， 男， 漢族， 碩士研究生， 從事網絡安全和流量分類管理的研究， E-mail： dyzx@stu.nepu.edu.cn.

基金項目： 國家自然科學基金（批準號： 61702093）、 中國高校產學研創新基金（批準

號： 2021ITA02011）和黑龍江省教育科學規劃重點項目（批準號： GJB1423357）.

Abstract： Aiming at the problem of insufficient feature extraction resulting in low classification accuracy of the traditional encrypted traffic classification model，

we" proposd an encrypted traffic classification model based on an improved convolutional neural network combined with Transformer by using deep learning techniques.

In order to improve the classification accuracy， firstly， we cut and filled the dataset，" and completed standardization processing. Secondly， the multi-head attention mechanism in the

Transformer network model was used to capture long-distance feature dependencies， and the convolutional neural network was used to extract local features. Finally， the Inception module was

added to achieve multi-dimensional feature extraction and feature fusion， and the model training and encrypted traffic classification were completed. The experimental verification was conducted on the

ISCX VPN-non-VPN 2016 public dataset， the experimental results show that the classification accuracy of the proposed" model reaches 98.5%， with the precision rate， recall rate and

F1 value" all exceeding" 98.2%， which show better classification effect compared with other models.

Keywords： encrypted traffic classification; convolutional neural network; multi-head attention mechanism; feature fusion

隨著加密技術在網絡傳輸過程中的廣泛應用［1］， 網絡加密流量所占比例越來越大. 而流量加密技術在保障了用戶隱私安全的同時， 也給惡意流量軟件躲避網絡安全檢測帶

來了便利［2］. 因此， 提升加密網絡流量的分類精度， 有效分離出惡意流量［3-4］已成為流量分類領域中的研究熱點. 基于機器學習的方法具有便于理解、 計算速度快、

精確率高等優點［5］， 但需要人工提取特征， 受主觀因素的影響. 基于深度學習［6-7］的方法能自動提取特征， 已逐步用于加密流量識別領域

［8］， 但深度學習方法所用的分類模型存在結構復雜、 網絡層數深、 計算開銷成本高等問題［9］.

針對上述問題， 本文以卷積神經網絡（convolutional neural network， CNN）作為基礎模型進行改進， 提出一種加密網絡流量的分類方法. 首先， 針對CNN模型無法處理超長序列信息、 捕獲全局特征能力弱的問題，

引入Transformer［10］編碼多頭注意力機制， 將Transformer模型和CNN模型有效融合， 將Transformer模型所提取的長距離特征輸入到改進的CNN模型中， 更全面地獲取全局數據特征信息， 提

高其序列建模的能力. 其次， 針對CNN模型特征學習能力不足的問題， 加入Inception機制， 以不同卷積層并聯的方式進行合并， 實現多尺度特征提取. 通過Inception模塊的多個并行分支可捕捉不同級別

的特征， 在Inception模塊中使用1×1的卷積核減少通道數， 有助于緩解梯度消失的問題. 同時， 使用全局平均池化層和卷積層代替計算量過大的全連接層， 可減少網絡參數，

加快計算速度， 避免出現過擬合問題， 從而提高模型的泛化能力.

1" 相關工作

隨著互聯網的高速發展， 各種類型的網絡流量逐漸增多， 傳統基于端口匹配的方法已無法滿足當前流量分類的需求. Moore等［11］采用基于傳統端口匹配技術的效果只有約60%

的準確率； Madhukar等［12］將該方法應用在P2P流量上， 結果表明該方法更不適用于該類型流量; 文獻［13］將K-means與K近鄰算法相融合，

規避了基于深度包檢測方法的不足； 文獻［14］采用了各種不同的機器學習算法， 并對這些算法的優化進行研究， 達到較好的分類精度； Draper-Gil等

［13］使用了K近鄰算法等機器學習模型， 采用會話中的時序相關特征對加密流量數據進行分類研究. 機器學習方法在流量分類的研究上雖取得了一定進展， 但該方法無

法對未知的流量進行正確分類. 基于機器學習的分類方法提取嚴重依賴專家系統知識， 分類受主觀因素制約的負面影響無法規避.

基于深度學習的方法可有效避免基于機器學習方法在特征設計上的缺陷， 目前已廣泛應用于加密流量分類任務中. Wang等借鑒了其他領域的分類技術將其應用

在流量分類中， 提出了一種針對異常流量的策略［15］， 并進一步提出了一種基于一維卷積神經網絡的方法進行加密流量分類［16］.

2" 本文分類方法

2.1" 模型設計

本文模型設計以CNN網絡為基礎并融合Transformer的優點， 重點改進兩部分. 一是通過Transformer模型提取特征， 再用CNN模型對這些特征進行分類. 使用Transformer模型的輸出作為CNN

模型的輸入， 將預處理過的加密流量數據集傳入Transformer編碼器部分， 通過編碼器中的多頭注意力機制捕捉到數據長距離的特征依賴， 并對其特征信息進行重加權操作； 二是對C

NN模型加入Inception模塊進行改進， 實現多尺度融合， 使特征信息的提取更精確， 保證后續的模型訓練過程特征信息不丟失.

本文模型總體架構如圖1所示. 流程如下： 首先， 將原始加密流量數據經預處理作為模型輸入； 其次， Transformer編碼器的輸入由詞表編碼和位置編碼進行求和操作， 將結

果輸入到多頭注意力層中， 再通過前饋網絡進行輸出， 其中層之間使用層歸一化操作； 再次， 經過一層卷積池化和拼接層中間嵌入Inception模塊進行多

層次特征提取和特征融合； 最后， 使用Softmax分類器完成分類結果輸出.

2.2" Transformer編碼器

輸入數據為一個序列， 使用Transformer模型對該序列進行編碼， 得到一個由Transformer模型輸出的特征向量序列， 將該序列送到CNN模型進行分類. 而CNN模型的輸入需要一個固定

大小的張量， 因此需要將特征向量序列轉化為一個張量， 本文將這些特征向量取一個平均值， 將它們連接在一起形成一個固定大小的張量.

Transformer的結構包括編碼器（Encoder）和解碼器（Decoder）兩部分， 本文使用Transformer的編碼器結構， 該結構主要由多頭自注意力機制和前饋神經網絡組成. Transformer

編碼器是一種基于注意力機制的序列模型， 在處理長序列時效果更好. 模型在編碼序列過程中， 將注意力集中在輸入序列中的其他位置上， 每個位置都可以計算與其他位置的相

關信息， 得到一個重要性權重分布. 通過以下步驟計算位置i與其他位置的相關性得分.

1） 計算查詢Q（Query）： 將位置i的特征映射為查詢向量qi， 用于尋找與該位置相關的信息.

2） 計算鍵K（Key）： 將所有位置的特征映射為鍵向量kj， 用于表示每個位置的信息.

3） 計算值V（Value）： 將所有位置的特征映射為值向量vj， 作為被查詢位置i的信息.

4） 計算注意力權重： 通過計算查詢向量qi與所有位置鍵向量kj之間的內積， 再進行Softmax操作， 得到位置i對其他位置的注意力權重.

5） 加權求和： 將所有位置的值向量vj按注意力權重進行加權求和， 得到位置i的新特征表示.

通過上述步驟， 每個位置都可以根據其與其他位置的關聯程度獲得全局信息. 同時， Transformer編碼器采用多頭注意力機制， 可并行學習多個不同類型的依賴關系， 進一步提高

了其序列建模能力." 自注意力機制是將序列與自身進行匹配， 提取內部之間的依賴關系， 通過不同的線性變換對Q，K，V進行

投影， 將不同的注意力機制結果進行拼接. 自注意力機制的計算公式為

Attention（Q，K，V）=SoftmaxQKTdk，（1）

其中dk表示通道維度. 結果為注意力矩陣， 其值表示了Q與K之間的關聯程度.

多頭注意力機制并行使用多個自注意力機制， 學習不同類型數據之間相互依賴的關系：

MultiHead（Q，K，V）=Concat（Head1，Head2，…，Headh）W，（2）

Headi=Attention（QWQi，KWKi，VWVi），（3）

本文選取h=4， 即由4個自注意力機制組成.

Transformer編碼器中的前饋神經網絡是全連接型的， 該結構涵蓋了兩個線性變換， 其中前饋神經網絡可表示為

FFN（x）=max{0，xW1+b1}W2+b2.（4）

線性變換在不同位置需要調整不同的參數. 由于缺少位置信息， 因此自注意力層的位置通常未知， 考慮使用位置自注意力代替注意力機制， 嵌入可學習的相對位置編碼. 每個注意

力頭使用一個可訓練的相對位置編碼， 其值僅取決于像素與像素之間的距離， 將自注意力機制表示為

Attention（Q，K，V）=SoftmaxQKTd

k+BV.（5）

2.3" 改進CNN模型

針對加密流量數據， 當網絡層次較淺時， 傳統的CNN模型無法提取到更深層次的特征， 會導致模型的分類精度較差， 網絡的層次過深則會導致模型計算速度慢. 為減少參數量并

解決梯度消失的問題， 本文設計以CNN模型為基礎嵌入Inception模塊［17］， 實現多尺度特征融合， Inception模塊能對尺寸較大的矩陣進行降維處理， 并能進行不同尺度的特征提取.

Inception設計思想： 將不同的卷積層和最大池化層通過并聯的方式連接在一起形成一個更深層的矩陣. Inception模塊可以反復堆疊形成巨大的網絡結構，

從而達到最簡單的方式， 即對網絡的深度和寬度進行高效率的擴充， 以提高網絡性能， 并避免過擬合風險. 本文采用的Inception模塊由卷積核大小為3×3，5×5的卷積層

和一個最大池化層組成， 在該模塊中以串聯的方式分別對上述3個結構加入1×1的卷積層用于控制輸出的特征維度， 并在卷積層的后面連接批歸一化層以有效增加模型的魯棒性.

Inception模塊的網絡結構如圖2所示.

在Inception模塊中3個不同大小卷積核的卷積層前面添加1×1的卷積層， 并在池化層的后面連接1×1的卷積層， 而1×1的卷積無法擴大感受野效果， 因此對通道數進行修改

， 以達到降低輸出特征維度的目的. 在該模塊的最后連接批歸一化層， 將上一層改進Inception模塊的輸出作為該層的輸入， 將輸入數據減均值方差， 使網絡的超參數設定

更靈活， 不僅能加快網絡的收斂速度， 還能增加模型的魯棒性. 令網絡層輸入的x分布接近， 并且分布在（0，1）內， 能提高函數的迭代優化效果， 通過數據的標準化處理

將輸入數據x映射為i， 并對每個Batch進行規范化處理：

i←xi-μBσ2B+ε，（6）

B=1B∑x∈Bx，（7）

2B=1B∑x∈B（x-B）2+ε，（8）

其中： B表示平均值； 2B表示方差； 常量εgt;0， 確保分母不為0， 保證了在經驗方差估計值可能消失的狀態下也不會出現分母為0的情況.

3" 實驗及結果分析

實驗設備為Gen Interl（R） Core（TM） i7-12700H處理器， 32 GB內存， NVIDIA GeForce RTX3050（8 GB）顯卡， 編程語言為Python 3.9， 實驗模型訓練庫為Pytorch 1.11.0.

3.1" 數據集

本文實驗采用UNB ISCX VPN-nonVPN 2016公開加密流量數據集， 該數據集由15種非VPN和VNP加密流量， 將其劃分為12個類別并取對應標識名，

涵蓋6種常規加密流量和6種VPN加密流量， 數據集信息列于表1.

3.2" 數據集處理

本文實驗在進行分類任務前， 需對數據集進行預處理獲得標準數據集， 數據集處理流程如圖3所示. 先將15種類別的數據集合并成12種類別， 并將pacapng格式文件轉換成pcap文件以便于

后續操作； 然后完成數據集中與流量特征無關的域名服務段（DNS）， 與分類任務無關的以太網

頭MAC地址以及填充字段（Padding）清除工作， 以提升數據分類處理效率； 最后完成數據切割和標準化處理.

分析數據集中各種類型的數據長占比， 結果列于表2. 由表2可見， 97.7%的數據長度均在1 500 B以下， 僅358條（2.3%）數據長度大于1 500 B. 將數據長度定為1 500 B， 并將數據長度大于

1 500 B的數據進行截取， 數據長度小于1 500 B的數據將其末尾填充0， 最后將數據轉換為標準大小的流量矩陣.

3.3" 評估指標

本文使用的數據集屬于類別不平衡的數據集， 為驗證本文改進的CNN-Transformer模型分類性能， 使用準確率（Accuracy）、 精確率（Precision）、 召回率（Recall）和F1-Sco

re 四個指標完成分類模型性能評估. 各評價指標計算公式分別為

Accuracy=TP+TNTP+FP+TN+FN，（9）

Precision=TPTP+FP，（10）Recall=TPTP+FN，（11）

F1-Score=2×Precsion×RecallPrecision+Recall，（12）

其中TP真陽表示預測為正例的正例， TN真陰表示預測為負例的負例， FP假陽表示預測為正例的負例， FN假陰表示預測為負例的正例.

3.4" 實驗結果分析

3.4.1" 消融實驗

1） Transformer編碼器驗證. 為驗證本文分類模型融入Transformer編碼器的有效性， 實驗通過改變不同數量的多頭注意力機制對Transformer解碼器結構進行對比， 實驗結果列于表3.

表3中Initial-model為未添加Transformer編碼器， 2-Transformer，4-Transformer，6-Transformer中的自注意力層的個數分別為2，4，6.

由表3可見， 未添加Transformer編碼器的分類模型各評估指標均為最低. 在加入多頭注意力機制后， 頭數為4以內

時的各指標均增長， 當頭數為4，6時， 評估指標基本一致， 而頭數為6時， 參數量的增多

會導致訓練時間大幅度增加. 可見， Transformer編碼器結構能有效解決CNN捕獲全局能力弱的問題， 提高了模型的分類性能.

2） Inception模塊驗證. 為驗證CNN網絡中加入Inception模塊的有效性， 本文針對Inception模塊結構進行對比實驗， 實驗結果列于表4.

表4中Initial-model的結構未添加Inception模塊， 1-CNN加入了Inpection模塊， 且Inception的內部結構由3×3卷積并聯組成， 2-CNN的Inception內部結構由3×3+5

×5卷積并聯組成， 3-CNN的Inception內部結構是以3-CNN的結構為基礎添加了最大池化層， 在兩個卷積和最大池化層前后分別連接1×1卷積層控制輸出的特征維度.

由表4可見， Initial-model的各項性能指標相比其他3種模型均有不足， 其中3-CNN的性能提高最明顯. Accuracy，Precision，Recall和F1-Score四個性能指標與未添加Inception

模塊的CNN相比分別提高了2.48，2.24，3.70，3.80個百分點. 可見， 對CNN網絡添加Inception模塊能達到更高的分類精度.

3.4.2" 與主流分類模型對比

為驗證本文分類模型的優越性， 將本文模型與1D-CNN，2D-CNN和GAN+CNN三個常見的分類模型進行對比. 本文模型在數據集ISCX上進行服務類型12種分類的準確率與其他3個常

見的深度學習模型對比實驗結果列于表5.

由表5可見， 同樣對服務類型的流量進行流量分類任務， 本文模型相比1D-CNN，2D-CNN和GAN+CNN三個模型， 總體準確

率分別提升了3.0，6.2，2.2個百分點， 因此本文模型優于其他3個常見分類模型的分類準確率.

下面通過對比12種類別在不同模型上的性能指標數值對本文模型分類性能進行全面評估. 圖4～圖6分別為本文模型與其他3個模型的性能指標對比分析結果.

a. Chat; b. Email; c. File; d. P2P; e.Streaming; f. Voip;g. VNP_Chat; h. VPN_Email; i. VPN_File;

a. Chat; b. Email; c. File; d. P2P; e.Streaming; f. Voip;g. VNP_Chat; h. VPN_Email; i. VPN_File;

j. VPN_P2P;k. VPN_Streaming; l. VNP_Voip.

a. Chat; b. Email; c. File; d. P2P; e.Streaming; f. Voip;g. VNP_Chat; h. VPN_Email; i. VPN_File;

由圖4可見， 本文模型的精確率遠高于其他3個分類模型， File，P2P，Streaming等9種類別的準確率均達99%以上. 由圖5可見， 本文模型在P2P和VPN_P2P上的召回率達100%，

在File，Streaming等9種類別上的召回率均達98%以上. 由圖6可見， 本文模型在File，P2P，Streaming等9種類別的F1值均達98%以上. 實驗結果表明， 本文模型與主流加

密流量分類方法相比分類性能優異， 且本文所有實驗是在不平衡數據集上完成的， 若對數據集進行平衡化處理， 實驗效果會更顯著.

綜上所述， 針對現有加密流量分類方法存在特征提取效果較差的問題， 本文考慮以CNN網絡為基礎模型， 引入Transformer編碼器多頭注意力機制和Inception思想， 提出了一種改進CNN和Transfo

rmer相結合的加密流量分類模型. 該模型既發揮了CNN捕獲局部特征的優勢， 使用Inception模塊實現多尺度融合特征， 又充分利用了Transformer善于捕捉長距離的特征依賴， 兩種網絡

相結合達到長短兼顧的分類效果. 通過與1D-CNN，2D-CNN和GAN+CNN等分類模型進行對比驗證， 實驗結果表明， 本文分類方法能有效提高數據整體的分類精度.

參考文獻

［1］" GUO L L， WU Q Q， LIU S L， et al. Deep Learning-Based Real-Time VPN Encrypted Traffic Identification Methods

［J］. Journal of Real-Time Image Processing， 2020， 17（9）： 1-12.

［2］" 沈記全， 魏坤. 融合殘差網絡的CR＼|BiGRU入侵檢測模型 ［J］. 吉林大學學報（理學版）， 2023， 61（2）： 353＼|361. （SHEN J Q， WEI K.

CR＼|BiGRU Intrusion Detection Model by Fusing Residual Networks ［J］. Journal of Jilin University （Science Edition）， 2023， 61（2）： 353＼|361.）

［3］" 張志宏， 劉傳領. 基于灰狼算法優化深度學習網絡的網絡流量預測 ［J］. 吉林大學學報（理學版）， 2021， 59（3）： 619＼|626.

（ZHANG Z H， LIU C L. Optimization of Deep Learning Network for Network Traffic Prediction Based on Gray Wolf Algorithm ［J］. Journal of Jilin University

（Science Edition）， 2021， 59（3）： 619＼|626.）

［4］" 閆偉， 張軍. 基于時間序列分析的網絡流量異常檢測 ［J］. 吉林大學學報（理學版）， 2017， 55（5）： 1249＼|1254.

（YAN W， ZHANG J. Network Traffic Anomaly Detection Based on Time Series Analysis ［J］. Journal of Jilin University （Science Edition）， 2017， 55（5）： 1249＼|1254.）

［5］" SU T T， SUN H Z， ZHU J Q， et al. BAT： Deep Learning Methods on Network Intr

usion Detection Using NSL-KDD Dataset ［J］. IEEE Access， 2020， 8： 29575-29585.

［6］" 高新成， 李強， 王莉利， 等. 基于改進遺傳算法的自適應卷積神經網絡 ［J］. 計算機技

術與發展， 2022， 32（10）： 132-136. （GAO X C， LI Q， WANG L L， et al. Adaptive

Convolutional Neural Network Based on Improved Genetic Algorithm ［J］. Computer Technology and Development， 2022， 32（10）： 132-136.）

［7］" XUE B， YI W J， JING F， et al. Complex ISAR Target Recognition Using Deep Ada

ptive Learning ［J］. Engineering Applications of Artificial Intelligence， 2021， 97： 104025-1-104025-9.

［8］" 曾宏志， 史洪松. 半監督技術和主動學習相結合的網絡入侵檢測方法 ［J］. 吉林大學

學報（理學版）， 2021， 59（4）： 936-942. （ZENG H Z， SHI H S. Network Instrusion Dete

ction Method Combining Semi-supervised Technology and Active Learning ［J］. Journal of Jilin University （Science Edition）， 2021， 59（4）： 936-942.）

［9］" 鄧昕， 劉朝暉， 歐陽燕， 等. 基于CNN CBAM＼|BiGRU Attention的加密惡意流量識別 ［J］. 計算機工程， 2023， 49（11）： 178＼|186.

（DENG X， LIU C H， OUYANG Y， et al. Encrypted Malicious Traffic Recognition Based on CNN CBAM＼|BiGRU Attention ［J］. Computer Engineering， 2023， 49（11）： 178＼|186.）

［10］" VASWANI A， SHAZEER N， PARMAR N， et al. Attention Is All You Need ［C］//

International Conference on Neural Infromation Processing Systems. New York： ACM， 2017： 6000-6010.

［11］" MOORE A W， PAPAGIANNAKI K. Toward the Accurate Identification of Network Ap

plications ［C］//International Workshop on Passive and Active Network Measurement. Berlin： Springer， 2005： 41-54.

［12］" MADHUKAR A， WILLIAMSON C. A Longitudinal Study of P2P Traffic Classificati

on ［C］//14th IEEE International Symposium on Modeling， Analysis， and Simulation. Piscataway， NJ： IEEE， 2006： 179-188.

［13］" DRAPER-GIL G， LASHKARI A H， MAMUN M S I， et al. Characterization of Encryp

ted and VPN Traffic Using Yime-Related ［C］//Proceedings of the 2nd Internatio

nal Conference on Information Systems Security and Privacy （ICISSP）. New York： ACM， 2016： 407-414.

［14］" 連曉偉， 馬垚， 陳永樂， 等. 基于載荷特征與統計特征的Shodan流量識別 ［J］. 計算

機工程， 2021， 47（1）： 117-122. （LIAN X W， MA Y， CHEN Y L， et al. Identification

of Shodan Traffic Based on Load Characteristics and Statistical Characteristics ［J］. Computer Engineering， 2021， 47（1）： 117-122.）

［15］" WANG W， ZHU M， ZENG X W， et al. Malware Traffic Classification Using Convol

utional Neural Network for Representation Learning ［C］//2017 International Con

ference on Information Networking （ICOIN）. Piscataway， NJ： IEEE， 2017： 712-717.

［16］" WANG W， ZHU M， WANG J L， et al. End-to-End Encrypted Traffic Classification

with One-Dimensional Convolution Neural Networks ［C］//2017 IEEE Internationa

l Conference on Intelligence and Security Informatics. Piscataway， NJ： IEEE， 2017： 43-48.

［17］" 孫懿， 高見， 顧益軍. 融合一維Inception結構與ViT的惡意加密流量檢測 ［J］. 計算機工程， 2023， 49（1）： 154＼|162.

（SUN Y， GAO J， GU Y J. Fusion of One＼|Dimensional Inception Structure and ViT for Malicious Encrypted Traffic Detection ［J］. Computer Engineering， 2023， 49（1）： 154＼|162.）

（責任編輯： 韓" 嘯）