基于數據增強與流數據處理的Tor 流量分析模型

席榮康，蔡滿春，蘆天亮

（中國人民公安大學 信息網絡安全學院，北京 100032）

0 概述

暗網是信息網絡空間的重要組成部分，其因具備高度匿名性的技術特點而被歪曲利用并逐步成為各類犯罪行為的高發地帶。Tor 匿名通信系統作為暗網的主要技術支撐手段，通過多層加密技術和多級路由網絡結構保護用戶信息，對暗網犯罪偵查工作帶來數據難獲取、證據難固定、身份難確定等問題［1］。

Tor 匿名流量分析技術屬于單端被動分析技術，網絡監管者通過捕獲并分析通信系統入口鏈路處的流量以解決流量檢測的二分類和內容識別的多分類問題。流量分析技術無需對通信數據進行解密、篡改而對流量的統計特征進行數學分析，具有成本低、易部署的特點。

本文對原始Tor PACP 文件進行解析，提取Tor流量一維數據特征并轉化為二維灰度圖進行圖像紋理可視化分析，同時改進深度卷積生成對抗網絡（Deep Convolution Generative Adversarial Network，DCGAN）結構，利用多尺寸融合DCGAN 進行數據增強以提升數據質量。在此基礎上，應用堆疊去噪自動編碼器（Stacked Denoising Auto Encode，SDAE）進行特征約簡，結合在線序列極限學習機（Online Sequence Extreme Learning Machine，OS-ELM）進行Tor 流量的在線分類。

1 相關研究

文獻［2］針對安全套接字協議加密代理Safe Web，證明了流量分析的可行性。隨著隧道加密技術的發展，文獻［3］針對安全外殼協議，利用數據包長度、時間信息作為網站指紋預測未知網站類別，并提出了靜態模型的概念漂移問題。文獻［4］提出一種改進的SSH 加密隧道匿名流量識別方法，采用機器學習樸素貝葉斯模型作為分類器，流量識別準確率達到90%。為進一步滿足人們的匿名訪問需求，以Tor［5］匿名網絡為代表的多跳隧道網絡開始興起。Tor 匿名通信系統將用戶傳輸的數據包分割為512 Byte 的傳輸單元，使監管者識別Tor 流量后無法依據傳輸對象的特定大小進一步判斷用戶所訪問的網站流量類別并分析用戶行為。早期Tor匿名流量分析方法利用機器學習模型（如支持向量機［6］、隨機森林［7］）對人工提取的流量方向、時間特征進行分類。隨著深度學習在計算機視覺和自然語言處理等領域得到成功應用，研究者嘗試將深度學習模型應用到通信流量分析領域。通過將數據流處理為神經網絡可計算的數據序列，相繼應用SDAE［8］、一維卷積神經網絡［9］（1D-Convolutional Neural Network，1DCNN）和長短期記憶網絡（Long Short-Term Memory，LSTM）［9］模型進行網站流量分類，識別準確率最高可達96%。文獻［10］先將一維的數據流量特征處理為二維圖像，再利用圖像分類性能較好的2DCNN 模型進行分類，分類準確率達到98%。文獻［11］通過使用一維卷積神經網絡對流量序列burst 級別的特征進行提取和分析，分類準確率達到99.87%。

上述研究方法基于實驗室條件下的多種前提假設。文獻［12］指出目前流量識別存在的多種局限性，如單標簽網頁瀏覽、概念漂移、數據集不平衡等問題，提出基于K 最近鄰算法的多標簽網站分割識別方法。文獻［13］構造二分類器Xu-Boost，先對網頁進行分割，再利用隨機森林算法對分割片段進行識別，準確率可達86%。文獻［14］先使用馬爾可夫模型對流量進行分段分類，再利用投票機制對分類結果進行討論以判斷分割點位置，分割準確率達到88%。文獻［15］通過實驗證明網站流量分析的概念漂移問題，使用靜態模型對10 d 后的實時流量進行分類，模型準確率下降。針對概念漂移問題，文獻［16］提出基于自適應霍夫丁樹的流處理模型，利用循環神經網絡（Recurrent Neural Network，RNN）單元自動提取流量序列特征并輸入霍夫丁樹分類器進行模型增量更新，在MOA［17］工具上證明了流處理算法用于Tor 流量分析的可行性。當前圍繞Tor 匿名流量分析的研究雖然取得了一定成果，但仍存在以下不足：

1）數據處理方式單一。一維數據序列導致模型只能采取計算效率偏低的遞歸處理方式，且數據特征因限制在一維空間而無法進行可視化分析。

2）Tor 匿名流量數據集不平衡。Tor 匿名通信數據難于收集導致數據集缺失，且已存在的部分數據集Tor 流量與非Tor 流量比例嚴重失衡，模型在分類問題上雖有良好表現但缺乏科學性［15］。

3）概念漂移問題突出。深度學習模型多采用基于大量數據的批訓練模式，數據特征隨時間發生改變，模型性能會急劇下降。

針對以上問題，本文提出融合改進DCGAN、SDAE和OS-ELM 的Tor 流量在線分析模型，充分發揮一維、二維神經網絡的結構優勢，提高分類識別性能。

2 數據預處理

Tor 匿名通信系統由大量運行洋蔥路由協議的PC/服務器的節點組成，系統結構如圖1 所示。

圖1 Tor 匿名通信系統結構Fig.1 Tor anonymous communication system structure

目前針對Tor 流量數據的處理大多為提取PACP包特征并保存為一維數據，會導致模型對數據的空間特征提取不足且無法對數據進行可視化分析。本文將一維數據處理為二維灰度圖來解決此問題，二維灰度圖還可作為二維DCGAN 原始數據進行數據增強。數據預處理流程如圖2 所示。

圖2 數據預處理流程Fig.2 Data preprocessing process

數據預處理的具體步驟如下：

1）數據包解析。數據包具有五元組｛源IP 地址，源端口，目的IP 地址，目的端口，協議｝基本屬性。本文研究對象為雙向會話流，會話流由一組具有相同IP 地址的數據包組成，且目的地址和源地址可互換。因此，首先將原始PACP 包數據集依照五元組規則劃分為多個會話流。

2）數據清洗。IP、MAC 地址與設備硬件等因素有關，不能作為會話流特征，為避免這些字節對分類的影響，需要將數據包IP、MAC 地址字節標準化。此外，還需要刪除空數據包，避免其對模型分類的影響。

3）流長度統一。不同會話流具有不同的字節長度。為方便將一維數據轉化為二維灰度圖并輸入模型訓練，取會話流前784 Byte。若會話流不足784 Byte則填0 補齊。會話在開始之前通信雙方會傳輸大量的連接建立控制信息，這部分字節可作為分類的重要依據。

4）灰度圖轉化。為方便數據可視化和二維DCGAN 處理，將784 Byte 的序列轉化為28×28 的灰度圖。首先將一維數組升維，然后將十六進制的數值轉化為0～255 的像素點，最后利用函數進行灰度圖轉化。圖3 為隨機選取25 個Tor 數據流生成的灰度圖像。可以觀察到，25 張圖片中有多組圖片具有相似的紋理特征。

圖3 流量特征灰度圖Fig.3 Traffic characteristic gray images

3 數據增強與流數據處理模型

本小節首先介紹基于多尺寸融合DCGAN 的數據增強模型，然后闡述基于SDAE 和OS-ELM 的在線Tor 流量流處理模型。

3.1 基于多尺寸融合DCGAN 的數據增強模型

數據集不平衡會影響模型的分類預測性能。Tor流量難以收集，流量樣本不足也是Tor流量分析亟待解決的問題之一。以ISCX Tor 2016數據集為例，將PACP包按照五元組的規則分割，則Non-Tor樣本有38 339條，Tor 樣本卻只有118 條。因此，本文采用多尺寸融合DCGAN 進行數據平衡以達到Tor 數據樣本擴充和數據集平衡的目的。本小節首先對基于傳統DCGAN 優化的多尺寸融合DCGAN 模型結構進行描述，然后對模型的訓練過程進行闡述。

3.1.1 多尺寸融合DCGAN 模型結構

本文處理的數據為一維數據，基于一維序列的數據增強方法生成數據質量差且訓練周期長。相較于傳統GAN 網絡：1）DCGAN 取消池化層，使用卷積層實現生成網絡的上采樣，在鑒別網絡中使用帶步長的卷積代替池化；2）使用深層卷積神經網絡代替全連接層提取數據高維特征；3）將數據批歸一化以穩定DCGAN 網絡的學習并且有助于深度模型梯度下降優化。此外，本文對判別器結構進行改進，提出融合多視野特征的多尺寸融合判別模型，模型具有如下特點：1）多視野特征，采用不同大小的卷積核提取不同粒度的空間特征，卷積核大小為5 的CNN 能夠增加卷積層感受野，卷積核大小為3 的CNN 能夠實現細粒度的特征獲取［18］；2）特征融合，通過融合層將特征矩陣進行拼接獲得融合特征，使信息可以在不同組流轉。

多尺寸融合DCGAN 模型由生成器和判別器構成，模型結構如圖4 所示。

圖4 多尺寸融合DCGAN 模型結構Fig.4 Multi-size fused DCGAN model structure

生成器共7 層結構，全連接層通過多個神經元計算將100 維噪聲數據映射為14×14×128 的數據。Reshape 層將噪聲數據轉化為128 張14×14 的特征圖像。第1 層卷積層利用256 個大小為5 的卷積核提取數據信息。反卷積層利用上采樣學習圖像的細節信息并將圖像擴展為28×28 的特征圖，對應784 Byte 的真實數據。之后，通過1層卷積核系數為4×256和2層5×256 的卷積層進一步提取數據高維空間特征，并采取0填充的方式保證經卷積操作后圖像大小不變。最后采用單核卷積層生成單通道目標灰度圖矩陣。

判別器共7 層結構。首先利用卷積核系數分別為5×128、4×128、3×128、步長為2 的卷積層按順序提取輸入數據的局部空間特征，獲得128 張12×12、5×5、2×2 的特征圖像。然后為同時獲取多視野局部空間特征，在融合層中將3 個卷積層生成的特征圖像拼接起來，其中池化層的作用是將特征圖像統一尺寸以方便特征融合。之后利用核系數為2×128 的卷積層生成128 張1×1的特征圖。最后利用Flatten 層將特征一維化，并通過Dense 層輸出輸入數據的類別概率。

3.1.2 多尺寸融合DCGAN 模型訓練

多尺寸融合DCGAN 利用生成網絡模擬真實數據圖像以達到混淆鑒別網絡的目的，鑒別網絡的目的是最大化區分生成數據與真實數據。模型訓練流程如圖5 所示。

圖5 多尺寸融合DCGAN 模型訓練流程Fig.5 Multi-size fused DCGAN model training process

在圖5 中，主要包含判別器訓練和生成器訓練2 個階段：

1）判別器訓練階段。首先將隨機噪聲Z輸入生成網絡以生成數據，其中Z服從標準正態分布PZ(Z)，生成數據為G(Z)，將真實數據X批歸一化，X服從真實數據分布Pr（X）。然后構造數據標簽Y并通過標簽平滑使Yreal∈[0.8，1]、Yfake∈[0，0.2]，這樣做可防止網絡過擬合，提高DCGAN 的泛化能力和數據生成的質量。最后輸入訓練數據H={(X，Yreal)，(G(Z)，Yfake)}進行判別器訓練，通過優化交叉熵損失函數達到模型參數更新的目的。交叉熵損失函數公式為：

其中：LD為判別器損失；D(X)、D(G(Z))分別為真實數據和生成數據的鑒別概率。

2）生成器訓練階段。為保證該階段只對生成器進行參數更新，先凍結判別器，再將生成數據G(Z)輸入判別器進行模型訓練。值得注意的是，此時數據標簽應設置為Yreal以達到混淆判別器的目的。在生成器與判別器的博弈中，生成器的參數得到優化使生成的數據愈加逼近真實數據［19］。可通過觀察灰度圖紋理初步驗證生成數據質量。生成器損失函數公式為：

其中：LG為生成器損失。最后，DCGAN 的優化目標為F(D，G)，生成器與判別器通過不斷博弈以提高對方鑒別數據與生成數據的能力，最終達到納什平衡。DCGAN 優化公式為：

3.2 基于SD-OSELM 的在線流處理模型

本小節先介紹基于SDAE 模型的深度特征提取與序列編碼流程，再闡述基于OS-ELM的在線流處理原理。

3.2.1 基于SDAE 的數據編碼

SDAE 是由多個降噪自動編碼器（Denoising Auto Encoder，DAE）堆疊在一起形成的深度架構。將原始數據X輸入SDAE 編碼后輸出低緯度、深層次分類特征Xc。SDAE 模型結構如圖6 所示。

圖6 SDAE 模型結構Fig.6 SDAE model structure

模型采用逐層貪婪訓練的方式逐個對單個DAE進行訓練。首先，將訓練數據X輸入編碼器輸出維度更低的數據編碼Xc。類似于Dropout 函數，通過隨機地將編碼器輸入層節點置為0 以達到將訓練數據加入噪聲的目的，防止過擬合并提高模型泛化能力［20］。然后，將Xc輸入解碼器生成重構數據X’。最后，采用后饋神經網絡算法調整模型參數以保證重構誤差Lh（X，X′)最小。單層DAE 訓練流程如圖7所示。當單個DAE 訓練完畢后，通過迭代的方式將第K個DAE 的輸出作為第K+1 個DAE 的輸入進行訓練，直到SDAE 訓練完畢。

圖7 DAE 訓練流程Fig.7 DAE training process

最后，將多層DAE 堆疊起來形成SDAE 并輸入樣本數據和數據標簽，對整個網絡進行全局優化和參數微調。經SDAE 處理后的數據能夠彌補單層前饋神經網絡特征提取能力不足的弊端［21］，同時通過數據約簡提高OS-ELM 的在線處理效率。

3.2.2 基于OS-ELM 的在線流處理

ELM 提出的目的是解決人工神經網絡訓練費時和高成本問題，其采用單隱層前饋神經網絡結構，相較于深度神經網絡具有結構簡單、收斂速度快等特點。ELM 與深度神經網絡一樣使用批數據訓練模式。若訓練時間過長導致訓練數據與測試數據數據分布差異大則會出現概念漂移問題。OE-ELM 繼承了ELM 的速度和泛化能力并使用流數據訓練模式，模型可隨著新數據的到來不斷更新參數［22］。

模型訓練過程分初始化和在線流處理2 個階段：

1）初始化階段，即通過少量樣本得到神經網絡的權重矩陣β。假設有Ns個樣本（Xj，Yj)，j=1，2，…，Ns。其中：Xj=[xj1，xj2，…，xjNd]T；Nd表示輸入數據的維度。對于有Nm個神經單元的神經網絡，輸出為：

其中：f()為激活函數；W為輸入權重；b為單元偏置。訓練目標為求得β、W、b使得輸出誤差最小，即：

結合式（4）用矩陣可以表示為：

不同于梯度下降算法采取迭代的方式對所有參數進行更新，OS-ELM 算法在初始階段的輸入權重W和偏置b是隨機確定的。因此，單隱層神經網絡的訓練問題就轉化為線性系統Hβ=Y的求解問題，如式（8）所示：

其中：H+為矩陣H的廣義逆。可證明解的范數最小且唯一。

2）在線流處理階段。當有新的N1個樣本進入模型時，則優化問題轉化為：

其中：H1、Y1分別為新樣本的輸入權重矩陣和標簽矩陣。則更新后的輸出權重β1可表示為：

由此可以得到在線學習的遞推公式：

當新樣本進入模型后，模型會對輸出權重矩陣進行更新。由于采用單層神經網絡實時訓練與分類，因此輸出權重矩陣能夠適應最新的流量特征［23］。

4 實驗分析

本文實驗分為2 個部分，即基于多尺寸融合DCGAN 的數據增強實驗和基于SD-OSELM 的在線流識別實驗。

4.1 基于多尺寸融合DCGAN 的數據增強實驗

4.1.1 數據集

本模塊實驗采取ISCX Tor 2016［24］流量有標簽數據集。數據集有原始PACP 包和CSV 特征文件2 種形式，設置以下2 種實驗場景。

場景A：數據分為Tor 與Non Tor 2 種流量，主要驗證模型的流量檢測二分類能力。

場景B：數據分為BROWSING、CHAT、AUDIO、VIDEO、EMAIL 等多種應用類型的流量，主要驗證模型內容識別的多分類能力。

4.1.2 數據增強生成數據質量驗證實驗

首先，隨機選取場景B 下5 類流量作為原始數據。圖8 為生成數據的可視化灰度圖。實驗結果表明，同類型流量因具有較為集中的特征表示，生成圖片組也具有較為明顯的紋理特征。

圖8 不同類型生成流量的灰度圖Fig.8 Gray images of different generated traffic

然后，引入KL 散度、歐氏距離、皮爾遜相關系數、均方誤差等4 個衡量分布相似度的指標對生成數據的相似度進行驗證。KL 散度、歐氏距離、均方誤差可視為樣本距離，指標值越小則越相似。皮爾遜相關系數取值范圍為［-1，1］，相關系數絕對值越大，表明樣本相關性越高。圖9 為生成圖像相似度指標變化圖。

圖9 生成圖像相似度指標變化圖Fig.9 Similarity index change diagram of generated images

實驗結果表明，經過520 輪的訓練，生成樣本與原始樣本皮爾遜相關系數值可達0.9，KL 散度和均方誤差低于0.13，歐氏距離達3.74。

最后，引入1DDCGAN、標準2DDCGAN 模型進行對比實驗。實驗結果如表1 所示。實驗結果表明，多尺寸DCGAN 通過提取多視野特征提高了判別器的判別能力，并進一步提升了模型的數據生成能力。

表1 不同網絡性能對比Table 1 Performance comparison of different networks

4.1.3 數據增強對模型的性能影響實驗

本文以二維圖像分類性能良好的2DCNN［25］模型作為分類器，驗證不同樣本比例下模型的分類性能。模型參數如表2 所示。

表2 CNN 模型參數Table 2 CNN model parameters

在實驗場景A 下，保持數據集總樣本數為20 000，訓練集與測試集比例為9∶1。驗證不同樣本比例下的模型性能。實驗結果如表3 所示。

表3 不同樣本比例下的CNN 模型性能Table 3 Performance of CNN model with different sample ratios

實驗結果表明，利用DCGAN 進行數據增強生成的平衡數據集可提高模型識別準確率約2.8 個百分點，但生成樣本保留了一定的噪聲數據，過多的生成樣本會影響模型判斷能力。

4.2 基于SD-OSELM 的在線流處理實驗

本小節首先對SDAE 數據編碼的可行性進行分析，然后引入已有研究中Tor 一維流量分析模型進行對比實驗證明模型的性能改進，最后結合DCGAN數據增強方法并進行數據降維驗證平衡數據集對SD-OSELM 的性能影響。

4.2.1 數據集

本小節選擇文獻［9］中的Tor 網站指紋識別數據集進行實驗，該數據集包含2 類實驗場景：

場景A：數據分為Tor 監控網站與Non Tor 非監控網站2 種流量，主要驗證模型的流量檢測二分類能力。

場景B：數據包含Alexa Top 1 200 個網站流量，每個網站包含多條流量實例，主要驗證模型網站內容分類多分類能力。

4.2.2 SDAE 數據編碼可行性分析實驗

首先，利用指標均方誤差（Mean Squared Error，MSE）來衡量輸入數據與重構數據的數據差異以確定序列在編碼重構過程中的信息丟失。MSE 公式為：

其中：N為樣本數量；X、X’分別為輸入樣本和重構樣本。

采用場景B 下網站內容識別數據集。本小節設計5 層DAE 網絡進行數據編碼。各層DAE 輸入層和輸出層神經元個數設置如下：DAE1 層為2 500 和1 800，DAE2 層為1 800 和1 200，DAE3 層為1 200 和800，DAE4 層為800 和400，DAE5 層為400 和100。圖10 為5 層DAE 訓練過程中的MSE 變化圖。實驗結果表明，經過10 次訓練SDAE 輸出的數據編碼基本保留了原始數據特征，重構損失穩定在0.003 以下。

圖10 DAE 訓練重構誤差變化圖Fig.10 Variation diagram of DAE training reconstruction error

然后，為驗證數據編碼對OS-ELM 在線分類的影響，將2 500 維原始數據與100 維特征編碼輸入OS-ELM 模型。實驗結果如表4 所示。

表4 數據編碼對模型的性能影響Table 4 Effect of data coding on model performance

實驗結果表明，SDAE 數據編碼一方面能夠實現數據約簡，另一方面可提取數據深度特征用于分類。

4.2.3 SD-OSELM 性能分析實驗

首先，為驗證SD-OSELM 模型在線分類性能，向模型不斷輸入訓練數據并記錄模型隨著數據輸入的準確率變化。圖11 為SDOS-ELM 的準確率曲線。實驗結果表明，模型參數會隨著新數據的輸入實時優化更新，最終模型識別準確率可達95.7%。

圖11 SDOS-ELM 分類準確率Fig.11 SDOS-ELM classification accuracy

然后，基于1DCNN-LSTM［9］、LSTM［9］模型、SDAE［9］分類模型進行對比實驗，驗證模型分類準確率、分類效率等方面的性能。實驗結果如表5 所示。實驗結果表明，SD-OSELM 分類準確率較LSTM、SDAE 模型有少量提高。但模型采取流處理模式擺脫了傳統神經網絡批訓練方式的弊端，且單次訓練模式使得總訓練時間有較大縮減。

表5 不同模型性能對比Table 5 Comparison of different model performances

5 結束語

針對Tor 數據集難以收集、類別不平衡、模型抗概念漂移性能力差等問題，本文提出基于多尺寸DCGAN、SDAE 和OS-ELM 的在線Tor 流量分析模型，并通過仿真實驗證明通過維度轉化將一維流量序列轉化為灰度圖進行可視化分析和數據增強的可行性和實用性。結合SDAE 深度特征提取優勢與OS-ELM 在線流處理模式的SD-OSELM 模型，能夠擺脫深度神經網絡批數據處理模式的固有缺陷，一定程度上緩解了概念漂移問題，模型在Tor 匿名流量檢測、網站內容識別方面均有良好表現。

本文采用公開Tor 數據集進行實驗，然而在實際網絡流量監管過程中，流量特征更加繁雜。如何處理原始Tor 流量并提取重要數據特征用于分類是提高模型分類準確率的關鍵，下一步將對此進行研究。此外，連續多標簽Tor 網頁流量的分割與識別是提高Tor 流量分析技術實用性，這也是后續的研究方向。