一種基于機(jī)器學(xué)習(xí)的Tor 網(wǎng)絡(luò)識(shí)別探測(cè)技術(shù)

張 玲 ，衛(wèi)傳征 ，林臻彪 ，段琳琳

（1.北京賽博興安科技有限公司，北京 102200；2.鄭州大學(xué) 信息工程學(xué)院，河南 鄭州 450001)

0 引言

Tor 匿名網(wǎng)絡(luò)是一個(gè)由全球志愿者維護(hù)的各自匿名網(wǎng)絡(luò)所組成的大型分布式匿名通信網(wǎng)絡(luò)，其核心技術(shù)是美國(guó)海軍研究室開(kāi)發(fā)的洋蔥路由系統(tǒng)，設(shè)計(jì)初衷是保護(hù)政府機(jī)關(guān)的數(shù)據(jù)通信隱私。

Tor 用戶(hù)通過(guò)連接一系列虛擬通道在通信的源端與目的端之間建立間接的數(shù)據(jù)鏈路，使得包括個(gè)人和機(jī)構(gòu)在內(nèi)的用戶(hù)在互聯(lián)網(wǎng)中的數(shù)據(jù)傳輸行為匿名化[1]。由于該技術(shù)能夠有效規(guī)避網(wǎng)絡(luò)監(jiān)管，成為訪問(wèn)受限網(wǎng)段的有效措施。

洋蔥路由技術(shù)提供的身份匿名性和數(shù)據(jù)安全性使得Tor 網(wǎng)絡(luò)成為網(wǎng)絡(luò)內(nèi)容犯罪的溫床。同時(shí)，區(qū)塊鏈、虛擬數(shù)字貨幣等技術(shù)的發(fā)展為網(wǎng)上非法交易帶來(lái)便利，更使得包括Tor 網(wǎng)絡(luò)在內(nèi)的暗網(wǎng)成為互聯(lián)網(wǎng)中的法外之地，產(chǎn)生越來(lái)越多涉及黃、暴、恐的非法信息和非法交易。鑒于此，本文研究Tor 網(wǎng)絡(luò)流量的分析和識(shí)別。對(duì)于給定的真實(shí)網(wǎng)絡(luò)數(shù)據(jù)，本研究的目標(biāo)是鑒別其中流量是通過(guò)普通網(wǎng)絡(luò)通信數(shù)據(jù)還是Tor 流量。在有效識(shí)別Tor流量基礎(chǔ)上，本文進(jìn)一步研究Tor 通信行為分類(lèi)，包括瀏覽網(wǎng)頁(yè)、郵件服務(wù)、即時(shí)通信、流媒體、FTP、VoIP 和P2P 通信等。

1 相關(guān)工作

(1)Tor 流量識(shí)別

近年來(lái)，研究人員提出了若干解決方案來(lái)識(shí)別Tor網(wǎng)絡(luò)中產(chǎn)生的數(shù)據(jù)[2]。LASHKARI A H 等人[3]對(duì)網(wǎng)絡(luò)中Tor 客戶(hù)端與Tor 網(wǎng)絡(luò)入口節(jié)點(diǎn)之間的通信進(jìn)行時(shí)序分析，通過(guò)隨機(jī)森林分類(lèi)器對(duì)提取的特征達(dá)成95%的識(shí)別準(zhǔn)確率。

HE G 等人[4]提取Tor 流量特征，通過(guò)隱馬爾科夫模型將Tor 通信分離為P2P、FTP、即時(shí)通信和網(wǎng)頁(yè)4 類(lèi)，并取得了92%的準(zhǔn)確率。

CHAKRAVARTY S 等人[5]提出了一個(gè)針對(duì)Tor 客戶(hù)端的流量攻擊技術(shù)來(lái)識(shí)別Tor 客戶(hù)端的IP 地址。對(duì)Tor 服務(wù)端節(jié)點(diǎn)發(fā)起主動(dòng)流量分析攻擊，并觀測(cè)客戶(hù)端側(cè)產(chǎn)生的攝動(dòng)，通過(guò)統(tǒng)計(jì)相關(guān)性指標(biāo)可以識(shí)別到一組Tor 流量相關(guān)的服務(wù)端和客戶(hù)端。

(2)Tor 網(wǎng)站識(shí)別

針對(duì)Tor 網(wǎng)站的攻擊包括網(wǎng)站指紋識(shí)別攻擊和洋蔥站點(diǎn)枚舉攻擊[6]。最早針對(duì)Tor 網(wǎng)站的指紋攻擊由HERRMANN D 等人[7]提出，并只取得了3%的正確率。該研究領(lǐng)域接下來(lái)獲得了極大的重視和發(fā)展，并在不同的場(chǎng)景環(huán)境下取得了超過(guò)90%準(zhǔn)確率，相關(guān)研究見(jiàn)參考文獻(xiàn)[8]、[9]。

訪問(wèn)Tor 網(wǎng)站極大地依賴(lài)洋蔥網(wǎng)絡(luò)中的隱藏服務(wù)目錄查詢(xún)協(xié)議[10]，而該協(xié)議被證明容易被僅具有低帶寬Tor 中繼節(jié)點(diǎn)的攻擊者進(jìn)行服務(wù)枚舉攻擊[11]，從而測(cè)量Tor 網(wǎng)站等洋蔥服務(wù)的活躍程度。已有相關(guān)工作通過(guò)枚舉攻擊方法來(lái)研究洋蔥服務(wù)的生態(tài)[12]。當(dāng)然，該類(lèi)攻擊的威脅可能隨著相關(guān)協(xié)議的更新得到緩解。

上述研究工作主要關(guān)注兩類(lèi)問(wèn)題：(1)有效識(shí)別互聯(lián)網(wǎng)中Tor 節(jié)點(diǎn)之間傳輸?shù)牧髁浚?2)對(duì)于Tor 通信流量所承載的應(yīng)用數(shù)據(jù)，識(shí)別其應(yīng)用服務(wù)類(lèi)型。與上述研究類(lèi)似，本文通過(guò)機(jī)器學(xué)習(xí)方法來(lái)識(shí)別網(wǎng)絡(luò)中的Tor 流量，并進(jìn)一步識(shí)別Tor 流量中承載的8 類(lèi)應(yīng)用數(shù)據(jù)。實(shí)驗(yàn)表明，本文提出的方法能夠取得較高的預(yù)測(cè)準(zhǔn)確率。

2 本文方法

本文首先通過(guò)設(shè)置網(wǎng)絡(luò)探針捕獲網(wǎng)絡(luò)中的流量數(shù)據(jù)，進(jìn)而對(duì)流量中混雜的數(shù)據(jù)幀進(jìn)行組流，將屬于相同數(shù)據(jù)流的幀按照協(xié)議和幀順序進(jìn)行恢復(fù)。然后以數(shù)據(jù)流為樣本，提取其機(jī)器學(xué)習(xí)分類(lèi)特征，訓(xùn)練分類(lèi)器，并應(yīng)用訓(xùn)練后的分類(lèi)器對(duì)目標(biāo)數(shù)據(jù)進(jìn)行分類(lèi)，分析分類(lèi)效果。

需要特別解釋的是，本文中一條通信流由一組具有相同五元組{源IP、目的IP、源端口、目的端口、協(xié)議}的數(shù)據(jù)幀組成，其中Tor 支持的協(xié)議為T(mén)CP 協(xié)議。本文依照該規(guī)則，在TCP 協(xié)議層進(jìn)行流重組。

2.1 數(shù)據(jù)采集

數(shù)據(jù)準(zhǔn)備階段包括數(shù)據(jù)生成、數(shù)據(jù)采集和組流3 個(gè)環(huán)節(jié)。首先需要生成帶有類(lèi)別標(biāo)簽的數(shù)據(jù)：在沙箱中分別運(yùn)行包括網(wǎng)頁(yè)瀏覽、即時(shí)通信、音頻流、視頻流、電子郵件、VoIP、P2P 數(shù)據(jù)傳輸和FTP 文件傳輸8 種類(lèi)型的網(wǎng)絡(luò)應(yīng)用，并利用架設(shè)的Tor 網(wǎng)關(guān)服務(wù)將相應(yīng)應(yīng)用產(chǎn)生的網(wǎng)絡(luò)流打包傳輸至Tor 網(wǎng)絡(luò)中。進(jìn)而使用tcpdump 應(yīng)用在Tor 網(wǎng)關(guān)兩端采集數(shù)據(jù)幀，即可得到兩類(lèi)實(shí)驗(yàn)數(shù)據(jù)：(1)應(yīng)用于Tor 流量檢測(cè)的帶Tor 和非Tor 標(biāo)簽的網(wǎng)絡(luò)幀數(shù)據(jù)；(2)應(yīng)用于Tor 通信行為分類(lèi)的帶8 種應(yīng)用類(lèi)型標(biāo)簽的Tor 網(wǎng)絡(luò)幀數(shù)據(jù)。

接下來(lái)，按照五元組將網(wǎng)絡(luò)幀進(jìn)行重組，形成網(wǎng)絡(luò)流。對(duì)具有相同五元組的不同網(wǎng)絡(luò)流，采用TCP 協(xié)議中的FIN 幀來(lái)進(jìn)行切分。8 類(lèi)應(yīng)用數(shù)據(jù)流的生成方法描述如下：

(1)頁(yè)面瀏覽：通過(guò)selenium 自動(dòng)化工具調(diào)用Firefox和Chrome 瀏覽器的geckodriver 和chromium 內(nèi)核，遍歷訪問(wèn)Alexa 知名網(wǎng)站列表，并對(duì)首頁(yè)內(nèi)超鏈接進(jìn)行深度為2的訪問(wèn)遍歷，獲得所有HTTP 和HTTPS 流量，數(shù)據(jù)總量8.5 GB。

(2)即時(shí)通信：本文采集的即時(shí)通信數(shù)據(jù)來(lái)自微信、QQ、Skype、Telegram、WhatsApp、和Signal，行為包括文本聊天、文件傳輸?shù)龋瑪?shù)據(jù)總量1.9 GB。

(3)音頻流：QQ 音樂(lè)和網(wǎng)易云音樂(lè)是中國(guó)最大的音頻流媒體應(yīng)用平臺(tái)，本文分別采集這兩個(gè)桌面應(yīng)用自動(dòng)播放時(shí)產(chǎn)生的4.0 GB 流媒體傳輸數(shù)據(jù)。

(4)視頻流：本文采集了騰訊視頻、搜狐視頻、優(yōu)酷視頻等自動(dòng)播放時(shí)的7.8 GB 多媒體流。

(5)電子郵件：通過(guò)郵件客戶(hù)端綁定包括采用STMP/S、POP3/SSL 和IMAP/SSL 等協(xié)議的網(wǎng)絡(luò)郵箱，除通過(guò)郵件客戶(hù)端的自動(dòng)更新功能進(jìn)行郵件傳輸外，主動(dòng)通過(guò)各個(gè)郵箱發(fā)送、接收郵件及其附件，數(shù)據(jù)總量2.3 GB。

(6)VoIP：采集包括微信語(yǔ)音、Skype 通話(huà)、Facebook Messenger 通話(huà)和Google Voice 等在內(nèi)的語(yǔ)音通話(huà)數(shù)據(jù)作為VoIP 標(biāo)簽數(shù)據(jù)，數(shù)據(jù)總量2.0 GB。

(7)P2P：國(guó)內(nèi)最知名的P2P 應(yīng)用是迅雷，然而由于其廣告等擴(kuò)展功能太多，為獲得干凈的P2P 流量，本實(shí)驗(yàn)采用Bittorrent 應(yīng)用進(jìn)行數(shù)據(jù)傳輸，獲得26 GB P2P 協(xié)議數(shù)據(jù)。

(8)FTP：本文在采集FileZilla 的客戶(hù)端和服務(wù)端應(yīng)用進(jìn)行文件上傳和下載時(shí)產(chǎn)生的流量作為FTP 標(biāo)簽數(shù)據(jù)，采集的數(shù)據(jù)包括SFTP 協(xié)議數(shù)據(jù)和FTPS 協(xié)議數(shù)據(jù)，數(shù)據(jù)總量10 GB。

2.2 特征提取

本文對(duì)同一個(gè)網(wǎng)絡(luò)流中的上下行流量分別提取特征(規(guī)定客戶(hù)端指向服務(wù)端的方向?yàn)樯闲蟹较颍浞捶较驗(yàn)橄滦蟹较?，最終形成27 個(gè)的特征：

(1)上行幀時(shí)間差(UPward Inter Arrival Time，UIAT)：上行幀之間的時(shí)間差，包括時(shí)間差的均值F0、最小值F1、最大值F2和標(biāo)準(zhǔn)差F3。

(2)下行幀時(shí)間差(Downward Inter Arrival Time，DIAT)：下行幀之間的時(shí)間差，包括均值F4、最小值F5、最大值F6和標(biāo)準(zhǔn)差F7。

(3)幀時(shí)間差(Flow Inter Arrival Time，F(xiàn)lowIAT)：所有幀之間的時(shí)間差，包括其均值F8、最小值F9、最大值F10和標(biāo)準(zhǔn)差F11。

(4)流活躍時(shí)間(Active)：在流進(jìn)入空閑狀態(tài)之前所經(jīng)歷的時(shí)間，包括其均值F12、最小值F13、最大值F14和標(biāo)準(zhǔn)差F15。

(5)流空閑時(shí)間(Idle)：在流進(jìn)行活躍狀態(tài)之前，保持空閑狀態(tài)的時(shí)長(zhǎng)，包括其均值F16、最小值F17、最大值F18和標(biāo)準(zhǔn)差F19。

(6)流字節(jié)速率(Flow Bytes Per Second，F(xiàn)lowBPS)：該流平均每秒傳輸?shù)淖止?jié)數(shù)，用F20表示。

(7)流幀率(Flow Packets Per Second，F(xiàn)lowPPS)：該流平均每秒傳輸?shù)膸瑪?shù)量，用F21表示。

(8)流負(fù)載(Flow Payloads，F(xiàn)P)：該流上行字節(jié)數(shù)F22、下行字節(jié)數(shù)F23、上行幀數(shù)F24、下行幀數(shù)F25。

(9)流持續(xù)時(shí)間(duration)：流的第一幀和最后一幀的間隔時(shí)間F26。

上述特征除流持續(xù)時(shí)間外，按照特點(diǎn)可分為6 組特征。前3 組分別是上行幀時(shí)間差、下行幀時(shí)間差和幀時(shí)間差特征，著重刻畫(huà)上下行流量中的時(shí)間間隔特征，分別命名為UIAT、DIAT 和FlowIAT；第4、5 組特征關(guān)注流在活躍和空間狀態(tài)之間變化的特點(diǎn)，分別用Active 和Idle 指代；最后一組包括流字節(jié)速率FlowBPS、流幀率FlowPPS和流負(fù)載FP，關(guān)注的是流在不同層面的傳輸量和傳輸速率，統(tǒng)一用FP 代替。

2.3 實(shí)驗(yàn)流程

首先通過(guò)實(shí)驗(yàn)驗(yàn)證所提特征集合對(duì)Tor 流量和普通流量進(jìn)行區(qū)分的能力。實(shí)驗(yàn)分兩個(gè)階段，包括：(1)通過(guò)假設(shè)檢驗(yàn)，驗(yàn)證每個(gè)特征在Tor 流量和普通流量上數(shù)值分布上的差異顯著性；(2)通過(guò)訓(xùn)練分類(lèi)器，驗(yàn)證提取的特征對(duì)Tor 流量和普通流量進(jìn)行分類(lèi)的有效性。

在假設(shè)檢驗(yàn)階段中，設(shè)零假設(shè)H0為：對(duì)于Tor 網(wǎng)絡(luò)流和正常流提取的特征，不存在統(tǒng)計(jì)上的顯著差異性。進(jìn)而采用SPSS 軟件中非參檢驗(yàn)工具集，分別進(jìn)行Mann-Whitney (MW，p=0.05) 測(cè)試和Kolmogorov-Smirnov(KS，p=0.05)測(cè)試[13]，以增強(qiáng)結(jié)論的可靠性。相關(guān)測(cè)試均可用于驗(yàn)證目標(biāo)數(shù)據(jù)與給定分布之間的差異性，實(shí)驗(yàn)中風(fēng)險(xiǎn)閾值設(shè)定為0.05。

第二階段，采用機(jī)器學(xué)習(xí)分類(lèi)器進(jìn)行效果評(píng)估，即基于本文所提的27 維分類(lèi)特征，采用10 折交叉驗(yàn)證，分別在Tor 流量檢測(cè)問(wèn)題和Tor 通信行為分類(lèi)中測(cè)試分類(lèi)器的效果。

本文采用scikit-learn 機(jī)器學(xué)習(xí)工具集[14]，從中分別選擇K 近鄰分類(lèi)器(K Nearest Neighbor，KNN)[15]、邏輯回歸分類(lèi)器(Logistic Regression，LR)、C4.5 決策樹(shù)(Decision Tree，DT)[16]、樸素貝葉斯分類(lèi)器(Na?ve Bayesian，NB)[17]、支撐向量機(jī)分類(lèi)器(Support Vector Machine，SVM)[18]和隨機(jī)森林分類(lèi)器(Random Forest，RF)[19]6 種經(jīng)典分類(lèi)模型進(jìn)行分類(lèi)效果測(cè)評(píng)。

3 實(shí)驗(yàn)結(jié)果

3.1 評(píng)價(jià)指標(biāo)

本實(shí)驗(yàn)分別采用準(zhǔn)確率(Precision)、召回率(Recall)、F-測(cè)度(F-Measure)、馬修斯相關(guān)系數(shù)(Matthews Correlation Coefficient，MCC)[20]、接受者工作特征曲線(xiàn)(ROC)和精度-召回率曲線(xiàn)(PRC)等測(cè)量指標(biāo)評(píng)價(jià)Tor 流量的分類(lèi)效果。

3.2 實(shí)驗(yàn)結(jié)果

本節(jié)分別進(jìn)行Tor 流量識(shí)別和Tor 通信行為分類(lèi)。在Tor 流量識(shí)別任務(wù)中，首先通過(guò)假設(shè)檢驗(yàn)分別驗(yàn)證所提特征在不同類(lèi)別流量下的分布差異性，進(jìn)而通過(guò)訓(xùn)練分類(lèi)器驗(yàn)證特征的有效性；在Tor 通信行為分類(lèi)中，直接通過(guò)訓(xùn)練分類(lèi)器驗(yàn)證特征的有效性。

3.2.1 Tor 流量識(shí)別

經(jīng)過(guò)MW 和KS 檢驗(yàn)，不同特征的參數(shù)分布均拒絕原假設(shè)H0，故備擇假設(shè)成立，表明本文所提特征在Tor流量和普通流量上的概率分布呈現(xiàn)顯著差異性，可被有效用于區(qū)別兩類(lèi)數(shù)據(jù)流，因而運(yùn)用所有27 個(gè)特征來(lái)完成接下來(lái)的分類(lèi)任務(wù)。

表1 給出了Tor 流量識(shí)別問(wèn)題的實(shí)驗(yàn)結(jié)果，可以看到，所有給出的分類(lèi)算法都能夠有效識(shí)別Tor 網(wǎng)絡(luò)流量。其中，隨機(jī)森林分類(lèi)器的預(yù)測(cè)結(jié)果最好，在每個(gè)評(píng)價(jià)指標(biāo)上都取得了最高分；支撐向量機(jī)的分類(lèi)效果次之；效果最差的分類(lèi)器是決策樹(shù)，在F-Measure 等4 個(gè)綜合評(píng)價(jià)指標(biāo)中都得到了最低的得分。

表1 全特征Tor 流量識(shí)別

表2 展示了不同特征組在Tor 流量識(shí)別任務(wù)中的效果，分類(lèi)算法采用全特征預(yù)測(cè)時(shí)效果最好的支撐向量機(jī)和隨機(jī)森林。由表可知，在兩個(gè)分類(lèi)器中，特征組Active 和特征組Idle 的預(yù)測(cè)效果均最差，僅略高于隨機(jī)分類(lèi)，特征組FP 均取得了最好的預(yù)測(cè)效果；UIAT、DIAT和FlowIAT 的分類(lèi)效果接近，預(yù)測(cè)效果介于上述兩類(lèi)特征的預(yù)測(cè)效果之間。

接下來(lái)通過(guò)邏輯回歸分類(lèi)器分析預(yù)測(cè)特征。邏輯回歸分類(lèi)器的優(yōu)點(diǎn)是除能夠給出分類(lèi)預(yù)測(cè)結(jié)果外，還可以檢驗(yàn)自變量與因變量的相關(guān)性，并且與自變量相對(duì)應(yīng)的回歸系數(shù)可以顯示自變量與因變量的相關(guān)強(qiáng)度以及正負(fù)相關(guān)性。本文用邏輯回歸分類(lèi)器判斷基于內(nèi)容特征的各項(xiàng)指標(biāo)是否具有較強(qiáng)的鏈路預(yù)測(cè)能力。

對(duì)于該二分類(lèi)問(wèn)題，將某條流量的類(lèi)別作為因變量；將27 維特征作為自變量，可得到表3 邏輯回歸實(shí)驗(yàn)結(jié)果的訓(xùn)練結(jié)果。其中標(biāo)準(zhǔn)誤差項(xiàng)用于評(píng)價(jià)回歸系數(shù)是否顯著不為0，z 值由回歸系數(shù)與標(biāo)準(zhǔn)誤差之比得到，與p一起用來(lái)檢驗(yàn)回歸系數(shù)為0 的零假設(shè)。此處同樣取顯著性水平α 為0.05，當(dāng)p 小于α 時(shí)，說(shuō)明回歸系數(shù)顯著不為0，即自變量與因變量顯著相關(guān)。由p 列可知，特征F19的p 值大于顯著性水平α，因此除特征“流空閑時(shí)間的標(biāo)準(zhǔn)差值”外，在回歸模型中，其他預(yù)測(cè)特征對(duì)Tor流量識(shí)別均具有顯著影響。

表2 特征組Tor 流量識(shí)別

表3 邏輯回歸實(shí)驗(yàn)結(jié)果

3.2.2 Tor 通信行為分類(lèi)

表4 展示了本文所提特征在Tor 通信行為分類(lèi)任務(wù)中的結(jié)果。由表可知，支撐向量機(jī)分類(lèi)器取得了最好的預(yù)測(cè)效果，綜合指標(biāo)值接近0.85。相較于支撐向量機(jī)和隨機(jī)森林，K 近鄰、決策樹(shù)和邏輯回歸的模型擬合能力較差，因而預(yù)測(cè)效果較差。

4 結(jié)論

本文針對(duì)Tor 流量的檢測(cè)與識(shí)別問(wèn)題，提出了一種基于機(jī)器學(xué)習(xí)的Tor 流量探測(cè)技術(shù)。通過(guò)主動(dòng)生成Tor 網(wǎng)絡(luò)流量，提取網(wǎng)絡(luò)流特征，訓(xùn)練分類(lèi)器，對(duì)Tor 流量與普通流量進(jìn)行分類(lèi)，取得了F-measure 測(cè)度值0.98 的效果。更進(jìn)一步地，在對(duì)Tor 服務(wù)所承載的多種應(yīng)用數(shù)據(jù)進(jìn)行分類(lèi)時(shí)，該套特征也取得了準(zhǔn)確率85.9%和召回率82.1%的預(yù)測(cè)結(jié)果。試驗(yàn)中支撐向量機(jī)和隨機(jī)森林在所有實(shí)驗(yàn)條件下取得了最好的分類(lèi)效果，效果最好的分類(lèi)特征組是FP。實(shí)驗(yàn)表明本文所提方法是有效的。

表4 全特征Tor 通信行為分類(lèi)

本文的后續(xù)工作將考慮在時(shí)序特征、網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)特征等方面進(jìn)一步豐富和優(yōu)化特征集合，以進(jìn)一步提高Tor 通信類(lèi)型分類(lèi)的效果。同時(shí)進(jìn)一步研究Tor 網(wǎng)絡(luò)中的其他常見(jiàn)通信數(shù)據(jù)，拓展本文所提方法的應(yīng)用范圍。