基于機器學習的TLS惡意加密流量檢測方案

駱子銘，許書彬，劉曉東

基于機器學習的TLS惡意加密流量檢測方案

駱子銘1,2，許書彬1，劉曉東1

（1. 中國電子科技集團公司第五十四研究所，河北 石家莊 050081；2. 石家莊通信測控技術研究所，河北 石家莊 050081）

首先介紹了安全傳輸層（TLS，transport layer security）協(xié)議的特點、流量識別方法；然后給出了一種基于機器學習的分布式自動化的惡意加密流量檢測體系；進而從TLS特征、數(shù)據(jù)元特征、上下文數(shù)據(jù)特征3個方面分析了惡意加密流量的特征；最后，通過實驗對幾種常見機器學習算法的性能進行對比，實現(xiàn)了對惡意加密流量的高效檢測。

安全傳輸層；惡意加密流量；機器學習

1 引言

隨著安全傳輸層（TLS）協(xié)議的廣泛使用，網絡中的加密流量越來越多，識別這些加密的流量是否安全可靠，給網絡安全防御帶來了巨大挑戰(zhàn)。傳統(tǒng)的流量識別方法，如基于深度包檢測或者模式匹配等方法都對加密流量束手無策，因此識別網絡加密流量中包含的威脅是一項具有挑戰(zhàn)性的工作[1]。

由于網絡基礎設施安全的重要性，其對檢測的準確率和誤報率有較高的要求。同時，僵尸網絡、網絡入侵、惡意加密流量等網絡攻擊，具有攻擊量大、形式多樣化的特點，對于該類攻擊檢測需要能夠做出快速實時地響應。基于機器學習的惡意加密流量檢測，一直是近年來網絡安全領域的研究熱點[2]。

目前惡意加密流量檢測研究，主要側重于加密流量特征分析[3]，以及機器學習算法的選擇問題[4]，缺乏成熟的惡意加密流量檢測體系。通過合理的檢測體系，構建具有代表性的樣本數(shù)據(jù)庫，實時動態(tài)檢測分析惡意加密流量攻擊，將能夠快速實施響應并采取防御措施。本文所討論的加密流量限于采用TLS協(xié)議進行加密的網絡流量，故文中提到的“惡意加密流量”和“TLS惡意流量”均代指采用TLS協(xié)議加密的惡意流量。

2 TLS協(xié)議

安全傳輸層協(xié)議位于傳輸層和應用層之間，是一種在兩個通信應用程序之間提供安全通信的協(xié)議，保證了網絡通信數(shù)據(jù)的完整性和保密性[5]。TLS協(xié)議是由握手協(xié)議、記錄協(xié)議、更改密文協(xié)議和警報協(xié)議組成的。

2.1 TLS握手協(xié)議

握手協(xié)議是TLS協(xié)議中十分重要的協(xié)議，客戶端和服務端一旦都同意使用TLS協(xié)議，需要通過握手協(xié)議協(xié)商出一個有狀態(tài)的連接以傳輸數(shù)據(jù)。通過握手過程，通信雙方需要確認使用的密鑰和算法，除此之外，還包括數(shù)據(jù)壓縮算法、信息摘要算法等一些數(shù)據(jù)傳輸?shù)倪^程中需要使用的其他信息。當握手協(xié)議完成以后，通信雙方開始加密數(shù)據(jù)傳輸。

2.2 TLS流量識別

由于TLS握手協(xié)議通過明文傳輸，其可以捕獲PCAP文件并解析數(shù)據(jù)包的頭部信息，通過比較不同的頭部信息及對比不同消息的報文結構，可以判定當前的數(shù)據(jù)包是否為TLS握手協(xié)議的某一特定消息類型。一個完整的TLS會話過程一定包含以下類型的消息：ClientHello、ServerHello、ServerHelloDone、ClientKeyExchange、Change CipherSpec。如果在某個數(shù)據(jù)流中沒有檢測到以上消息，那么可以判定其為非TLS流。如果只檢測到其中一部分消息，則有兩種可能性：一是由于TLS握手過程不完整導致了連接建立失敗；二是抓包不完整，此數(shù)據(jù)流是TLS流，但由于抓包過程中存在網絡延遲等原因，從而導致丟包。在判定過程中，如果數(shù)據(jù)流中沒有包含以上提到的5種消息，則將該數(shù)據(jù)流判定為非TLS流，否則，將其判定為一個TLS流。

3 TLS惡意加密流量特征分析

惡意加密流量的特征一般分為以下3類：內容特征、數(shù)據(jù)流統(tǒng)計特征和網絡連接行為特征[6]。針對采用TLS協(xié)議的惡意加密流量，本文從TLS特征、數(shù)據(jù)元統(tǒng)計特征、上下文數(shù)據(jù)特征3個方面來分析其特征要素。

3.1 TLS特征

惡意加密流量和良性流量具有非常明顯的TLS特征差異，如表1所示。這些差異主要表現(xiàn)在：提供的密碼組、客戶端公鑰長度、TLS擴展和服務器證書收集所采用的密碼套件等。在流量采集過程中，可以從客戶端發(fā)送的請求中獲取TLS版本、密碼套件列表和支持的TLS擴展列表。若分別用向量表示客戶端提供的密碼套件列表和TLS擴展列表，可以從服務器發(fā)送的確認包中的信息確定兩組向量的值。同時從密鑰交換的數(shù)據(jù)包中，得到密鑰的長度。

3.2 數(shù)據(jù)元統(tǒng)計特征

惡意流量與良性流量的統(tǒng)計特征差別主要表現(xiàn)在數(shù)據(jù)包的大小、到達時間序列和字節(jié)分布。數(shù)據(jù)包的長度受UDP、TCP或者ICMP協(xié)議中數(shù)據(jù)包的有效載荷大小影響，如果數(shù)據(jù)包不屬于以上協(xié)議，則被設置為IP數(shù)據(jù)包的大小。因到達時間以毫秒分隔，故數(shù)據(jù)包長度和到達時間序列，可以模擬為馬爾科夫鏈，構成馬爾科夫狀態(tài)轉移矩陣，從而統(tǒng)計分析數(shù)據(jù)包在時序上的特征。

表1 TLS特征

3.3 上下文數(shù)據(jù)特征

上下文數(shù)據(jù)包括HTTP數(shù)據(jù)和DNS數(shù)據(jù)。過濾掉TLS流中的加密部分，可以得到HTTP流，具體包括出入站的HTTP字段、Content-Type、User-Agent、Accept-Language、Server、HTTP響應碼。DNS數(shù)據(jù)包括DNS響應中域名的長度、數(shù)字以及非數(shù)字字符的長度、TTL值、DNS響應返回的IP地址數(shù)、域名在Alexa中的排名。

4 分布式自動化惡意加密流量檢測體系

傳統(tǒng)的安全產品已無法滿足現(xiàn)有的安全態(tài)勢需求，如何利用機器學習快速檢測未知威脅，并盡快做出響應，是網絡安全態(tài)勢感知中的關鍵問題。利用本文提出的惡意加密流量檢測方法，進一步訓練并標記分類惡意加密流量家族樣本，建立增量式學習數(shù)據(jù)庫，進而可以構建自動化惡意加密流量檢測體系，有利于更好地降低未知惡意加密流量帶來的危害。

表2 7個惡意軟件家族的TLS特征

4.1 惡意流量家族

惡意軟件雖然層出不窮，但大部分惡意軟件是某個惡意家族的變種。在惡意加密流量檢測的二分類問題中，將惡意加密流量提取出來并對所屬家族進行標記，然后重新進行訓練，將惡意加密流量檢測轉換為通過流量特征判斷其所屬家族的多分類問題。獲得訓練的數(shù)據(jù)后，需對分類的結果進行分析討論，并盡量減小誤報率。

表2選取了在TLS特征中，7個惡意軟件家族的不同表現(xiàn)。除了表中展示的3種特征外，其他特征還包括TLS客戶端、證書主題特征，借助這些不同的特征通過機器學習算法訓練，可以有效幫助區(qū)分惡意軟件的家族種類。

4.2 增量式學習數(shù)據(jù)庫

在當今網絡環(huán)境下，惡意軟件更新迭代層出不窮，為了保持惡意加密流量檢測系統(tǒng)的準確性，系統(tǒng)應具有增量式學習的能力。

增量式學習是指系統(tǒng)在不斷從新的樣本學習新的知識的同時，還能保存大部分以前已學習的知識。增量式學習類似于人類自身的學習模式，這種學習的特性，非常適合用于網絡安全中的惡意軟件檢測。建立增量式學習能力，首先需具有增量式學習能力的機器學習算法，其次建立惡意軟件數(shù)據(jù)庫。

建立惡意軟件數(shù)據(jù)庫，需從客戶端和服務端兩個角度進行數(shù)據(jù)庫的建立研究。服務端：實時收集新生的惡意軟件產生的流量，并進行定期的訓練后將特征添加到系統(tǒng)中，實現(xiàn)增量式學習。客戶端：當檢測到可疑流量時，分類器判定為其他類別后，首先需將其上傳至服務器端，同時在本地進行更新。

4.3 分布式惡意加密流量檢測體系

利用上文給出的惡意流量檢測方法，搭建分布式自動化惡意流量檢測體系，如圖1所示。

圖1 分布式自動化惡意流量檢測體系

Figure 1 Distributed automated malicious traffic detection system

搭建的分布式自動化惡意流量檢測體系的算法流程如圖2所示。

步驟1 IDS Agent負責采集或收集客戶端和服務端需鑒定的文件，計算文件的 MD5[7]值與File-Hash緩存對比，如果存在則直接判定為惡意軟件流量，并附上家族標簽，否則緩存文件并進入下一步。

步驟2 對象存儲（公有云IAAS組件、OSS）負責文件緩存，便于處理海量的鑒定文件，當存儲完成后，發(fā)送kafka topic消息。

步驟3 主程序采用多線程方式啟用多個處理單元，收到kafka消息后，從消息中獲得OSS文件路徑，下載文件到本地并發(fā)送給各個類型的檢測引擎，如惡意加密流量檢測、動態(tài)/靜態(tài)文件檢測、Webshell檢測等。

圖2 分布式自動化惡意流量檢測體系的算法流程

Figure 2 Algorithm flow of distributed automated malicious traffic detection system

步驟4 惡意加密流量檢測引擎接收文件后，從文件中提取網絡流量相關數(shù)據(jù)，并根據(jù)TLS特征、數(shù)據(jù)元統(tǒng)計特征、上下文數(shù)據(jù)對數(shù)據(jù)進行預處理，然后經過分類器進行分類，將分類結果發(fā)往決策中心。

步驟5 決策中心收到各類檢測結果后，根據(jù)多類決策樹判斷，并將最終結果發(fā)往惡意軟件家族分類器。

步驟6 形成惡意軟件家族分類和未知的惡意分類，存儲到Elastic Search以提供給前端用戶展示。

對于系統(tǒng)中的機器學習部分，所提交的需要保存的樣本均通過流量的形式發(fā)送到kafka并存儲到HIVE中，然后導入Spark Mlib進行模型計算，其他通過公網添加的黑白樣本也通過同樣的方式加入系統(tǒng)進行循環(huán)。在系統(tǒng)資源有限的情況下，大約一周更新一次分類模型。

通過構建分布式自動化惡意加密流量檢測體系可以快速高效地獲取加密網絡數(shù)據(jù)流量，對數(shù)據(jù)進行科學分析與存儲，縮短檢測時間的同時獲得更準確的檢測結果，并預測未知威脅，實現(xiàn)網絡安全態(tài)勢感知。

5 TLS惡意流量識別方法

加密網絡流量給網絡安全防御帶來了巨大的挑戰(zhàn)，在不加解密的基礎上識別加密流量中包含的威脅具有十分重要的意義。通過對惡意加密流量的特征進行深入的研究，進而探索惡意加密流量與正常流量的特征。然后通過機器學習的方法來學習這些特征，最終能夠實時動態(tài)的區(qū)分網絡中的惡意與良性流量，檢測到惡意威脅。

惡意加密流量識別分為4步：①數(shù)據(jù)采集；②數(shù)據(jù)預處理；③模型訓練；④評價驗證。

5.1 數(shù)據(jù)采集

數(shù)據(jù)集可以通過Wireshark從公共網絡進行采集，過濾掉黑名單上的惡意IP地址流量，默認采集到的均為良性流量，而惡意加密流量可以通過沙箱環(huán)境模擬并采集。以往很多研究采用手工采集的方式或使用公司的私有數(shù)據(jù)集，在某種程度上會影響檢測結果的可信度，所以本文采用公開的數(shù)據(jù)集ISCX2012[8]、ISCX VPN-non VPN[9]等。

5.2 數(shù)據(jù)預處理

在數(shù)據(jù)預處理階段，因流量數(shù)據(jù)維度較大，本文采用Relief算法對數(shù)據(jù)進行預處理。將收集到的數(shù)據(jù)包按照網絡流的定義進行特征提取，降低數(shù)據(jù)維度，可減小后續(xù)分類器的錯誤率。Relief算法是一種特征權重算法（feature weighting algorithm），可以根據(jù)特征和類別的相關性賦予不同權重，當權重小于某個閾值時，該特征將被移除。網絡流是指在一定的時間內，所有的具有相同五元組（源IP地址、源端口號、目的IP地址、目的端口號、協(xié)議字段）的網絡數(shù)據(jù)包所攜帶的數(shù)據(jù)特征總和[10]。源IP地址、源端口號和目的IP地址、目的端口號可以互換，從而標記一個雙向的網絡流。

5.3 模型訓練

采集完樣本，首先將一個網絡流視為一個樣本并提取相關流量特征，將TLS特征、數(shù)據(jù)元統(tǒng)計特征和上下文數(shù)據(jù)特征建模為行向量作為特征取值，列向量為不同TLS流的矩陣。

擬采用3種機器學習算法分別對分類模型進行訓練，本文選取支持向量機（SVM，support vector machine）、隨機森林（RF，random forest）和極端梯度提升（XGBoost，extreme gradient boosting）算法對樣本進行訓練并預測。支持向量機是一種基于統(tǒng)計學理論的機器學習算法，其策略為結構風險最小化[11]。它較好地解決了當樣本數(shù)量較少時過擬合的問題，有優(yōu)秀的泛化能力。隨機森林算法是基于bagging思想的決策樹模型，隨機森林中包含很多棵決策樹，這些決策樹集成起來構造分類器，通過組合學習的方式來提高整體效果。而且隨機森林算法具有可高度并行化，能夠處理高維度的數(shù)據(jù)，訓練后的模型方差小，及泛化能力強等優(yōu)點[12]。XGBoost算法是把很多樹模型集成在一起，從而形成一個強大的分類器。它是把速度和效率充分發(fā)揮到極致的GBDT算法，具有計算復雜度低、算法的效率高的優(yōu)點[13]。惡意加密流量檢測模型的訓練如圖3所示。

為了避免測試的偶然性，本文采用十折交叉驗證方法，首先把數(shù)據(jù)分成10份，輪流選取其中的9份作為訓練數(shù)據(jù)，剩余的1份用作驗證數(shù)據(jù)進行試驗，最后將每次實驗得到的正確率取平均值作為最終精度。

5.4 評價標準

對于訓練產生的分類模型，需按照一定的指標進行評估測試，來評價分類器的精準度。本文將惡意加密流量定為正例，良性流量視為負例。各種指標中相關參數(shù)如表3所示。

圖3 惡意加密流量檢測模型訓練

Figure 3 Training of encrypted malware traffic identification model

表3 評價標準相關參數(shù)定義

準確率（Accuracy）的表達式如式(1)所示。

查準率（Precision）和查全率（Recall）的定義如式(2)、式(3)所示。

綜合評價的定義如式(4)所示。

5.4 實驗結果

首先評估了3種機器學習算法對于4種惡意加密流量中6對兩兩組合的惡意軟件家族流量的檢測性能；然后，評估了3種機器學習算法對于包含全部4種惡意軟件家族流量的準確率。最后，對分類器應用不同算法時的查準率與查全率進行了比較。

通過準確率比較的二分類時不同機器學習算法對于4種惡意軟件家族流量兩兩組合的檢測效果，如圖4所示。

圖4 惡意軟件家族分類準確率比較

Figure 4 Accuracy comparison of malicious families classification

從圖4可以看到，在絕大多數(shù)情況下，隨機森林的性能要優(yōu)于SVM和 XGBoost，與XGBoost相比，僅HttpDoS與Infiltrating案例XGBoost準確率略高，但每個測試樣例的差異都不是很大。因此，隨機森林在當前實驗中表現(xiàn)最優(yōu)。

本文還對多分類模型進行了實驗，即使用正常流量以及4個惡意家族的流量數(shù)據(jù)一起訓練檢測模型，結果如圖5所示。可以看到隨機森林表現(xiàn)最佳，但僅比XGBoost稍好一點，而SVM相對較差。實驗結果表明，盡管惡意家族的流量彼此之間有很大的不同，惡意與良性流量之間的差異通常要更明顯。這表明可以使用一個檢測模型過濾網絡中的流量，而不需要為某種惡意加密流量單獨構建檢測模型。因此，基于機器學習的檢測模型在現(xiàn)網中是比較實用的。

3種機器學習算法的準確率的對比如圖6所示。結果可以看到，隨機森林可以得到比XGBoost和SVM更精確和穩(wěn)健的多分類結果，隨機森林的1值為0.97，優(yōu)于其他兩種機器學習算法。在分類準確率方面，相較XGBoost和SVM，分別提高了為4％和1％。綜上所述，本文搭建的基于機器學習的分布式自動化惡意加密流量檢測體系能夠準確地對加密流量進行分類與異常檢測。

圖5 機器學習算法性能對比

Figure 5 Comparison of machine learning algorithms performance

圖6 多分類檢測的準確率

Figure 6 Accuracy of the multiclass detection

6 結束語

本文基于TLS握手協(xié)議的特點，分析了惡意加密流量的識別特征，通過對3類特征的具體分析，給出了一種基于機器學習的TLS惡意加密流量檢測方法，并結合惡意軟件家族樣本分類，最終構建了一個分布式自動化惡意加密流量檢測體系，后續(xù)通過實驗進行機器學習算法對比與驗證，為進一步提高惡意加密流量的檢測效果做出了一些探索。

[1] 張蕾, 崔勇, 劉靜, 等. 機器學習在網絡空間安全研究中的應用[J]. 計算機學報, 2018(9): 1943-1975.

ZHANG L, CUI Y, LIU J, et al. Application of machine learning in cyberspace security research[J]. Journal of Computer, 2018(9): 1943-1975.

[2] 王偉. 基于深度學習的網絡流量分類及異常檢測方法研究[D].合肥: 中國科學技術大學, 2018.

WANG W. Deep learning for network traffic classification and anomaly detection[D]. Hefei: University of Science and Technology of China, 2018

[3] ANDERSON B, MCGREW, D. Identifying encrypted malware traffic with contextual flow data[C]//ACM Workshop on Artificial Intelligence & Security. 2016:36-41.

[4] ANDERSON B, MCGREW D. Machine learning for encrypted malware traffic classification: accounting for noisy labels and non-stationarity[C]//The 23rd ACM SIGKDD International Conference. 2017: 1725-1729.

[5] 王琳, 封化民, 劉飚, 等. 基于混合方法的SSL VPN加密流量識別研究[J]. 計算機應用與軟件, 2019, 36(2): 321-328.

WANG L, FENG H M, LIU B, et al. SSL VPN encrypted traffic identification based on hybrid method[J]. Computer Applications and Software, 2019, 36(2): 321-328.

[6] 魯剛, 郭榮華, 周穎, 等. 惡意流量特征提取綜述[J]. 信息網絡安全, 2018, 213(9): 7-15.

LU G, GUO R H, ZHOU Y, et al. Review of malicious traffic feature extration[J]. Netinfo Security, 2018, 213(9): 7-15.

[7] 王可. MD5算法研究[J]. 中文信息，2002(2): 78-81.

WANG K. A research on MD5[J]. Chinese Information, 2002(2): 78-81.

[8] SHIRAVI A, SHIRACI H, TAVALLAEE M, et al. Toward developing a systematic approach to generate benchmark datasets for intrusion detection[J]. Computers & Security, 2012, 31(3): 357-374.

[9] LASHKARI A H, DRAPER-GIL G, MAMUN M S I, et al. Characterization of encrypted and VPN traffic using time-related features[C]//International Conference on Information Systems Security & Privacy. 2016：407-414.

[10] 樸楊, 鶴然, 任俊玲. 基于Stacking的惡意網頁集成檢測方法[J]. 計算機應用, 2019, 39(4): 153-160.

PIAO Y, HE R, REN J L. Malicious webpage integrated detection method based on stacking ensemble algorithm[J]. Journal of Computer Applications, 2019, 39(4):153-160.

[11]劉銘, 吳朝霞. 支持向量機理論與應用[J]. 科技視界, 2018, 245(23): 73-74.

LIU M, WU Z X. Theory and application of support vector machine[J]. Science and Technology Vision, 2018, 245(23): 73-74.

[12] BREIMAN L. Random forest[J]. Machine Learning, 2001:1-33.

[13] CHEN T, GUESTRIN C. XGBoost: a scalable tree boosting system[C]//The 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2016.

Scheme for identifying malware traffic with TLS data based on machine learning

LUO Ziming1,2, XU Shubin1, LIU Xiaodong1

1. The 54th Research Institute of China Electronics Technology Group Corporation, Shijiazhuang 050081, China 2. Shijiazhuang Communication Observation and Control Technology Institute, Shijiazhuang 050081, China

Based on analyzing the characteristics of transport layer security (TLS) protocol, a distributed automation malicious traffic detecting system based on machine learning was designed. The characteristics of encrypted malware traffic from TLS data, observable metadata and contextual flow data was extracted. Support vector machine, random forest and extreme gradient boosting were used to compare the performance of the mainstream malicious encryption traffic identification which realized the efficient detection of malicious encryption traffic, and verified the validity of the detection system of malicious encryption traffic.

transport layer security, encrypted malware traffic, machine learning

s: The National Key R&D Program of China (No.2016YFB0800302), Foundation of Science and Technology on Information Assurance Laboratory (No.614211203020717)

TP393

A

10.11959/j.issn.2096?109x.2020008

駱子銘（1993? ），女，河北石家莊人，石家莊通信測控技術研究所碩士生，主要研究方向為網絡安全。

許書彬（1981? ），男，河北石家莊人，中國電子科技集團公司第五十四研究所研究員，主要研究方向為網絡安全。

劉曉東（1983? ），男，河北滄州人，中國電子科技集團公司第五十四研究所高級工程師，主要研究方向為網絡安全。

2019?12?03；

2020?01?21

駱子銘，1042984406@qq.com

國家重點研發(fā)計劃基金資助項目（No.2016YFB0800302）；信息保障技術重點實驗室基金資助項目（No.614211203020717）

論文引用格式：駱子銘, 許書彬, 劉曉東. 基于機器學習的TLS惡意加密流量檢測方案[J]. 網絡與信息安全學報, 2020, 6(1): 77-83.

LUO Z M, XU S B, LIU X D. Scheme for identifying malware traffic with TLS data based on machine learning[J]. Chinese Journal of Network and Information Security, 2020, 6(1): 77-83.