一種在大規模網絡中挖掘惡意軟件分布的方法

邱凌志 顧弘

1引言

惡意軟件是互聯網中最嚴重的網絡安全威脅之一，受害主機一旦感染惡意軟件便可能被用作發送垃圾郵件、進行拒絕服務攻擊以及竊取敏感數據。作為攻擊的關鍵步驟，攻擊者需要將惡意軟件安裝在盡可能多的受害主機上。攻擊的過程一般分為3個步驟：①注入代碼，這一階段攻擊者的目的是在受害主機上執行一小段代碼，這段代碼通常被稱為shellcode。比如，攻擊者首先準備一個包含漏洞利用代碼的網站，當受害者訪問惡意網頁后，漏洞利用代碼強制瀏覽器執行shellcode；②注入成功后，shellcode下載真正的二進制惡意軟件并加載；③惡意軟件一旦啟動，這一階段將呈現其惡意行為，典型的行為比如連接遠程命令控制服務器（C&Cserver）。

對于保護用戶避免受到惡意軟件侵害，過去的研究主要關注于第①階段與第③階段。一部分工作是通過對掛馬網頁的檢測，將相關域名或url列入黑名單，阻止瀏覽器訪問惡意頁面；另一部工作則是聚焦于控制階段，目的在于檢測終端惡意代碼的執行，例如，反病毒軟件通過特征識別惡意軟件。然而，惡意軟件可以通過域名變換、文件重打包和分布式主機等手段逃避檢測。

目前為止，很少有研究關注到第②階段，即shellcode下載惡意軟件安裝的過程。shellcode通常利用http請求從遠端服務器下載程序，并在本地安裝執行惡意軟件。這些請求一般通過用戶瀏覽器進行簡單的功能調用，從網絡角度來說，與用戶的正常軟件下載請求很難區分。可是，當進入大規模網絡，便會發現大量惡意軟件通過不同主機下載，而這些惡意主機又均與某一服務端相關，呈現出惡意軟件基礎設施分布，這種分布與CDN網絡有些類似，但仍有不同。

本文提出一種在大規模網絡中檢測惡意軟件分布的方法，該方案聚焦于惡意軟件基礎設施之間的網絡關系，在大規模網絡中區分正常和惡意流量，用以發現傳統檢測方法無法檢測到的惡意軟件。作者已經實現了方案的原型系統，并使用真實的2天城域網級別流量作為訓練集、7天城域網級別流量作為測試集進行實驗評估，結果表明方案能夠在大規模網絡中有效挖掘惡意軟件網絡分布，2個數據集對應的檢測準確率分別為87.3 %，64.2 %。此外，實驗表明方案還具備檢測未公布的惡意軟件網絡基礎設施的能力。

2惡意軟件研究

作者對超過500條近半年的互聯網公開威脅情報研究發現，惡意軟件無論是利用暴力破解各類服務端口方式傳播、或者是利用釣魚郵件方式傳播、亦或是利用瀏覽器漏洞的水坑攻擊方式傳播，在注入shellcode之后，會從服務端下載真正的惡意程序，然后開展挖礦、勒索、信息竊取、組成僵尸網絡等惡意行為。上述行為可以使用洛克希德·馬丁公司提出的威脅情報驅動防御模型“網絡殺傷鏈（Cyber-Kill-Chain）”進行描述。該模型用于指導識別攻擊者為了達到入侵網絡的目的所需完成的活動，共7個步驟：偵察跟蹤、武器構建、載荷投遞、漏洞利用、安裝植入、命令與控制、目標達成。發現前4個步驟的攻擊方式具有變化多、更新快的特點，惡意軟件使用加密、混淆方式逃脫檢測，甚至利用“0day”“1day”“Nday”等最新漏洞，不利于提煉通用的惡意軟件檢測方法。后面2個步驟———安裝植入、命令與控制呈現出一定通用性，一般利用木馬后門通過Web訪問方式下載真正的惡意程序。我們的研究正是聚焦于這一階段。

基于這500多條公開威脅情報的IOCs信息，提取了992條惡意url記錄。其中使用https協議的記錄為57條，占比5.7 %；剩余935條記錄全部使用http協議，占比達到94.3 %。可以看出，雖然越來越多的互聯網應用使用加密的https協議，但惡意軟件由于成本低、傳播便利的因素，大多數仍使用http協議。因此，我們的研究對象也聚焦于http協議報文。

在這992條惡意url中，按照文件后綴類型統計，exe后綴最多，txt后綴次之，占比分別達到41 %，8 %。我們對所有惡意url進行重放，檢測訪問請求所下載的文件類型，選取部分代表性的后綴類型。我們發現，exe后綴對應的文件100 %為可執行類型application/octet-stream；zIP后綴對應的文件75 %為可執行類型application/octet-stream，25 %為html文本類型text/ html；而png后綴對應的文件無一例圖片類型image/gif，50 %為普通文本類型text/plain，41.7 %為可執行類型application/ octet-stream，剩余8.3 %為html文本類型text/html。可以看出，惡意軟件通過改變文件后綴躲避檢測，我們的檢測系統將會識別這種情形。

3系統設計

MDD系統的整個檢測過程可以分為3個階段：提取階段、篩選階段、分析階段。

3.1提取階段

MDD系統的輸入數據為大規模網絡中的http流量。根據ISP提供的流量數據，每日的http請求報文數量達到10億級別。我們不可能直接檢測這一數量級的報文，因此，在這一階段我們的目的是利用白名單方法過濾掉大部分非惡意流量。

正如第二章討論的那樣，惡意軟件經常修改后綴類型，因此，不能基于http返回報文中的Content-Type字段判斷文件類型。我們需要重放http請求報文，根據下載文件的MIME字段判斷文件的真實類型，結果如在預先制定的白名單范圍內，則過濾掉該報文。否則，我們提取源IP、目的IP、文件hash、完整請求url等字段生成待檢測記錄。

3.2篩選階段

在篩選階段，針對惡意攻擊者常用的4種技術進行檢測。

①服務端多態。為了躲避檢測，惡意攻擊者會經常改變服務端惡意文件下載路徑，甚至使用不同的域名，這些方式被稱為服務端變化。對此特性，我們將進行檢測。

②分布式主機。惡意攻擊者為確保惡意服務端有效，通常會使用多個服務端，這種分布式的主機與CDN網絡有些相似。在這里，我們使用機器學習的分類算法區分正常CDN與惡意分布式網絡。

③專用惡意主機。惡意攻擊者可能通過重定向技術將受害主機重定向至惡意域名，而這些專用惡意域名與正常網頁在html頁面、CSS文件、JavaScript腳本程序方面有許多不同。我們對此加以區分。

④掛馬網頁。受害主機首先通過瀏覽器訪問惡意網頁，被注入shellcode后會再次連接惡意服務端，我們可考慮利用User-Agent字段識別這樣的網絡行為。但用戶使用不同瀏覽器訪問同一網站或者NAT網絡可能造成誤報，對此我們需要加以區分。

3.3分析階段

基于上述2個階段篩選出的可疑記錄，生成惡意軟件基礎設施網絡分布圖，直觀展現惡意軟件的網絡分布。惡意軟件基礎設施網絡分布圖是無向圖，由以下元素構成：完整url、文件路徑uri、文件名file、服務端IP、客戶端IP、完整域名FQDN、頂級域名domain以及文件hash值。

4系統實現

4.1過濾預處理

在提取階段，首先將存儲在HDFS的海量http流量請求報文檢索出來。為了提升下一步重放報文的效率，檢索過程同樣采用域名白名單的方法。域名白名單的制定由統計平均和經驗總結相結合，包含傳統互聯網頭部企業域名，例如baidu.com，qq.com，也包含新興流行互聯網應用域名，例如yximgs.com， miwifi.com。由此，我們制定了域名白名單top100。

第二步，遍歷檢索出的http請求報文，如果包含文件下載的請求，則重放該報文。然而，下載文件開銷很大，尤其是大文件。幸運的是，我們可以使用wget命令只下載文件的前1kb。此后，通過linux的file命令判斷文件類型，file命令通過文件頭判斷文件真實類型，而不依據文件后綴。如果命中MIME白名單（如視頻、音頻、圖片等格式）則舍棄，否則計算文件hash值，并提取IP，url，user-agent等字段作為一條記錄，進入下面檢測階段。

4.2服務端多態檢測

第一個檢測機制是捕捉惡意軟件發布者嘗試繞過反病毒軟件基于簽名檢測的行為。反病毒軟件會對已識別的惡意程序進行hash簽名，為了避免在終端被檢測到，惡意軟件發布者頻繁地變更他們的惡意文件。典型的，惡意軟件發布者利用一系列不同的加密密鑰對惡意程序進行重打包。檢測方法是檢索滿足如下2個條件的下載記錄：①只有單一的uri；②下載超過個不同的文件，文件依據上一階段的hash值進行區分，的取值我們在實驗中將進行評估。實際的例子觸發這一檢測機制的uri如/dlq.rar，該uri有多種域名變化，如www.9530.ca，585872. com。可以看出，發布者不僅重打包惡意軟件，而且通過域名變換增加了惡意軟件的魯棒性。

4.3分布式主機檢測

惡意軟件發布者大多會采取一些手段確保自己的惡意軟件長期有效，從而獲取更多收益，因此，會在許多服務主機及域名上對惡意軟件進行備份，這與傳統的內容分發網絡CDN類似。但是和傳統的CDN有些不同的是，惡意軟件發布主機需要防止殺毒軟件的封殺，因而會對惡意軟件發布集群進行一些改造，我們的研究正是利用這些被改造的特性來分類惡意軟件發布集群。我們的方法分為2個階段：首先，我們試圖找到CDN；然后我們使用一個分類器區分正常CDN與惡意CDN。

第一步，根據文件hash值將所有記錄進行聚類，即當2條下載記錄擁有相同的hash值h，而對應的url分別為u1和u2時，將這2條記錄關聯，形成一個cluster。如果2個cluster存在相同的domain或服務端IP，則將這2個cluster合并為一個。我們認為所有的cluster至少包含2個記錄，否則無法構成CDN網絡。

第二步，使用機器學習的方法在上一階段的結果中區分正常CDN與惡意cluster，檢測分布式惡意軟件主機，通過對數據手工打標簽的方式，訓練我們的分類器。在此選擇隨機森林的算法作為分類器，以滿足需求。根據對惡意軟件基礎設施的研究，我們總結以下6個分類特征：

域名共存：為了減少開銷，惡意軟件常常將很多域名放在同一臺服務器上，這臺服務器提供同一個惡意軟件，只是軟件名不同，正常CDN不會出現這種情況，因為這種行為違反了信息冗余性和負載均衡，這個特征值等于一個cluster中所有的域名數、IP數。

頂級域名數：為了逃避域名黑名單的檢測，惡意軟件通常會使用一系列不同的頂級域名，正常的CDN一般使用同一頂級域名下的二級域名。

每個域名上的路徑數、文件名數：正常的CDN為了使用戶下載更加方便快捷，會有良好的目錄組織而發布惡意軟件的集群逃避黑名單檢測，通常會在集群主機中設置不一樣的目錄結構與文件名。對于上述特征我們計算路徑數、文件名數或域名數。

每個域名上的uri數量：惡意軟件發布者在每個域名上通常只使用很少的uri數量，最常見的情形只有一個。相較而言，正常的CDN有大量的目錄結構。我們將此作為篩選惡意軟件的一個指標。對于這一特征，我們計算集群域名中所有uri數量或域名數。

文件類型：正常CDN會提供不同的文件類型供用戶下載，而惡意軟件服務端提供最多的是可執行文件。我們計算集群中所有主機的可執行文件數或所有文件數，作為特征指標。

4.4專用惡意主機

惡意軟件發布者經常使用專用主機隱藏在僵尸網絡幕后，因此，難以被檢測到。但是，這些專用惡意主機也有很明顯的特征，我們注意到，這些主機通常只會存放少量的可執行文件，很少有其他類型的文件，最多包含個別html頁面，因為它的首要目的就是發布惡意軟件。這與提供正常Web服務的主機有很大不同，正常主機包含了html頁面、css文件以及JavaScript腳本等，利用這個特征，可以檢測出專用惡意主機。據此，我們發現了112adfdae.tk這個域名，它被KingMiner挖礦網絡用來傳播挖礦程序。

4.5掛馬網頁

受害主機通過瀏覽器訪問惡意網頁，被注入shellcode后會再次連接惡意服務端，在某些情況下，存在shellcode的服務器和存放惡意軟件的服務器是同一個主機。觀察這種情形的網絡流量行為特征：連續2條請求報文，一條來自瀏覽器，一條來自shellcode。因此，我們的目標是尋找來自同一源IP，但user-agent字段有不同的連續http請求報文。其中，第一個請求的文件類型必須是可執行文件。然而，NAT環境會對檢測產生干擾，對此，我們可以設定一個請求報文的時間間隔閾值，實際檢測過程中設定為1分鐘，當時間間隔小于這個閾值時，則認為其是惡意軟件行為。符合這一策略的是znshuru.com域名下的setup_pgytg001.exe文件，瀏覽器下載后會再次下載.dat格式的惡意文件，user-agent字段為NULL。

4.6惡意軟件基礎設施網絡分布圖

正如3.3節所述，定義惡意軟件基礎設施網絡分布圖為篩選出的可疑記錄之間存在關系的惡意行為集合。一個最簡單的網絡圖由8個節點構成，我們關心以下節點之間的關系：

url屬于同一完整域名FQDN或頂級域名domain；

同一url下載的不同文件hash；

同一服務端IP的不同域名；

相同uri或文件名file。

開始圖中只有一個url節點，然后我們添加url到各節點的邊，當2條記錄存在上述關系時，合并2條記錄。如此迭代，直到圖無法增長或達到預先設定的大小（比如800個節點）。

一旦惡意軟件基礎設施網絡分布圖生成，安全分析人員可以直觀地看出圖中的哪個url節點或服務端節點（包括域名、IP）是惡意的。這基于簡單的規則：如果節點越孤立，則可能性越低，否則，屬于惡意的概率越大。當然，為了量化這一概率，我們需要先對邊賦值：

邊url-hash，權重為1；邊url-server，權重為1；邊url-client，權重為4；其余的邊權重均為2，然后，我們給出節點j的惡意概率j的計算公式：

5結果分析

在討論實驗結果之前，需要先明確判斷下載文件是否為惡意軟件的標準。使用virustotal檢測url、域名以及IP，virustotal使用多個反病毒引擎，當有2個及以上反病毒引擎檢測結果為惡意時，我們判斷該對象為惡意的。對于那些可疑，但virustotal未檢測為惡意的，通過沙箱結合人工的方式進行驗證。此外，實驗中使用的惡意樣本集為通過互聯網公開威脅情報收集的url、域名和IP等信息。

服務端多態：的目標是檢索那些url相同，但文件hash不同的記錄。我們在4.2節討論過，不同文件hash數量n的取值，我們在實驗中進行評估。在訓練集中，當= 2時，檢測惡意url的數量為55。然而此時，反病毒軟件的升級請求數量為423，會造成大量誤報，極高的假陽率影響檢測。因此，我們一方面通過域名白名單對反病毒軟件進行過濾，另一方面根據實驗結果，取= 10。改善后，該方法的檢測準確率達到93.4 %，假陽率僅為6.6 %。

分布式主機：實驗中使用隨機森林作為分類器區分正常CDN和惡意CDN。在訓練集中，初始參數的隨機森林成績僅有0.87左右，經過參數調整優化，方案對分布式主機的檢測準確率達到92.1 %。在測試集中，經驗證實際的準確率稍有降低，數值為85.2 %。

整體評估：專用惡意主機，檢索只有一個可執行文件的域名，此外最多可有一個html或js頁面。掛馬網頁，檢索域名、源IP相同，user-agent字段不同的記錄集合，且集合中至少包含一個可執行文件下載記錄。實驗中發現這2種檢測方法相較前2種方法準確率稍微低一些，這是因為有小部分正常的流量請求也滿足檢索條件。將4種檢測方法結合，在表1中給出整體實驗結果，評估方案的有效性。

在訓練集中，檢測結果去重后給出166條惡意記錄，通過驗證后，發現其中存在21條誤報，準確率為87.3 %。在測試集中，檢測結果去重后給出369條惡意記錄，通過驗證后，發現其中存在132條誤報，準確率為64.2 %。可以看到，隨著測試數據的增多，系統的準確率也出現了下降。幸運的是，由于惡意軟件基礎設施變化較快，檢測對象為一段時間T內的流量數據，T的取值一般為最近一天，最長一周。如果T時間太長，許多設施便會無法訪問。

此外，使用樣本集共161條惡意流量數據進行測試，MDD共檢測出其中108條，假陰率為32.9 %。這是因為，樣本集中有一些獨立的惡意url，比如doc，jar為后綴的，與其他url未呈現相關性，MDD對此難以識別。不過，傳統惡意軟件可以通過黑名單的方式檢測，我們的目標是輔助傳統檢測方法，而不是代替它。

最后，在2019年11月的測試集中，MDD檢測到一個惡意域名es.ldbdhm.xyz，它被用作發布眾多jpg后綴的惡意文件，這些文件實際上是可執行pe文件。我們關注到，2019年12月互聯網公開了相關威脅情報，它是“紫狐”木馬使用的最新惡意域名。由于未被標記，傳統的黑名單檢測方法無法檢測到該域名，而MDD卻可以挖掘到該惡意軟件的最新基礎設施，這表明了MDD的有效性。

惡意軟件基礎設施網絡分布圖中包含14條檢測記錄，由于部分節點相同，因此節點數小于14乘以字段數8，實際共79個節點。實驗中，我們在訓練集、測試集中分別生成了30、66幅惡意軟件基礎設施網絡分布圖，它們按照大小進行統計的結果，占比最多的為節點數小于50的生成圖。節點數小于50的生成圖網絡關系比較簡單甚至無相關性，因此MDD的誤報也集中在這一區間。

6結束語

本文提出一種新的在大規模網絡中挖掘惡意軟件分布的方法。區別于傳統惡意軟件檢測方案，MDD不使用黑名單或終端行為特征檢測技術，而是聚焦于挖掘惡意軟件網絡基礎設施，輔助發現那些多變化的惡意軟件，彌補傳統檢測方案的不足。然而，在大規模網絡流量中區分正常和惡意報文給我們的工作帶來挑戰，我們使用白名單、機器學習分類技術，結合網絡關系可視化，完成了檢測方案的設計。本文實現了MDD系統的原型，分別選擇真實的2天http城域網級別流量作為訓練集、7天城域網級別http流量作為測試集，對系統進行了評估。實驗表明，MDD系統能夠有效檢測大規模網絡中的惡意軟件網絡分布關系，以及尚未公布的惡意軟件網絡基礎設施。