基于大數據技術的攻擊溯源研究*

王 濤，張 淋，鄒初建

（杭州迪普信息技術有限公司，浙江 杭州 310051）

0 引 言

信息技術的蓬勃發展帶來了機遇，同樣也帶來了挑戰，大量應用系統豐富了我們的生活，由于通過網絡攻擊可獲取更多經濟利益，這一結果進一步刺激了網絡攻擊的泛濫。在網絡空間這個戰場上，攻防雙方的博弈實質上是信息獲取能力的對抗，只有獲取更多、更全的信息才能制定有效的攻防策略，在攻防博弈中取得優勢。作為防守方，需要明確誰攻擊了我，用了何種手段，突破點，攻擊路徑，這便是攻擊溯源。通過攻擊溯源技術確定攻擊源，以制定具有針對性的防護和反制策略，實現主動防御，抑制網絡攻擊產生的影響。由此可見，攻擊溯源在網絡攻防戰中的重要作用。

攻擊溯源技術發展至今，此領域已涌現出大量的溯源方案，如通過挖掘進程、文件與文件名之間的因果依賴關系的BackTracker溯源方案[1]，基于系統日志和應用日志關聯溯源的OmegaLog框架[2-4]，基于威脅情報的攻擊溯源方案[5]等，但這些溯源技術只是解決了一定場景中的攻擊溯源，無法覆蓋網絡攻擊的整個過程或需要大量的人工干預。

本文提出了一種基于大數據技術的攻擊溯源方案，該方案用于解決網絡攻擊的全流程溯源場景。首先，通過對網絡流量的采集、業務日志及系統日志收集，以及對主機脆弱性的檢測構建網絡攻擊溯源數據集；其次，對數據集進行單例分析、上下文分析、主機側與網絡側數據關聯分析以及結合主機脆弱性對攻擊數據進行分析和降噪；最后，通過MITRE公司提供的攻擊戰術、技術和常識的ATT&CK[6]模型對攻擊的各個階段映射構建完整的網絡攻擊溯源全景圖。

1 攻擊溯源

本節將詳細介紹攻擊溯源的原理、方法以及現狀等情況。

1.1 攻擊溯源基本思路

網絡攻擊溯源是指利用各種手段追蹤網絡攻擊發起者。在攻防的視角里，進攻方會占據比較多的主動性，而防守方則略顯被動，作為防守方需要盡可能多地收集網絡攻擊產生的痕跡，并將這些痕跡匯總分析，發現攻擊者意圖和攻擊路徑，進一步反向跟蹤直至找到攻擊者。

網絡攻擊溯源一般分為3個部分，首先，要通過安全設備告警、日志和流量分析、服務資源異常、蜜罐系統等對網絡攻擊進行捕獲，發現攻擊；其次，利用已有的IP定位、惡意樣本分析、ID追蹤等技術溯源反制收集攻擊者信息；最后，通過對攻擊路徑的繪制和攻擊者身份信息的歸類形成攻擊者畫像，完成整個網絡攻擊的溯源。

1.2 攻擊溯源技術的應用現狀

攻擊溯源技術發展至今，已經有多個機構和組織提出了針對不同場景的解決方案，以下針對部分方案進行介紹。

（1）BackTracker溯源方案[1]：通過分析進程、文件和系統日志之間的關系構建溯源模型，分析進程創建的依賴關系，在系統日志中尋找文件和進程之間、文件名和進程之間的依賴關系并分析溯源惡意文件，但由于僅通過文件關聯，適用的場景有限。基于建模的因果推斷（Modeling-based Causality Inference，MCI）[7]在BackTracker溯源方案基礎上進行改進，加入了基于因果關系的語義分析，增強了系統日志的依賴關系分析能力。以上模型均屬于典型的主機側溯源方案，由于僅關注進程、文件和系統日志，無法溯源到惡意文件投放路徑，所以僅能完成主機側溯源。

（2）OmegaLog框架[2-4]：提出了一種通過結合系統日志和應用日志的溯源框架，認為將系統上所有與取證相關的事件統一到一個整體日志中可以顯著提高攻擊調查能力。OmegaLog框架使用內核模塊攔截應用程序的系統調用，將進程號/線程號（Process ID/Thread ID，PID/TID）和時間戳信息梳理至業務日志，再通過控制流分析對應用日志和系統日志進行解析，生產事件流帶入溯源框架完成溯源。該方案結合應用日志，極大地增強了主機側的溯源能力，但由于攔截系統調用部署的難度較大，也僅能完成主機側溯源。

（3）基于威脅情報的攻擊溯源方案[5]：通過對IP反查、Whois域名解析、連接記錄中的統一資源定位器（Uniform Resource Locator，URL）等信息，關聯威脅情報中記錄的IP、域名、URL、文件哈希值等信息反查攻擊者信息，實現網絡側攻擊主機的定位。該方案是利用同類攻擊不會只在互聯網上發生一次的思想形成共享情報，再通過對攻擊者的網絡地址進行反向追蹤溯源。情報來源于共享，共享的數據本身存在滯后性，單從情報角度進行攻擊溯源可完成對已知攻擊再次發生的攻擊溯源，但很難應對攻擊手段變化情況的攻擊溯源。

攻擊溯源仍是一個較新的領域，發展仍處于探索階段，場景覆蓋程度和自動化程序均是目前研究的熱點。

2 基于大數據技術的攻擊溯源

大數據技術是指從各種各樣類型的數據中，快速獲得有價值信息的能力。

大數據技術特點可以概括為5個V，即數據量大（Volume）、速度快（Velocity）、類型多（Variety）、價值（Value）、真實性（Veracity）[8]。信息時代的發展會產生大量的數據，以網絡帶寬為例，互聯網早期每秒僅處理千字節級的數據，現在一個中型城市的出口每秒就要太字節級的數據，每天就要處理近百拍字節的數據，在此量級多樣的網絡數據基礎上完成數據高速存儲，分析提取，發現有價值的數據，就是大數據技術。

近年來，大數據技術在安全領域已經取得了許多新成果，如薄明霞等人[5]提出了基于大數據技術構建威脅情報共享平臺，為企業構建基于威脅情報的主動防御體系。運用大數據技術構建具有安全分析、持續安全監測以及安全運營能力的安全管理平臺等成功案例。

大數據技術的核心能力是在海量的數據中提煉出高價值的數據，網絡攻擊中典型的高級可持續威脅（Advanced Persistent Threat，APT）攻擊往往會長時間潛伏，而少量攻擊數據則是伴隨巨量的業務數據共同產生的，一個每秒幾千兆字節數據的業務流量場景，真實的攻擊行為數據可能只有不到幾千字節的數據。而在這種情況下，利用大數據技術快速完成攻擊溯源恰恰是值得深入研究的。

2.1 基于大數據攻擊溯源總體框架

攻擊溯源本質上是在大量的正常數據中尋找出攻擊者在攻擊過程中留下的痕跡，并通過這部分痕跡回溯攻擊者。攻擊溯源往往是在攻擊者對攻擊目標產生危害并被察覺后產生的動作，但由于時間跨度較大，或者攻擊者對攻擊痕跡的清理等因素，給溯源工作帶來極大的阻礙。大數據技術的成熟為攻擊溯源帶來了新的可能，大數據技術可以收集大量的異構數據，并對這些數據進行清洗，提煉出有價值的攻擊痕跡，再通過數據分析和模型關聯將這些信息串聯起來形成攻擊路徑，通過攻擊路徑的反溯找到攻擊入口、還原攻擊過程。

結合攻擊溯源技術和大數據技術，本文提出了一個基于大數據技術的多層溯源框架（Hierarchical Traceability Architecture，HTA），如圖1所示，HTA分為3層：基礎層為數據集層，中間層為數據清洗分析層，頂層為全景關聯溯源層。基礎層采集攻擊溯源所需的、不同來源的數據集，通過數據清洗分析層實現數據分類、歸并、標簽化處理，根據用途逐層分類、提煉分析，為全景關聯溯源層的多維度關聯分析提供依據。

圖1 HTA

2.1.1 數據集層

數據是攻擊溯源的基礎，溯源往往是在攻擊發生之后的動作，很多的網絡攻擊是在發生之后很久才被發現。傳統的攻擊溯源思路需要先在受害主機上發現惡意文件，再對少量數據進行分析發現明顯的異常，但應對APT攻擊溯源時明顯不足。整個APT攻擊過程可能覆蓋系統漏洞發現。漏洞利用攻擊、惡意代碼植入、遠程控制、數據泄露等過程，攻擊手段繁雜，所以數據收集的思路就需要改變，只有收集足夠多、足夠豐富的數據才能完整地繪制一條攻擊鏈。如利用系統漏洞攻擊時，系統日志、應用日志、網絡入侵檢測設備均可監控到部分攻擊線索。如果主機執行惡意程序，系統進程信息、文件名、系統日志等信息則會留下惡意程序執行后的痕跡。

數據的豐富程度決定了溯源能力的高低，HTA的數據集層收集威脅監測設備的攻擊日志、入侵防御系統、Web應用防火墻等網絡安全設備日志、原始網絡報文和網絡側連接信息構建網絡側數據集，收集業務訪問記錄、服務器日志、系統日志、系統進程監控數據等作為主機側數據集，同時收集威脅情報作為輔助佐證數據集，利用這些不同類別的數據集構建一個大的異構數據集，這樣盡可能地涵蓋攻擊溯源所需的數據。

2.1.2 數據清洗分析層

擁有大量的原始數據就相當于擁有了檢測能力，但數據并不是越多越好，需要對數據進行分類、歸并和標簽化處理，提煉有價值的數據。獲取的數據主要涉及結構化、半結構化和非結構化，由于半結構化和非結構化數據不利于分析處理，所以需要對其進行信息抽取。這一層的核心目標是完成有價值的數據的初步提煉，為后續的數據分析提供結構化的數據。

HTA采用數據分類歸納法完成數據的初層次提煉，同類型數據清洗流程如圖2所示，然后按照數據用途進行數據逐層分類。

圖2 同類型數據清洗流程

按照數據類型分為結構化數據、半結構化數據和非結構化數據，再分別對結構化數據、半結構化數據和非結構化數據進行分類。如攻擊日志、訪問記錄等屬于結構化數據；進程運行記錄、服務后臺錯誤記錄等屬于半結構化數據；原始報文、系統運行狀態等屬于非結構化數據。

使用同類數據歸納法對冗余數據進行去重處理。使不同來源的同類數據在同一框架規范下進行異構數據清理、去重、歸一、索引建設等步驟，形成高質量、有價值的歸納數據。以防火墻記錄的連接關系日志和服務端記錄的業務訪問記錄為例，兩種數據都是訪問記錄，針對此類記錄需要提取公共信息和必要的附加信息，并針對冗余數據進行去重，避免冗余信息干擾。

同類數據完成歸納清理后，根據用途逐層分類、提煉分析。例如，為確定攻擊溯源的入口，攻擊溯源首先需要做的就是將大量的訪問記錄和受害者主機上記錄的各類日志統一發送至大數據平臺的數據清洗分析層，對清洗后的數據進行提煉分析發現單點事件；發現單點事件后，一般可以先從網絡安全檢測設備入手，例如，通過全流量威脅檢測探針、入侵防御系統、Web應用防火墻、主機檢測軟件等發送的攻擊檢測日志。針對這一類數據，一般按照攻擊時間、攻擊手段、攻擊頻次、地理位置、攻擊狀態、攻擊方向等方面進行再次分類，并按照數據類型建立數據查詢索引，為后續的溯源模型及關聯分析建立溯源主線索。攻擊事件溯源主索引確定后，可以沿著攻擊路徑進行深入的攻擊溯源分析。

2.1.3 全景關聯溯源層

溯源模型的構建是自動化溯源的基礎，所有技術均圍繞著溯源模型進行分析處理，自動化溯源調度工作流如圖3所示，在數據清洗分析層基礎上進行單場景溯源、全場景關聯。

圖3 自動化溯源調度工作流

HTA采用場景建模法建立單場景溯源模型，如典型的勒索病毒“永恒之藍”在傳播過程中會利用SMB服務器的漏洞，利用過程的行為至少分為兩個步驟，在建立場景化模型時，一是針對這一類勒索病毒的攻擊方式、攻擊特點等方面建立場景模型；二是按照在模型內部對行為發生的時序進行限制，從而提升此類攻擊溯源的準確性。

完成單場景溯源模型的準備后，再通過ATT&CK模型進行全場景關聯溯源，ATT&CK模型由MITRE公司提出，它是一個站在攻擊者視角來描述攻擊中各階段用到的技術模型，將攻擊劃分為戰術和技術兩部分，該模型涵蓋了網絡側數據的映射和主機側數據的映射，按照攻擊者的思路梳理出一個完整的攻擊過程全景圖。此模型可作為攻擊溯源基礎指導模型，對各階段的數據進行映射，形成攻擊事件的戰術和技術分布圖，再進一步對時間軸、受害資產屬性、威脅情報、相關聯的攻擊路徑上的數據進行多維度關聯，將映射過的數據與攻擊場景相結合進行系統的分析、攻擊降噪和攻擊取證，最終形成完整的攻擊溯源報告。

3 應用實例展示

本文基于HTA構建的大數據溯源平臺，以一次挖礦木馬的攻擊溯源過程為例進行實際效果展示說明。

大數據溯源平臺通過接收在網絡環境中部署的全流量威脅檢測探針采集數據，并借助大數據技術的優勢將采集到的數據持續永久化，為攻擊溯源提供數據支撐。此案例主要收集了攻擊日志、訪問記錄、原始報文、資產屬性等數據，并將數據入庫建立數據集。按照HTA的數據分類歸納法將收集到的數據進行分類，再對數據進行標簽和屬性富化處理，提升單條數據的價值權重。該平臺采用告警觸發和輪詢觸發兩種方式自動溯源，設置攻擊日志作為權重最高的索引線索。

以此案例中監測到的攻擊日志為例，IP地址34.1.1.10對IP地址192.168.100.1的掃描探測攻擊日志在被監測到后根據分類規則被劃分至攻擊日志，攻擊日志作為溯源的主索引權重較高，借助大數據的實時流式處理技術進行屬性富化處理，將源IP地址的地理位置、國家編碼以及目的IP地址的資產名稱、資產類型等信息富化至攻擊日志，并將此日志歸類為針對資產類攻擊線索的結構化數據——網絡攻擊日志。大數據實時流式處理技術可快速高效地將數據富化，盡可能將信息歸并至一條數據內，有效降低單日志分析模型的關聯分析工作，提高溯源效率。處理后的數據如圖4所示。

圖4 分類后的攻擊日志數據

完成數據集的構建和數據清洗工作之后進入HTA的全景關聯溯源層，首先針對持久化之后的數據，需要進一步分析完成單點事件的場景化分析。通過場景化事件模型分析過濾掉干擾數據，將判定成功的數據生成告警信息輸出，并作為全景溯源的數據輸入。以此案例的nmap掃描探測攻擊告警信息為例，由于監測到了多次IP地址34.1.1.10對IP地址192.168.100.1的nmap掃描探測攻擊日志，在非結構化的原始報文中關聯取證發現，掃描探測報文中攜帶了nmap的簽名信息，符合網絡側攻擊溯源模型中nmap掃描探測攻擊模型，由此可以判定此攻擊較大概率真實發生。

大數據技術提供了實時分析和離線分析兩種模式，結合攻擊溯源技術可采用實時處理模型分析短時間內的熱數據，再通過離線分析模型處理多種數據之間的關聯關系，足以應對主機側溯源、網絡側溯源、網絡側主機側關聯溯源的各類復雜場景。告警信息如圖5所示。

圖5 nmap掃描探測攻擊告警信息

完成單點事件模型分析后進入HTA的ATT&CK 模型映射過程，針對告警數據采用告警信息的攻擊類型和告警名稱詞法分析映射，將攻擊日志映射至ATT&CK的戰術和技術中，再將攻擊日志關聯的連接信息、原始報文等信息映射至對應的戰術和技術中。ATT&CK的技術涵蓋了主機側技術和網絡側技術，可覆蓋攻擊者從網絡側入侵到主機側執行控制的全路徑，作為全場景溯源的數據組織框架，使用戰術和技術抽象出攻擊關系，可有效解決單分析主機側數據和單分析網絡側數據的溯源不完整問題。以nmap掃描探測攻擊告警為例，攻擊類型為掃描探測，告警名稱為“nmap安全工具掃描（nmap）”，攻擊類型包含關鍵詞掃描探測映射至戰術掃描探測，告警名稱包含工具掃描映射至技術進行主動掃描。ATT&CK模型映射階段不考慮告警之間的關聯關系，將全量告警信息映射至ATT&CK模型，對后續的攻擊者與受害者之間的攻擊關系和攻擊發生的時間進行關聯分析，進一步分析溯源形成完整攻擊路徑，再針對完整的溯源結果重新繪制事件的ATT&CK映射關系圖，圖6為此案例最終的模型映射圖。

圖6 ATT&CK模型告警映射圖

最后根據攻擊者和受害者之間的邏輯關系、ATT&CK模型各階段的邏輯關系以及時間軸關聯溯源，形成完整的攻擊路徑，還原攻擊全過程。以此案例為例，從受害者192.168.100.1回連攻擊者71.0.1.147的比特幣挖礦告警信息作為時間軸終點反向回溯攻擊過程，比特幣挖礦屬于ATT&CK模型的深度影響階段，可以判定71.0.1.147為數據回連服務器，此類攻擊在通常情況下不會將數據回連服務器作為攻擊者發起攻擊，所以需要關聯其他攻擊受害者192.168.100.1的告警信息，反向溯源發現攻擊者34.1.1.10對受害者192.168.100.1發起多種類型的攻擊且覆蓋了ATT&CK的多個階段，同時關聯受害者192.168.100.1發起的告警信息，發現192.168.100.1向192.168.100.123發起了Web漏洞攻擊，屬于ATT&CK模型內網的橫向擴散階段，還原整個攻擊過程為：攻擊者71.0.1.147利用掃描探測、Webshell上傳、Webshell注入、命令注入、信息泄露、惡意軟件下載等手段實現了對受害者192.168.100.1的遠程控制，使受害者192.168.100.1淪為挖礦主機，且正在試圖向192.168.100.123橫向擴散。完成溯源后的基于攻擊關系的溯源關系如圖7所示。

圖7 溯源關系

圖8 為完成溯源后的基于時間軸還原的攻擊過程截圖。

圖8 完整攻擊過程

相較于僅集成系統日志與應用程序日志的OmegaLog框架[2-4]，一方面，HTA涉及的數據范圍更廣，包括集成攻擊日志、入侵防御系統、網絡安全設備日志、網絡側日志、主機側日志等，同時收集威脅情報作為輔助佐證；另一方面，由于整合多源數據，HTA的溯源分析不再局限于主機側的溯源，而是涵蓋主機側、網絡側、終端側，同時結合漏洞、情報庫等實現溯源佐證，使溯源路徑更完整。OmegaLog框架[2-4]側重于分析主機側的系統日志和應用日志，關聯分析發現安全事件。在本案例實施過程中，OmegaLog框架僅能看到惡意軟件在主機側的惡意行為，無法監測到入侵動作前和入侵后的擴散動作。HTA解決了攻擊溯源未關聯網絡側數據問題，能夠通過分析網絡側相關數據發現入侵前行為和橫向擴散行為，使繪制的溯源路徑更加完整。

4 結 語

網絡攻擊發展至今，使我們面對的是有一定反檢測能力的攻擊者，特別是高級APT攻擊通常較為隱蔽，不易觸發單點的安全策略和檢測，需要進行更多維度和大視角的數據分析，才能發現攻擊并進一步溯源。本文提出的基于大數據技術的多層溯源框架（HTA）結合多元數據實現自動化溯源，還原攻擊過程，為構建大數據溯源平臺提供方法。

隨著數據收集越來越完善，可在持續提煉模型和關聯手段方面持續研究，如關聯地址備案信息、DNS域名備案信息、郵件備案信息等，通過大數據技術實現更深層次的攻擊溯源，實現溯源至攻擊者ID信息的攻擊溯源。