在網絡流量中搜索惡意輸入并自動修復驗證

丁志芳，徐孟春，費勤福，武東英

（信息工程大學 數學工程與先進計算國家重點實驗室，河南 鄭州450002）

0 引 言

查找和識別惡意輸入、事件和輸出是入侵檢測系統的根本任務。構建這樣的系統和對它們的屬性推理是入侵檢測研究的主要目標。在這個領域中的一個關鍵問題是系統無法自動保護自身免受攻擊。為了能夠識別和發現現有的和新出現的攻擊，系統必須具有自動反應機制。自我修復軟件技術的最新進展為自動入侵響應鋪平了道路。檢測技術的局限性在于必須在響應之前發現入侵檢測的缺陷 （誤報和漏報，失效開放性，性能等），也就是說在響應之前必須檢測到攻擊。此外，許多系統管理員不愿意讓自動防御系統擅自對計算環境做出改變，即便機器的反應比人類快了不止一個數量級。

攻擊的不可預測性、檢測機制不精確性以及對自動響應系統缺乏分析，導致人們對自動防御和自我修復系統的使用缺乏信心并且持懷疑態度。因此，自動生成的解決方案必須以自動化的方式進行非常詳細、嚴謹和認真的測試。ARV是入侵防御研究中值得進一步探索的領域。本文研究的重點是，監控以網絡為中心應用的ARV系統所面臨的挑戰。以網絡為中心的應用是普遍的攻擊目標，這是由于攻擊者可以匿名，并且很容易將輸入送到系統。網絡系統的復雜性大于其他系統，更復雜的問題域有利于說明ARV系統可能面臨眾多的挑戰。

1 相關工作

輸入和事件的分類是入侵檢測系統根本目的，ARV的前提是適當地對系統輸入分類。基于網絡的入侵檢測系統的主要任務是掃描網絡數據包和流量，尋找與內容相匹配的特征或超出正常范圍內流量模型[1]。ARV的目標是進一步對涉嫌惡意流量進行分類，并將它們與故障和修復相關聯，然后再如實地重放引發最初的攻擊或漏洞檢測儀器的相關流量。

1.1 識別惡意流量

ARV系統的第一個關鍵任務是跟蹤輸入，這些輸入可能是惡意的，并與自我修復設備所生成的事件關聯。為了對惡意輸入進行分類，以網絡為中心的ARV系統可以利用各種網絡入侵檢測系統 （network intrusion detection system，NIDS），根據實際系統的使用情況進行分類。例如，誤用檢測系統依賴特征來檢測惡意流量，這種檢測無法識別新出現的攻擊。然而，ARV只能夠驗證修復這些已知的有明顯特征的攻擊。由于這樣的特征常常是手動創建的，ARV的分類能力對這類誤用檢測系統是徒勞的，除非特征是自動生成的，這就是多個系統[2－8]這樣做的目的。

為了生成一個特征，大多數系統檢查網絡流量或識別惡意輸入的主機內容。也可以采取一種混合的方法，尋求主機對網絡流量數據的處理。

1.2 重傳流量

重傳流量的能力是一個以網絡為中心的ARV系統的第二個重要方面。TCPopera是廣泛適用于能夠快速，不停產生大量的真實的網絡數據 （測試新的應用，協議，網絡協議棧等）的情況，它是特別適合于ARV。事實上，測試入侵防御系統 （intrusion prevention system，IPS）[9]是作為TCPopera一個有用的應用。TCPopera的優勢之一是該系統完全避免了在重傳過程中產生副作用的數據包，它如實地再現原流量。

重放網絡流量取決于流量產生的兩種主要方法首先，原始數據包流可以記錄和重放，但這種做法缺乏技巧，因為它把數據包作為一個黑匣子。因此，調整或修改參數以反映實際的測試條件是困難的。此外，它可能需要大量的存儲。第二種方法是基于上建立一個流量分析模型，然后生成符合這些特征的流量。雖然這種做法避免了大量的數據存儲成本，并提供了靈活配置，但是該模型的預測可能是不正確的。

1.3 自我修復軟件

如果一個系統集成或通過一個自我修復機制保護，ARV是唯一有意義的。大多數的這些機制都遵循ROAR（Recognize識別，Orien t定位，Adapt適應，Respond響應）工作流程。ARV是 “響應”階段的一個合乎邏輯的重要組成部分:驗證系統適應性。

自我修復機制是活躍的研究課題。Rinard et al.等開發的編譯器插入代碼來處理訪問未分配的內存，通過擴大目標緩沖區 （在寫入的情況下），或者制造一個值 （在讀取的情況下）。這種技術是利用故障疏忽計算。

Viglante是需要包含Internet蠕蟲的系統。為此，Viglante提供了一個機制，及時發現已被利用的漏洞。此漏洞的具體做法的一個主要優點是，Viglante與漏洞無關，可以用來抵御多態蠕蟲。雖然Viglante并沒有解決自我修復利用的軟件，它定義了一個用于生產和驗證的自認證警報 （SCA's），用于交換發現的弱點有關下列內容的信息的數據結構的架構。Vigilante的工作原理是分析控制流路執行注入的代碼。

最后，重要的是區分安全的自我修復系統和入侵防御系統，作為ARV的目的是要使用與文獻中提到的系統形式結合。另一方面，IPS是當今商業系統中，只有一個是原始形式的自我修復。自我修復軟件研究是一個系統，可以自動識別以前看不到的攻擊，利用先前未知的安全漏洞，防止發生的任何損害或撤銷的惡意輸入，并改變自己，擊敗未知的情況或變種的攻擊，對所有的正常運行沒有任何不利影響。

2 系統方法

輸入和事件的分類是入侵檢測系統根本目的，ARV的前提是適當地對系統輸入分類。基于網絡的入侵檢測系統的主要任務是掃描網絡數據包和流量，尋找與內容相匹配的特征或超出正常范圍內的流量模型[1]。ARV的目標是進一步對涉嫌惡意流量進行分類，并將它們與故障和修復相關聯，然后再如實地重放引發最初攻擊或漏洞檢測儀器的相關流量。

假設存在產生自我修復補丁或修復程序的系統，ARV主要目標是自動驗證系統的 “已修復的”新配置。為了自動采用此修復程序，ARV必須確保兩個方面。首先，修正必須能抵御引發自我修復過程的實際攻擊輸入。其次，該補丁不能干擾該系統的正常操作。

傳統的回歸測試可以解決第二個問題，但是第一個問題仍然沒有解決，主要是因為捕獲攻擊輸入很困難。雖然可以從IDS軟件的提示中搜索使用審計信息，但在解決這個問題時仍然面臨著很多挑戰。

2.1 系統面臨的挑戰

系統無法維護無限期日志流量。即使存在這樣的日志，搜索也是一個漫長的過程，從而減緩了修復程序的自動部署。此外，識別某一特征的流量也有一定的難度。如果日志中只包含警報，使用警報中包含的信息往往不足以重建的報文攻擊流。

一個簡單的方法是重放整個流量日志，以確保重放攻擊數據包，但很可能沒有必要重放幾個月的流量，特別是如果攻擊包含在最近一個或兩個數據包中。重放整個流量日志可能意味著資源的過度利用，特別是繁忙的服務器。

無論使用哪種具體機制，該過程對于被攻擊的應用程序都應是盡可能透明的。然而，實現透明度的成本是相當高的，需要整個鏡像網絡以提供一個測試平臺。

最后，重放必須在真實的原始數據流和當前狀態之間平衡。盡管創建一個隔離的虛擬網絡，在這個網絡中重放應用程序檢查點的流量可以解決這個問題，但是必須選擇保存或保留哪個狀態。

2.2 系統的任務

系統的3個主要任務:

（1）有選擇地記錄網絡流量；

（2）在記錄流量中搜尋；

（3）重放適當的流量測試自動生成的修復程序。

記錄流量的方法有很多。一個簡單的方法是只記錄那些與已知的惡意內容特征相匹配的流量 （如已知的蠕蟲特征）。另一種是用AD像PAYL[1]或Anagram標記來自主機的正常流量模型的異常。也可以使用APE（abstract payload execution）[10]。 （相關的控制流圖建模）如tcpdump，TCPopera，TCPrecord，Roleplaying或Tcpflow實際記錄和／或重放流量時是有用的工具。一個更好的方法是同時標記特定包破壞的變量或內存位置。

2.3 注意事項和限制

自動化的響應策略是難以實現的，因為在響應錯誤或攻擊時往往不清楚程序應該做什么。響應系統被迫預測程序員的意圖，即使這一意圖沒有得到很好的表示甚至是格式混亂的。理想的計算系統無需人工干預就能從攻擊和錯誤中恢復。然而，現狀還遠未成熟，大多數現有的響應機制是外部保護系統。當進程被攻擊時，一些響應機制會直接銷毀進程，并不采取任何措施來修復錯誤，當重新啟動系統時，系統仍然是脆弱的。其他系統可能會限制網絡連接或資源消耗。ARV的主要挑戰是提供一些證據表明，自動響應至少可以防止觸發自我修復機制的輸入。

該系統面臨著兩種困難。首先是界線問題:在該系統開始工作之前惡意輸入可能已經進入被保護系統。此外，由于物理內存的限制，該系統可能是無法保持所有惡意流量的記錄。第二個問題涉及到當輸入觸發自我修復設備時，輸入的形式與最初進入受保護系統的輸入之間的關聯。在最終發現惡意輸入之前，輸入可能已經被受保護系統修改了很多次，有可能無法將輸入回朔到其原來的形式。ARV系統可能難以將惡意網絡流量與基于主機的特定事件關聯。

然而，基于主機和基于網絡的混合ARV系統比單獨考慮這兩種類型信息的系統要更好。許多基于主機的設備無法重建原始的輸入，因為它們要么捕獲不到攻擊輸入，要么輸入發生了不可逆的改變。混合ARV系統是在應用程序使用之前就將輸入記錄下來。然而，這種能力也有不足，尤其是在加密流量的情況下。因此，采用一種混合的方法，將應用程序作為一個灰盒。一個可行的解決方法是當數據包引起系統改變時，用被改變的存儲器位置的地址字段和數據字段來標記數據包。這種能力應該標準化為應用程序執行的一個特征，作為操作系統的服務或者作為編譯器附加檢測儀。

系統的另一個潛在的不足是，它是面向特定攻擊的，因此其性能不如面向特定漏洞的系統如:Vigilante[11]，Shield[12]或 （vulnerability－specific execution filters，VSEF）。這些系統在面對多態惡意軟件時表現很好，但面向特定攻擊的保護是無效的，因此，研究工作應集中于開發面向特定漏洞的以及通用攻擊的防御機制。

該系統的主要目標是識別特定攻擊的輸入，然而它的任務與通用攻擊防御系統的目標并不沖突。相反，自我修復機制提供的保護是面向特定漏洞的，該系統可以確保這些系統的修復是正確的，并且至少保證可以防止惡意輸入。

3 系統設計

把攻擊分為幾大類，使分析識別流量重放的技術更容易。分類使得我們能夠對這些技術進行比較。

3.1 攻擊的分類

最簡單的攻擊是整個攻擊包含在一個單一的TCP流中。這是當今最常見的攻擊，典型的例子是Slammer或Blaster等蠕蟲病毒。攻擊者打開一個TCP連接，發送攻擊代碼，然后關閉連接。在測試過程中，必須重新執行整個流程。

在稍微復雜的情景中，攻擊可能只是一個大的流量中一個子集。例如:一個SSH連接，攻擊者在運行幾個小時后運行一個漏洞。在測試過程中必須重放的子集僅是總流量中一個非常小的部分。在測試時，重放整個流量是可能的，但不得不將它單獨分成一類。例如，如果只有一部分是可疑的，它可能不期望存儲所有的持續很長時間的流量。

攻擊可能分散在多個TCP流中，每一個看起來都都是安全的。假設有一個攻擊，其中TCP流溢出緩沖區，第二個流提供其余的攻擊。這種形式的攻擊可能分布在任意多的流量中，在測試過程中，必須重新執行所有的這些流量。為了使這種攻擊更復雜，惡意流量可隨時間分布，每個數據流之間相隔數天或數周。

一個攻擊也可以包含在多個流的時序關系中，或單一流的數據包的時序關系中。這種形式的攻擊利用多線程的競爭情境，而重現這種競爭情境是非常困難的。至少，數據包或者流之間的時序關系，必須保留用于測試。這讓快速自動響應變得困難，部署時間受制于攻擊者控制下的攻擊參數特性。

攻擊可能是多態的。即，用于產生攻擊代碼的算法可能使用了加密技術或其他啟發式算法，隨著時間的推移改變攻擊的形式。因此，搜索流中特定位模式不能識別這種形式的攻擊。

最后，攻擊可能取決于用戶行為。例如:攻擊者發送攻擊報文，之后有100個請求，最后一個觸發了這個攻擊。重放的流量必須包括攻擊數據包和所有100個請求。這類攻擊是難以識別的，因為系統在未經訓練的情況下，會認為第100個包是非常可疑的，而真正的攻擊數據包不一定很明顯。最糟糕的是，不管特定的補丁是否有效，在測試中第100個包總是會觸發攻擊。

最糟糕的情況是，一個特定的攻擊可能上述攻擊類別的任何組合組成。也就是說，攻擊可能是多態的，分布在多個TCP數據流中，并取決于某種形式的用戶行為。

3.2 基本設計

系統的最簡單的版本記錄所有網絡流量并按要求重放整個流量，這種做法顯然是不可行的。系統的資源是有限的，因此它只能存儲有限的流量。在一個與時間相關的應用程序如自我修復軟件中，重放或搜索一個任意大的流量很可能是不可行的，在本節中，嘗試構建基礎系統的擴展和變型。

系統不能存儲所有數據流。另外，流量記錄的大小必須滿足，用于重放所有的流量的時間是合理的。在這里，考慮一些啟發式算法來選擇存儲流。

保存一個滑動窗口的最后n天流量。這種啟發式算法有一些很好的特性。首先，算法容易實現，其次，調整記錄的大小來優化存儲空間或重放時間是簡單的。最后，要測試一個針對記錄的補丁，只需重放所有存儲流量。這種啟發式算法的明顯不足是，在記錄中持續時間超過n天的攻擊它無法識別。

保存概率窗口。也就是說，不使用一個大小固定的窗口，而是。根據他們存儲時間長短隨機將流舍去。這里有幾個選項，一種是流存儲的時間越長，他們越可能被舍去。另一種是在每當一個新流存入時，就隨機舍去一個已存儲的流。不考慮選擇的細節，在此啟發式算法下，根據測試記錄中包含整個攻擊的概率，自我修復軟件只能對特定的修補程序有信心。

記錄通過基于特征的誤用檢測 （如Snort）識別的那些流。這種啟發式算法的優點是簡單，但對新攻擊，自我修復系統可能不能很好地匹配修復。自我修復系統對以前從未出現過的攻擊可以修補，但是該攻擊必須包含已存在的特征。

記錄通過基于有效載荷的異常檢測系統識別的流，如PAYL[6]。跟前面的例子不一樣，這種啟發式算法允許檢測和存儲從未見過的可疑流量。這種啟發式算法的可行性完全取決于異常檢測系統的能力。如果異常檢測系統具有較低漏報率，然后整個攻擊包被記錄的可能性非常高。

最后一個啟發式算法，專注于減少測試的時間，而不是減少存儲空間，包含以下污點傳播。當一個特定的程序段處理每個流時，它會修改 （或污染）各種數據結構。如果每個流按照被污染的數據結構進行索引，那么在測試期間，只有那些污染了補丁中所涉及的數據結構的流需要重放。

這些啟發式算法也可以結合起來，在檔案大小，重放時間和可信度之間進行權衡。

4 實 驗

實驗環境是在三臺機器上使用tcpdump來收集原始TCP流量，工作站fae、服務器sos17和一個蜜罐sos1。對于每一臺機器，收集了兩周內所有流入和流出的流量。工作站fae是在Red Hat Linux機器下用來進行日常文字處理，電子郵件、即時消息、瀏覽網頁和偶爾的大文件傳輸。sos17是Red Hat Linux機器，主要用于為Web和文件服務器，sos1是一個OpenBSD機器，設置為一個蜜罐，沒有運行的服務。

取每個數據集前1／3作為傳感器的訓練集。

在圖1中，fae.0和fae.1是工作站上的訓練和測試數據，sos1.0和sos1.1是蜜罐的訓練和測試數據；sos17.0和SOS17.1服務器的訓練和測試數據。圖中給出了每個數據集的粗略的輪廓。左列表示數據集的包數，右列表示每一組中有多少TCP流量。例如，在fae第1個數據集，在收集期間，有幾個大型文件傳輸，所以包數量較高，但是TCP流量數低。相反，sos17.0數據集顯示一個 Web服務器，在每個新的TCP流只有很少的數據包，所以數據包和流量數是密切相關的。

圖1 訓練和測試數據比較

對于每個數據集，我們進行了幾個實驗，以探討怎么樣從基于特征的誤用檢測器和基于有效載荷的異常探測器減少數據集。對于前者，使用了Snort，一個流行的開源IDS，對于后者，用Anagram，一個基于有效載荷的異常檢測系統。

圖2顯示通過Snort過濾后數據集的減少情況。每個完整的tcpdump的文件通過的Snort處理后，只保留產生警報的TCP流。這些警報很大比例是ICMP目的地不可達，這些警報是Linux機器上的防火墻機制的警示。進一步過濾這些警報，給出最后可疑流量的工作集，在圖2中的左列代表來自每個數據集的原始數據包的數量；中間代表所有Snort警告的數據包。右列代表那些除了目的地不可達，還包含其他警報的數據包。正如圖2所示，在所有的情況下，數據集的減少大于99.9%。

圖2 用Snort過濾后，數據集的減少情況

圖3 顯示出對于相同的數據集，用基于有效載荷的誤用檢測系統Anagram過濾的結果。Anagram需要訓練周期，所以每個數據集的前1／3的用于訓練數據，而后2／3被用作測試過濾數據。在圖3中的曲線顯示Anagram可以減少65%－80%的數據集。

注意，Anagram顯然沒有Snort（99.9%比減少65%）有效，因為Anagram對所有可疑的數據包生成警報，Snort可以只生成匹配已知警報特征的數據包。

圖3 通過Anagram過濾后的3個數據集

5 評 估

本實驗的主要目的是驗證減少ARV系統需要存儲的通信量是否是可行的。ARV本質上是一個搜索問題，可以通過索引流量減少搜索時間，但對所有可能的項索引是不可行的，還需要額外的存儲空間存儲索引項。執行在線搜索，如果語言資料庫的規模減少，甚至可以加快索引語言資料庫。

根據描述的實驗裝置，使用簡單的數據包的分類方案（Snort和Anagram），取得了較好的成績時。圖2和圖3顯示所獲得的結果。特別是，對于大部分使用Snort轉存數據庫過濾Snort警報子集。能夠實現減少大于99%的流量。結果仍然令人鼓舞。使用的Anagram過濾獲得約60%到85%的減少。對于過濾可能包含以前不知道的攻擊流量，使用基于特征的誤用檢測器不是最佳的。對于這樣的任務基于異常的檢測器比較好，對ARV系統Anagram將是有益的。

6 結束語

由于許多攻擊都是自動的，防御系統也必須有一定程度的自治能力。安全系統的最新進展已經導致自我修復軟件作為此問題的一個解決方法。然而，系統的所有者不愿意在響應攻擊時，自動改變他們的環境和應用程序。

測試自動生成修復是提升自我修復系統可信等級的關鍵部分。這個測試的一部分是驗證，自我修復機制產生的補丁或改變確實能夠防御原來的攻擊。

本文闡述了自動修復驗證 （ARV）的重要挑戰，利用審計信息測試自我修復的恢復能力和性能。系統記錄可疑的網絡流量和并重放特定的漏洞相關的流量。該系統的設計過程，揭示了一些具有挑戰性的問題，研究社會需要解決的問題，以達到自動自我保護系統成為現實。

[1]Wang K，Stolfo S J.Anomalous payload－based network intrusion detection[C]／／Proceedings of the 7th International Symposium on Recent Advances in Intrusion Detection，2004:203－222.

[2]Kim H A，Karp B.Autograph:Toward automated，distributed worm signature detection[R].Proceedings of the USENIX Security Conference，2004.

[3]Newsome J，Karp B，Song D.Polygraph:Automatically generating signatures for polymorphic worms[R].Proceedings of the IEEE Symposium on Security and Privacy，2005.

[4]Newsome J，Brumley D，Song D.Vulnerability－specific execution filtering for exploit prevention on commodity software[C]／／Proceedings of the 13st Symposium on Network and Distributed System Security，2006.

[5]Liang Z，Sekar R.Fast and automated generation of attack signatures:A basis for building self－protecting servers[R].Proceedings of the 12th ACM Conference on Computer and Communications Security，2005.

[6]Xu J，Ning P，Kil C，et al.Automatic diagnosis and response to memory corruption vulnerabilities[C]／／Proceedings of the 12th ACM Conference on Computer and Communications Security，2005.

[7]Locasto M E，Wang K，Keromytis A D，et al.FLIPS:Hybrid adaptive intrusion prevention[C]／／Proceedings of the 8th International Symposium on Recent Advances in Intrusion Detection，2005:82－101.

[8]Hong S S，Wu S F.On interactive internet traffic replay[C]／／Proceedings of the 8th International Symposium on Recent Advances in Intrusion Detection，2005:247－264.

[9]DING Zhifang，XU Mengchun，ZHAO Xin.Proactive intrusion prevention system[J].Application Research of Computers.2008 （25）:364－365.

[10]Toth T，Kruegel C.Accurate buffer overflow detection via abstract payload execution[C]／／Proceedings of the 5th International Symposium on Recent Advances in Intrusion Detection，2002:274－291.

[11]Costa M，Crowcroft J，Castro M，et al.Vigilante:End－to－end containment of internet worms[R].Proceedings of the Symposium on Systems and Operating Systems Principles，2005.

[12]Wang H J，Guo C，Simon D R，et al.Shield:Vulnerabilitydriven network filters for preventing known vulnerability exploits[R].ACM Sigcomm，2004.