基于多ａｇｅｎｔ與ｐｒｏｘｙ技術的日志提取分析系統設計

摘要:提出了一個新的agent模型，并以該模型為基礎，設計了一個基于multi－agent與proxy技術的日志提取分析系統模型;同時詳細分析了該系統的總體結構模型#65380;主要模塊設計以及采用多種安全機制來保證日志信息完整性和一致性。

關鍵詞:多主體模型; Syslog格式; 日志分析; 聚類

中圖分類號:TP393.08文獻標志碼:A

文章編號:1001－3695(2008)02－0619－03

0引言

計算機系統#65380;各種網絡設備以及應用服務在運行過程中均會產生大量的日志信息。這些日志信息記錄著系統及網絡發生的各種事件及其運行狀況，具有極高的價值，是取證審計的重要依據。然而，日志信息增長速度極快，管理員很難在有限的時間內在眾多的日志數據中找到有用的信息。另外，日志記錄著訪問者的痕跡，通過分析日志信息可以發現入侵攻擊證據。不過，入侵者也十分清楚存在這樣的問題，所以他們通常會設法修改#65380;刪除日志信息以掩蓋他們的犯罪事實，從而避免系統管理員和專業人員的追蹤#65380;審計和取證。為了有效利用系統和網絡的日志信息，需要建立一個綜合系統對各種日志數據進行統一提取和管理，為管理員提供一個便捷#65380;高效#65380;直觀的管理平臺，實現主動#65380;全面#65380;有效的綜合分析。

筆者在參加安全綜合審計的日志采集與取證分析技術#65380;網絡審計與取證技術的研究與開發課題的基礎上，根據系統的實時性#65380;交互性及智能性等需求，在分析agent理論模型及相關研究的基礎上，提出了一個適合本系統需要的新的agent模型，并以該agent模型為基礎在設計了一個日志提取分析系統模型。同時，本文也提出了SSL協議#65380;MD5校驗技術及驗證碼等多種安全機制來保證日志數據完整性和一致性。在日志數據分析方面本文采用了數據挖掘中的聚類方法來實現。

1相關技術

1.1Agent技術

目前，學術界對agent的概念仍然沒有一個統一的#65380;確定的定義。軟件agent研究者一般認為軟件agent是指能在特定的環境下無須人工干預和監督而自主完成某項任務的計算實體[1]，并能與其他agent進行必要的交互。同樣，agent模型也沒有一個統一#65380;具體的定義，一般都是根據項目的實際需求來設計的。因此，本文以Bratman的agent理論模型[2]為基礎，根據取證綜合審計項目的實時性#65380;交互性及智能性等特點，提出一個新的agent模型，如圖1所示。日志提取分析系統中所使用的各個功能agent均以該agent模型為基礎設計出來。

Agent的工作過程:首先，agent通過采集器獲取數據源，把數據傳遞給分析器;分析器根據知識庫的經驗和規則進行分析;然后決策模塊根據分析結果和知識庫中的規則作出決策;最后由響應模塊來執行決策指令。另外，agent還可以通過安全通信接口與其他agent進行通信交換信息，由協作分析模塊對不同來源的數據源進行協調分析。

1.2多agent技術

多agent技術主要針對物理和地理上分散，又要通過通信交換信息，相互協調的系統，而研究一系列自治的agent之間如何通過協商#65380;規劃共同完成某個特定的任務[1，2]。多agent技術具有在分布計算環境下進行有效的協同工作的特點，而這個特點恰好是本文取證綜合審計項目所需要的。因此，本文提出一個日志提取分析系統的多agent模型，以實現對計算機系統和網絡中各種類型日志的提取#65380;傳輸并進行有效分析。

1.3Proxy技術

Proxy[3]的本質也是一種agent，它可以為其他agent提供服務，并代理其他agent處理某種工作。不過，其在交換信息#65380;協調等方面具有更強的能力。本文將該技術應用于系統中間層部件，這樣既減輕了終端agent的負擔，又可以避免后臺服務器遭到攻擊。

2日志記錄格式化

日志提取分析系統作為取證綜合審計系統的子系統，需要處理各種類型的日志，包括主機操作系統日志#65380;網絡設備日志#65380;數據庫日志以及典型應用系統日志。這些審計源的日志都有各自的格式，如果按它們原有的格式進行傳輸和存儲，不但不利于后續的日志分析和取證工作，而且直接傳輸還存在許多安全性問題。因此，本文提出一種日志記錄格式，如圖2所示，并對各種日志進行統一格式化。為了便于說明，本文稱該日志格式為系統標準日志格式。

1)類別碼由于日志類型較多，為了便于后續分析，將日志記錄的第一個字段設置為類別碼字段，用于識別日志所屬的類別，由8位二進制組成，每位的意義如表1所示。

2)標準Syslog[4，5]格式Syslog是在UNIX平臺下提出的，其格式比較簡單，主要由時間戳#65380;日志來源和日志描述三個部分組成。其中:時間戳包括日期和時間;日志來源包括IP地址#65380;產生該日志的進程名以及優先級;描述字段并沒有一個標準的定義，格式比較自由。本文按照不同類型的日志，根據實際需求在該字段上進一步細化，將需要提取的內容加入到該字段中。

3)驗證碼一般是軟件所安裝設備的網卡MAC地址，用于驗證日志記錄是否是授權設備發送的。

3系統總體結構設計

3.1系統總體結構模型

日志提取分析系統體系總體結構設計如圖3所示，主要由日志提取agent#65380;proxy代理服務器和日志分析agent組成。

1)日志提取agent負責提取操作系統#65380;網絡設備#65380;數據庫及應用系統的日志信息。它可以由多個agent協同操作來共同完成日志提取工作。其中，黑板就是用于各個agent之間的通信，協調任務進度和范圍，以避免重復操作和死鎖。日志提取agent與proxy代理服務器之間的通信使用TCP協議，并通過SSL(secure socket layer，安全套接層)協議進行加密和認證。SSL協議是一個介于TCP層與應用層之間的安全協議，能夠有效防止日志數據被竊聽，保證數據傳輸的安全性。

2)Proxy代理服務器負責接收日志提取agent發送來的日志數據，并對日志數據進行驗證，然后將驗證通過的日志數據存儲到數據庫服務器中。原始日志數據是重要法律依據。本系統日志數據采用備份存儲，設置兩個數據庫來存儲，即證據數據庫和日志分析數據庫。證據數據庫中的日志數據是取證的法律依據，因此，使用MD5簽名和校驗來保證日志數據的完整性和可靠性。這樣當這些日志數據作為證據提交時，可以通過進行MD5校驗可以知道該數據是否被修改過。日志分析數據庫中的日志數據是日志分析agent的數據源，為了減少系統開銷，這里直接采用ADO技術來實現數據存儲。

3)日志分析agent負責讀取日志數據庫中的日志數據，根據規則庫中的規則進行分析，并將分析結果呈現給用戶;同時將系統和網絡異常#65380;入侵等信息反饋給proxy代理服務器，再由proxy代理服務器反饋給終端用戶。

3.2日志提取agent設計

日志提取agent主要負責獲取各種類型的日志數據，并進行相應的處理，然后將日志數據發送給proxy代理服務器。主要由六個模塊組成，如圖4所示。

1)日志獲取模塊主要負責讀取主機操作系統日志#65380;網絡設備日志#65380;數據庫日志以及典型應用系統日志。首先，模塊讀取配置文件中的信息并對軟件進行初始化，這些初始化信息包括獲取的日志類型#65380;軟件觸發的時間間隔以及通信設置等信息。由于不同類型的日志，其存儲格式和存儲方式等均有各自的特點，必須根據日志類型采取相應的方法才能進行日志采集。例如，Windows系列的操作系統日志可以通過調用API函數來采集日志;數據庫的日志采集則可以通過讀取日志文件進行分析，分離有效的數據;網絡設備的日志可以通過執行相關的命令來獲取。

2)日志解析模塊主要負責將所采集的日志轉換成前面所介紹的系統標準的日志格式。系統標準日志格式的主體是標準Syslog格式，系統所要采集的日志中除了Linux和Solaris的日志是標準的Syslog格式外，其他日志都是有各自的格式。首先要分析日志的內容，提取需要的信息;然后再按標準的Syslog格式組織數據;接著，根據日志類型按表1生成一個8位的二進制類別碼，并獲取軟件所安裝的設備網卡MAC地址作為驗證碼。

3)日志分析模塊主要負責日志數據的本地分析。首先，對日志數據進行完整性和一致性檢查，判斷日志是否被刪除或修改。主要判斷依據[6]如下:日志中事件發生的時間與前后事件發生時間不相符合的;定期發生的事件缺少或多出的;定期生成的日志文件缺少或多出的;在服務器運行后已生成，還未到指定的刪除期限，但是文件不存在的。然后，根據本地知識庫中的信息，對日志數據進行分析。一旦發現異常情況，就根據知識庫中的規則作出決策，提交命令給控制模塊。另外，分析模塊還可以接收其他agent提供的信息，并與當前日志信息進行協作分析。

4)日志加工模塊主要負責日志數據的加密與壓縮。為了避免在傳輸過程中遭到攻擊者監聽，甚至修改#65380;破壞傳輸中的日志數據，采用加密算法對日志數據進行加密。另外，為了減少數據傳輸量，采用算術編碼(arithmetic coding)算法[7]來壓縮日志數據，壓縮算法的具體實現將在后續文章中介紹。該模塊可以根據用戶的設置來決定是否執行。比如，日志采集時間間隔較短，這樣日志數據量就不會很大，這個時候就可以考慮不要對日志數據進行壓縮。

5)通信模塊主要負責日志提取agent和proxy代理服務器之間的信息交換。它通過socket來實現發送日志數據以及接收來自代理服務器的控制信息。另外，agent之間的信息交換也通過該模塊實現。

6)控制模塊主要根據控制信息對設備進行相關控制。該模塊接收分析模塊的操作命令，然后作出相關的處理，如切斷網絡#65380;強制關閉計算機等。另外，還可以接收來自通信模塊的日志分析agent發出的全局分析指令，并作相應處理。

3.3Proxy代理服務器功能設計

Proxy代理服務器主要負責接收日志提取agent發送來的日志數據，并將驗證通過的數據輸入日志數據庫。主要由五個模塊組成。

1)日志接收模塊主要負責接收經過認證的日志提取agent發送的日志信息。本文在前面已經提過日志提取agent與proxy代理服務器之間通信使用TCP和SSL協議，這樣保證接收的日志信息是經過認證的日志提取agent發送的。

2)日志加工模塊該模塊與日志提取agent的加工模塊是相對應的，負責對日志信息進行解密和解壓縮。同樣，該模塊可以根據設置來決定是否執行。

3)日志驗證模塊為了避免攻擊者取得已認證的日志提取agent，并通過攻擊機發送大量的虛假日志信息，同時避免數據庫服務器接收到虛假的日志信息，該模塊通過驗證日志信息中驗證字段的網卡MAC地址來判斷日志信息是否是筆者所要提取的設備發送來的，如果不是就直接刪除。這樣可以過濾掉攻擊者發送的虛假日志信息。

4)數據入庫模塊該模塊將驗證通過的日志數據存儲到證據數據庫和日志分析數據庫。

5)通信模塊主要負責日志提取agent和proxy代理服務器間及proxy代理服務器與日志分析agent間的信息交換。

3.4日志分析agent功能設計

日志分析agent通過讀取日志分析數據庫中的日志數據，并根據規則庫中的信息進行分析，得出結論。由全局分析模塊#65380;報告生成模塊以及通信模塊組成。

全局分析模塊是日志分析agent的主體，也是整個系統的關鍵部分，它關系到能否在最短的時間內發現系統和網絡的異常情況，作出處理決策，保證系統和網絡安全。本文采用數據挖掘中的聚類方法對日志數據進行分析。

聚類[8]就是將物理或抽象對象的集合分組成由類似的對象組成的多個類的過程。由聚類生成的簇是一組數據對象的集合，這些對象與同一簇中的對象彼此相似，與其他簇中的對象相異。聚類分析通過獲得數據分布的情況，將數據對象分組成為多個簇，觀察每個簇的特點，集中對特定的某些簇作出進一步的分析[8]。本文通過相似性和距離函數對日志數據進行聚類分析，主要包括以下兩個方面:

本文通過上述聚類分析方法對日志分析數據庫中大量日志數據進行分析，找出系統和網絡中的異常情況，并及時反饋分析結果，作出決策，從而保障系統和網絡安全。

4結束語計算機系統和網絡日志是系統順利運行的重要保障，具有相當高的價值。本文提出的日志提取分析系統模型可以自動收集#65380;過濾#65380;檢查和分析系統和網絡中各種類型日志，從大量的日志信息中獲取有用的信息，及時反饋系統的運行狀況，保證系統正常運行。另外，原始日志數據是計算機犯罪的重要證據，系統采集#65380;存儲以及聚類分析的數字證據是法庭審判的重要法律依據，為網絡系統運行提供法律保護，具有重要的社會意義。

參考文獻:

[1]JENNINGS N R. On agent－based software engineering[J]. Artificial Intelligence，2000，177(2):227－296.

[2]BRATMAN M E. Intentions， plants and practical reason[M].Cambridge:Harvard University Press，1987.

[3]TANG Yong－ping， DANIELS T E. A simple framework for distributed forensics[C]//Proc of Distributed Computing Systems Workshops. 2005: 163－169.

[4]KENT K. Guide to computer security log management[EB/OL].[2006]. http://csrc.nist.gov /publications/nistpubs/800－92/SP800－92.pdf.

[5]STEARLEY J. Towards informatic analysis of Syslogs cluster computing[C]//Proc of IEEE International Conference on Cluster Computing.2004:309－318.

[6]方航鋒，汪海航.日志提取分析系統的設計和實現[J].計算機工程，2005，31(14): 108－109，118.

[7]SAN A，CAMPOS E.Arithmetic coding[EB/OL].[2005]. http://www.arturocampos. com / ac_arithmetic.html.

[8]HAN Jia－wei，KAMBER M.Data mining:concept and techniques[M].范明，孟小峰，譯.北京:機械工業出版社，2001:223－236.

[9]楊澤明.計算機與網絡取證系統的研究與實現[D].北京:中國科學院高能物理研究所，2004:20－23.

“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文”