基于日志分析的網絡管理與安全審計系統

[摘要]近幾年來，隨著因特網的飛速發展，網絡安全問題日益突出，在這種情況下，網絡管理與安全審計系統孕育而生，其審計重點主要在網絡的訪問行為和網絡中的各種數據。對防火墻日志分析方面進行一系列研究，并利用SQL Server數據庫設計基于日志分析的網絡管理與安全審計系統，系統的實驗結果說明日志分析技術的實用價值。目前，該系統已經應用于某廣電網絡。

[關鍵詞]日志分析 網絡管理 安全審計 syslog日志 防火墻日志

中圖分類號：TP3 文獻標識碼：A 文章編號：1671－7597（2009）0720062－01

近年來，信息技術迅猛發展，基于TCP/IP協議的互聯網得到廣泛應用。這種網絡體系的成功來源于開放性以及簡單性，但同時也帶來了突出的網絡信息安全問題。例如，某廣電網絡憑借其寬帶入戶和廣播式傳輸的技術特點，贏得了市場，但隨著業務的不斷發展，網絡運營和維護管理暴露出不少安全隱患。為此，網絡管理者迫切希望構建網絡監視系統，實現對網絡流量、資源使用情況的監視，達到加強網絡管理的目的。在這種情況下，基于日志分析的網絡管理與安全審計系統越來越受到重視。

一、相關研究與分析

日志信息是指對計算機設備運行的一切活動的完全記錄和描述。通常記錄的信息有時間戳、基本的IP特征：如源和目標地址、源和目標端口和IP協議（TCP、UDP、ICMP）、匹配流量的規則號、執行的動作：如接受、丟棄或者拒絕連接，以及描述性文本解釋。日志記錄由于有各個不同的數據捕捉點獲取，可以分為如系統日志、防火墻日志、入侵檢測日志、擊鍵紀錄等[1]。本文主要研究防火墻日志。

日志文件對于網絡的正常運營非常重要，維護人員可以通過它來檢查錯誤發生的原因，快速定位故障，保障網絡可靠運行；監控用戶的使用行為，綜合審計網絡信息，保障網絡安全可靠；發現異常情況或者受到攻擊時攻擊者留下的痕跡，加強網絡安全等級，提高網絡安全系數等。

二、系統的總體架構設計

本系統的目標在于對防火墻設備的syslog日志信息實施監控、管理和分析，及時發現設備故障，深入挖掘和分析網絡的流量流向、異常行為，分別從網絡管理和安全審計兩方面共同保障網絡的穩定、可靠運行。考慮到系統的靈活性和可擴展性，系統總體采用分層架構，主要分為采集層面、存儲層、業務邏輯層和表示層。

采集層面采用socket來監聽特定端口，收集網絡設備發送過來的日志，并采用日志對應的協議解析器生成syslog日志統一通用格式。存儲層以數據庫為中間媒介，隔離底層的日志采集和上層的數據表現，同時提供數據庫入庫功能。業務邏輯層面完成日志監測管理的具體功能，如實時告警、日志查詢、日志瀏覽和刪除等。表示層則負責將業務邏輯層面獲取的信息呈現在web頁面、告警終端等呈現媒介上。

三、系統關鍵技術實現

本系統依次主要通過日志采集、日志協議分析、日志預處理、日志數據庫設計、日志挖掘五個關鍵環節對網絡運行狀況進行檢測，準確定位網絡質量劣化點，實現網絡管理與安全審計功能。

（一）日志采集

日志信息位于網絡中不同的設備實體上，需要采用分布式高速數據采集技術。以防火墻日志采集為例，采用主動信息采集方式采集日志，由syslog服務器采集NS500系列防火墻記錄的syslog格式的網絡日志，保存在文件中。具體實現方法為：計算機安裝免費的日志服務器程序（如在Linux下可用syslog，在Windows環境下可用KiwiSysLog），將防火墻傳送過來的日志數據存放在本地硬盤，然后本地日志處理程序定期檢查新文件進行處理[2]。

（二）日志協議分析解析

日志標準格式采用syslog格式，由RFC3164定義的，并對消息頭部進行擴展，是設備產生的基于事件的日志，沒有相應的流量信息。具體字段的日志格式舉例如下：Mon dd hr：mm：ss hostname src="srcIP：srePort" dst="dstIP：dstPort" msg="message" note="note" devID="mac addr" devType="ZW70" cat="category"[3]。分析網絡設備發送過來的syslog日志數據格式，將各項信息提取出來。對于日志的處理采用了兩層分析，先通過cat關鍵字段將日志分類，然后根據msg和note兩個字段進行詳細的分析。cat字段反映了日志信息的類別，msg和note兩個字段包含了日志的詳細信息。安全級別共有8個，見下表1所示。

（三）日志預處理

防火墻設備產生的原始日志記錄中除了包含系統中需要的關鍵數據信息以外，還含有大量對審計意義不大及相似度很大的冗余記錄冗余信息，所以有必要剔除從而節約存儲空間，以提高系統的效率。

其具體流程是：應用程序定時查詢日志文件保存目錄，當發現有新的日志文件產生時，應用程序打開日志文件逐行讀入記錄，經數據清理、基本分類和預統計后，將分析的結果保存到臨時數據庫中，分析結束后，將臨時表經綜合以后并入正式數據庫中，并將分析后的日志文件轉移到后備文件目錄中[4]。

（四）日志數據庫設計

考慮到日志數據庫應數據處理量大，結構相對簡單、更新快、操作相對固定的特點，以及系統與應用程序運行環境的適配性，選擇SQL Server 2000/2005作為日志的數據庫。SQL Server提供了用于建立用戶連接、提供數據安全性和查詢請求服務的全部功能，且在Microsoft Studio.NET下開發，提供了數據庫連接工具ADO.NET[5]。

數據庫的設計應當能提高查詢速度與處理效率。表結構設計方面：設計八張表分別存儲八種安全級別的日志數據，直接定位到相關表，同時盡量縮短數據表記錄長度。表操作設計方面：避免整表操作，設立多個輔助統計表，由存儲過程定時將統計結果寫入統計表，查詢時只需對輔助統計表操作且指定查詢條件；在重要的字段上建立必要索引。數據組織設計方面：存儲表以天為單位進行組織，建立預處理臨時表，及時壓縮庫日志文件，及時清除過時的數據。

（五）日志挖掘

本系統的防火墻日志挖掘功能具體可實現：1. 網絡信息安全的統計功能：統計各個日志優先級的發生比例、日志優先級在各個設備上的分布，以及分析需重點防范的防火墻設備。2. 業務統計分析的統計功能：分析主要訪問目的地址和主要應用的協議類型。3. 用戶行為分析的統計功能：重點分析大用戶訪問的目的地址，解析出其網站信息，從而分析出其主要應用的業務類型。

系統采用的實現方法有：采用SQL的查詢語言進行模式查詢；將統計結果導入數據庫后進行分析；采用可視化技術將模式直觀地顯示出來，提供與分析人員交互的友好界面。

四、系統實驗結果

通過分析日志文件，本系統主要應用于以下幾個方面：（1）網絡信息安全分析：通過分析異常的網絡日志，找到安全漏洞，及時制定出安全防范措施。（2）業務統計分析：通過分析網絡流量模式，能夠找到網絡結構中最重要的部分，發現網絡系統性能瓶頸。（3）用戶行為分析：發現用戶的需要和興趣，使得對網絡的管理更加有目的、有依據，從而穩步提高網絡用戶滿意度。

實驗結果說明了日志挖掘技術在網絡管理與安全審計系統中的實用價值，所有的實驗結果在局域網真實環境下通過了測試，所開發的系統實現了相應的功能要求，達到了預期的效果。

五、結束語

本文重點研究了防火墻日志文件的網絡管理與安全審計系統，該系統可以發現用戶訪問互聯網的模式，準確地統計網絡主要的使用者、相關協議類型的使用情況，也能找到部分對網絡存在危害的計算機，從而提取對網絡管理和安全監控有用的信息，為網絡管理員提供各種利于網絡使用效率改進的信息。在今后的學習和研究的過程中，本系統還需逐步的完善，以使其真正成為適應于市場的實用性系統軟件。

參考文獻：

[1]姜傳菊，網絡日志分析在網絡安全中的作用，網絡資源與建設，2004，18（12）：58-60.

[2]熊艷，基于網絡日志的安全審計系統的研究與實現，上海：上海交通大學，2002.

[3]IETF RFC3164，The BSD Syslog Protocol.

[4]李承、王偉釗、程立、汪為農、李家濱，基于防火墻日志的網絡安全審計系統研究與實現，計算機工程，2002，28（6）：17-19.

[5]李循律，基于Firewall日志的數據挖掘系統，杭州：浙江大學，2005.

作者簡介：

張俊林（1978-），男，漢族，安徽渦陽人，碩士學位，肇慶科技職業技術學院信息系，專任教師，研究方向：網絡管理與安全、嵌入式系統。