基于語義Agent的網(wǎng)絡安全數(shù)據(jù)采集模型＊

（洛陽電子裝備試驗中心 洛陽 471003）

1 引言

隨著網(wǎng)絡技術的不斷發(fā)展和網(wǎng)絡的迅速普及，人們越來越依賴網(wǎng)絡，同時針對計算機和網(wǎng)絡的攻擊也變得越來越普遍，網(wǎng)絡安全面臨新的挑戰(zhàn)［1］。目前網(wǎng)絡正朝著大規(guī)模、高度分布式的方向發(fā)展，入侵攻擊行為也正朝著規(guī)模化、分布式、復雜化、多樣化、智能化等方向發(fā)展和演化［2］。日益嚴峻的安全威脅迫使各職能部門不得不加強對網(wǎng)絡系統(tǒng)的安全防護，不斷追求多層次、立體化的安全防御體系，逐步建立了以網(wǎng)絡入侵檢測、網(wǎng)絡防火墻、防病毒系統(tǒng)、終端監(jiān)控系統(tǒng)等大量異構安全防御技術為基礎的縱深防御體系［3］。然而，如果安全防御體系仍然以孤立的單點防御為主，相互間缺乏有效協(xié)作，必將形成一個個的安全“孤島”，無法體現(xiàn)網(wǎng)絡系統(tǒng)全局安全態(tài)勢。因此，網(wǎng)絡安全態(tài)勢感知系統(tǒng)的發(fā)展趨勢就是要采集并融合處理多源異構網(wǎng)絡安全狀態(tài)數(shù)據(jù)，從而做到對大規(guī)模網(wǎng)絡的全面監(jiān)控，及時掌握網(wǎng)絡安全狀況。

網(wǎng)絡安全數(shù)據(jù)采集的目的是為網(wǎng)絡安全態(tài)勢感知系統(tǒng)提供數(shù)據(jù)支撐，防御體系中各類安全傳感器產(chǎn)生的數(shù)據(jù)量大，數(shù)據(jù)類型、數(shù)據(jù)格式存在差異，數(shù)據(jù)之間相互支持或互補，也可能相互矛盾，必然給數(shù)據(jù)采集和利用帶來一定困難。因此，有必要設計一種網(wǎng)絡安全數(shù)據(jù)采集模型，實時采集各類安全傳感器產(chǎn)生的數(shù)據(jù)，并將這些數(shù)據(jù)統(tǒng)一表示和管理，消除語義理解差異，融合處理各類安全數(shù)據(jù)，同時鑒于網(wǎng)絡安全技術的快速發(fā)展和設備的不斷更新，設計的數(shù)據(jù)采集模型必須具備可擴展性。

2 語義Agent技術

Agent是一種在分布式系統(tǒng)或協(xié)作系統(tǒng)中能持續(xù)自主地發(fā)揮作用的計算實體，常簡稱為智能體或主體。由于Agent具有自治性、社會能力、反應性、能動性、開放性和魯棒性等特點，將其應用于網(wǎng)絡安全數(shù)據(jù)采集系統(tǒng)中能夠在全網(wǎng)絡范圍內進行統(tǒng)一部署，具有良好的跨平臺性和可伸縮性。Agent在配置和更新過程中對網(wǎng)絡和主機資源的低開銷，使得系統(tǒng)瓶頸出現(xiàn)的可能得到了減少。

語義網(wǎng)技術的發(fā)展使得一系列計算機可理解和處理的表達語義信息的語言和技術得以誕生，以支持對網(wǎng)絡中多源異構和分布的信息提供智能訪問，使得萬維網(wǎng)上的信息具有計算機可以理解的語義。語義網(wǎng)的層次結構如圖1［4］所示。通過語義網(wǎng)技術，能夠實現(xiàn)對信息資源的統(tǒng)一描述，建立信息資源之間的語義聯(lián)系，使得各計算機程序能夠進行語義上的相互交流。

圖1 語義網(wǎng)層次結構圖

語義Agent技術是語義網(wǎng)技術與Agent技術兩者的結合。語義網(wǎng)技術為傳統(tǒng)Agent技術的研究注入了新鮮的血液和活力，將語義網(wǎng)技術引入Agent，使得Agent能夠更加有效地實現(xiàn)知識的表示、獲取、共享和更新，進行語義層次上的分析和推理，使得Agent 之間的交互和協(xié)作更加方便快捷［5］。

基于Agent的網(wǎng)絡數(shù)據(jù)采集已經(jīng)有過很多研究［6～7］，基于相關語義技術如XML 的網(wǎng)絡數(shù)據(jù)采集也有過相關研究［8］，但是目前還沒有人將數(shù)據(jù)的語義表示與基于Agent的數(shù)據(jù)采集結合使用，而對數(shù)據(jù)的語義表示存在易于使用、便于集成等諸多優(yōu)點，如果在采集后再對數(shù)據(jù)進行統(tǒng)一語義表示，由于數(shù)據(jù)存儲時間長等原因，可能造成對數(shù)據(jù)來源、數(shù)據(jù)表示意義等的模糊混亂問題。為此，本文考慮在存儲數(shù)據(jù)之前完成數(shù)據(jù)采集與數(shù)據(jù)的語義表示這兩個動作，建立基于語義Agent的網(wǎng)絡安全數(shù)據(jù)采集模型。

3 網(wǎng)絡安全數(shù)據(jù)源

為全面采集網(wǎng)絡安全數(shù)據(jù)，需要對網(wǎng)絡安全數(shù)據(jù)源進行分析，確定數(shù)據(jù)采集對象，并對采集數(shù)據(jù)類型進行劃分，從而為采集方法的制定和采集工具的設計實現(xiàn)提供支撐。分別對入侵檢測系統(tǒng)、防火墻、終端監(jiān)控系統(tǒng)、網(wǎng)絡性能監(jiān)測、網(wǎng)絡防病毒系統(tǒng)和漏洞掃描系統(tǒng)這幾類常見的安全數(shù)據(jù)源［9］及其產(chǎn)生的數(shù)據(jù)類型進行分析。

3．1 數(shù)據(jù)源分析

1）入侵檢測系統(tǒng)

作為網(wǎng)絡安全系統(tǒng)的重要組成部分和其他安全系統(tǒng)的重要補充，入侵檢測系統(tǒng)發(fā)揮著越來越重要的作用。入侵檢測系統(tǒng)分為基于主機的和基于網(wǎng)絡的入侵檢測系統(tǒng)兩種。入侵檢測系統(tǒng)最大的挑戰(zhàn)是其產(chǎn)生的虛假錯誤警報以及漏報，其產(chǎn)生的數(shù)據(jù)形式是報警日志，由于其可能產(chǎn)生虛假錯誤警報，使得有必要通過其他安全系統(tǒng)來彌補這一缺陷，并通過其他系統(tǒng)對網(wǎng)絡安全進行補充，在后期數(shù)據(jù)處理中要著重解決虛假信息的問題。

2）防火墻

防火墻是建立在內外網(wǎng)邊界上的過濾封鎖機制，其認為內部網(wǎng)絡是安全和可信賴的，而外部網(wǎng)絡是不安全和不可靠的。防火墻具有訪問控制、內容控制、流量控制等功能，從而可以防止不希望的、未經(jīng)授權的通信進出被保護的內部網(wǎng)絡。防火墻產(chǎn)生的安全數(shù)據(jù)是網(wǎng)絡訪問日志，記錄網(wǎng)絡訪問情況，包括內外網(wǎng)進出的訪問，并記錄在什么時間進行了什么操作。

3）終端監(jiān)控系統(tǒng)

終端監(jiān)控系統(tǒng)主要通過相關手段對終端的文件操作、配置修改、網(wǎng)絡連接、系統(tǒng)服務、內存使用等進行監(jiān)控。常用的終端監(jiān)控方式包括進程監(jiān)控、服務監(jiān)控、注冊表監(jiān)控、操作系統(tǒng)性能監(jiān)控等。相關性能數(shù)據(jù)包括CPU 利用率、內存利用率、磁盤I／O、數(shù)據(jù)庫并發(fā)用戶數(shù)、注冊表信息修改、系統(tǒng)文件修改等。

4）網(wǎng)絡性能監(jiān)測

網(wǎng)絡性能監(jiān)測的主要目的是發(fā)現(xiàn)網(wǎng)絡瓶頸，優(yōu)化網(wǎng)絡配置，并進一步發(fā)現(xiàn)網(wǎng)絡中可能存在的危險，更加有效地進行網(wǎng)絡性能管理，提供網(wǎng)絡服務質量的驗證和控制，對服務質量指標進行量化、比較和驗證。衡量網(wǎng)絡性能的指標主要包括網(wǎng)絡連通性、帶寬利用率、網(wǎng)絡延遲等。

5）網(wǎng)絡防病毒系統(tǒng)

網(wǎng)絡防病毒系統(tǒng)通過在網(wǎng)絡層、郵件網(wǎng)關、Web網(wǎng)關、群件、應用服務器、客戶端等節(jié)點進行病毒攔截，實現(xiàn)對網(wǎng)絡的全方位、多層次防毒。網(wǎng)絡防病毒系統(tǒng)產(chǎn)生的安全數(shù)據(jù)是病毒攔截日志。

6）漏洞掃描系統(tǒng)

漏洞掃描系統(tǒng)的主要功能是識別網(wǎng)絡中終端的工作狀態(tài)（開機／關機）、識別端口狀態(tài)（監(jiān)聽／關閉）、識別系統(tǒng)及服務類型和版本、掃描并分析系統(tǒng)漏洞和泄露，生成掃描結果和各式報告。

3．2 安全數(shù)據(jù)分類

計算機網(wǎng)絡系統(tǒng)復雜龐大，運行過程中產(chǎn)生的數(shù)據(jù)具有多源、海量、異構等特點，由于種種原因很難全面、及時、準確地獲取這些數(shù)據(jù)。因此，只能退而求其次，選取具有代表性、信息量相對豐富、采集容易、可靠度較高以及冗余度較低的數(shù)據(jù)作為系統(tǒng)數(shù)據(jù)采集對象。同時考慮各數(shù)據(jù)源之間存在數(shù)據(jù)交叉和數(shù)據(jù)互補，應盡量擴大數(shù)據(jù)采集覆蓋面。由于數(shù)據(jù)實時采集會對系統(tǒng)帶來一定的開銷，嚴重時會影響系統(tǒng)性能，為此，通過對數(shù)據(jù)進行分析，將數(shù)據(jù)分為靜態(tài)數(shù)據(jù)和動態(tài)數(shù)據(jù)［10］。

靜態(tài)數(shù)據(jù)是指來自終端監(jiān)控系統(tǒng)、漏洞掃描系統(tǒng)和防火墻等系統(tǒng)中靜態(tài)配置的安全信息，這些目標系統(tǒng)配置信息是相對穩(wěn)定的信息，基本不隨網(wǎng)絡攻擊發(fā)生變化，不需要實時采集，只需存放在數(shù)據(jù)庫中定時更新。

動態(tài)數(shù)據(jù)是指受網(wǎng)絡攻擊影響實時產(chǎn)生的數(shù)據(jù)，包括日志數(shù)據(jù)、服務數(shù)據(jù)、SNMP 數(shù)據(jù)和Net-Flow 數(shù)據(jù)。

日志數(shù)據(jù)包括文件日志、協(xié)議日志和API日志等，主要從主機、路由器、交換機以及其他安全系統(tǒng)產(chǎn)生的日志，如入侵檢測系統(tǒng)生成的報警日志等。

服務數(shù)據(jù)包括服務配置文件信息、關鍵進程狀態(tài)信息、服務漏洞數(shù)據(jù)、性能數(shù)據(jù)等。

SNMP數(shù)據(jù)是指根據(jù)SNMP協(xié)議實時采集的網(wǎng)絡交換設備和終端設備等設備管理信息庫中的相關數(shù)據(jù)。

NetFlow 數(shù)據(jù)是指網(wǎng)絡交換設備產(chǎn)生的Net-Flow 數(shù)據(jù)。

4 基于語義Agent的安全數(shù)據(jù)采集模型

4．1 功能模型

依據(jù)網(wǎng)絡縱深防御體系，設計如圖2所示的基于語義Agent的網(wǎng)絡安全數(shù)據(jù)采集模型，該模型采用三層架構形式，包括數(shù)據(jù)采集層、管理層和融合存儲層。

圖2 基于語義Agent的網(wǎng)絡安全數(shù)據(jù)采集模型

根據(jù)層次結構模型，各層次的功能為：

1）數(shù)據(jù)采集層

數(shù)據(jù)采集層由各數(shù)據(jù)采集Agent組成，采用分布式數(shù)據(jù)采集框架，將各數(shù)據(jù)采集Agent獨立部署在網(wǎng)絡中，各數(shù)據(jù)采集Agent與入侵檢測系統(tǒng)、防火墻等網(wǎng)絡安全設備或系統(tǒng)直接相連，根據(jù)數(shù)據(jù)采集對象的不同部署配置具有相應采集功能的數(shù)據(jù)采集Agent，通過Agent讀取捕獲各設備信息或系統(tǒng)輸出信息文件，并對數(shù)據(jù)進行分析處理。

2）管理層

管理層由各管理Agent構成，各管理Agent實現(xiàn)對各個采集Agent的啟停管理、狀態(tài)監(jiān)控，以及采集規(guī)則或策略的動態(tài)調整等，并對數(shù)據(jù)采集Agent上傳的安全數(shù)據(jù)進行語義封裝，將封裝后的數(shù)據(jù)匯聚到語義融合Agent。

3）融合存儲層

融合存儲層由安全信息數(shù)據(jù)庫和語義融合Agent構成，安全信息數(shù)據(jù)庫用于對采集的數(shù)據(jù)進行存儲管理，語義融合Agent用于對匯聚的安全數(shù)據(jù)進行融合處理，并將融合后數(shù)據(jù)統(tǒng)一定向到安全信息數(shù)據(jù)庫中。

4．2 系統(tǒng)特點

為了適應大規(guī)模網(wǎng)絡安全數(shù)據(jù)的多源異構特性，本文設計的網(wǎng)絡安全數(shù)據(jù)采集模型具有系統(tǒng)可擴展、分布式采集、集中式管理、統(tǒng)一語義封裝、數(shù)據(jù)融合等特點。

1）系統(tǒng)可擴展

新的網(wǎng)絡安全問題會不斷出現(xiàn)，如果系統(tǒng)具備可擴展能力，可以使系統(tǒng)能夠不斷發(fā)展和擴充，從而能夠及時適應新型安全設備數(shù)據(jù)采集需求。由系統(tǒng)功能結構模型可知，每個數(shù)據(jù)采集Agent對應一個管理Agent，每對“管理-采集”Agent之間采用內部通信協(xié)議進行交互。這種結構使得管理與采集分開，通過管理Agent作為數(shù)據(jù)庫和采集工具的溝通媒介，使得管理接口編寫可以獨立于具體的采集工具，系統(tǒng)更為通用；采集工具不再受制于管理方式的變化，使得系統(tǒng)進一步兼容了采集工具的差異性。

2）分布式采集

對于大規(guī)模計算機網(wǎng)絡，安全數(shù)據(jù)采集點多，采集模型依據(jù)Agent是一種分布式系統(tǒng)中的智能體的特點，將Agent思想融入數(shù)據(jù)采集工具中，將各個安全數(shù)據(jù)采集Agent獨立部署在計算機網(wǎng)絡中，并通過一個語義融合Agent對各采集Agent的數(shù)據(jù)進行融合處理。

3）集中式管理

管理Agent與采集Agent之間通過內部協(xié)議進行交互，各管理Agent對外接口一致，使得系統(tǒng)可以通過統(tǒng)一的接口對采集Agent集中控制管理，而具體的控制操作則由管理Agent進行解釋執(zhí)行，這樣就使得不同的Agent在采集數(shù)據(jù)的同時能夠接受統(tǒng)一管理。

4）統(tǒng)一語義封裝

為了避免數(shù)據(jù)歧義，解決多源數(shù)據(jù)引起的數(shù)據(jù)異構問題，模型采用語義表示方法，將各采集Agent采集的數(shù)據(jù)進行語義封裝，實現(xiàn)了安全數(shù)據(jù)的統(tǒng)一表示，避免了數(shù)據(jù)歧義和數(shù)據(jù)異構帶來的數(shù)據(jù)共享難題。

5）數(shù)據(jù)融合

在由不同類型安全設備組成的網(wǎng)絡防御體系中，同一個攻擊往往會在各個安全設備上留下痕跡，這些異構的安全設備從不同側面反映攻擊的影響。因而，對各安全設備的數(shù)據(jù)采集結果，必然存在一定的冗余，模型對匯聚后的數(shù)據(jù)進行語義融合，利用來自多個安全數(shù)據(jù)源信息的互補性，可降低安全數(shù)據(jù)信息的冗余度，并為后續(xù)應用提供更加全面、可靠、準確、有效的數(shù)據(jù)。

4．3 網(wǎng)絡安全數(shù)據(jù)采集流程

圖3為本文設計的安全數(shù)據(jù)采集框架的數(shù)據(jù)采集流程。用戶在采集數(shù)據(jù)前對數(shù)據(jù)采集策略進行設置，由管理層各管理Agent對采集策略進行解釋，傳達給采集層對應數(shù)據(jù)采集Agent，數(shù)據(jù)采集Agent在接收到管理信息后，啟動采集進程，采集所需安全數(shù)據(jù)，并對數(shù)據(jù)進行分析處理和格式化。各數(shù)據(jù)采集Agent通過內部協(xié)議將格式化數(shù)據(jù)傳輸給相應管理Agent，由管理Agent完成語義封裝，通過統(tǒng)一外部協(xié)議將語義數(shù)據(jù)匯聚到語義融合Agent，完成安全數(shù)據(jù)融合，將數(shù)據(jù)存入安全信息數(shù)據(jù)庫。

圖3 安全數(shù)據(jù)采集流程

4．4 Agent設計

結合Agent在主動性和智能性等方面的優(yōu)勢和語義網(wǎng)技術在異構數(shù)據(jù)統(tǒng)一描述方面的優(yōu)勢，設計數(shù)據(jù)采集Agent、管理Agent和語義融合Agent。

1）數(shù)據(jù)采集Agent

對于不同種類的安全數(shù)據(jù)類型，需要開發(fā)相應的數(shù)據(jù)采集Agent，比如日志類、服務類數(shù)據(jù)采集Agent等。各類數(shù)據(jù)采集Agent采集內容與方式不同，但功能框架基本一致，主要包括數(shù)據(jù)采集、數(shù)據(jù)分析處理和數(shù)據(jù)格式化等模塊，如圖4所示。

數(shù)據(jù)采集模塊從各個安全數(shù)據(jù)源采集相關信息，采集內容不同，采用的方法和相關協(xié)議也不同。如網(wǎng)元信息采集采用SNMP 協(xié)議，流量信息采集采用NetFlow 協(xié)議等。

數(shù)據(jù)分析處理模塊接收數(shù)據(jù)采集模塊采集的數(shù)據(jù)，負責對采集到的數(shù)據(jù)進行分析處理，包括統(tǒng)計分析、關聯(lián)分析、指標計算等。

數(shù)據(jù)格式化模塊通過對數(shù)據(jù)過濾、約簡和合并等，按照制定的格式進行數(shù)據(jù)格式的統(tǒng)一轉換。

圖4 數(shù)據(jù)采集Agent功能框架

2）管理Agent

管理Agent負責數(shù)據(jù)采集Agent的接入和管理，主要包括數(shù)據(jù)接入、數(shù)據(jù)格式化處理和數(shù)據(jù)集成封裝等模塊，如圖5所示。

圖5 管理Agent功能框架

數(shù)據(jù)接入模塊負責接收數(shù)據(jù)采集Agent采集的數(shù)據(jù)，能適應采集的不同格式要求，完成對各類數(shù)據(jù)采集Agent的接入。

數(shù)據(jù)格式化處理模塊對接收的各類數(shù)據(jù)進行格式統(tǒng)一，完成數(shù)據(jù)格式的統(tǒng)一轉換，從而屏蔽各采集Agent細節(jié)，為數(shù)據(jù)集成封裝模塊提供統(tǒng)一格式數(shù)據(jù)。

數(shù)據(jù)集成封裝模塊采用XML、本體等語義網(wǎng)技術對格式化后的數(shù)據(jù)進行語義封裝。

3）語義融合Agent

語義融合Agent負責匯聚和融合處理各管理Agent上傳的語義數(shù)據(jù)，主要包括數(shù)據(jù)匯聚、數(shù)據(jù)關聯(lián)、數(shù)據(jù)融合和數(shù)據(jù)持久化等模塊，如圖6所示。

圖6 語義融合Agent功能框架

數(shù)據(jù)匯聚模塊負責將各個管理Agent封裝的語義數(shù)據(jù)進行匯聚，根據(jù)數(shù)據(jù)時間戳、對象等屬性，將數(shù)據(jù)傳輸?shù)綌?shù)據(jù)關聯(lián)模塊。

數(shù)據(jù)關聯(lián)模塊通過對匯聚的語義數(shù)據(jù)進行分析，依據(jù)數(shù)據(jù)采集對象等屬性，將從多個數(shù)據(jù)源獲取的語義數(shù)據(jù)進行關聯(lián)，為數(shù)據(jù)融合奠定基礎。

數(shù)據(jù)融合模塊根據(jù)數(shù)據(jù)關聯(lián)結果，將關聯(lián)后的數(shù)據(jù)通過冗余化處理、數(shù)據(jù)清洗、合并等過程進行融合，充分利用數(shù)據(jù)源的多源異構特性，實現(xiàn)安全數(shù)據(jù)的相互補充。

數(shù)據(jù)持久化模塊將融合后的語義數(shù)據(jù)，存入數(shù)據(jù)庫中，為網(wǎng)絡安全態(tài)勢顯示系統(tǒng)或其他系統(tǒng)提供可用數(shù)據(jù)源。

5 結語

本文首先對網(wǎng)絡安全數(shù)據(jù)的多源異構特性進行分析，并對Agent技術和語義網(wǎng)技術進行了介紹，在此基礎上，將語義網(wǎng)技術和Agent技術相結合，給出基于語義Agent的網(wǎng)絡安全數(shù)據(jù)采集模型，對該模型的功能、特點、數(shù)據(jù)采集流程進行了詳細說明，并對模型中的各類Agent進行了具體設計說明。本文提出一種新的、將Agent和語義網(wǎng)技術相結合的數(shù)據(jù)采集方法，并設計出數(shù)據(jù)采集框架，對多源異構網(wǎng)絡安全數(shù)據(jù)采集具有一定的指導意義。

［1］張斌，王銘?zhàn)醅|．我國網(wǎng)絡犯罪現(xiàn)狀與內部網(wǎng)絡安全管理模式探討［J］．國土資源信息化，2004（4）：6-10．

［2］劉效武．基于多源融合的網(wǎng)絡安全態(tài)勢量化感知與評估［D］．哈爾濱：哈爾濱工程大學，2009．

［3］李建平．面向異構數(shù)據(jù)源的網(wǎng)絡安全態(tài)勢感知模型與方法研究［D］．哈爾濱：哈爾濱工程大學，2010．

［4］（美）安東尼奧（Antonio，G．），（美）海爾梅萊恩（Harmelen，F(xiàn)．）．語義網(wǎng)基本教程［M］．北京：機械工業(yè)出版社，2008．

［5］傅魁，聶規(guī)劃．基于語義Agent的談判提案效用挖掘研究［J］．情報雜志，2007（8）：75-78．

［6］張曉娜，黃赪東，綦磊升．基于多Agent的網(wǎng)絡安全性測試數(shù)據(jù)采集系統(tǒng)［J］．艦船電子工程，2010，30（11）：121-124．

［7］王會梅，王永杰，鮮明．基于移動agent的網(wǎng)絡攻擊效果評估數(shù)據(jù)采集［J］．計算機工程，2007，33（14）：160-162．

［8］趙成棟．基于XML 的電信網(wǎng)絡管理數(shù)據(jù)采集與處理［J］．計算機工程與應用，2003（22）：149-150，163．

［9］彭琪．統(tǒng)一網(wǎng)絡安全管理系統(tǒng)中數(shù)據(jù)采集關鍵技術的研究［D］．武漢：華中師范大學，2008．

［10］馬琳茹，楊林，王建新．多源異構安全信息融合關聯(lián)技術研究［J］．系統(tǒng)仿真學報，2008，20（4）：981-985．