基于數(shù)據(jù)融合和數(shù)據(jù)挖掘的ＤＩＤＳ設(shè)計

摘要：本文介紹了分布式入侵檢測系統(tǒng)的重要性和現(xiàn)有分布式入侵檢測系統(tǒng)的局限性，提出了一種基于數(shù)據(jù)融合和數(shù)據(jù)挖掘的分布式入侵檢測系統(tǒng)模型（DIDSFM），敘述了數(shù)據(jù)融合和數(shù)據(jù)挖掘應(yīng)用于分布式入侵系統(tǒng)的意義，并詳細說明了系統(tǒng)的體系結(jié)構(gòu)和工作原理。

關(guān)鍵詞：入侵檢測系統(tǒng)；數(shù)據(jù)融合；數(shù)據(jù)挖掘；分布式

中圖分類號：TP312文獻標(biāo)識碼：A文章編號：1009-3044(2008)24-1106-02

Design of DIDS Based on Data Fusion and Data Mining

HU Zhong-dong，SHI Hai-ping，ZENG Zhi-yong

(College of Information Engineering，Jiangxi University of Science and Technology，Ganzhou 341000，China)

Abstract:This paper introduce the importance of distributed intrusion detection as well as limitation of present distributed intrusion detection，The paper provides a new model for the intrusion detection system based on data fusion and data mining(DIDSFM)，explains the use of data fusion and data mining technology in distributed intrusion detection，and formulate the system's architecture，principle.

Key words: intrusion detection system;data fusion;data mining;distribution

1 引言

隨著計算機網(wǎng)絡(luò)特別是國際互聯(lián)網(wǎng)的不斷發(fā)展，經(jīng)濟、信息的全球化已成為人類發(fā)展的大趨勢，而網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)也日益復(fù)雜化和大型化，系統(tǒng)的弱點和漏洞日趨向于分布式，同時攻擊者技術(shù)也日趨成熟，尤其協(xié)作式入侵行為的出現(xiàn)，傳統(tǒng)的集中式入侵檢測系統(tǒng)已很難滿足當(dāng)前的需要，因此有必要將檢測分析過程也實現(xiàn)分布，分布式入侵檢測系統(tǒng)（Distributed Intrusion Detection System，DIDS）在入侵檢測體系結(jié)構(gòu)基本框架上引入了分層次過濾、分布處理、分層管理等思想，將多個類似單傳感器的探頭或代理分布在網(wǎng)絡(luò)中的各個關(guān)鍵點上，通過一定的體系結(jié)構(gòu)，相互協(xié)作形成一個有機整體，從而能夠得到和了解網(wǎng)絡(luò)整體的安全狀況，并進行檢測和報警，有效緩解了上述問題，因此，研究分布式入侵檢測系統(tǒng)是十分有必要的[1-2]。

2 現(xiàn)有分布式入侵檢測系統(tǒng)的局限性

分布式入侵檢測系統(tǒng)是是一種分布于網(wǎng)絡(luò)環(huán)境的入侵檢測系統(tǒng)，用于監(jiān)視與網(wǎng)絡(luò)相連的主機及網(wǎng)絡(luò)自身，綜合運用基于主機和網(wǎng)絡(luò)的檢測技術(shù)，從網(wǎng)絡(luò)的不同節(jié)點檢測惡意攻擊行為，通過相互協(xié)作提高入侵檢測能力。目前現(xiàn)有的分布式入侵檢測系統(tǒng)主要存在以下缺點：

1) 告警洪流：多種類型、多點分布的傳感器，使分布式IDS產(chǎn)生大量的數(shù)據(jù)，在一些情況下很容易產(chǎn)生大量相似的警報，造成警報洪流。有效管理這些數(shù)據(jù)是一個具有挑戰(zhàn)性的問題；

2) 高誤報率問題：目前IDS的誤報率有可能高達90%以上，這些誤報將耗費管理員的大量精力，常常使其失去了對真實警報的敏感性；

3) 告警關(guān)聯(lián)性和自適應(yīng)性差：目前大多數(shù)分布式IDS只是在數(shù)據(jù)采集上實現(xiàn)了分布式，數(shù)據(jù)的分析、入侵的發(fā)現(xiàn)以及管理等還是由單個程序完成，這樣的結(jié)構(gòu)缺乏對整個安全態(tài)勢的全面知情;缺少應(yīng)對復(fù)雜的分布式攻擊的手段；系統(tǒng)缺乏靈活性和可配置性等缺點，而且目前大多數(shù)分布式IDS主要依靠管理員手工分析編碼和編寫檢測規(guī)則，致使其擴展性和適應(yīng)性難以滿足新的安全需求。

數(shù)據(jù)融合技術(shù)和數(shù)據(jù)挖掘技術(shù)為分布式IDS解決上述問題提供了一個重要的技術(shù)途徑，數(shù)據(jù)融合是一個多級別、多層次的處理過程，它能對多源異質(zhì)數(shù)據(jù)和信息進行檢測、互聯(lián)、相關(guān)、估計和綜合以得到精確的狀態(tài)估計和屬性估計，以及完整和及時的態(tài)勢評估和威脅估計，將數(shù)據(jù)融合技術(shù)應(yīng)用于分布式入侵檢測系統(tǒng)，把多個異質(zhì)分布式傳感器處的各種數(shù)據(jù)和信息綜合輸入到一個統(tǒng)一的處理過程，來評估整個網(wǎng)絡(luò)環(huán)境的安全性能，增強了告警關(guān)聯(lián)性，減少了告警洪流，降低了誤報率。數(shù)據(jù)挖掘是從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)集中識別有效的、新穎的、潛在有用的。以及最終可理解的模式的過程。分布式入侵檢測系統(tǒng)可以利用數(shù)據(jù)挖掘技術(shù)從海量數(shù)據(jù)中及時、準(zhǔn)確地提取未知的檢測模型并生成相應(yīng)的模式規(guī)則，可以大大增強分布式IDS的擴展性和自適應(yīng)性。

在此我們提出一個基于數(shù)據(jù)融合和數(shù)據(jù)挖掘的分布式入侵檢測系統(tǒng)模型 (Distributed Intrusion Detection System based on Data Fusion and Mining ，DIDSFM)。

3 DIDSFM系統(tǒng)體系結(jié)構(gòu)

基于數(shù)據(jù)融合和數(shù)據(jù)挖掘技術(shù)的DIDSFM體系結(jié)構(gòu)包括多個入侵檢測傳感器、數(shù)據(jù)采集模塊、數(shù)據(jù)庫、數(shù)據(jù)融合功能模塊、數(shù)據(jù)挖掘功能模塊、檢測器模塊、聯(lián)動模塊。如圖1所示：

圖1 DFIAMADS系統(tǒng)體系結(jié)構(gòu)圖

DIDSFM中同時部署多個多種入侵檢測傳感器，如SNMP信息傳感器、網(wǎng)絡(luò)數(shù)據(jù)包傳感器、系統(tǒng)消息傳感器等，并采用分布式安放，用于獲取網(wǎng)絡(luò)中的原始數(shù)據(jù)信息。

數(shù)據(jù)采集模塊就是根據(jù)觀測的時間、報告位置、傳感器類型、信息屬性和特征來分選和歸并各種入侵檢測傳感器的數(shù)據(jù)，并將其傳送到最合適的處理單元。

系統(tǒng)的核心主要是數(shù)據(jù)融合功能模塊和數(shù)據(jù)挖掘功能模塊。數(shù)據(jù)融合模塊的主要功能是通過整合并細化多數(shù)據(jù)源的數(shù)據(jù)，利用融合決策算法進行處理，最終形成了對網(wǎng)絡(luò)安全整體態(tài)勢的評估，輸出的是對象狀態(tài)。數(shù)據(jù)挖掘功能模塊的主要功能是自適應(yīng)模型產(chǎn)生器能夠利用當(dāng)前較先進的數(shù)據(jù)挖掘算法數(shù)據(jù)對DM數(shù)據(jù)倉庫中的數(shù)據(jù)進行特征化、聚類分析和關(guān)聯(lián)規(guī)則的分析提取，構(gòu)建簡潔、精確的正常的或入侵行為模式，生成新的誤用和異常入侵檢測模型。

檢測器模塊是結(jié)合對象狀態(tài)和入侵模式規(guī)則庫判斷是否有攻擊入侵，最后的聯(lián)動模塊主要是根據(jù)檢測結(jié)果，響應(yīng)分布式入侵檢測系統(tǒng)的硬件和軟件系統(tǒng)，如防火墻、路由器、漏洞掃描系統(tǒng)、基于主機HIDS等，當(dāng)檢測器檢測出入侵的時候，這些設(shè)備能夠及時應(yīng)急響應(yīng)，其響應(yīng)方式主要有記錄安全事件、隔離入侵者IP、追蹤入侵、斷開危險連接等。

4 數(shù)據(jù)融合模塊

數(shù)據(jù)融合模塊綜合了人工智能、統(tǒng)計學(xué)和數(shù)字信號處理等多方面的技術(shù)，主要功能是對多信息源的數(shù)據(jù)進行自動檢測關(guān)聯(lián)、估計及組合等處理，處理的目的是為了獲得較高質(zhì)量的信息。

在JDL模型的基礎(chǔ)上，我們設(shè)計出DFIAMDS的入侵檢測數(shù)據(jù)融合過程（圖2）。

圖2 DFIAMDS數(shù)據(jù)融合模塊示意圖

圖3 DIDSFM數(shù)據(jù)挖掘模塊示意圖

DIDSFM首先通過數(shù)據(jù)采集模塊獲取遍布系統(tǒng)的入侵檢測傳感器的原始信息; 之后將數(shù)據(jù)傳給數(shù)據(jù)求精模塊，該模塊主要完成數(shù)據(jù)的處理和轉(zhuǎn)換，實現(xiàn)多維模型的轉(zhuǎn)換、數(shù)據(jù)的匯總和采樣; 然后利用推理算法進行對象求精(歸整)過程，并抽象生成相應(yīng)的對象庫，其中，特征提取后的特征可以直接作為輸入傳送到威脅評估模塊，這樣做的目的是加快威脅評估的響應(yīng)速度，對象求精模塊采用基于集中式的特征級融合結(jié)構(gòu)來實現(xiàn)；進一步利用狀態(tài)求精算法，對在此聚集的對象的協(xié)同行為、依賴、公共起源、公共協(xié)議、公共目標(biāo)、相關(guān)攻擊率或其它高層屬性進行檢測，經(jīng)過推理得出狀態(tài)庫；然后利用威脅評估模塊結(jié)合安全策略和當(dāng)前狀態(tài)庫的狀態(tài)進行威脅評估，并將威脅程度信息輸出到狀態(tài)庫；資源管理模塊負(fù)責(zé)評估和監(jiān)控整個融合系統(tǒng)的運行情況，并根據(jù)狀態(tài)庫的威脅程度信息來調(diào)整相應(yīng)的融合處理的優(yōu)先級和資源分配，以及動態(tài)地調(diào)整數(shù)據(jù)預(yù)處理的過濾策略。

5 數(shù)據(jù)挖掘模塊

數(shù)據(jù)挖掘模塊融合了神經(jīng)網(wǎng)絡(luò)、遺傳算法、規(guī)則推理、決策樹、人工智能和數(shù)據(jù)庫系統(tǒng)等多門技術(shù)，主要功能是從原始信息的訓(xùn)練數(shù)據(jù)集合中及時、準(zhǔn)確地提取未知的檢測模式或規(guī)則，增強了分布式入侵檢測系統(tǒng)的可擴展性和環(huán)境適應(yīng)性，進一步提高了入侵檢測性能。

DIDSFM的入侵檢測數(shù)據(jù)挖掘過程如圖3所示。

DIDSFM首先通過數(shù)據(jù)采集模塊獲取遍布系統(tǒng)的入侵檢測傳感器的原始信息；之后預(yù)處理模塊將采集來的海量原始數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗與集成、數(shù)據(jù)選擇與變換、相關(guān)性分析(特征、選擇)、離散化和概念分層等，將數(shù)據(jù)轉(zhuǎn)換成適合數(shù)據(jù)挖掘的形式，存儲到DM數(shù)據(jù)庫中；關(guān)聯(lián)規(guī)則、序列規(guī)則數(shù)據(jù)挖掘模塊負(fù)責(zé)從DM數(shù)據(jù)庫中挖掘關(guān)聯(lián)規(guī)則和序列規(guī)則，發(fā)現(xiàn)正常模式，生成基于異常檢測的規(guī)則，分類算法數(shù)據(jù)挖掘模塊負(fù)責(zé)從DM數(shù)據(jù)庫中經(jīng)過訓(xùn)練過的數(shù)據(jù)集進行學(xué)習(xí)，提取出分類規(guī)則，用于誤用檢測，并將新生成的規(guī)則和存儲到DM數(shù)據(jù)庫中；DM數(shù)據(jù)庫會自動將更新過的規(guī)則和模型傳遞給規(guī)則庫模塊，用于入侵檢測判別。

6 聯(lián)動模塊

聯(lián)動模塊的功能是根據(jù)檢測引擎產(chǎn)生的入侵判斷執(zhí)行預(yù)定的響應(yīng)措施，通過協(xié)調(diào)整合各種系統(tǒng)和設(shè)備來提高入侵檢測系統(tǒng)的整體性能，以適應(yīng)網(wǎng)絡(luò)安全整體化、立體化的要求。整個系統(tǒng)利用一套開放的標(biāo)準(zhǔn)描述語言或者AP1來實現(xiàn)相互通信，目前可以選擇Checkpoint公司的Opsec或者國內(nèi)的Topsec標(biāo)準(zhǔn)[3]。

7 結(jié)束語

傳統(tǒng)分布式入侵檢測具有告警洪流、告警關(guān)聯(lián)性差、誤報率高和擴展性差等問題，而基于數(shù)據(jù)融合和數(shù)據(jù)挖掘的分布式入侵檢測系統(tǒng)可以很好的解決這個問題。在本文提出的系統(tǒng)中，數(shù)據(jù)融合模塊和數(shù)據(jù)挖掘模塊協(xié)同工作，共同完成入侵檢測任務(wù)，其中數(shù)據(jù)融合模塊負(fù)責(zé)多源異質(zhì)數(shù)據(jù)的融合處理，增強告警關(guān)聯(lián)性，提高入侵識別效能和準(zhǔn)確性，數(shù)據(jù)挖掘模塊負(fù)責(zé)及時、準(zhǔn)確生成新的入侵檢測模型，提高系統(tǒng)的自適應(yīng)性。建立一個直接應(yīng)用的基于數(shù)據(jù)融合和數(shù)據(jù)挖掘的分布式入侵檢測系統(tǒng)是一個大型、復(fù)雜的過程，要步入實用階段還有大量的工作需要進行。

參考文獻：

[1] 陳志文.分布式入侵檢測系統(tǒng)報警數(shù)據(jù)融合技術(shù)研究與實現(xiàn)[D].中國工程物理研究院碩士論文，2005.

[2] 胡昌振.網(wǎng)絡(luò)入侵檢測原理與技術(shù)[M].北京:北京理工大學(xué)出版社，2006.

[3] 閻飛，汪生，朱磊明.基于數(shù)據(jù)融合和數(shù)據(jù)挖掘技術(shù)的入侵檢測系統(tǒng)設(shè)計[J].計算機工程與科學(xué)，2004，26(4):15-18.

[4] 王毅.基于分布式體系結(jié)構(gòu)的網(wǎng)絡(luò)入侵檢測系統(tǒng)(DIDS)[J].電腦知識與技術(shù)，2007，1(4):977-1000.

[5] 羅守山.入侵檢測[M].北京:北京郵電大學(xué)出版社，2004.

[6] Smarandaehe F，Dezert J.ProPortional confict redistribution rules for information fusion[J].sumbitted to ISIF Journal of Advances in Information Fusion，2004，27(5):298-312.