基于多傳感器數(shù)據(jù)融合入侵檢測模型

陳志航

(武漢數(shù)字工程研究所,湖北武漢 430074)

0 引言

隨著計算機和互聯(lián)網(wǎng)技術的普及,信息和網(wǎng)絡安全問題己經(jīng)變得越來越重要。近年來,網(wǎng)絡攻擊事件不斷呈現(xiàn)出上升趨勢,網(wǎng)絡攻擊自動化程度與攻擊速度不斷提高,攻擊工具越來越復雜且易于從網(wǎng)上獲得,攻擊者不需要多少專業(yè)知識即可利用網(wǎng)上工具輕而易舉的實現(xiàn)攻擊,且對網(wǎng)絡基礎設施的攻擊造成的危害越來越大。隨著分布式計算的發(fā)展,網(wǎng)絡規(guī)模的不斷擴大,入侵行為也逐漸呈現(xiàn)出大規(guī)模,協(xié)同,分布,多階段等發(fā)展趨勢。

入侵檢測系統(tǒng)(IDS)日益受到了各國政府、軍隊和企業(yè)等的關注,并逐漸成為安全敏感部門的網(wǎng)絡標準配置,用以監(jiān)視網(wǎng)絡、主機、文件等關鍵資源。入侵檢測系統(tǒng)既要根據(jù)現(xiàn)有安全策略、安全狀況更好地配置系統(tǒng)模塊,又要在發(fā)現(xiàn)入侵行為后及時通知響應模塊采取相應的防護措施,改善系統(tǒng)防護能力。因此,其采用的檢測技術(尤其是在線入侵檢測技術)的效率自接關系到網(wǎng)絡系統(tǒng)的應急響應能力、反擊能力、攻擊危害緩解能力。

然而,目前入侵檢測技術仍處于不成熟的階段。首先,入侵檢測系統(tǒng)中仍存在一些普遍性問題,其中影響尤為顯著的就是重復警報多、虛假警報量大、誤報率高以及漏報問題,使得網(wǎng)絡安全管理人員在實際使用中無法對所發(fā)生的情況做出正確判斷,疲于應付虛假警報,無法發(fā)揮 IDS的作用。其次是可擴展性問題,分為時間上的可擴展性和空間上的可擴展性問題。時間上的可擴展性問題,主要指對時間跨度較大的攻擊行為的監(jiān)測能力,缺乏足夠的性能表現(xiàn)。空間上的擴展性問題主要指分布式環(huán)境下的檢測能力,對于大型網(wǎng)絡設施的安全監(jiān)控,需要處理諸多特殊問題,目前缺乏成熟的解決方案。此外還存在各種入侵檢測系統(tǒng)之間警報信息無法共享的問題。在大規(guī)模網(wǎng)絡中,可能需要多個入侵檢測系統(tǒng)協(xié)同上作,以處理各種復雜的分布式攻擊,達到最佳的檢測效果。然而目前不同廠家不同類型的 IDS之間警報信息存在較大差異,且多數(shù)系統(tǒng)是封閉的,無法實現(xiàn)與其他系統(tǒng)的通信與協(xié)作。

多傳感器數(shù)據(jù)融合和數(shù)據(jù)挖掘技術是解決上述問題的一個好的方法。

1 多傳感器數(shù)據(jù)融合和數(shù)據(jù)挖掘

多傳感器信息融合是人類和其它生物系統(tǒng)普遍具有的一種基本功能。而數(shù)據(jù)挖掘又是人類特有的功能,人類本能地具有將身體上的各種功能器官所探測的信息與先驗的知識進行綜合的能力,以便對他周圍的環(huán)境和正在發(fā)生的事情做出估計[1]。由于人類的不同器官具有不同的度量特征,因而可以測出不同空間范圍內(nèi)發(fā)生的各種物理現(xiàn)象并挖掘出這些物理現(xiàn)象的相關性。這一處理過程是復雜的,也是自適應的,它將各種信息轉化成對環(huán)境的有價值的解釋。

多傳感器數(shù)據(jù)融合和數(shù)據(jù)挖掘實際上是對人腦綜合處理復雜問題的一種功能模擬。在多傳感器系統(tǒng)中,各種傳感器提供的信息可能具有不同的特征：時變的或者非時變的,實時的或者非實時的,快變的或者緩變的,模糊的或者確定的,可靠的或者非可靠的,也可能是相互矛盾的。多傳感器數(shù)據(jù)融合的基本原理就像人腦綜合處理信息的過程一樣,它充分利用多個傳感器資源,通過對各種傳感器及其觀測信息的合理支配和使用,將各種傳感器在空間和時間上的互補與冗余信息的挖掘,根據(jù)某種優(yōu)化準則組合起來,產(chǎn)生對觀測環(huán)境的一致性解釋和描述,它的最終目的是利用多個傳感器共同或者聯(lián)合操作的優(yōu)勢,來提高整個系統(tǒng)的性能。多傳感器數(shù)據(jù)融合和數(shù)據(jù)挖掘是一個較新的工程方法,它結合從多傳感器接受來的信息,從信息特征數(shù)據(jù)記錄挖掘,從而推導出事件和形勢。該方法和人類大腦思維很相似,即從不同的傳感器組織傳輸而來的數(shù)據(jù),通過大腦融合和挖掘來評估形勢,作決定并采取行動。

在入侵檢測系統(tǒng)中應用數(shù)據(jù)融合和數(shù)據(jù)挖掘技術的目的就是要從異質的分布式網(wǎng)絡中的多傳感器中提取數(shù)據(jù)并加以融合,以形成計算機空間的態(tài)勢估計。介紹了一種基于多傳感器數(shù)據(jù)融合和數(shù)據(jù)挖掘的入侵檢測系統(tǒng)模型,通過該模型設計出的入侵檢測系統(tǒng)能較好地解決現(xiàn)存在的入侵檢測系統(tǒng)存在的問題。

2 基于多傳感器數(shù)據(jù)融合的入侵檢測模型

這個模型將分布式入侵檢測任務理解為在層次化模型下對多個感應器的數(shù)據(jù)綜合問題[2],入侵檢測的數(shù)據(jù)融合可以理解為若干級別的數(shù)據(jù)提煉。在這個層次化模型中,入侵檢測的數(shù)據(jù)源經(jīng)歷了從數(shù)據(jù)到信息再到知識三個邏輯抽象層次。數(shù)據(jù)是指測量和觀察值,信息是指被放置在上下文中、經(jīng)過索引和組織的數(shù)據(jù),知識是指經(jīng)過解釋和理解后的信息。

如圖 1所示。該模型共分為 4個功能層次。其中第零級為數(shù)據(jù)提取,提取的數(shù)據(jù)來自于 sniffer和入侵檢測傳感器的原始監(jiān)測標識、監(jiān)測時機和描述。這些原始數(shù)據(jù)經(jīng)過校準過濾后,作為第一層的目標被提取。第二級為態(tài)勢提取,可以提供態(tài)勢知識和識別。網(wǎng)絡環(huán)境的態(tài)勢知識被用來通過現(xiàn)存的入侵檢測模板分析對象和統(tǒng)計組別以提供當前的態(tài)勢并且建議或辨別未來的威脅攻擊或網(wǎng)絡環(huán)境下的活動。在第三級威脅估計和安全政策與目標之間的關系決定了當前狀態(tài)的基礎。通過第四級資源管理,基于當前事態(tài)評估(和附加數(shù)據(jù))到更進一步的精煉檢測,整個過程可以被提煉出來。例如,某一特定的對象和主題的重要性會有更高的處理優(yōu)先級,形成一個入侵檢測一一數(shù)據(jù)融合的反饋環(huán)。

圖 1 入侵檢測數(shù)據(jù)融合模型

融合模型的 4層功能如下：

① level 0(數(shù)據(jù)提煉)：數(shù)據(jù)由探測器和其他入侵檢測傳感器的原始數(shù)據(jù)而得來,這些未加工的數(shù)據(jù)需要校準和過濾,通過融合模型中的 Level 0的精煉層,對原始數(shù)據(jù)進行過濾;

② level l(對象提煉)：根據(jù)通用參考框架對 level 0層傳來的數(shù)據(jù)進行校準：包括進行時間、空間關聯(lián),根據(jù)相關性指派加權值;

③ level 2(態(tài)勢提煉)：對象被校準,關聯(lián),放置上下文信息后,根據(jù)其的協(xié)同行為,依賴性,相同源,相同目標,相同協(xié)議,相關的攻擊速率或其他高層次屬性進行數(shù)據(jù)挖掘,可得到對象的聚類,形成態(tài)勢知識;

④level 3(威脅評估)：態(tài)勢知識用于分析對象和以抵御存在的入侵檢測模板,以提供一個當前態(tài)勢和建議的評估。在Level 3威脅評估和安全策略及對象之間的關聯(lián),決定了當前態(tài)勢基礎的情況,即根據(jù)安全策略和目標,對當前態(tài)勢進行評估,鑒定將來的威脅;

⑤level 4(資源管理)：根據(jù)態(tài)勢分析及附加數(shù)據(jù),精簡整個過程,進一步提煉檢測,例如,針對特定的對象和興趣主體設置較高的處理優(yōu)先級,形成入侵檢測數(shù)據(jù)融合的反饋循環(huán)。

3 基于多傳感器數(shù)據(jù)融合的入侵檢測系統(tǒng)的數(shù)據(jù)挖掘

入侵檢測的數(shù)據(jù)挖掘是一種不在線的知識創(chuàng)造過程,大量收集的數(shù)據(jù)被過濾,傳輸,組織進入信息集合。信息用于發(fā)現(xiàn)隱藏的且是先前未被檢測的入侵形式[3]。入侵檢測數(shù)據(jù)挖掘見圖 2所示。

圖2 入侵檢測數(shù)據(jù)挖掘

數(shù)據(jù)挖掘通常稱為知識發(fā)現(xiàn),它通過兩個重要特性來區(qū)別于數(shù)據(jù)融合過程,這兩個特性是推論方法和暫時的透視法。數(shù)據(jù)融合使用已知的入侵檢測模板和識別方式。數(shù)據(jù)挖掘過程基于先前的未檢測的入侵來搜索隱藏方式以幫助發(fā)展新的檢測模板。另外,數(shù)據(jù)融合基于過去的數(shù)據(jù)集中在當前的網(wǎng)絡狀態(tài);數(shù)據(jù)挖掘集中在新的或隱藏在老數(shù)據(jù)里的方式,用于創(chuàng)造先前的未知的知識。

數(shù)據(jù)輸入由傳感器數(shù)據(jù)、指令和以前建立起來的數(shù)據(jù)庫里的數(shù)據(jù)組成,例如系統(tǒng)輸入可以來源于大量分布式的 sniffer包[4]、系統(tǒng)日志文件、用戶配置數(shù)據(jù)庫信息、系統(tǒng)消息以及操作指令。系統(tǒng)的輸出則包括對威脅源的識別、惡意的活動、威脅分類、攻擊頻率、對目標潛在威脅的嚴重性評估。

入侵檢測的觀察功能包括數(shù)據(jù)收集,包括入侵檢測傳感器,網(wǎng)絡探測器和計算機系統(tǒng)日志文件;確定方向功能包括數(shù)據(jù)挖掘概念在記錄的數(shù)據(jù)和計算機文件中發(fā)現(xiàn)和學習先前未知的特性。確定方向功能還包括入侵檢測和數(shù)據(jù)融合過程聯(lián)合的模板的應用。在決定功能中,信息進一步精煉到威脅知識中,用于合適的行為和對策的決定,行為功能包括自動和手動響應,簡單的攻擊響應是自動的,然而更多復雜的決定往往需要人工干預[5]。

從相關網(wǎng)絡管理和入侵檢測系統(tǒng)來的未加工的數(shù)據(jù)在數(shù)據(jù)庫中收集與分類。一個主要的技術問題就是如何協(xié)調許多不同格式的未加工數(shù)據(jù)和不一致的數(shù)據(jù)定義。這個過程是數(shù)據(jù)清理操作的一部分。數(shù)據(jù)清理完成檢查以保證在正確范圍內(nèi)收集數(shù)據(jù),評價數(shù)據(jù)的總體一致性,保證所有的索引和提交的數(shù)據(jù)以及分層的關系存在。

將用于數(shù)據(jù)挖掘操作的最初數(shù)據(jù)集合在數(shù)據(jù)選擇和傳輸過程進行選擇[6]。數(shù)據(jù)挖掘在一個小的集合里正常完成,然后擴展到更大的集合。數(shù)據(jù)挖掘操作在被選的數(shù)據(jù)集合中以手動和自動的方式完成。

聚類：數(shù)據(jù)分割到子集,分享共同的特性。

聯(lián)合：在數(shù)據(jù)集合中原因和效果以及關系結構的分析。

統(tǒng)計分析：在被選的數(shù)據(jù)集合中決定特性和聯(lián)合的可能性。

規(guī)則引導：IF-THEN-ELSE規(guī)則來描述聯(lián)合、結構和測試規(guī)則。

連接和樹引導：在數(shù)據(jù)集合和興趣連接特性之間發(fā)現(xiàn)關系。

神經(jīng)系統(tǒng)引導：訓練人工神經(jīng)網(wǎng)絡以符合數(shù)據(jù),額外的節(jié)點重量和結構。

當信息被挖掘進入一個新的入侵知識,精煉模型試圖依據(jù)歷史數(shù)據(jù)來預測未來事件,這個過程稱為發(fā)現(xiàn)模型。此外,分析者需要可視化的工具來支持發(fā)達的手工認知過程。整個數(shù)據(jù)挖掘過程被精煉為調節(jié)參數(shù)、集合,以及在低層次過程的聯(lián)合。

4 結語

描述了一種基于多傳感器數(shù)據(jù)融合的入侵檢測系統(tǒng)模型,并在此基礎上,介紹了基于多傳感器數(shù)據(jù)融合的入侵檢測系統(tǒng)的數(shù)據(jù)挖掘。描述的融合模型,其目的是作為理解和討論融合技術的基本框架,將融合處理過程分割為 4個層次,也是人為的分解,在實際開發(fā)數(shù)據(jù)融合處理系統(tǒng)時,其內(nèi)容和模塊的劃分也可以根據(jù)實際使用技術和執(zhí)行算法的不同而改變。該入侵檢測模型是一個演繹的過程,在許多數(shù)據(jù)資源中,通過搜索特定的入侵簽名和在數(shù)據(jù)流的模板,檢測先知的知識類型,以理解網(wǎng)絡安全的狀態(tài)。隨著網(wǎng)絡的不斷進化發(fā)展,對象、態(tài)勢、威脅、傳感器和數(shù)據(jù)流的數(shù)量都在動態(tài)增加,對復雜的入侵檢測設計者而言,體現(xiàn)了一個十分復雜的挑戰(zhàn)。

[1]楊萬海,多傳感器數(shù)據(jù)融合及其應用[M].西安：西安電子科技大學出版社,2004.

[2]Denning D.An Intrusion Detection Model[J].IEEETransactions on Software Engineering,2004,SE-13(02)：222-232.

[3]Snapp S.A System for Distributed Intrusion Detection[C].USA：IEEE,2003：170-176.

[4]Silverman R.Intrusion Detection Systems Sniff Out Digital Attack[J].The Wall Street Journal,2002(04)：36.

[5]Bauer D,Koblentz M.An Expert System for Real-Time Network Intrusion Detection[J].Proceeding of the IEEEComputer Networking Symposium,2005(11)：17-13.

[6]宋珊珊,李建華,張少俊.基于數(shù)據(jù)挖掘的因果關聯(lián)知識庫構建方法[J].信息安全與通信保密,2009(07)：102-104.