基于SOM的入侵檢測(cè)方法研究

摘要:針對(duì)現(xiàn)有入侵檢測(cè)系統(tǒng)識(shí)別率低、誤報(bào)率高的問題，將SOM神經(jīng)網(wǎng)絡(luò)應(yīng)用到入侵檢測(cè)系統(tǒng)。自組織特征映射神經(jīng)網(wǎng)絡(luò)SOM (Self Organizing Feature Maps)作為一種優(yōu)良的聚類工具，具有無(wú)需監(jiān)督，能自動(dòng)對(duì)輸入模式進(jìn)行聚類的優(yōu)點(diǎn)。為驗(yàn)證檢測(cè)方法的有效性，采用 KDD Cup99的訓(xùn)練集與測(cè)試集進(jìn)行實(shí)驗(yàn)。

關(guān)鍵詞:自組織特征映射;聚類;入侵檢測(cè)

中圖分類號(hào):TP393文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1009-3044(2010)21-5711-03

Research on SOM-based Intrusion Detection Method

CHEN Qian， GAO Mao-ting

(Information Engineering College， Shanghai Maritime University， Shanghai 200135， China)

Abstract: For the low identification rate and high 1 alarm rate of existing Intrusion Detection System， we applied the SOM neural network to the intrusion detection system. As a good clustering tool， SOM can automatically cluster input mode with no supervision. To verify the validity of testing，we use the training set and test set of KDD Cup99 to make experiments.

Key words: self organizing feature maps; clustering; intrusion detection

隨著網(wǎng)絡(luò)互連程度的日益擴(kuò)大，計(jì)算機(jī)網(wǎng)絡(luò)的安全問題也日益突出。靜態(tài)安全技術(shù)對(duì)防止系統(tǒng)非法入侵起到了一定的作用，但在真正的網(wǎng)絡(luò)攻擊行為發(fā)生時(shí)，尤其是在遭受新型的網(wǎng)絡(luò)攻擊時(shí)，系統(tǒng)的防御能力將會(huì)遭受到不小的挑戰(zhàn)。入侵檢測(cè)是網(wǎng)絡(luò)安全領(lǐng)域內(nèi)的研究熱點(diǎn)和難點(diǎn)，而入侵檢測(cè)的核心是如何正確地對(duì)數(shù)據(jù)進(jìn)行分類。按照分析數(shù)據(jù)的方法不同，IDS可分為誤用檢測(cè)和異常檢測(cè)。誤用檢測(cè)技術(shù)的使用需要預(yù)先建立一個(gè)特征庫(kù)，特征庫(kù)里搜集的是各種已知的網(wǎng)絡(luò)入侵特征模式和系統(tǒng)缺陷的詳盡知識(shí)。誤用檢測(cè)技術(shù)就是將獲取的原始數(shù)據(jù)經(jīng)過處理后與特征庫(kù)里的攻擊模式相比較從而做出判斷;異常檢測(cè)能識(shí)別主機(jī)或網(wǎng)絡(luò)中的異常或者不尋常行為，通過比較當(dāng)前數(shù)據(jù)是否與正常行為特征模型切合來判定攻擊是否發(fā)生，是一種無(wú)指導(dǎo)的入侵檢測(cè)方法。基于異常的入侵檢測(cè)具有發(fā)現(xiàn)未知入侵行為的特性，是當(dāng)前入侵檢測(cè)技術(shù)的研究重點(diǎn)。

1 SOM神經(jīng)網(wǎng)絡(luò)

1.1 算法思想

自組織映射神經(jīng)網(wǎng)絡(luò)是無(wú)監(jiān)督競(jìng)爭(zhēng)學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)。競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則意味著神經(jīng)元通過競(jìng)爭(zhēng)來響應(yīng)相似輸入向量(輸入向量描述了一些網(wǎng)絡(luò)連接的特征，比如目的端口和發(fā)生包數(shù)量等)，權(quán)值向量與輸入向量最接近的神經(jīng)元獲勝，成為最佳匹配神經(jīng)元(Best Matching Unit，BMU)。競(jìng)爭(zhēng)勝出的神經(jīng)元贏得對(duì)輸入向量的響應(yīng)權(quán)，通過學(xué)習(xí)規(guī)則來調(diào)整其權(quán)值向量，以便更接近此類型的輸入模式;同時(shí)獲勝神經(jīng)元周圍的神經(jīng)元在其影響下也將不同程度的調(diào)整權(quán)向量:以優(yōu)勝神經(jīng)元為中心設(shè)定一個(gè)領(lǐng)域半徑，圈定的范圍為優(yōu)勝領(lǐng)域。優(yōu)勝領(lǐng)域內(nèi)的所有神經(jīng)元均按其與最佳匹配神經(jīng)元的距離遠(yuǎn)近不同程度地調(diào)整權(quán)值向量。

1.2 SOM網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)

SOM網(wǎng)有兩層，輸入層各神經(jīng)元通過權(quán)值向量與輸出層各個(gè)神經(jīng)元相連，輸出層神經(jīng)元的排列有多種形式，如一維線陣、二維平面陣、三維柵格陣。其中，二維平面組織是SOM網(wǎng)最經(jīng)典的組織方式，該組織結(jié)構(gòu)中輸出層的每個(gè)神經(jīng)元同它周圍的其他神經(jīng)元側(cè)向連接，排列成棋盤狀平面。圖1為SOM二維平面結(jié)構(gòu)。

1.3 運(yùn)行原理

SOM網(wǎng)的運(yùn)行分訓(xùn)練和工作兩個(gè)階段。在訓(xùn)練階段，對(duì)網(wǎng)絡(luò)隨機(jī)輸入訓(xùn)練集中的樣本。網(wǎng)絡(luò)通過自組織、自學(xué)習(xí)方式，根據(jù)大量訓(xùn)練樣本調(diào)整網(wǎng)絡(luò)權(quán)值，最后使輸出層各節(jié)點(diǎn)能對(duì)某特定模式類敏感。這樣，當(dāng)兩個(gè)模式類的特征接近時(shí)，代表這兩類的節(jié)點(diǎn)在位置上也接近。所以SOM可以把輸入空間的多維映射到低維的(一維或二維)的離散網(wǎng)絡(luò)上，并將保持相同性質(zhì)的輸入數(shù)據(jù)在映射到低維空間時(shí)的拓?fù)湟恢滦浴?/p>

訓(xùn)練結(jié)束后，輸出層各節(jié)點(diǎn)與各輸入模式類的特定聯(lián)系就確定了。當(dāng)輸入一個(gè)向量時(shí)，網(wǎng)絡(luò)輸出層與該模式類匹配的特定神經(jīng)元將產(chǎn)生最大響應(yīng)，從而將該輸入自動(dòng)歸類。但當(dāng)輸入模式不屬于網(wǎng)絡(luò)訓(xùn)練時(shí)的任何模式類時(shí)，SOM網(wǎng)只能將其歸入最接近的一類。

1.4 學(xué)習(xí)算法

1) 初始化:給輸出層各權(quán)值向量賦初值，得到Wj，j=1，2，…，m(m為輸出層神經(jīng)元個(gè)數(shù));定義初始化優(yōu)勝鄰域Nj(0)，學(xué)習(xí)率η賦初值。

2) 輸入向量:從樣本集中隨機(jī)選取一個(gè)作為輸入向量X。

3) 尋找最佳匹配神經(jīng)元:依次計(jì)算X與Wj的歐式距離Ej，找出所有Ej中的最小值，與之對(duì)應(yīng)的神經(jīng)元j*即為與X最佳匹配的神經(jīng)元。

4) 定義優(yōu)勝鄰域Nj*(t)，即t時(shí)刻以獲勝神經(jīng)元j*為中心的權(quán)值調(diào)整范圍，最開始初始鄰域較大，隨著訓(xùn)練過程逐步減小。

5) 調(diào)整鄰域內(nèi)所有神經(jīng)元的權(quán)值:依據(jù)下式對(duì)各神經(jīng)元權(quán)值向量進(jìn)行調(diào)整:

Wij(t+1)=Wij(t)+η(t，N)[Xi-Wij(t)]i=1，2，…，n(n為輸入向量維數(shù));j∈Nj*(t)

上式中，η(t，N)是關(guān)于訓(xùn)練時(shí)間t和鄰域內(nèi)第j個(gè)神經(jīng)元與獲勝神經(jīng)元j*之間的拓?fù)渚嚯xN的函數(shù)。

6) 結(jié)束檢查:檢查學(xué)習(xí)率η(t)是否衰減到零或某個(gè)預(yù)定的正小數(shù)。不滿足結(jié)束條件則轉(zhuǎn)回步驟(2)。

2 SOM網(wǎng)絡(luò)在入侵檢測(cè)中的應(yīng)用實(shí)驗(yàn)

2.1 應(yīng)用原理

SOM網(wǎng)絡(luò)中的各個(gè)神經(jīng)元經(jīng)過訓(xùn)練后，能將模式相近的輸入樣本聚類在拓?fù)浣Y(jié)構(gòu)上相近的區(qū)域，從而能夠在數(shù)據(jù)類別未知的情況下對(duì)不同數(shù)據(jù)實(shí)行分類。網(wǎng)絡(luò)入侵檢測(cè)則是要區(qū)分異常數(shù)據(jù)和正常數(shù)據(jù)，檢測(cè)出不正常行為數(shù)據(jù)。如果采用足夠的多的正常數(shù)據(jù)和異常數(shù)據(jù)對(duì)SOM網(wǎng)絡(luò)進(jìn)行訓(xùn)練，則訓(xùn)練后的SOM網(wǎng)絡(luò)就可以有效識(shí)別攻擊型數(shù)據(jù)。

2.2 實(shí)驗(yàn)方案

采用DARPA的1999年KDD入侵檢測(cè)評(píng)估數(shù)據(jù)庫(kù)作為SOM網(wǎng)絡(luò)的數(shù)據(jù)來源。該數(shù)據(jù)庫(kù)包含近500萬(wàn)條TCP連接記錄，包括訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集兩部分。異常數(shù)據(jù)中根據(jù)攻擊目的，將其分為DOS、Probe、R2L、U2R四類。本文選取了DOS攻擊大類中的幾個(gè)特殊小類進(jìn)行聚類實(shí)驗(yàn)。采用的方法則為從kddcup.data_10_percent_corrected訓(xùn)練集中，隨機(jī)選取正常數(shù)據(jù)1000條。從DOS攻擊中抽取Smurf攻擊1000條，Neptune攻擊700條，Back攻擊500條，Teardrop攻擊300條。將抽取出來的正常數(shù)據(jù)和攻擊數(shù)據(jù)混合組成訓(xùn)練集。從KDDCup_Test.Corrected測(cè)試集中以同樣的方式選出測(cè)試數(shù)據(jù)組成測(cè)試集1;取正常數(shù)據(jù)1000條，Smurf攻擊1000條，Neptune攻擊700條，Back攻擊500條，Teardrop攻擊300條，pod攻擊260條，land攻擊20條組成測(cè)試集2。

2.3 采用主成分分析(PCA)進(jìn)行特征提取

KDD Cup99數(shù)據(jù)集中的每條記錄包含41個(gè)特征，分為基本特征和推導(dǎo)特征。基本特征指的是網(wǎng)絡(luò)連接本身的特征，推導(dǎo)特征則是一些統(tǒng)計(jì)性特征。

現(xiàn)有的入侵檢測(cè)系統(tǒng)對(duì)于數(shù)據(jù)集中的特征選取主要有兩種方式，即選取全部41種特征或選取9種基本連接特征中的部分或全部。前者能確保檢測(cè)率和誤檢率，但卻增大了系統(tǒng)開銷;后者雖降低了系統(tǒng)開銷，但在檢測(cè)率和誤檢率上卻效果欠佳。

主成分分析(Principal Components Analysis，PCA)方法是統(tǒng)計(jì)學(xué)中分析數(shù)據(jù)的一種有效方法，對(duì)數(shù)據(jù)進(jìn)行非線性空間壓縮，可以將數(shù)據(jù)從高維數(shù)據(jù)空間變換到低維特征空間。通過導(dǎo)出少數(shù)幾個(gè)主成分，使它們盡可能多地保留了原始數(shù)據(jù)的信息，且彼此間不相關(guān)。

本實(shí)驗(yàn)中只考慮數(shù)值型特征34個(gè)，利用PCA分析方法后將特征縮減為28個(gè)，大大減少了后續(xù)工作量，又能較大程度的保留對(duì)分類貢獻(xiàn)較大的主要特征。

2.4 數(shù)據(jù)預(yù)處理

聚類算法中要使用距離函數(shù)計(jì)算兩個(gè)向量的距離，而連接記錄的特征屬性中有兩種類型的數(shù)值:離散型和連續(xù)型。對(duì)于連續(xù)型特征，如果變量值域很大，在計(jì)算數(shù)據(jù)間距離時(shí)對(duì)結(jié)果的影響較大，從而不客觀的影響了聚類結(jié)果。為了避免特征屬性度量差異給聚類帶來的影響，需要對(duì)各特征屬性值進(jìn)行標(biāo)準(zhǔn)化。

對(duì)于離散型特征，按照每一個(gè)數(shù)值在該類數(shù)據(jù)中出現(xiàn)的頻率進(jìn)行替換。

數(shù)據(jù)預(yù)處理分為兩步:數(shù)值標(biāo)準(zhǔn)化和數(shù)值歸一化。設(shè)數(shù)據(jù)集共有n條網(wǎng)絡(luò)連接記錄，每個(gè)記錄中有m個(gè)連續(xù)型特征。將其記為Xij(1≤i≤n，1≤j≤m)

1) 數(shù)值標(biāo)準(zhǔn)化

設(shè)X′ij為Xij標(biāo)準(zhǔn)后的值。

其中AVGj為平均值，STADj為平均絕對(duì)偏差，與標(biāo)準(zhǔn)差相比，對(duì)于孤立點(diǎn)有更好的魯棒性。

2) 數(shù)值歸一化

將標(biāo)準(zhǔn)化后的數(shù)據(jù)歸一化到[0，1]區(qū)間。設(shè)X′′ij為X′ij歸一化后的值。

2.5 實(shí)驗(yàn)及結(jié)果分析

本實(shí)驗(yàn)使用MATLAB7.0中有關(guān)自組織神經(jīng)網(wǎng)絡(luò)的工具箱函數(shù)進(jìn)行仿真，驗(yàn)證SOM聚類算法的正確性。

本實(shí)驗(yàn)的訓(xùn)練集中共有1種正常和4種異常數(shù)據(jù)類型，每種類型用一個(gè)28維向量來表示，作為SOM網(wǎng)絡(luò)輸入層的輸入向量，即輸入層節(jié)點(diǎn)有28個(gè)。輸出層采用10*10二維平面陣。用訓(xùn)練集中的模式樣本來訓(xùn)練網(wǎng)絡(luò)，取開始的1000次迭代為排序階段，學(xué)習(xí)率初值設(shè)定為0.9;其后為收斂階段，學(xué)習(xí)率為0.02。訓(xùn)練結(jié)束后，分別用測(cè)試集1、2來對(duì)已訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行測(cè)試，檢驗(yàn)經(jīng)過訓(xùn)練后的SOM網(wǎng)絡(luò)對(duì)不同模式數(shù)據(jù)的識(shí)別能力。

圖2為SOM神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成后的二維陣列輸出。用代表不同樣本模式的數(shù)字給輸出層神經(jīng)元做標(biāo)記，1代表正常數(shù)據(jù)，2代表Smurf攻擊，3代表Neptune攻擊，4代表Back攻擊，5代表Teardrop攻擊。通過對(duì)響應(yīng)不同類型數(shù)據(jù)的被激活神經(jīng)元做標(biāo)記，可以很直觀的看到同種類型的輸入映射到輸出層時(shí)位置是鄰近的，不同類型的輸入模式都分別輸出在不同的區(qū)域。網(wǎng)絡(luò)訓(xùn)練好以后，將測(cè)試樣本集中向量依次輸入，得到以表1，表2的結(jié)果。

根據(jù)以上1、2兩個(gè)測(cè)試集的實(shí)驗(yàn)結(jié)果，可以分別算出SOM神經(jīng)網(wǎng)絡(luò)入侵檢測(cè)方法的幾個(gè)性能指標(biāo):漏報(bào)率、誤報(bào)率、檢測(cè)率。

漏報(bào)率指的是被檢測(cè)系統(tǒng)或網(wǎng)絡(luò)受到攻擊時(shí)，IDS沒有產(chǎn)生報(bào)警的概率，即本應(yīng)該報(bào)警的攻擊沒有被檢測(cè)出來。漏報(bào)包括兩種情況:攻擊沒有被IDS檢測(cè)到或者被判斷為正常行為。

誤報(bào)率是指IDS產(chǎn)生錯(cuò)誤報(bào)警的概率，包括正常行為被IDS檢測(cè)為入侵攻擊和把一種攻擊錯(cuò)誤地報(bào)告為另一種攻擊。

檢測(cè)率指的是被檢測(cè)系統(tǒng)或網(wǎng)絡(luò)受到攻擊時(shí)，IDS正確報(bào)警的概率，即IDS正確檢測(cè)出來攻擊的概率。

按照以上幾個(gè)指標(biāo)的計(jì)算公式可得本實(shí)驗(yàn)方法的最終檢測(cè)性能評(píng)價(jià)。

從表3可以看出，對(duì)于測(cè)試集1，SOM網(wǎng)絡(luò)的檢測(cè)率為99.12%，漏報(bào)率為1.76%，誤報(bào)率為0。說明網(wǎng)絡(luò)自學(xué)習(xí)能力強(qiáng)，能對(duì)不同輸入模式很好的進(jìn)行分類，對(duì)攻擊的識(shí)別力不錯(cuò);在測(cè)試集2中加入了2種未知的攻擊類型，得到的檢測(cè)率為94.86%，漏報(bào)率為5.14%，誤報(bào)率為0。以上數(shù)據(jù)表明網(wǎng)絡(luò)能自動(dòng)識(shí)別未知攻擊模式，沒有發(fā)生誤報(bào)，但是檢測(cè)效率有所降低，漏報(bào)率上升。

3 結(jié)論

將SOM神經(jīng)網(wǎng)絡(luò)引入入侵檢測(cè)技術(shù)，用其來對(duì)海量原始數(shù)據(jù)進(jìn)行分類以區(qū)分正常數(shù)據(jù)和異常數(shù)據(jù)，取得了不錯(cuò)的效果。但實(shí)驗(yàn)結(jié)果表明，其對(duì)未知類型的數(shù)據(jù)識(shí)別率不太理想，這主要是因?yàn)楸緦?shí)驗(yàn)主要是針對(duì)DOS攻擊中的幾小類，它們之間的特征比較接近，所以對(duì)其的分類界限設(shè)定的比較嚴(yán)格，在保證了誤報(bào)率的同時(shí)難免會(huì)引起漏報(bào)率的上升。如何在誤報(bào)率和漏報(bào)率之間取得均衡，是下階段將要研究的問題。

參考文獻(xiàn):

[1] 邢杰，蕭德云.基于PCA的概率神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化[J].北京:清華大學(xué)學(xué)報(bào)(自然科學(xué)版)，2008，(1):141-144.

[2] 王景新，戴葵，宋輝，等.基于神經(jīng)網(wǎng)絡(luò)的入侵檢測(cè)系統(tǒng)[J].長(zhǎng)沙:計(jì)算機(jī)工程與科學(xué)，2003，23(6):28-31.

[3] 徐仙偉，楊雁瑩，曹霽.入侵檢測(cè)系統(tǒng)中兩種異常檢測(cè)方法分析[J].北京:網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2009，(1):33-35.

[4] 周豫蘋，鄭荔萍.基于LVQ算法的SOM神經(jīng)網(wǎng)絡(luò)在入侵檢測(cè)系統(tǒng)中的應(yīng)用[J].長(zhǎng)沙:電腦與信息技術(shù)，2009，17(6):1-3.

[5] 飛思科技產(chǎn)品研發(fā)中心.MATLAB6.5輔助神經(jīng)網(wǎng)絡(luò)分析與設(shè)計(jì)[M].北京:電子工業(yè)出版社，2003.

[6] [DB/OL].http://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html.

注:本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文