基于安全審計的異常檢測模型的設計

摘要：在安全審計的數據挖掘系統的基礎上，提出一個異常檢測模型，該模型通過關聯分析提取正常行為的關聯模式，根據屬性的重要性定義每個行為模式，在給每個行為模式進行編碼后，通過定義一個相異度函數來計算已知關聯模式和當前模式的相異度，根據相異度判斷當前模式是否為異常行為，并通過一個特定的審計數據的分析來描述模型工作的過程。目前該模型已成功應用在幾個關鍵業務領域的監控系統和入侵檢測系統中。

關鍵詞：安全審計；數據挖掘；異常檢測；關聯分析；關鍵業務

中圖分類號：TP311.131文獻標識碼：A 文章編號：1009-3044(2008)23-950-04

Design on Outlier Detection Model Based on Security Audit

Shi Hai-feng

(College of Software， Nanjing College of Information Technology， Nanjing 210046， China)

Abstract: From one data mining systerm on the security audit， this paper presents one outlier detection model， the model picks up the association patterns of the normal action by association analysis， defines every action pattern by the essentiality of the properties， and codes the patterns， then uses a dissimilarity-function getting the dissimilarity between one association pattern and current pattern， and estimate the current pattern by dissimilarity， last describes the working process of the model by given audit data. The model has be applied successfully in some monitor and intrusion detection systems of the key operation domain.

Key words: security audit; data mine; outlier detection; association analysis; key operation

1 引言

目前安全審計已越來越多地成為防火墻、入侵檢測和網絡監控等系統支持的功能特性，特別當這些系統應用在關鍵業務領域（如銀行，證券等）中時。安全審計的一個重要目的是發現系統或用戶行為中的入侵或異常。而如何在大量的審計數據中提取出具有共性的系統特征模式，用于對程序或用戶行為作出全面、準確的描述，是實現安全審系統的關鍵。作為數據挖掘的一個重要部分，異常檢測可以從大量冗余信息的數據中提取出隱藏的、有效的模式，如果將其應用于安全審計數據的處理，可以有效地解決海量審計數據的分析問題，為系統和用戶行為的判定提供依據。

異常是在數據集中與眾不同的數據，使人懷疑這些數據并非隨機偏差，而是產生于完全不同的機制[1]。異常檢測中對異常的定義是：異常是既不屬于聚類也不屬于背景噪聲的點，他們的行為與正常的行為有很大不同。異常檢測通常建立在聚類分析和關聯分析的基礎上，從方法上可以分為基于統計（statistical-based）、基于距離 (distance-based) [2，3]、基于偏離(deviation-based) [4]和基于密度(density-based) [5]的方法。另外針對異常在高維空間中難以確定，有人提出一個高維數據異常檢測的方法[6]，該方法采用遺傳優化算法，把高維數據集映射到低維子空間，根據子空間映射數據的稀疏程度來確定異常數據是否存在，算法獲得良好的計算性能。

本文提出一個基于安全審計的異常檢測模型，該模型中異常檢測方法借鑒基于偏離的算法，將該算法中未知的“序列異?！敝懈鱾€子集間的相異度計算轉化為已知的正常行為模式和未知行為模式的相異度計算，算法為每個判定對象定義一個行為模式，模式中各屬性按其重要性降序排列，并利用模式中字段值在審計數據庫中的信息，對每個模式進行編碼，再通過定義一個相異度函數來計算模式間的相異度，根據相異度和設定閾值的比較來判斷模式是否為異常。

下面首先介紹在一個基于安全審計的數據挖掘系統中構建異常檢測模型的構建過程，并詳細分析該模型的工作過程，最后通過一個特定的審計數據來描述異常檢測的處理過程。

2 異常檢測模型設計

2.1 數據挖掘系統框架

本模型是基于一個安全審計的數據挖掘系統的基礎上實現，該系統結構圖如圖1所示。由于傳統的安全審計系統在數據采集規則和報警規則等方面，都是采用預先定義的規則庫，自適應性較差，該數據挖掘系統針對此而提出，另外該系統應用于關鍵業務應用領域里，通常產生的審計數據都比較完整、可靠和高質量，這使得數據源的預處理比較簡易。

系統中數據挖掘源數據為業務數據庫，分析器可以完成特定的分析功能，可看作是對源數據必要的預處理，分析器通常歸類特定數據，提取重點數據，使數據挖掘數據選擇更有針對性。分析器一般提供以下幾種類型的分析：數據值范圍、大小和長度分析；審計事件發生的頻率分析；事件發生的地點和屬主分析(比如數據生成點和作案地點)；事件發生的時間段和時間點分析。根據各個分析器功能，可分為通用、頻率、閾值和時間分析器等。

2.2 異常檢測設計

異常檢測關鍵在于正常模式的建立及利用該模式對當前行為進行比較和判斷。正常模式的建立可以通過關聯規則挖掘實現，比如在對用戶行為的異常檢測，可以對用戶審計數據進行關聯模式的挖掘，在規則庫中建立每個用戶的歷史行為模式，再利用該歷史行為模式與當前用戶操作行為進行模式比較，通過兩者的相異程度來判斷用戶行為是否為異常行為，并通過檢測過程進行模式學習，更新模式庫中用戶模式。模式庫的更新通過待學習知識庫經過交互完成。結合上述各種分析器，該異常檢測流程如圖2所示。

3 異常檢測實現原理

3.1 關聯模式挖掘

異常檢測的前提是正常行為的關聯模式的獲取，這一步通過關聯分析完成。關聯分析主要任務是挖掘關聯模式知識，目前關聯模式挖掘算法的研究已取得了很多研究成果，眾多算法中以Agrawal等人提出的Apriori[7]算法最為著名，其后的算法大多數建立在Apriori算法基礎上，或進行改進，或衍生變種。本模型采用了Apriori算法。算法分為兩個步驟：第一步，從事務數據庫或安全審計數據庫D中找出所有支持度不小于用戶指定的最小支持度閉值(min_sup)的頻繁項目集；第二步，使用頻繁項目集產生所期望的關聯模式，產生關聯模式的基本原則是其置信度必須不小于用戶指定的最小置信度閉值(min_conf)。

由于第二步較為容易和直觀，因此挖掘出所有頻繁項目集是該算法的核心，占據整個計算量的大部分，因此，有時僅考慮挖掘頻繁項目集。

3.2 異常檢測設計

系統通過根據審計數據各屬性重要性的次序定義用戶行為關聯模式AMi的集合，并為每個模式進行編碼，同時對當前待分析用戶操作行為模式AM進行相應的編碼，再通過定義一個相異度函數計算每個AMi和AM的相異度，相異度函數是通過對AMi和AM相應的編碼來進行計算的。如果任意AMi和AM的相異度值都大于某一個閾值 ，則認為AM行為可能是異常行為，下面詳細描述該設計過程。

3.2.1 行為模式

定義行為模式AM=(AM1=v1，AM2=v2，…，AMk=vk)，AMi(i=1，2，…k)為待挖掘審計事件的記錄表中的某一屬性。如果k=n-1(n為記錄表的屬性數)，則稱AM是完備模式。如果AM的屬性是按其重要性降序排列的，則稱模式AM是有序模式。同時滿足上述兩條件的模式稱為有序完備模式。顯然，對于模式庫中的任意模式AM=(AM1=v1，AM2=v2，…，AMk=vk)，AMi(i=1，2，…k)，均可以通過以下兩步將其轉換成有序完備模式：1）對于任何不屬于AM的屬性Ai(i=1，2，…n-1)，令Ai=1，并將其插入到AM中；2）將AM的屬性按其重要性降序列排列。因此，在以下的討論中可以僅考慮有序完備模式。

3.2.2 模式編碼

每個用戶模式相應的編碼過程如下：

設定v_seti存放屬性Ai值的集合，v_propi存放v_seti中每個Ai值的在數據庫中的比例值，即包含該Ai值的記錄數與所有記錄數的比值，該值表達了該Ai值在表中出現的頻繁度，這樣v_seti中每個值根據其對應的比例值由大到小排放，每個v_seti對應一個c_seti，記錄v_seti中元素的個數。v_seti的初始值由初始的關聯模式的值決定。

用戶模式AMi每個屬性值vj都對應一個編碼vj_code，AMi對應的編碼值通過AMi中每個屬性值vj求得，vj_code計算過程如下：

1）若vj=0，則vj_code=0；

2）判斷vj是否在對應的v_setj中，如果在，則計算vj對應的編碼值，設vj在v_setj的順序為sj，則對應vj的編碼值計算過程如下：

3）若vj不在v_setj中，則判斷vj值在在數據庫中的比例值p_vj是否大于某個比例值MinProp，若p_vj小于MinProp，則vj=9；若p_vj大于則將vvj根據p_vj在v_propi的順序加入到v_setj相應的位置中，同時根據公式(1)計算vj對應的編碼值vj_code。

這樣每個屬性值對應的編碼值為[0，9]內的整數值，模式AMi對應的編碼值由v1_code、v2_code … vn-1_code組成。(n為記錄表表屬性數)

3.2.3 相異度函數

相異度函數可以是滿足如下條件的任意函數：當給定一組對象時，如果對象間相似，返回值就較??；對象間的相異度越大，函數返回值就越大。可能的相異度函數有集合中對象的方差，或者模式字符串的形式(例如包含通配符)，根據審計表中各個屬性的重要性定義相異度函數為：

該函數計算的相異度由模式編碼各位的編碼值的差值和屬性個數決定，取值范圍為[0，1]，該函數對兩類數據非常敏感，(1)編碼值的差值比較大；(2)存在差值的編碼在模式中對應的屬性的重要性比較大。

4 數據分析

4.1 審計數據

下面通過審計端審計人員的操作行為數據描述關聯模式的挖掘過程，首先通過審計數據庫中審計員操作記錄表來約定待挖掘審計事件的記錄表的定義，如表1所示，該表中每個屬性都是根據其在審計事件重要性降序排列的，表2對各個屬性進行了描述。

其中A2（操作類型）取值為1/2/3/4/5/6/7，分別代表：1查看終端錄像，2修改或刪除終端信息，3修改或刪除主機信息，4新增、修改或刪除控制碼信息，5新增、修改或刪除用戶信息，6授權、修改或刪除某用戶權限，7其他操作。

為了使實驗數據具有代表性，隨機地從數據庫中抽取兩個用戶的審計記錄，數據如表3，并使用算法Apriori分別對這二個用戶的行為模式進行了挖掘，部分挖掘結果如表3所示。

4.2 關聯模式數據

4.3 異常檢測數據及分析結論

通過表3中User1的操作行為記錄，以及User1的關聯模式，設定MinProp=0.01，計算User1用戶模式的編碼值，如表4所示。

其中：v_set1=(172.16.15.5)，v_prop1=(99.900%)，c_set1=1；

v_set2=(1，2)，v_prop2=(91.000%，8.400%)，c_set2=2；

v_set3=(Check，Modify)，v_prop3=(91.000%，8.100%)，c_set3=2；

v_set4=(002)，v_prop4=(99.900%)，c_set4=1；

v_set5=(012， 011)，v_prop5=(51.100%，48.700%)，c_set5=2；

v_set6=(am，pm，after)，v_prop6=(44.600%，40.400%，10.900%)，c_set6=3。

設定閾值?著=0.2，下面給出兩個當前行為模式判斷該行為是否為異常行為。表5給出了比較情況及異常分析的結論。

5 結束語

本文在一個安全審計的數據挖掘系統的基礎上實現了異常檢測模型的構建過程，同時通過審計數據的分析來描述模型工作的過程。針對關鍵業務領域審計數據特征，異常檢測可以用于多種規則的挖掘，比如用戶操作行為順序規則、本地用戶非法提升權限規則和遠程用戶獲取本地權限規則等。目前該模型已成功應用在幾個關鍵業務領域的監控系統和入侵檢測系統中。

參考文獻：

[1] Hawkins D. Identification of Outliers[M]. Chapman and Hall， London， 1980.

[2] Knorr E M， Ng E T. Algorithms for Mining Distance-based Outliers in Large Datasets[A]. In:24th Int. Conf. on Very Large Data Bases[C]. New York， NY， 1998: 392-403.

[3] Ramaswamy S， Rastogi R， Shim K. Efficient Algorithms for Mining Outliers from Large Data Sets[A]. In:ACM SIGMOD Conference Proceedings[C]， 2000.

[4] Agrawal R， Ragaran P. A Linear Method for Deviation Detection in Large Databases[A]. In:KDD Conference Proceedings[C]， 1995.

[5] Breunig M M， Kriegel H P， Ngetal R. LOF:Identifying Density-Based Local Outliers[A]. In: Proc of ACM SIGMOD Conference Proceedings[C]， 2000.

[6] Aggarwal C C， Yu P. Outlier Detection for Hight Dimensional Data[A]. In:Proc of ACM SIGMOD Conference Proceedings[C]， 2001.

[7] Agrawal R， Srikant R. Mining Association Rules Between sets of Items in Large Databases，[A] In: Proc of ACM SIGMOD International Conference Management of Date[C]， Washington DC，1993，207-216.

[8] 李炎，李皓，錢肖魯，等.異常檢測算法分析[J]. 計算機工程，2002，28(6):5-6，32.

[9] HAN Jia-wei， Kambr M，著，范明，孟小峰，譯.數據挖掘概念與技術[M].北京:機械工業出版社，2004:152-158，251-257.