基于代價和性能的ROC曲線效能評價模型

程建

【摘要】 入侵檢測系統是一種常用的網絡安全防護系統，對其研究改進也層出不窮。仿真是研究入侵檢測系統常用的方法，在仿真運行中會產生大量的仿真結果數據，如何對這些數據進行整合以對系統進行更加全面的評價是需要考慮的問題。對此，本文基于一種典型的入侵檢測系統，給出了系統評價指標集，提出了一種基于代價和性能的ROC曲線效能評價模型。

【關鍵詞】 人工免疫 入侵檢測系統 評價模型 ROC曲線

一、引言

1.1基于人工免疫的入侵檢測系統

人工免疫系統目前沒有統一定義，莫宏偉[1]給出的定義為：人工免疫系統是基于生物免疫系統機制和理論免疫學而發展的各種人工范例的統稱。人工免疫系統借鑒生物免疫系統相關特性來解決工程實踐中遇到的一些現實問題。將人工免疫系統特性應用于入侵檢測系統便形成了基于人工免疫的入侵檢測系統。生物免疫系統與入侵檢測系統概念對比如表1所示。

1.2常用的入侵檢測效能評價方法

ROC曲線方法最初起源于二戰，主要用于信號檢測，目前在入侵檢測領域也取得了廣泛應用[2]，主要用來分析誤檢率和檢測率的關系。ROC曲線將入侵檢測系統的誤檢率與檢測率作為橫縱坐標（誤檢率，檢測率），多次調整參數并運行仿真，便會得到多個結果坐標點。將這些點連接起來，便形成了ROC曲線。典型的ROC曲線如圖1所示。

ROC曲線與橫坐標所圍面積越大，則代表入侵檢測系統性能越好，上圖中系統一性能要好于系統二。此外從圖中可以簡單明了地選擇系統的最佳配置點。ROC曲線的缺點是僅考慮了檢測率和誤檢率兩個參數，評價不夠全面。

二、AIIDS評價指標集

對入侵檢測系統進行評價，需要相對全面的評價指標集。以典型的入侵檢測系統為例，建立評價指標集如圖2所示。

指標集由兩個層次組成。一級指標由性能和代價組成。性能指入侵檢測系統的功能特性，也即與檢測相關的一些指標，其包括五個二級指標：檢測范圍，指入侵檢測系統所能檢測到攻擊的種類；檢測時間，指從入侵開始到檢測到入侵所用時間；檢測率，指系統檢測到的入侵占總入侵的百分比；誤檢率，指系統將正常行為檢測為入侵行為的次數占正常行為次數的百分比；抗攻擊性指當入侵檢測系統被攻擊或自身出現故障時系統能夠維持工作的能力。

三、基于代價和性能的ROC曲線效能評價模型

根據上小節的分析，本小節提出一種基于代價和性能的ROC曲線效能評價模型。該模型將入侵檢測系統效能評價分為性能和代價兩部分，并采用ROC曲線表示，能夠較全面直觀地反映入侵檢測系統的特性[2]。

性能指標PE的五個二級指標中檢測范圍指所能檢測到的入侵類型總數，檢測時間單位為秒，檢測率、誤檢率是小于1的數，抗攻擊性指當系統受到攻擊或出現一定故障時系統能夠正常工作的能力。五個二級指標量綱不同，與性能指標PE的比例關系也不同（有的為正比例關系，有的則為反比例關系）。而幾個二級指標對性能指標的影響大小也會因為研究者的側重點不同而不同。因此可以采用賦權（權值取決于具體評價人員）并線性表示的方法，性能PE可表示為：

其中λW、λH、λA、λT、HFλ分別為各指標的權重。

代價CO由兩個二級指標組成，網絡交互量可由網絡中入侵檢測系統工作時所產生的數據包個數來表示，節點固定消耗則由系統中節點數量與節點平均開銷之積來表示，代價CO可表示為：

其中λθ、λα為各指標的權重，用于表示二級指標對一級指標的貢獻大小。根據代價與性能指標，改變微觀參數與宏觀部署，進行一系列實驗得出相應的代價與性能指標值，采用ROC曲線原理，以代價（大于零）為橫坐標，性能（大于零）為縱坐標，便形成了ROC曲線，其示意如圖3所示。

從圖中可以清晰直觀地看出整個入侵檢測系統的綜合性能。用戶通過該圖能夠得出系統的最佳配置點。最佳配置點指系統綜合效能最好時所對應的系統參數及配置，其中綜合效能的判斷與用戶對綜合效能的定義有關。例如當用戶采用上述評價指標，且認為性能/代價比最大時綜合性能最優，則圖中使曲線斜率最大的點為最佳配置點。.，

四、小結

如何對入侵檢測系統進行效能評價是一個需要解決的問題。本文以常見的基于人工免疫的入侵檢測系統為例，構建了入侵檢測系統評價集，并在分析幾種常見的評價模型的基礎上提出了基于代價和性能的ROC曲線效能評價模型，該評價模型能夠對入侵檢測系統效能進行有效評價，能夠為研究人員對入侵檢測系統改造提供參考。

參 考 文 獻

[1]莫宏偉，左興權.人工免疫系統[M].北京：科學出版社，2009：28-74.

[2]高丹，彭新光.基于DET曲線的入侵檢測評估方法[J].微電子學與計算機，2008，15（8）：133-138.