入侵檢測Web平臺及并行檢測算法實現

彭 凱，石津津，楊 岸，林 韜，梁浩東，朱帥琦，張嬌慧

（1. 華僑大學工學院，福建 泉州 362021；2. 工業智能化技術與系統福建省高校工程研究中心，福建 泉州 362021；3. 廈門狄耐克電子科技股份有限公司研發中心，福建 廈門 361000；4. 廈門雅迅網絡股份有限公司，福建 廈門 361000）

0 引言

網絡安全是一個系統的概念，其首要目標是制定有效的安全策略和方案。入侵檢測系統（IDS，Intrusion Detection Systems）作為網絡安全防護的重要組成部分，是為了保證網絡安全而設計的。其任務是檢測在主機或網絡環境中的惡意活動，及時做出反應，例如，停止持續的攻擊[1]。

IDS最早出現在 1980年，James P.Anderson[2]在一份題為《計算機安全威脅監控與視》的技術報告中指出，審計記錄可以用于識別計算機誤用，并對威脅進行了分類。經過數十年的發展，IDS已經成為一項較為成功的安全防護技術。以Snort[3]為代表的IDS為網絡安全做出了杰出的貢獻。其它較為出名的商用入侵檢測產品還有 CISCO公司的NetRanger等[4]。

模式匹配算法是IDS產品的核心技術之一，基于 AC、BM、MWM 等匹配算法[5]的誤用檢測可以使IDS被動式地檢測廣泛存在、特征明顯的已知攻擊。而對于未知攻擊，傳統IDS通常采取基于“偏離值”和“用戶行為”的異常檢測進行主動防護。利用統計模型、聚類分析等檢測形式[6]以及 DB等優秀算法可以使系統對未知攻擊有了一定的檢測能力。KNN算法稱為k最近鄰算法[7]，是一個理論上比較成熟的統計學習方法。目前，被廣泛應用于模式識別、分類和回歸等[8]。而傳統 IDS對于異常但非攻擊行為仍存在著較高的誤報率，對非異常但攻擊行為存在著較高的漏報率。已有的研究主要關注于提高檢測準確率、降低誤報率，取得了很好的研究成果，但是很少關注用戶使用和算法運行效率的問題，一方面，已有的產品，如Snort，其配置過程繁瑣僅適合專業人員使用，因此，實現一種輕量級、可視化的Web版本更符合普通用戶的需求。另一方面，入侵檢測的算法的運行效率也是一個需要關注的關鍵問題，特別是在大數據環境下，如何實現快速檢測非常重要。

針對以上問題，本文提出了一種新型IDS入侵檢測框架。一方面：基于已有的 Snort的產品，提出一種 Web入侵檢測平臺，另一方面，基于Map-Reduce提出一種新的并行KNN的IDS檢測算法。實驗結果證明：該算法能夠在保證已有的準確率基礎上極大地降低時間開銷，特別適合于大數據環境。

1 背景知識

1.1 IDS相關產品

Snort[3]是開源入侵檢測系統。Snort通過對獲取的數據包，進行各規則的分析后，根據用戶的定義的規則鏈，可采取Activation（報警并啟動另外一個動態規則鏈）、Dynamic（由其它的規則包調用）、Alert（報警），Pass（忽略），Log（不報警但記錄網絡流量）五種響應機制。

1.2 KNN算法

KNN算法核心思想是利用統計概率原理，采用計算機自動學習的方法。主要計算是對測試文檔在訓練文檔中評分，從而找到k近鄰。通過對已知的樣本的學習，建立特征庫，并實現對未知樣本的計算和預測。對于未知文檔的向量分類，KNN算法是將訓練樣本的文檔向量按文檔近鄰排列的。隨后，使用 k個最近似的類別標簽來預測輸入文檔的類別。其中，文檔鄰居一般通過歐幾里德距離公式或文檔間向量的余弦測量來計算。

1.3 Map-Reduce模型

Map-Reduce模型是Google公司提出的一種并行編程模型[9]，主要被用于解決大規模數據集的并行計算問題。首先，它會對大數據集按塊進行分割，然后是將數據塊分發到若干個節點上，然后根據用戶定義的 Map-Reduce任務執行相應的操作。在整個計算過程中，數據的輸入輸出都是采用鍵值對的形式[10-11]。主要步驟如下：

（1）用戶上傳到HDFS文件目錄中的數據被分割成數據塊（大小一般為16～64 MB，大小可以通過參數來設定）。

（2）使用Map-Reduce模式中的Jobtracker為集群分配Map或者Reduce任務，其中Reduce任務可以由用戶自己設定，而Map任務則是由文件分割的塊數決定。

（3）執行Map任務，此步驟是由 worker節點執行的。Map函數將當前的節點上的文件解析成，之后再根據Map函數的功能來執行相應的操作，并將結果以鍵值對的形式緩存在當前的節點內存中。

（4）重新洗牌，將相同的key記錄送到同一個Reduce節點里面

（5）Reduce操作，Reducer將節點上的鍵值對使用Reduce函數進行計算，然后將最終結果輸出。

（6）等每個Map和Reduce任務都執行完畢后，Master節點會喚醒用戶程序并報告任務執行情況[10-11]。

綜上，以上六個步驟構成一個完整的MapReduce任務執行過程。其中，Map函數和 Reduce函數是Map-Reduce的核心。

2 系統架構

2.1 Web系統設計

根據系統的功能和需求，本文開發的入侵檢測Web管理平臺分為四大部分：UI界面設計、Snort配置、工具整合、數據庫。平臺總體框架如圖1所示。

圖1 平臺總體框架Fig.1 Overall framework of platform

UI界面設計是網頁界面布局及色彩搭配；Snort配置將入侵檢測軟件Snort在Ubuntu上[12]進行配置并使之能夠運行監測到入侵行為；工具整合是將端口掃描器和 IP歸屬查詢工具等一系列工具集成到Web系統中，方便用戶使用，數據庫存儲系統用戶的帳號密碼信息以及和Snort數據庫的連接。

2.2 程序構成

程序主要由一個 Mapper模塊、一個 Reducer模塊和主函數模塊構成，Mapper模塊里面包含一個map函數，同樣的，Reducer模塊也包含一個reduce函數。

2.2.1 Mapper模塊

Map函數的任務是先讀取訓練樣本集，形成鍵值對的映射。步驟如下：

（1）首先，先調用內置函數split按行讀取樣本，并將其轉換成特定格式，以利于后期操作。

（2）然后，遍歷每個測試樣本，計算其和每個訓練樣本之間的相似度

（3）最后，將結果存入context集合。

輸入數據的鍵值對對應的形式為<行號，樣本>；輸出數據鍵值對對應的形式是<行號，向量集<訓練樣本的類別標識，相似度>>。其中，相似度采用歐幾里得距離公式度量[9]。圖2是Mapper模塊，這部分是訓練樣本的讀取和儲存。使用split函數對文檔進行整行讀取，讀取結果存儲在數組中。圖3是map函數調用distance函數核心代碼，計算歐幾里得距離。圖 4則是距離（distance）計算函數核心代碼。

2.2.2 Reducer模塊

Reduce函數主要實現對map函數的結果進行排序，取前k個最鄰近距離和對最后結果的判斷及輸出。具體來說，后臺系統需要執行shuffle操作，為了將不同Map節點上的相同key的數據送到同一個Reduce節點上執行相應的操作（如排序、分類以及輸出操作等）。其中，輸入數據的鍵值對對應的形式為<測試樣本的 ID，vector(訓練樣本類別標識，相似度)>，輸出數據的鍵值對相對應的形式為<測試樣本的ID,訓練樣本的類別標識>。圖5和圖6是reduce函數。

2.2.3 主函數模塊

main函數模塊（主函數模塊）主要是對整體函數的連接和調用，以及設置輸入輸出路徑，最后計算程序運行所需的時間。

圖2 Mapper模塊Fig.2 Mapper module

圖3 map函數調用distance函數Fig.3 Map function calls distance function

3 實驗結果

3.1 Web系統部分

本文基于 PHP與 MySQL數據庫技術，結合Snort等入侵檢測軟件設計一個入侵檢測 Web管理平臺，使管理員能夠在該平臺上對入侵檢測的日志內容進行查看和管理，同時該平臺還整理常用的一些入侵檢測工具（如端口掃描、IP查詢等功能）。系統實現（入侵檢測Web管理系統主界面）結果如圖8、端口掃描工具頁如圖9所示。

圖4 distance函數Fig.4 Distance fuction

圖5 reduce函數Fig.5 Reduce function

3.2 并行KNN算法實驗部分

本實驗平臺操作系統使用 Ubuntu 15.04，云平臺采用Hadoop 2.6.0，JDK 1.8.0_45。開發環境采用Eclipse，編程語言 JAVA。實驗數據集采用KDDCUP99[19]。4.2.1介紹 KDDCUP99，4.2.2對實驗結果進行討論和分析。

3.2.1 KDDCUP99網絡入侵檢測數據

KDDCUP99數據集是從一個模擬的美國空軍局域網上采集來的9個星期的網絡連接數據，分成具有標識的訓練數據和未加標識的測試數據。

圖6 輸出結果的處理Fig.6 Process of output results

圖7 main函數模塊Fig.7 Main function module

圖8 入侵檢測Web管理系統主界面Fig.8 The main interface of intrusion detection web management system

圖9 端口掃描工具Fig.9 Port scanning tool

一個網絡連接定義為在某個時間內從開始到結束的TCP數據包序列，并且在這段時間內，數據在預定義的協議下（如TCP、UDP）從源IP地址到目的 IP地址的傳遞。每個網絡連接被標記為正常（Normal）或異常（Attack），異常類型被細分為 4大類共39種攻擊類型，其中22種攻擊類型出現在訓練集中，另有17種未知攻擊類型出現在測試集中[13]。在訓練數據集中包含了1種正常的標識類型normal和22種訓練攻擊類型，如表1所示。

3.2.2 實驗數據分析

由于 KDDCUP99數據集較大，本文采用KDDCUP99原數據集的10%作為實驗數據（訓練樣本）。先對KDDCUP99數據集截取兩組實驗數據，一組為15組數據，另一組是225組數據，所得的實驗結果如表2所示。

（1）首先是使用15組數據測試

1. 單機實驗數據：根據 15次實驗結果顯示，其正確率主要在86.6%～100%波動，平均計算時間：0.076 ms。

表1 KDDCUP99入侵檢測實驗數據的標識類型Tab.1 Identification type of KDDCUP99

表2 實驗運行結果Tab.2 The results of experiments

2. 分布式實驗數據：依據多次實驗結果分析得出，并行化的實驗數據的正確率與單機的持平，但是在運行速率上，分布式計算時間要明顯高于單機。平均計算時間：12.233 ms

（2）使用225組數據測試

1. 單機實驗數據：同樣經過 15次實驗測試，發現當訓練數據達 225組時，正確率高達 99.5%以上，平均計算時間：29.287 ms。

2. 分布式實驗數據：采用 15次實驗測試，得出的實驗數據跟單機實驗結果持平，平均計算時間：11.142 ms，但是在運行時間上是單機的38%，體現了分布式的高效的計算效率的特點。

（3）實驗結果討論

在經過多次測試之后得出的結論：當使用小數據集測試時，實驗結果不穩定，且準確率有波動；逐漸加大數據樣本時，準確率會得到很大提高，但單機實驗的運行速率則會受到很大影響，雖然并行運算的運行時間也有相應的加長，然而，與單機結果相比較，能明顯看出并行運算的運行優勢，總運行時間明顯小于單機情況。綜上：采用并行的KNN算法，不僅能夠保證算法的準確率，同時極大地降低了算法運行時間，特別是隨著數據量的增大，這種優勢更明顯。

4 總結

本文基于Snort平臺，設計出一種入侵檢測Web管理平臺；同時，設計并實現基于Map-reduce并行化的KNN檢測算法。總結起來，本文的平臺和算法主要優點如下：

（1）使用方便：基于 Snort平臺開發出入侵檢測Web管理平臺，不僅保留了已有IDS的檢測功能，同時更方便與普通用戶的使用；

（2）高效：與單機的 KNN算法相比，使用基于Map-Reduce的KNN算法可以有效提高檢測的效率，特別是隨著樣本的增加，效率優勢體現的更明顯；

（3）易擴展：基于 Map-Reduce開發的并行檢測算法，由于運行在 Hadoop平臺上，因此可以隨時通過增加節點數來進一步提高計算效率。

然而，隨著網絡的進一步發展，對已知攻擊的預防已經滿足不了大數據環境下IDS需求，在以后的研究中將考慮增加系統對未知攻擊的預測功能。

[1] MILENKOSKI A, VIEIRA M, KOUNEV S, et al. Evaluating Computer Intrusion Detection Systems: A Survey of Common Practices[J]. ACM Computing Surveys, 2015, 48(1):1-41.

[2] ANDERSON J P. Computer security threat monitoring and surveillance[R]. 1980.

[3] 劉愛武. 基于snort的混合式入侵檢測系統的研究與實現[D]. 哈爾濱: 哈爾濱工業大學, 2008.LIU A W. Research and Implementation on Snort-Based Hybrid Intrusion Detection System[D]. Dissertation for the Master Degree. Harbin Institute of Technology, 2008.

[4] 主流入侵檢測產品大比較[OL]. (2007-7-3)IT168). http://safe.it168.com/ss/2007-07-03/20070703019001.shtml.A large comparison of mainstream intrusion detection products [OL]. (2007-7-3) IT168). http://safe.it168.com/ss/2007-07-03/20070703019001.shtml.

[5] 唐謙, 張大方. 入侵檢測中模式匹配算法的性能分析[J].計算機工程與應用, 2005, 41(17): 136-138.TANG Q, ZHANG D F. Performance Analysis of Pattern Matching Algorithms for Intrusion Detection[J], Computer Engineering and Applications. 2005, 41(17): 136-138.

[6] 李炎, 李皓, 錢肖魯, 等. 異常檢測算法分析[J]. 計算機工程, 2002, 28(6): 5-6.LI Y, LI H, QIAN X L, et al. A Review and Analysis of Outlier Detection Algorithms[J]. Computer Engineering. 2002,28(6): 5-6.

[7] HASTIE T, TIBSHIRANI R. Discriminant Adaptive Nearest Neighbor Classification[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1996, 18(6): 607-616.

[8] 盧鋆, 吳忠望, 王宇, 等. 基于kNN算法的異常行為檢測方法研究[J]. 計算機工程, 2007, 33(7): 133-134.LU J, WU Z W, WANG Y, et al. Research on Abnormal Behavior Detection Based on kNN Algorithm[J]. Computer Engineering. 2007, 33(7): 133-134.

[9] DEAN J, GHEMAWAT S. MapReduce: Simplified Data Processing on Large Clusters[J]. Communications of the Acm, 2004, 51(1): 107-113.

[10] 閆永剛, 馬廷淮, 王建. KNN分類算法的MapReduce并行化實現[J]. 南京航空航天大學學報, 2013, 45(4): 550-555.YAN Y G, MA T H, WANG J. Parallel Implementing KNN Classification Algorithm Using MapReduce Programming Mode[J]. Journal of Nanjing University of Aeronautics &Astronautics. 2013, 45(4): 550-555.

[11] 王睿. 基于MapReduce的并行KNN分類算法研究[J]. 計算機與數字工程, 2013, 41(11): 1738-1740.WANG R. Parallel KNN Classification Algorithm Based on MapRedue[J]. Computer & Digital Engineering. 2013, 41(11):1738-1740.

[12] NOAH D. Snort 2.9.7.x on Ubuntu 12 and 14 with Barnyard2,PulledPork, and BASE[EB]. January 14, 2015.

[13] KDD B. KDD99 cup dataset. 1999. http://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html [OL].