大數據環境下的入侵檢測系統框架*

華銘軒，張峰軍

(中國電子科技集團公司第三十研究所，四川 成都 610041)

大數據環境下的入侵檢測系統框架*

華銘軒，張峰軍

(中國電子科技集團公司第三十研究所，四川 成都 610041)

入侵檢測技術在現代網絡安全防護技術中占有重要地位，但面對現代大數據環境，傳統的入侵檢測技術面對瓶頸，很難在大數據量的情況下，做出及時準確的判斷分析。簡要介紹了現有的Hadoop、Spark等主要大數據軟件，并在傳統的入侵檢測技術的基礎上，結合現有的大數據技術，給出了在大數據環境下的入侵檢測技術框架。從網絡拓撲圖的角度，描述了整個網絡環境，然后以模塊化、流程化的方式，分別詳細的描述了流量采集模塊、檢測分析流程、入侵檢測軟件棧、報警模塊等大數據環境下入侵檢測系統的構成部分。最終以此構建了大數據環境下的入侵檢測系統。

大數據；入侵檢測；Hadoop；Spark

0 引 言

入侵檢測技術(Intrusion Detection System)簡稱IDS ，是一種對網絡或者主機中的數據和日志進行主動檢測，用以提早發現網絡中的惡意活動和違規行為的技術。入侵檢測技術起始于1980年，經過近40年的發展，現在的入侵檢測技術按照分析方法可以分為：①異常檢測(Anomaly Detection)；②誤用檢測(Misuse Detection)[1]。按照檢測環境不同可以分為：①網絡入侵檢測系統(Network Intrusion Detection System)簡稱NIDS；②主機入侵檢測系統(Host Intrusion Detection System)簡稱HIDS；③分布式入侵檢測系統(Distribute Intrusion Detection Network)簡稱DIDS[2]。基于網絡的入侵檢測系統其數據源來源于網絡中信息流，而基于主機的入侵檢測系統，其數據源來自系統的審計日志，一般只能檢測單個主機上發現的日志。分布式入侵檢測系統主要是將主機入侵檢測系統和網絡入侵檢測系統結合，使系統可以對異構，多點環境進行檢測，是現在入侵檢測系統發展的方向。

隨著世界經濟技術的發展，全世界網絡規模不斷擴大，全球網絡中的網絡流量以及各種主機產生的日志信息都在呈指數級別上升。2013年全球一共產生了1000EB的流量[3]，而據思科估計2018年全球的IP網絡流量將達到8.6ZB[4]。面對如此龐大的數據規模傳統的入侵檢測技術在處理數據速度和能力上都很難勝任。

本文基于異常檢測方法(Anomaly Detection)檢測網絡中任意一個節點元素的流量特征行為，通過模式匹配和相似度分析，利用現有的大數據相關技術以及開源軟件，從龐大流量和日志中分析各個節點日志信息，尋找可能的攻擊行為，最終構建在大數據環境下的入侵檢測系統框架，解決傳統入侵檢測系統在大數據時代，存儲數據、分析數據所面對的瓶頸，并且由于大數據開源相關軟件自身特點，使入侵檢測框架具有高擴展性，高性價比，容錯能力強的特點。

1 傳統入侵檢測系統

傳統的入侵檢測系統從模塊的角度可以分成：數據源，探測器單元，分析單元，管理單元，響應單元，行為，6個部分。其中數據源指的是IDS監視的原始數據；探測器單元指的是從數據源中收集數據的部分；分析單元是指對探測器收集到的數據進行處理的模塊；管理單元一般是用于分析單元配置、事件告知管理、數據綜合等管理任務、響應單元是對告警進行管理的部分。在此基礎上國際上已經開發了一些比較成熟的框架比如Denning的入侵檢測系統模型，開源軟件snort入侵檢測模型。

1.1 Denning入侵檢測系統模型

Dorothy Denning在1984年到1986年間研究并開發了第一代實時IDS模型，原型在當時被取名為入侵檢測專家系統(Intrusion Detection Expert System)簡稱IDES。

入侵檢測專家系統模型如圖1所示。

該系統由6個部分組成，主體、對象、審計記錄、輪廓特征、異常記錄、活動規則。其獨立于特定的系統平臺、應用環境、系統弱點、以及入侵類型，為構建入侵檢測系統提供一個通用的框架[5]。

1.2 Snort入侵檢測框架

Snort系統是Martin Roesch在1988年開發的一個活躍于互聯網上的小型開源入侵檢測系統。目前主要部署在對準確性要求不高的低速網絡環境下。由于其整體設計簡潔明了，檢測規則集明確，在整個互聯網環境下有著非常廣泛的應用，由其探測得到的許多數據集是許多高校研究機構實驗中使用的標準數據集。

圖1 Denning入侵檢測系統框架

經過多年發展Snort功能日趨完善，現在Snort已經發展成為可以在多平臺上運行，進行實時流量分析，記錄網絡ip數據包的網絡入侵檢測系統。圖2為Snort入侵檢測系統框架圖。

圖2 Snort入侵檢測系統框架

1.3 傳統入侵檢測的局限

入侵檢測從20世紀70年代末開始研究，隨后慢慢發展，但隨著時代的發展，入侵檢測技術并沒有達到人們的期望。現有的入侵檢測系統主要是被動的分析網絡流量行為。一般來說在發現了入侵之后，入侵檢測系統并不能采取什么實際的行動，只能向主機報告安全警報。其次，入侵檢測技術在實際使用中也并不完善，誤警率高，漏報率高，正確率平平。

在網絡基礎設施不斷發展的今天，面對海量日志，基于傳統數據庫的入侵檢測系統已經不能對數據進行大樣本，有效實時的分析。部署在外部網絡和內部網絡之間的NIDS在對網絡數據報文做深入分析時，資源開銷非常大，傳統的NIDS非常容易發生過載[1]，就算得出報警結果，因為處理延遲，也可能已經失去正確判斷的時機。種種情況使傳統入侵檢測系統的發展步履維艱，研究大數據環境下入侵檢測系統框架可以為入侵檢測的發展提供新的研究方向。

2 系統軟件棧

本文擬運用Hadoop、HBase、Zookeeper、MySQL、Flume、Kafka、Snort構成軟件棧，實現對網絡流量和主機日志的檢測監控和報警，以下將圍繞Hadoop軟件生態系統和其他開源軟件對其進行簡要介紹。

2.1 Hadoop軟件生態系統

(1)Hadoop是一個開源Java框架，可以通過簡單的計算模型，在計算機集群上存儲處理大量的數據集。在存儲和處理的過程中，每一臺計算機服務器都可以提供計算和存儲能力。Hadoop主要由：Hadoop 基本組件(Hadoop common)、Hadoop分布式文件系統(HDFS)、Hadoop Yarn、Hadoop MapReduce。其中Hadoop Yarn用于任務計劃和集群資源管理，是一個管理框架。Hadoop MapReduce 是一個基于Yarn的并行處理系統[6 ]；

(2)HBase是運行在Hadoop平臺下的面向列的分布式數據庫，一般運用在需要對大數據進行隨機實時讀取的場景；

(3)Zookeeper是一種留存配置信息、命名、提供分布式同步和對集群的集中服務，這對分布式系統來說非常有用；

(4)Flume是Cloudera提供的一個高可用，高可靠，分布式海量日志采集、聚合和傳輸系統，Flume支持在日志系統中定制各類數據發送方，用于收集數據；

(5)Spark是Apache的頂級開源項目，是由Scala語言實現的迭代計算分布式框架。其可以實現機器學習和圖計算等功能。由于Spark RDD (Resilient Distributed Datasets)彈性分布式數據集的特性，與Map Reduce相比節省了大量的磁盤輸入、輸出操作，提高了運行速度[7]；

(6)Kafka是linkedin用于日志處理的分布式消息隊列。在結構上其可以分為producer、broker 和consumer。分別代表消息的生產者，代理者和消費者。與傳統消息系統相比，Kafka擁有易擴展、高吞吐量，自動平衡，支持消息持久化等優良特性[8]。

2.2 其它開源軟件

(1)Snort。Snort有3種工作模式：嗅探模式(Sniffer Mode、數據包記錄器(packet logger mode)、網絡入侵檢測系統也稱上線模式(inline mode)。其中嗅探器模式是從網絡上讀取數據包并作為連續不斷的數據流顯示在屏幕上。數據包記錄器模式把數據包記錄在硬盤上，其框架見1.2節。

(2)MySQL。MySQL是一個小型關系數據庫管理系統，因為Snort與MySQL結合程度高。所以本文中將使用MySQL作為中間數據存儲器。

3 大數據環境下入侵檢測系統

3.1 網絡拓撲圖

本文指出的大數據環境下入侵檢測系統，從業務場景看可以將其分為3個部分。如圖3所示，分別為Hadoop入侵檢測集群，攻擊網絡和被攻擊網絡。

圖3 入侵檢測部署實例

其中Hadoop入侵檢測集群的部署，和傳統的Hadoop集群部署方式相同，服務器與服務器之間以主從的方式連接，設置一個Master節點，一個備份Master節點，剩下的作為Slave節點，節點與節點之間連接成局域網，通過SSH相互連接。為了保證檢測系統內部安全，檢測集群與外網之間可以部署接入控制設備，防止檢測集群本身被攻擊，被獲取相應的數據，或者癱瘓失去檢測能力。

被攻擊網絡中的服務器和計算機局域網，將會安裝流量采集軟件Snort然后再將數據傳遞給Hadoop入侵檢測集群。Hadoop入侵檢測集群網絡部署示意圖，如圖4所示。

圖4 Hadoop入侵檢測集群網絡部署示意

3.2 流量采集

在1.1節，1.2中，傳統入侵檢測系統，由底層向上層運行的第一步是收集檢測數據，本文提出的入侵檢測系統，在被攻擊的服務器或者計算機局域網中將會安裝MySQL、Kafka、Snort以及Snort前端軟件Base 。Snort將工作在數據包記錄器(Packet Logger Mode)模式，用以記錄流量信息，MySQL將作為Snort的存儲設備，將原始流量信息，記錄在局域網本地的MySQL數據庫中，此時再通過前端Base平臺將原始記錄處理成為標準流量記錄。

在以太網中數據會以廣播的方式傳輸，所以在一個局域網中，所有的物理設備的網絡接口都可以接收到網絡中所有的數據包。數據在到達網絡接口后，會在數據鏈路層、網絡層、傳輸層分別判斷是否符合本機的MAC地址、IP地址、端口號，如果不符合，數據包就會被丟棄。只有這三項都與本機一致，才會被接收。所以在一個局域網中只需布置一臺機器安裝Snort、MySQL、Kafka用于流量采集即可。由于Hadoop入侵檢測集群可以同時監測多個局域網，這時候就需要Flume將從各個局域網中上傳的數據進行信息整合。

如圖4所示，流量采集服務處于局域網與監測集群之間，由于局域網流量大，此時如果運用傳統的信息傳遞中間件軟件，因為采集數據的速度和處理數據的速度不同，負載過大會導致采集服務器宕機，因此此處采用Kafka作為消息采集中間件。通常一個Kafka集群，會有若干的Producer、Broker、Consumer以及一個Zookeeper集群，其中Producer作為信息來源，來自web前端，服務器日志等，本文中Kafka將與前端BASE軟件鏈接。通過網絡，將流量信息定時導入到Hadoop入侵檢測集群網絡，存儲在HBase中，整個流量采集存儲的過程如圖5所示。

圖5 流量采集過程

3.3 檢測框架

HBase是大數據環境下的非關系數據庫，數據將以key/value值的方式存儲在數據庫中，因此其查詢速度將會比較快，將會有利于檢測集群快速得到結果。

異常檢測簡單來說是一種對數據在時間尺度上進行收集，然后建立行為模式，最后與現有數據進行比對，最后得出是否有異常的方法。在本文中從Snort中采集得到的數據中，我們可以得到源地址，目的地址的IP，訪問時間，訪問的端口，包的數量以及大小等信息。為此本文將針對特定時間、特定IP、以及流量提出建模方法，最后在Spark中進行實現。檢測流程如圖6所示。

圖6 入侵檢測流程

檢測分析軟件棧如圖7所示。從數據流邏輯的角度，在軟件中數據將會以從上至下，從左至右進行流動。其中MLbase(machine learning)，Spark Streaming (real time)是Spark軟件生態中的一部分。Spark作為計算框架，通過MLbase進行學習，對檢測模型進行建模，通過Spark Streaming將流式計算分解成一系列的批處理計算，以此提供快速可靠的計算服務能力[9]。

圖7 入侵檢測軟件棧

3.4 報警模塊

因為是對多個局域網，進行入侵檢測，因此在得到結果后，還需要對結果進行分類。在經過簡單的分類后，將異常結構以統計方式呈現在前端，報知安全員網絡危險狀況。至此完成整個檢測流程。

4 結 語

本文提出大數據下的入侵檢測系統框架，從傳統入侵檢測方法入手，總結入侵檢測系統組成，分析了其在大流量環境下的劣勢。基于現有大數據軟件技術，從大數據軟件的角度，數據流的角度，業務關系的角度，系統構成的角度，分別進行了細致的描述，最終構建了大數據環境下的入侵檢測系統框架。由于入侵檢測系統的固有缺陷，入侵檢測系統在報警時帶有延遲，對一些隱蔽的，新的攻擊，一般無法檢測出來。因此下一步的研究方向可以在檢測的基礎上更進一步，實現大數據環境下的態勢預測，這將會彌補現有系統的缺陷，使其更具發展潛力。

[1] 何月梅, 王保民, 張青. 網絡流量與入侵檢測研究[J].通信技術，2009，42(02):303-305.

HE Yue-mei, WANG Bao-min, ZHANG Qing. Research on Network Traffic and Intrusion Detection [J]. Communications Technology，2009，42(02):303-3055.

[2] 蔡志平,劉書昊,王晗. 高性能并行入侵檢測算法與框架 [J].計算機科學與探索， 2013，07(04):289-303. CAI Zhi-ping, LIU Shu-hao, WANG Han. High Performance Parallel Intrusion Detection Algorithms and Framework[J]. Journal of Frontiers of Computer Science & Technology，2013，07(04):289-303

[3] Matthew Wall, Big Data: Are You Ready for Blast-off? [EB/OL].(2014-03-04) [2015-9-16] http://www.bbc.com/news/business-26383058.

[4] CISCO. CISCO Global Cloud Index: Forecast and Methodology, 2013-2018 [EB/OL]. (2014-11-11) [2015-9-16] http://www.cisco.com/c/en/us/solutions/collateral/service-provider/global-cloud-index-gci/Cloud_Index_White_Paper.pdf.

[5] 魏宇欣. 網絡入侵檢測系統關鍵技術研究[D]. 北京：北京郵電大學，2008. WEI Yu-xin. Key Technology Research on Network Intrusion Detection System[D]. BeiJing: Beijing University of Posts and Telecommunications,2008.

[6] Apache Hadoop. What Is Apache Hadoop? [EB/OL].(2015-08-07) [2015-9-16]http://hadoop.apache.org.

[7] 溫馨,羅侃, 陳榮國. 基于Shark/Spark的分布式空間數據分析框架[J]. 地球信息科學學報，2015，17(04):401-407. WEN Xin, LUO Kan, CHEN Rong-guo. Based on Shark / Spark Distributed Spatial Data Analysis Framework[J].Journal of Geo-Information Science ，2015，17(04):401-407.

[8] 張鋒軍.大數據技術研究綜述[J].通信技術，2014，47(11):1240-1248. ZHANG Feng-jun. Overview on Big Data Technology[J]. Communications Technology，2014，47 (11): 1240-1248.

[9] Spark. Spark Website[EB/OL]. (2015-09-09) [2015-9-16]http://spark.apache.org.

華銘軒( 1990—)，男，碩士，助理工程師，主要研究方向為信息安全，通信技術與大數據；

張鋒軍(1967—)，男，高級工程師，主要研究方向為網絡管理，軟件工程。

Intrusion Detection System Frameworkin Big Data Environment

HUA Ming-xuan, ZHANG Feng-jun

(No.30 Institute of CETC, Chengdu Sichuan 610041, China)

Intrusion Detection Technology plays an important role in modern network security protection. However, traditional intrusion detection technology faces a bottleneck that in modern big data environment, it is difficult to make timely and accurate judgment and analysis in the condition of large data volume. Major big data software is briefly discussed, such as Hadoop and Spark, and based on traditional IDS technology and current big data technology, a framework for intrusion detection system in big data environment is proposed. From the perspective of network topology,the picture of whole network atmosphere is portrayed, and then the constituents of intrusion detection system in big data environment, including traffic acquisition module, detection analysis process,IDS software stack,and warning module,are described in detail. Finally, IDS is built up with the above constituents.

big data;IDS(Intrusion Detection System);Hadoop;Spark

10.3969/j.issn.1002-0802.2015.11.019

2015-06-21；

2015-10-09 Received date:2015-06-21；Revised date：2015-10-09

TP309

A

1002-0802(2015)11-1300-05