基于安全策略的網(wǎng)絡(luò)異常檢測系統(tǒng)

陳敬涵

（四川大學計算機學院，成都610065）

0 引言

1987年Denning[1]首次提出入侵檢測的概念，在入侵檢測中根據(jù)檢測思路的不同，入侵檢測可以分為誤用檢測和異常檢測兩類。誤用檢測假設(shè)入侵活動能夠被按某種方式精確編碼，通過分析攻擊者的網(wǎng)絡(luò)行為數(shù)據(jù)，建立起攻擊模型庫，在實際的網(wǎng)絡(luò)環(huán)境中通過匹配攻擊者的網(wǎng)絡(luò)行為與攻擊模型庫來檢測入侵者。由于其必須針對每一個特定攻擊進行分析建模，已知的入侵模式必須手工編碼到系統(tǒng)中，且系統(tǒng)需要不斷地升級維護，導致其工作量大，人為參與度高，在應(yīng)對不斷更新的攻擊過程中受到了極大的限制。針對誤用檢測的問題，異常檢測從正常的網(wǎng)絡(luò)行為入手進行分析，建立網(wǎng)絡(luò)用戶的正常行為模型，在檢測過程中通過分析網(wǎng)絡(luò)行為偏離正常行為的程度來判斷異常。異常檢測不依賴于具體行為是否出現(xiàn)，并且不需要系統(tǒng)及其安全性缺陷的專門知識，相較于誤用檢測，異常檢測在應(yīng)對未知攻擊上具有更好的檢測效果與更好適應(yīng)性，但因為用戶行為是經(jīng)常改變的，對系統(tǒng)中的所有用戶行為進行全面描述是不可能做到的，所以一定程度上有更高的誤報率，并且在用戶數(shù)量多、工作方式易變的環(huán)境中，配置和管理的復雜性較高。

異常檢測方法可以分為靜態(tài)檢測方法和動態(tài)檢測方法兩類[2-4]。靜態(tài)的檢測方法基于設(shè)定好的閾值，監(jiān)控當前網(wǎng)絡(luò)的觀測參數(shù)，如果參數(shù)值超出閾值，就認為當前監(jiān)控的網(wǎng)絡(luò)發(fā)生異常。動態(tài)方法在進行異常檢測時，不僅要監(jiān)控當前網(wǎng)絡(luò)流量的情況，還要參考相鄰時間內(nèi)網(wǎng)絡(luò)流量觀測值的變化。動態(tài)檢測方法主要有廣義似然比（GLR）檢測方法[5]、基于指數(shù)平滑技術(shù)的檢測方法[6]和殘差比異常檢測方法[7]等。

1 Spark分布式計算框架

1.1 Spark框架概述

Spark是使用Scala開發(fā)的分布計算框架，由于分布式計算過程中會涉及大量的數(shù)據(jù)集重用。例如，在數(shù)據(jù)挖掘與機器學習的算法中就會涉及大量的數(shù)據(jù)集重用。對于此類問題，設(shè)計者提出了彈性分布式數(shù)據(jù)集（Resilient Distributed Dataset，RDD），數(shù)據(jù)在整個并行計算過程中以RDD的形式緩存于內(nèi)存中并支持緩存與復用，最大可能的降低了框架I/O，提高了數(shù)據(jù)處理速度。RDD是一種在分布集群節(jié)點上進行分區(qū)的只讀對象集合，在集群的分布計算中多節(jié)點可共享RDD，其具有局部計算、容錯與可擴展等特性，并支持基于數(shù)據(jù)集的應(yīng)用。基于RDD開發(fā)者在Spark中提出了內(nèi)存計算的概念，極大的降低了磁盤的交互讀寫操作。現(xiàn)階段，RDD緩存粒度較粗，僅支持全部緩存。當內(nèi)存不足時，Spark調(diào)用LRU（Least Recently Used）算法將要替換的RDD緩存到磁盤，并在內(nèi)存中緩存新的RDD。Spark的迭代分布式內(nèi)存計算框架，在數(shù)據(jù)重用度高的應(yīng)用場景中具有高效性，但由于RDD的不可修改性，在異步更新的應(yīng)用場景如索引和爬蟲中Spark有一定的局限性。為了提供不同場景下的Spark大數(shù)據(jù)處理，Spark除了提供MapReduce編程模型之外，還提供了一組工具集包括 SparkSQL、Spark Streaming、MLlib 和GraphX等子模塊。

其中，SparkSQL是在Spark平臺上處理結(jié)構(gòu)化數(shù)據(jù)的工具。首先，SparkSQL針對多種數(shù)據(jù)源問題提供了統(tǒng)一的數(shù)據(jù)源訪問接口，如JSON文件與Apache?Hive表等；其次SparkSQL兼容Hive，復用Hive的元數(shù)據(jù)，支持Hive的UDF、查詢與數(shù)據(jù)等；最后SparkSQL提供了一套簡化版的SQL查詢語句提升了數(shù)據(jù)分析交互性與數(shù)據(jù)分析的效率。Spark Streaming是Spark平臺上的流式計算工具。首先，Spark Streaming基于Spark API實現(xiàn)，其極大的簡化了流式編程的復雜度，在進行流式編程時可以像普通的批處理程序一樣進行編寫。其次，Spark Streaming將流式計算、批處理、交互式查詢進行了良好的結(jié)合，并提供了良好的自動化容錯處理。MLlib是基于Spark編寫的機器學習算法庫，該機器學習庫中包含了常用的聚類、分類、回歸、協(xié)同過濾與統(tǒng)計分析等算法。MLlib性能是Hadoop的100倍[6-7]。自Spark0.8版本開始MLlib成為了Spark的一個子模塊。隨著Spark的不斷開發(fā)Mllib也在進一步豐富與完善。GraphX是Spark平臺上的圖運算工具。用戶可以通過GraphX在Spark平臺上進行集合運算與圖運算。GraphX相較于GraphLab和Giraph等圖計算框架具有更優(yōu)的計算性能。

1.2 Spark框架架構(gòu)分析

Spark集群主要包含：驅(qū)動程序（Driver）與工作節(jié)點（Worker）。驅(qū)動程序是應(yīng)用程序的起點，其負責協(xié)調(diào)集群間工作節(jié)點的并行化計算。工作節(jié)點主要負責并行化的計算由驅(qū)動程序所分配子任務(wù)，并將最終的計算結(jié)果返回給驅(qū)動程序。如圖1所示是Spark運行時狀態(tài)：

圖1 Spark運行時狀態(tài)

如上圖1所示，當一個任務(wù)被提交給Driver時，Driver負責協(xié)調(diào)啟動多個Worker，Worker將會從本地文件系統(tǒng)或HDFS中讀取數(shù)據(jù)在集群中進行分區(qū)并創(chuàng)建RDD，然后將RDD緩存在內(nèi)存中。在程序運行過程中Driver將操執(zhí)行程序傳遞給Worker，協(xié)調(diào)Worker進行數(shù)據(jù)處理，當Worker的相應(yīng)子任務(wù)處理結(jié)束后，Worker將最后的處理結(jié)果返回給Driver完成整個運行過程。

2 異常行為分析系統(tǒng)設(shè)計

本文提出的異常行為分析系統(tǒng)支持基于安全規(guī)則定義的知識庫的導入，支持基于快速多模式匹配技術(shù)的大流量網(wǎng)絡(luò)環(huán)境下的網(wǎng)絡(luò)行為特征匹配，實現(xiàn)網(wǎng)絡(luò)異常行為監(jiān)測。異常行為檢測的總體流程如下圖2所示，主要包括數(shù)據(jù)源、數(shù)據(jù)緩存與分發(fā)、異常行為檢測、結(jié)果存儲與展示四個部分。

圖2 異常檢測架構(gòu)圖

3 異常行為分析系統(tǒng)實現(xiàn)

異常行為檢測的數(shù)據(jù)源為TCP/UDP會話流，將TCP/UDP會話流統(tǒng)稱為Session數(shù)據(jù)，Session數(shù)據(jù)來源于Session流量還原程序，由于流量規(guī)模較大，系統(tǒng)對實時性要求較高，因此本項目基于Kafka實現(xiàn)數(shù)據(jù)緩存與分發(fā)。為了便于將數(shù)據(jù)對象作為字節(jié)流在不同組件間傳輸，Session對象采用AVRO序列化方式進行處理，Kafka接收端解析AVRO字節(jié)流，并將數(shù)據(jù)傳送給Spark Streaming進行處理。具體實現(xiàn)方式為：Session還原程序作為Kafka系統(tǒng)的producer，通過push模式將消息發(fā)布到broker，異常行為檢測模塊作為Kafka系統(tǒng)的 consumer，通過 pull模式從 broker獲取 Session數(shù)據(jù)。

本文所采用的多數(shù)據(jù)流聚合的方式如下：stream?ing程序在每個時間間隔內(nèi)讀取該時間段內(nèi)的session集合，將session按照上面提到的3個維度進行聚合操作，針對每個聚合操作，提取出對應(yīng)的統(tǒng)計特征，然后將統(tǒng)計特征與規(guī)則列表逐個進行匹配，一旦匹配成功，則認為該會話里違反了規(guī)則，根據(jù)規(guī)則的action進行異常處理，包括 info、warn、error。

異常行為檢測系統(tǒng)主要基于安全策略實現(xiàn)異常行為的檢測。具體地，一條安全策略規(guī)則如下所示：

其中，target字段的值只能為“srcip”、“srcip_dstip”、“srcip_dstip_dstport”，filed中的name也是有限制的，基本上充分考慮了所有的統(tǒng)計字段，如果規(guī)則不合法，將不會起作用。

4 實驗

4.1 安全策略配置

本文主要制定了端口掃描、主機掃描、SYN Flood、各類應(yīng)用暴力破解共四類異常檢測規(guī)則，相關(guān)代碼為：

4.2 各類攻擊檢測結(jié)果

本文通過將安全策略導入攻擊檢測模塊，利用相關(guān)工具分別模擬了端口掃描、主機探測、SYN Flood以及異常應(yīng)用訪問，進行了仿真實驗。實驗結(jié)果表明，本文提出的基于快速多模式匹配技術(shù)的大流量網(wǎng)絡(luò)環(huán)境下的網(wǎng)絡(luò)異常行為監(jiān)測方法可有效檢測上述異常。

通過基于源IP及目的IP的數(shù)據(jù)流聚合方式，有效檢測出端口掃描，檢測結(jié)果圖3所示。

圖3 端口掃描檢測結(jié)果

通過基于源IP及目的IP的數(shù)據(jù)流聚合，有效進行的主機探測攻擊檢測，檢測結(jié)果中包含network-probe的異常告警，以及針對44網(wǎng)段存活主機的端口掃描告警，檢測結(jié)果如圖4所示。

通過基于源IP及目的IP的數(shù)據(jù)流聚合方式，有效檢測出SYN Flood攻擊，檢測結(jié)果中包含針對目標主機的syn-flood及port-scan類型告警，因為此次攻擊同時滿足兩類攻擊的規(guī)則，檢測結(jié)果如圖5所示。

通過基于源IP、目的IP及目的端口的數(shù)據(jù)流聚合方式，有效檢測出異常應(yīng)用攻擊檢測，檢測結(jié)果中包含針對目標主機的ssh-abnormal-acces、mysql-abnormalaccess、smtp-abnormal-access類型告警，檢測結(jié)果如圖6所示。

5 結(jié)語

針對網(wǎng)絡(luò)中繞過安全設(shè)備安全策略的異常網(wǎng)絡(luò)行為檢測問題，本文對異常行為分析與檢測進行了深入研究，提出一種基于安全策略的網(wǎng)絡(luò)異常檢測方法。通過該方法可實現(xiàn)對網(wǎng)絡(luò)中不符合安全策略的網(wǎng)絡(luò)數(shù)據(jù)流的實時檢測，提高網(wǎng)絡(luò)安全實時監(jiān)測和態(tài)勢感知能力。

圖4 主機探測檢測結(jié)果

圖5 SYN Flood檢測結(jié)果