基于大數(shù)據(jù)的網(wǎng)絡(luò)惡意行為及特征關(guān)聯(lián)分析

王傳棟，葉 青，姚 櫓，劉尚東，季一木,b，王汝傳,b

(南京郵電大學(xué) a.計(jì)算機(jī)學(xué)院，b.江蘇省無線傳感網(wǎng)高技術(shù)研究重點(diǎn)實(shí)驗(yàn)室，南京 210023)

隨著互聯(lián)網(wǎng)、云計(jì)算、物聯(lián)網(wǎng)等計(jì)算機(jī)技術(shù)的迅速發(fā)展，網(wǎng)絡(luò)中的數(shù)據(jù)大規(guī)模地增長，標(biāo)志著信息社會(huì)已經(jīng)進(jìn)入了大數(shù)據(jù)時(shí)代[1]。網(wǎng)絡(luò)大數(shù)據(jù)不僅給人們的生活帶來了便利和機(jī)遇，同時(shí)也給網(wǎng)絡(luò)安全帶來了挑戰(zhàn)。大數(shù)據(jù)背景下的網(wǎng)絡(luò)數(shù)據(jù)具有數(shù)量龐大、增長速度迅猛、數(shù)據(jù)來源多樣化以及價(jià)值密度低等特點(diǎn)[2]。一些非法人員利用這些大數(shù)據(jù)作為長時(shí)間持續(xù)網(wǎng)絡(luò)攻擊的載體發(fā)動(dòng)惡意攻擊。這種攻擊不僅能同時(shí)控制大量的對象，還能起到傳統(tǒng)攻擊所不具備的效果[3]。例如，近幾年來頻頻發(fā)生的APT攻擊，作為大數(shù)據(jù)攻擊中一種先進(jìn)的技術(shù)代表[3]，以其攻擊范圍廣、持續(xù)時(shí)間長、隱蔽性高、針對性強(qiáng)而受到網(wǎng)絡(luò)“黑客”青睞，傳統(tǒng)的檢測技術(shù)面對APT攻擊已經(jīng)變得束手無策[4]。大數(shù)據(jù)背景下的網(wǎng)絡(luò)安全問題日益突出和尖銳，它已然成為了計(jì)算機(jī)科學(xué)中一個(gè)不容忽視的課題，引起了該領(lǐng)域中眾多專家學(xué)者的重視。

網(wǎng)絡(luò)入侵檢測技術(shù)是進(jìn)行網(wǎng)絡(luò)惡意行為防御的重要手段之一。入侵檢測系統(tǒng)(intrusion detection system,IDS)通過對網(wǎng)絡(luò)數(shù)據(jù)流或訪問記錄的分析，識別和發(fā)現(xiàn)帶有惡意性的網(wǎng)絡(luò)行為[5]。目前，國內(nèi)外學(xué)者在研究網(wǎng)絡(luò)入侵檢測方法中做了大量工作。文獻(xiàn)[6]根據(jù)異常網(wǎng)絡(luò)行為偏離正常網(wǎng)絡(luò)流量語法規(guī)則的特點(diǎn)，在原有的隱馬爾可夫模型基礎(chǔ)上做了改進(jìn)，用于網(wǎng)絡(luò)惡意行為檢測。文獻(xiàn)[7]通過對歷史數(shù)據(jù)分析建立正常的參考基線范圍，超出這個(gè)范圍的網(wǎng)絡(luò)流量數(shù)據(jù)則被判斷為異常網(wǎng)絡(luò)流量。文獻(xiàn)[8]根據(jù)流量在數(shù)據(jù)包頭上的不同分布情況，不斷計(jì)算熵值，若當(dāng)前分布和基準(zhǔn)分布存在的差異較大，則認(rèn)為是出現(xiàn)異常。

為了更加有效得防止網(wǎng)絡(luò)惡意行為造成的危害，本文將關(guān)聯(lián)分析技術(shù)和網(wǎng)絡(luò)安全態(tài)勢感知運(yùn)用到網(wǎng)絡(luò)惡意行為分析中。將關(guān)聯(lián)規(guī)則應(yīng)用到網(wǎng)絡(luò)惡意行為分析中去，可以通過挖掘安全事件之間的聯(lián)系，進(jìn)一步識別出攻擊發(fā)生的時(shí)間、地點(diǎn)、強(qiáng)度等信息[9]，提高檢測效率和性能；將網(wǎng)絡(luò)安全態(tài)勢感知應(yīng)用到網(wǎng)絡(luò)惡意行為分析中去能幫助網(wǎng)絡(luò)安全人員獲取當(dāng)前網(wǎng)絡(luò)的整體運(yùn)行狀況及預(yù)測未來網(wǎng)絡(luò)的發(fā)展，并及時(shí)地采取相應(yīng)措施[10]。近些年來國內(nèi)外學(xué)者對網(wǎng)絡(luò)安全態(tài)勢感知工作也做了大量的研究。劉孫俊等[11]提出了基于人工免疫的網(wǎng)絡(luò)安全態(tài)勢評估模型。胡東星等[12]將人工智能技術(shù)引入到網(wǎng)絡(luò)安全態(tài)勢感知中來，給網(wǎng)絡(luò)安全態(tài)勢研究提供了新思路。任偉[13]將神經(jīng)記憶網(wǎng)絡(luò)的方法應(yīng)用到網(wǎng)絡(luò)安全態(tài)勢感知中來。韋勇[14]提出了一種基于日志技術(shù)的網(wǎng)絡(luò)安全態(tài)勢評估方法。

但是，基于大數(shù)據(jù)背景下，當(dāng)前的網(wǎng)絡(luò)安全檢測中也存在著幾個(gè)急需解決的問題，一是被檢測的網(wǎng)絡(luò)安全數(shù)據(jù)量極其龐大，傳統(tǒng)的網(wǎng)絡(luò)信息安全監(jiān)測工具和平臺已經(jīng)到了很難應(yīng)付的地步；二是存儲和處理大量的網(wǎng)絡(luò)數(shù)據(jù)會(huì)耗費(fèi)大量的資源、時(shí)間以及資金。隨著云計(jì)算和大數(shù)據(jù)技術(shù)平臺的出現(xiàn)與發(fā)展，對大規(guī)模數(shù)據(jù)的處理成為了可能，同時(shí)也為大規(guī)模數(shù)量的網(wǎng)絡(luò)安全事件的分析檢測提供了可能。隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展，目前已經(jīng)誕生了許多大數(shù)據(jù)分布式處理技術(shù)和分布式處理平臺，從最開始的Hadoop分布式系統(tǒng)到后來的內(nèi)存處理系統(tǒng)Spark，再到數(shù)據(jù)實(shí)時(shí)處理平臺Storm，S4[15]，F(xiàn)LINK[16]等，這些分布式技術(shù)的發(fā)展已經(jīng)形成一套完整的大數(shù)據(jù)解決方案和應(yīng)用架構(gòu)。基于大數(shù)據(jù)平臺的采集、存儲、檢索等技術(shù)，可以從根本上提升安全數(shù)據(jù)分析的效率，可以采集多種類型的數(shù)據(jù)，如業(yè)務(wù)數(shù)據(jù)、流量數(shù)據(jù)、安全設(shè)備日志數(shù)據(jù)及輿情數(shù)據(jù)等。針對日志信息可采用Chukwa，F(xiàn)lume，Scribe等工具；針對流量數(shù)據(jù)可采用流量景象方法，并使用Storm和Spark技術(shù)對數(shù)據(jù)進(jìn)行存儲和分析，通過Map Reduce和Hive等分析方法，可以實(shí)時(shí)對數(shù)據(jù)進(jìn)行檢索，大大提升數(shù)據(jù)處理效率。

基于當(dāng)前大數(shù)據(jù)背景下的網(wǎng)絡(luò)安全檢測方法的挑戰(zhàn)和不足，為了保障網(wǎng)絡(luò)信息安全，提高網(wǎng)絡(luò)安全數(shù)據(jù)處理的高效性和實(shí)時(shí)性，緩解網(wǎng)絡(luò)惡意行為所造成的危害，本文提出將大數(shù)據(jù)平臺應(yīng)用到網(wǎng)絡(luò)惡意行為分析中，在安全分析技術(shù)的基礎(chǔ)之上，通過采集、存儲等大數(shù)據(jù)處理技術(shù)將分散的網(wǎng)絡(luò)日志和網(wǎng)絡(luò)流量整合起來進(jìn)行處理分析。同時(shí)通過綜合運(yùn)用入侵檢測、關(guān)聯(lián)分析、態(tài)勢感知等技術(shù)對網(wǎng)絡(luò)環(huán)境做出預(yù)警和防御，設(shè)計(jì)和構(gòu)建了基于大數(shù)據(jù)平臺的惡意行為驗(yàn)證系統(tǒng)。

1 基于大數(shù)據(jù)平臺的惡意行為驗(yàn)證系統(tǒng)整體框架圖

為了保障網(wǎng)絡(luò)信息安全，緩解網(wǎng)絡(luò)惡意行為所造成的危害，實(shí)現(xiàn)對大數(shù)據(jù)背景下的網(wǎng)絡(luò)惡意行為分析與檢測，利用基于大數(shù)據(jù)的特征提取、特征關(guān)聯(lián)分析以及網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)，設(shè)計(jì)和搭建了基于大數(shù)據(jù)平臺的惡意行為驗(yàn)證系統(tǒng)，如圖1所示。

整個(gè)系統(tǒng)可分為3個(gè)模塊，如圖1所示，分別是采集模塊、檢測模塊以及可視化展示模塊。采集模塊中，通過采用Suricata、基于Storm平臺的規(guī)則匹配技術(shù)以及Web用戶行為模型的行為異常檢測技術(shù)，對網(wǎng)絡(luò)全流量以及網(wǎng)絡(luò)日志進(jìn)行分析，產(chǎn)生網(wǎng)絡(luò)惡意行為告警。在檢測模塊中，通過警報(bào)格式清除，警報(bào)融合、基于Storm大數(shù)據(jù)分析平臺下FP-Stream流關(guān)聯(lián)規(guī)則挖掘步驟對原始告警數(shù)據(jù)進(jìn)一步進(jìn)行處理，得到諸如風(fēng)險(xiǎn)數(shù)據(jù)、攻擊強(qiáng)度、范圍、類型等安全信息。最后在可視化展示模塊，將關(guān)聯(lián)分析階段產(chǎn)生的數(shù)據(jù)通過態(tài)勢評估、態(tài)勢可視化等手段以圖像的方式將分析結(jié)果展示在屏幕上，使網(wǎng)絡(luò)安全人員能夠直觀掌握網(wǎng)絡(luò)安全現(xiàn)狀。

圖1 驗(yàn)證系統(tǒng)框架Fig.1 Verification system framework

2 基于大數(shù)據(jù)的惡意行為檢測和特征提取

通過監(jiān)控目標(biāo)網(wǎng)絡(luò)的全流量數(shù)據(jù)和Web日志來實(shí)現(xiàn)對目標(biāo)網(wǎng)絡(luò)惡意行為檢測，產(chǎn)生流量報(bào)警和Web日志報(bào)警信息。整個(gè)特征提取過程如圖2所示。

圖2 基于大數(shù)據(jù)的攻擊行為特征提取方法Fig.2 Method of feature extraction about attack behavior based on big data

2.1 基于Suricata的網(wǎng)絡(luò)全流量檢測技術(shù)

網(wǎng)絡(luò)全流量數(shù)據(jù)規(guī)模大，大數(shù)據(jù)流量監(jiān)控不同于小型局域網(wǎng)流量監(jiān)控，在高速復(fù)雜的網(wǎng)絡(luò)環(huán)境下，CPU處于頻繁中斷狀態(tài)，造成接受數(shù)據(jù)包效率降低，目前主流的Snort入侵檢測系統(tǒng)已經(jīng)不能滿足大數(shù)據(jù)流量檢測的需求。通過對比Suricata和SNORT[17](如表1所列)，Suricata具有多線程運(yùn)行、支持IVP6等優(yōu)點(diǎn)，且Suricata采用分布式處理技術(shù)，將數(shù)據(jù)流分布到各個(gè)節(jié)點(diǎn)上進(jìn)行處理，從而實(shí)現(xiàn)了對大規(guī)模數(shù)據(jù)流量的檢測。因此選擇開源入侵檢測系統(tǒng)Suricata進(jìn)行網(wǎng)絡(luò)入侵檢測。

表1 Suricata和Snort對比表Table 1 Comparison of Suricata and Snort

為了實(shí)現(xiàn)Suricata監(jiān)控大數(shù)據(jù)流量，在每一個(gè)機(jī)房節(jié)點(diǎn)的出口處做端口鏡像將流量導(dǎo)入到負(fù)責(zé)檢測的主機(jī)上，捕獲原始數(shù)據(jù)包，解碼數(shù)據(jù)包并在其轉(zhuǎn)發(fā)到檢測引擎之前進(jìn)行預(yù)處理。預(yù)處理包括早期包丟棄、分類、三層碎片重組和四層會(huì)話還原等[18]。預(yù)處理過后通過比對存儲在數(shù)據(jù)庫中的數(shù)千條規(guī)則和預(yù)定義的攻擊特征碼檢測引擎檢查數(shù)據(jù)包頭部以及載荷，對惡意行為進(jìn)行識別與阻斷反饋。Suricata通過其所具備的多線程以及采用分布式大數(shù)據(jù)處理技術(shù)實(shí)現(xiàn)對網(wǎng)絡(luò)全流量更快速、更高效的檢測和監(jiān)控。

2.2 WEB日志分析技術(shù)

Web日志分析與大數(shù)據(jù)流量監(jiān)控同步進(jìn)行。Web日志分析同時(shí)采用基于流計(jì)算平臺的規(guī)則匹配和基于Web用戶行為模型的異常檢測技術(shù)進(jìn)行惡意行為的特征提取。

2.2.1 基于Strom預(yù)處理的日志模式匹配技術(shù)

我們從服務(wù)器中獲取日志信息，然后根據(jù)數(shù)據(jù)庫中的規(guī)則對日志文件進(jìn)行模式匹配，從而識別和提取日志中存在的惡意行為。但用戶瀏覽網(wǎng)站是隨意的，所以日志中存在大量無用的信息，從而會(huì)導(dǎo)致模式匹配消耗資源很多，所以在進(jìn)行入侵檢測之前先預(yù)處理日志文件。由于這些日志文件數(shù)量規(guī)模較大，依據(jù)大數(shù)據(jù)技術(shù)能夠高效處理大規(guī)模數(shù)據(jù)量的優(yōu)勢，因而將大數(shù)據(jù)平臺應(yīng)用到預(yù)處理的過程中。目前主流的大數(shù)據(jù)處理框架有Hadoop，Spark和Storm等。相比與其他大數(shù)據(jù)平臺來說，Storm[19]主要應(yīng)用于實(shí)時(shí)分析、在線機(jī)器學(xué)習(xí)、持續(xù)計(jì)算、分布式 RPC、ETL等，它具有高容錯(cuò)性，可以確保每個(gè)消息都被處理到，而且具有高效的處理速度，集群的每個(gè)節(jié)點(diǎn)每秒鐘可以處理數(shù)百萬的消息。因此，我們先將日志中的記錄送到Strom分布式計(jì)算平臺進(jìn)行預(yù)處理，包括數(shù)據(jù)凈化和路徑補(bǔ)全處理。然后將處理好的日志送入匹配模塊進(jìn)行模式匹配，模式匹配使用字符串匹配算法與規(guī)則庫中的規(guī)則進(jìn)行比對，檢測到惡意行為后進(jìn)行告警。

2.2.2 基于WEB用戶行為模型的異常檢測技術(shù)

用戶通過瀏覽網(wǎng)站獲得信息，網(wǎng)站中含有大量的網(wǎng)頁，各個(gè)頁面之間通過超鏈接(hyperlink)鏈接在一起以實(shí)現(xiàn)用戶在各個(gè)界面之間的跳轉(zhuǎn)，超鏈接可視作網(wǎng)頁中元素的跳轉(zhuǎn)路徑，用戶可以通過點(diǎn)擊在不同網(wǎng)頁間跳轉(zhuǎn)來獲得相應(yīng)信息。

邏輯模型[20]就是獲得這些跳轉(zhuǎn)路徑，用以表示用戶訪問網(wǎng)站的正常行為。邏輯模型圖可以通過掃描網(wǎng)站結(jié)構(gòu)建立，邏輯模型可被描述[20]如下：

ML= .

(1)

式中：P為網(wǎng)絡(luò)頁面的集合，P={Pi|i=1,2,3,……n}；T為超鏈接的集合，表示頁面和頁面之間的跳轉(zhuǎn)，T={Tt=|t=1,2,3,…,n,Pi,Pj∈P}.

用戶訪問模型[20]是用于描述用戶在實(shí)際訪問網(wǎng)頁時(shí)的路徑和行為，可以通過分析Web服務(wù)器日志建立。用戶訪問模型可被描述[20]如下：

MU= .

(2)

式中：V表示用戶訪問節(jié)點(diǎn)的集合，由日志中用戶訪問網(wǎng)站生成信息中的URL構(gòu)成，V={Vi|i=1,2,3,……n}；S為日志中用戶訪問路徑的集合，表示用戶在頁面之間的跳轉(zhuǎn)，S={St=|t=1,2,3,……n,Pi,Pj∈P}.

通過網(wǎng)頁分析器將網(wǎng)站中的頁面分析生成網(wǎng)站邏輯圖，對收集到的網(wǎng)絡(luò)日志信息首先進(jìn)行預(yù)處理，即進(jìn)行數(shù)據(jù)清理，剔除無用信息，分析生成用戶訪問模型。然后將兩個(gè)模型進(jìn)行對比，正常用戶在訪問網(wǎng)站的過程中生成的用戶訪問模型圖必定是沿著網(wǎng)站邏輯圖進(jìn)行的，即可以說用戶訪問模型是網(wǎng)站邏輯模型圖的一個(gè)子圖。若用戶訪問模型圖不屬于網(wǎng)站邏輯圖，則說明用戶訪問行為異常，可能采取了異常行為到達(dá)相應(yīng)的節(jié)點(diǎn)或訪問非法資源，從而產(chǎn)生告警信息。

3 基于FP-Stream算法的惡意行為特征關(guān)聯(lián)分析

通過特征提取階段對網(wǎng)絡(luò)流量和Web日志的分析檢測，產(chǎn)生警報(bào)信息。但此時(shí)的警報(bào)具有冗余、無效、虛假信息的問題。針對這個(gè)問題，利用入侵檢測消息交換格式(intrusion detection message exchange format,IDMEF)模型、基于特征相似度的冗余警報(bào)融合方法實(shí)現(xiàn)警報(bào)格式的統(tǒng)一和融合，再基于Storm平臺的FP-Stream算法來實(shí)現(xiàn)網(wǎng)絡(luò)惡意行為特征的關(guān)聯(lián)規(guī)則挖掘。整個(gè)流程如圖3所示。

圖3 基于FP-Stream算法的攻擊特征關(guān)聯(lián)分析流程圖Fig.3 Analysis of Attack characteristic correlation analysis based on FP-stream algorithm

3.1 警報(bào)格式規(guī)范化

由入侵檢測系統(tǒng)檢測出的警報(bào)的格式是不同的。不同的警報(bào)雖然代表的網(wǎng)絡(luò)入侵特征存在著很大的不同，但是只要是警報(bào)，就存在共同的網(wǎng)絡(luò)攻擊特征子集。采用基于IDMEF的警報(bào)規(guī)范方法來實(shí)現(xiàn)警報(bào)格式的統(tǒng)一。該方法提取出警報(bào)通用字段，組成警報(bào)規(guī)范化父類，并將各個(gè)警報(bào)中的其它信息作為子類存儲起來。通過這種方法將不同的警報(bào)規(guī)范化，既不丟失警報(bào)所獨(dú)有的字段信息，又為下一步警報(bào)協(xié)同提供支持。

警報(bào)父類由一個(gè)八元組(Id，S_ip,D_ip,S_port,D_port,Name,Time_stamp,Base_alert)組成，警報(bào)子類由三元組(Type,Data,Priority)組成，其中各個(gè)字段的含義[21]如表2和表3所示。

表2 父類警報(bào)八元組含義表Table 2 Definition of eight tuple about father class alarm

表3 子類警報(bào)三元組含義表Table 3 Definition of three tuple about father subclass alarm

3.2 基于特征相似度的冗余去除方法

因?yàn)槭褂萌肭謾z測系統(tǒng)檢測網(wǎng)絡(luò)安全時(shí)可能會(huì)出現(xiàn)對同一個(gè)惡意行為被多個(gè)檢測工具檢測或者被多次檢測的情況，這樣就會(huì)導(dǎo)致產(chǎn)生的警報(bào)信息會(huì)有大量的冗余，所以在警報(bào)協(xié)同之前需要對冗余警報(bào)進(jìn)行融合。在這里，我們采用的是基于特征相似度的警報(bào)融合方法。將相似程度高的警報(bào)合并成一個(gè)基警報(bào)。通過這種方式就組成了網(wǎng)絡(luò)入侵的原始特征。基警報(bào)設(shè)計(jì)成十元組(Id,S_ip,D_ip,S_port,D_port,Time_stamp,Name, StartTime_stamp,EndTime_stamp,Nalert_set)，基警報(bào)格式如表4所列。將首個(gè)融入基警報(bào)的警報(bào)叫做基警報(bào)[21]的基，記作base.

表4 NIDS的基警報(bào)格式Table 4 Base alert format of NIDS

由于警報(bào)屬性包含數(shù)字、字符串和時(shí)間等各種不同形式，所以需要先對不同屬性的相似度進(jìn)行分別計(jì)算，再根據(jù)各個(gè)屬性相似度的加權(quán)來與給定的門限值比較，最終判斷是否屬于同一個(gè)基警報(bào)。以下是警報(bào)各個(gè)屬性相似度的計(jì)算方法[21]：

1) 警報(bào)名稱相似度的計(jì)算方法

警報(bào)Alert1和 Alert2的名稱屬性相似度定義為：如果警報(bào)的名稱相同，記為1，否則記為0.

(3)

2) IP地址相似度的計(jì)算方法

網(wǎng)絡(luò)數(shù)據(jù)包中的IP能夠代表不同數(shù)據(jù)包之間的相關(guān)性。IP地址所代表的網(wǎng)絡(luò)地址信息越相近，警報(bào)信息就具有更高的相似度。警報(bào)Alert1和 Alert2的IP地址相似度定義為:以兩個(gè)IP地址中的前n位的相似度來衡量IP地址的相似度。

(4)

3) 端口號相似度的計(jì)算方法

Alert1和Alert2的端口號屬性相似度定義為：如果警報(bào)的端口號相同，記為1，否則記為0.

(5)

4) 時(shí)間相似度計(jì)算方法

同一網(wǎng)絡(luò)入侵行為很可能會(huì)在很短的時(shí)間段內(nèi)產(chǎn)生大量的冗余警報(bào)，因此警報(bào)的時(shí)間越接近，越有可能來自于同一網(wǎng)絡(luò)入侵行為。警報(bào)Alert1和Alert2的時(shí)間屬性相似度定義為：以兩個(gè)警報(bào)發(fā)生時(shí)間差的絕對值是否超過上限值1來衡量時(shí)間相似度，警報(bào)時(shí)間間隔值設(shè)置為1 200 s.

(6)

5) 警報(bào)相似度的計(jì)算方法

假設(shè)警報(bào)Alert1和Alert2，分別包含n個(gè)屬性，Si表示警報(bào)Alert1和Alert2屬性i的相似度，Wi表示屬性i的權(quán)重，則警報(bào)Alert1和Alert2的相似度定義為n個(gè)屬性與權(quán)重乘積的總和。

(7)

基于上面提供的警報(bào)相似度計(jì)算方法可以實(shí)現(xiàn)警報(bào)融合。首先，讀取一條未經(jīng)融合的新警報(bào)；其次，查找所有基警報(bào)并將與其在時(shí)間間隔l內(nèi)的所有基警報(bào)選擇出來；然后計(jì)算該警報(bào)與選擇出來的基警報(bào)集合中所有警報(bào)的相似度,并且選擇相似度最大的基警報(bào)Smax;比較Smax與給定上限值M的大小，只有當(dāng)Smax大于上限值時(shí)，才將該警報(bào)添加到基警報(bào)中，否則新建一個(gè)基警報(bào)，將該警報(bào)添加進(jìn)去，其中上限值M的值為7.重復(fù)以上步驟，直到?jīng)]有未經(jīng)融合的新警報(bào)為止。

基于特征相似度的警報(bào)融合方法流程如圖4所示。

圖4 警報(bào)融合方法流程圖Fig.4 Flow chart of alert fusion

3.3 基于Storm平臺的FP-Stream關(guān)聯(lián)規(guī)則挖掘算法

Storm是Twitter支持開發(fā)的一款分布式的、開源的、實(shí)時(shí)的、主從式大數(shù)據(jù)流式計(jì)算系統(tǒng)，是一種典型的流式數(shù)據(jù)計(jì)算架構(gòu)[22]。FP-Stream算法[23-24]是一種流數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘算法(Frequent Pattern-growth)，相較于傳統(tǒng)的關(guān)聯(lián)分析算法，它不僅實(shí)現(xiàn)了對流數(shù)據(jù)頻繁模式的挖掘，同時(shí)使用了傾斜時(shí)間窗口表格存儲結(jié)構(gòu)，從而使得算法可以實(shí)現(xiàn)多種時(shí)間粒度的頻繁項(xiàng)集挖掘。但由于采用批處理方式，F(xiàn)P-Stream算法不能實(shí)時(shí)地處理和響應(yīng)用戶對當(dāng)前數(shù)據(jù)的查詢。因此，本文將FP-Stream算法與Storm平臺結(jié)合起來，可以對海量網(wǎng)絡(luò)流量進(jìn)行實(shí)時(shí)地關(guān)聯(lián)規(guī)則分析，使得網(wǎng)絡(luò)安全人員能夠及時(shí)發(fā)現(xiàn)網(wǎng)絡(luò)惡意流量，進(jìn)行網(wǎng)絡(luò)預(yù)警。

3.3.1 FP-Stream算法描述

在FP-Stream算法中，Di代表第i批次的事務(wù)，|Di|代表事物的數(shù)目，∈代表允許的最大誤差。它的整個(gè)算法流程如圖5所示。

圖5 FP-Stream算法流程圖Fig.5 Flow chart FP-Stream algorithm

1) 緩存達(dá)到的流數(shù)據(jù)，判斷是否到達(dá)一個(gè)單位時(shí)間的事物數(shù)據(jù)，若已經(jīng)到達(dá)，直接轉(zhuǎn)第2步，否則繼續(xù)緩存數(shù)據(jù)，直到到達(dá)單位時(shí)間。

2) 對到來的第一批事物D1進(jìn)行掃描，獲得D1中所包含的全部頻繁項(xiàng)集合F，及它們各自的支持度。對F中的頻繁項(xiàng)按其支持度降序排序得到f-list.

3) 再次掃描內(nèi)存中的批事務(wù)D1，并創(chuàng)建一個(gè)刪除所有支持?jǐn)?shù)小于∈|D1|的模式的FP-Tree；對于第二批及其之后到達(dá)的事物Di，根據(jù)f-list，插入到FP-tree中，不對任何項(xiàng)進(jìn)行剪枝操作。

4) 采用FP-Growth算法從FP-Tree中進(jìn)行模式挖掘，挖掘出FP-Tree中的候選頻繁項(xiàng)集。

若該事務(wù)為第一批事務(wù)，則使用構(gòu)建樹算法構(gòu)建Pattern-Tree；否則使用Pattern-Tree更新算法對構(gòu)建好的Pattern-Tree進(jìn)行更新。

5) 因?yàn)镕P-Stream算法將傾斜時(shí)間框架技術(shù)嵌入到FP-Tree結(jié)構(gòu)中，形成新的數(shù)據(jù)結(jié)構(gòu)頻繁模式樹(Pattern-Tree).每個(gè)節(jié)點(diǎn)的時(shí)間窗口存儲的是從根節(jié)點(diǎn)到該節(jié)點(diǎn)上的項(xiàng)集在不同時(shí)間粒度上的絕對支持度。用戶可以查詢在相應(yīng)時(shí)間段的頻繁項(xiàng)集。

3.3.2 基于Strom平臺FP-Stream算法的基本思想

設(shè)置兩類節(jié)點(diǎn)，分別為distributed和global節(jié)點(diǎn)。distributed節(jié)點(diǎn)為分布式局部計(jì)算節(jié)點(diǎn)，global節(jié)點(diǎn)為局部計(jì)算結(jié)果合并節(jié)點(diǎn)[25]。我們將接受到的經(jīng)過處理的無冗余的、格式統(tǒng)一的網(wǎng)絡(luò)警報(bào)數(shù)據(jù)流平均分配到相應(yīng)的distributed節(jié)點(diǎn)中，構(gòu)造FP-Tree樹并使用FP-Growth算法產(chǎn)生該單位時(shí)間內(nèi)的候選頻繁項(xiàng)集及其支持度計(jì)數(shù)。然后各分布式節(jié)點(diǎn)將這些結(jié)果發(fā)送到global節(jié)點(diǎn)，global節(jié)點(diǎn)合并distributed節(jié)點(diǎn)的中間結(jié)果，更新Pattern-Tree，并通過設(shè)置參數(shù)“當(dāng)前時(shí)間”來保證被合并的數(shù)據(jù)在時(shí)間上的對應(yīng)性。

3.3.3 FP-Stream算法在Storm平臺上的設(shè)計(jì)

FP-Stream算法在Storm平臺上的拓?fù)淙鐖D6所示。

圖6 基于STORM的FP-Stream算法拓?fù)湓O(shè)計(jì)Fig.6 Topology Design of FP-Stream algorithm based on STORM

Spout1接收到待挖掘的警報(bào)數(shù)據(jù)流，將到達(dá)的數(shù)據(jù)打上時(shí)間戳標(biāo)記并平均發(fā)送到各個(gè)Distributed節(jié)點(diǎn)上，對單位時(shí)間內(nèi)到達(dá)的數(shù)據(jù)構(gòu)建FP-Tree，并用FP-Growth算法產(chǎn)生該節(jié)點(diǎn)在單位時(shí)間內(nèi)的頻繁項(xiàng)集和支持度值，然后將各個(gè)局部節(jié)點(diǎn)產(chǎn)生的結(jié)果按照三元組格式(候選頻繁項(xiàng)集/支持度計(jì)數(shù)/時(shí)間戳)合并發(fā)送到GlobalBolt中，Global節(jié)點(diǎn)以FP-Tree為基礎(chǔ)，引入傾斜時(shí)間窗口生成最新的Pattern-Tree，用來記錄不同時(shí)間粒度中的關(guān)聯(lián)分析結(jié)果，并將其傳入SelectBolt.用戶輸入的查詢參數(shù)(時(shí)間)通過消息中間件kafka接收，通過Spout2將查詢時(shí)間傳遞給Select Result模塊，Select Result模塊讀取該參數(shù)，查詢Pattern-Tree中相應(yīng)的時(shí)間窗口，將符合要求的結(jié)果返回給用戶。

4 基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢感知分析

網(wǎng)絡(luò)安全態(tài)勢感知最早由Endsley提出，他將態(tài)勢感知[26]定義為：“在一定的時(shí)空范圍內(nèi)，對周圍的環(huán)境因素進(jìn)行提取、認(rèn)識、理解，并對整體環(huán)境未來發(fā)展趨勢進(jìn)行預(yù)測”。在大數(shù)據(jù)背景下，網(wǎng)絡(luò)安全態(tài)勢感知[27]是指針對大規(guī)模網(wǎng)絡(luò)環(huán)境及海量數(shù)據(jù)，運(yùn)用大數(shù)據(jù)技術(shù)特有的海量存儲、并行處理、高效查詢等特點(diǎn)，對引起網(wǎng)絡(luò)安全問題的要素進(jìn)行獲取、理解、評估、預(yù)測、防御以及可視化展示。本文的態(tài)勢感知分析的整體框架如圖7所示。

圖7 態(tài)勢感知分析框架圖Fig.7 Overall framework of situation-aware analysis

態(tài)勢感知分析的安全數(shù)據(jù)來源于網(wǎng)絡(luò)流量和Web日志。首先，態(tài)勢感知分析以上述安全數(shù)據(jù)作為數(shù)據(jù)處理來源，進(jìn)行網(wǎng)絡(luò)安全態(tài)勢提取。網(wǎng)絡(luò)安全態(tài)勢提取即對網(wǎng)絡(luò)安全數(shù)據(jù)進(jìn)行采集。本文采用入侵檢測工具Suricata、基于Storm預(yù)處理的日志規(guī)則匹配技術(shù)以及用戶異常行為檢測技術(shù)分別對網(wǎng)絡(luò)流量和Web日志進(jìn)行監(jiān)控，提取惡意數(shù)據(jù)。其次，對提取的惡意數(shù)據(jù)進(jìn)行態(tài)勢理解。態(tài)勢理解即對提取的數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗、數(shù)據(jù)融合、數(shù)據(jù)管理等處理，將不同來源的警報(bào)信息去偽存真，挖掘出真實(shí)的、有意義的網(wǎng)絡(luò)惡意信息。本文通過數(shù)據(jù)清除、冗余警報(bào)去除、敏感特征提取以及使用基于Storm平臺的FP-Stream算法進(jìn)行關(guān)聯(lián)規(guī)則挖掘。最終將分析結(jié)果存入分析數(shù)據(jù)庫，供態(tài)勢評估階段使用。態(tài)勢評估即根據(jù)態(tài)勢理解階段提供的信息，對安全事件數(shù)據(jù)庫通過使用危險(xiǎn)性統(tǒng)計(jì)分析、脆弱性分析、可用性分析等手段進(jìn)行統(tǒng)計(jì)分析。本文采用層次分析與模糊結(jié)合的算法對態(tài)勢進(jìn)行評估。最后通過R語言和D3.js[28]等可視化呈現(xiàn)技術(shù)實(shí)現(xiàn)態(tài)勢的可視化展示，將安全態(tài)勢感知過程中數(shù)據(jù)處理結(jié)果轉(zhuǎn)換成圖形或圖像在屏幕上顯示出來，并結(jié)合ElasticSearch技術(shù)實(shí)現(xiàn)數(shù)據(jù)和網(wǎng)絡(luò)態(tài)勢的交互式可視分析，為用戶提供良好的查詢功能。

5 基于大數(shù)據(jù)平臺的惡意行為驗(yàn)證系統(tǒng)實(shí)現(xiàn)

面向大數(shù)據(jù)安全分析的需求，設(shè)計(jì)出具有高性能、可移植性、兼容性以及防御性強(qiáng)的大數(shù)據(jù)平臺惡意行為驗(yàn)證系統(tǒng)。這個(gè)系統(tǒng)主要包括：網(wǎng)絡(luò)惡意數(shù)據(jù)收集、關(guān)聯(lián)規(guī)則挖掘、安全態(tài)勢呈現(xiàn)等功能模塊，各模塊之間相互合作實(shí)現(xiàn)對大數(shù)據(jù)環(huán)境下的網(wǎng)絡(luò)安全態(tài)勢分析及預(yù)警。通過開源安全信息管理系統(tǒng)OSSIM將Suricata，openVas，Nagoius等多個(gè)安全工具進(jìn)行集成，結(jié)合大數(shù)據(jù)處理框架Storm，采用具有針對性的自編算法，比如FP-Stream算法等，在信息共享的前提下，設(shè)計(jì)了集中的安全驗(yàn)證平臺，從而形成有效的網(wǎng)絡(luò)防御體系。而且為了讓用戶能夠獲得更好的體驗(yàn)，我們采用多種可視化技術(shù)來呈現(xiàn)攻擊來源、攻擊數(shù)量、攻擊類型等重要信息，讓網(wǎng)絡(luò)安全人員直觀地掌握當(dāng)前網(wǎng)絡(luò)安全態(tài)勢，使其能夠快速作出應(yīng)對。以下是基于大數(shù)據(jù)的惡意行為驗(yàn)證系統(tǒng)的功能展示。

驗(yàn)證系統(tǒng)能以圖表的方式展示當(dāng)前一些網(wǎng)絡(luò)安全信息(如圖8所示)，例如當(dāng)前安全警報(bào)TOP5，被登錄次數(shù)主機(jī)TOP10，及一天的安全趨勢曲線圖等。驗(yàn)證系統(tǒng)還能對安全事件進(jìn)行詳細(xì)的分析，展示對安全事件分析的結(jié)果，比如警報(bào)來源，風(fēng)險(xiǎn)程度等，產(chǎn)生安全日志。驗(yàn)證系統(tǒng)也能展示當(dāng)前受保護(hù)的網(wǎng)絡(luò)資產(chǎn)的安全情況，比如資產(chǎn)價(jià)值、弱點(diǎn)、HDIS狀態(tài)及漏洞分析等。

圖8 安全信息圖表展示界面Fig.8 Security information display interface

網(wǎng)絡(luò)安全數(shù)據(jù)正在以指數(shù)級形式高速增長，傳統(tǒng)的檢測平臺已經(jīng)無法滿足海量數(shù)據(jù)的分析要求[29]。例如，當(dāng)網(wǎng)絡(luò)出現(xiàn)故障或者是故障過程的時(shí)候，各種設(shè)備和服務(wù)器會(huì)發(fā)送大量日志到服務(wù)器上，在這種高并發(fā)情形下，會(huì)對數(shù)據(jù)庫服務(wù)器造成巨大的壓力，因而在進(jìn)行查詢操作時(shí)會(huì)增加延遲程度，容易超過系統(tǒng)的最大負(fù)載。除此之外，在集成各種開源工具的過程中一旦系統(tǒng)沒有進(jìn)行持久化，一些服務(wù)器重啟后會(huì)導(dǎo)致消息丟失。為了解決這些問題，本驗(yàn)證系統(tǒng)基于OSSIM集成各種開源工具。OSSIM采用了RabbitMQ+Redis的消息隊(duì)列機(jī)制，它的工作原理[29]如圖9所示。RabbitMQ是實(shí)現(xiàn)AMQP(高級消息隊(duì)列協(xié)議)消息中間件的一種，它在OSSIM中采用異步操作的方式，通過消息隊(duì)列將高并發(fā)的用戶請求進(jìn)行操作，也避免了并發(fā)控制的難題，使系統(tǒng)的響應(yīng)得到提高。Redis是一個(gè)Key/Value的NoSQL數(shù)據(jù)庫，它不僅支持?jǐn)?shù)據(jù)持久化，而且它的數(shù)據(jù)存儲在內(nèi)存中，速度遠(yuǎn)高于MySQL，在OSSIM的Web界面的排行榜功能中應(yīng)用廣泛，如TOP10操作等。

圖9 OSSIM消息隊(duì)列原理圖Fig.9 Schematic diagram of OSSIM massage queue

為了驗(yàn)證Rabbit MQ的性能，在消息持久化場景下，分別測試了在使用RabbitMQ的異步機(jī)制和不使用RabbitMQ的同步機(jī)制情況下投遞了100萬和500萬條消息的發(fā)送速率、接收速率和丟失率。實(shí)驗(yàn)結(jié)果如表5和表6所示。

表5 使用RabbiMQ收發(fā)速度Table 5 Send and receive speed by using RabbitMQ

表6 不使用RabbitMQ收發(fā)速度表Table 6 Send and receive speed without using RabbitMQ

根據(jù)本次的測試結(jié)果，發(fā)現(xiàn)在同樣的網(wǎng)絡(luò)情況下，使用異步模式發(fā)送、接受數(shù)據(jù)的速度比同步模式速度快了將近18倍。因此基于OSSIM搭建的大數(shù)據(jù)平臺惡意行為驗(yàn)證系統(tǒng)的具有較快的運(yùn)行速度及檢測效率。

6 結(jié)束語

針對大數(shù)據(jù)環(huán)境下的網(wǎng)絡(luò)安全數(shù)據(jù)具有海量、數(shù)據(jù)來源多源化、增長速度快、復(fù)雜度高的特點(diǎn)而導(dǎo)致的傳統(tǒng)網(wǎng)絡(luò)安全檢測方法無法適用當(dāng)前網(wǎng)絡(luò)惡意行為分析的問題，本文提出了基于大數(shù)據(jù)的網(wǎng)絡(luò)惡意行為及關(guān)聯(lián)分析方案。本文從惡意特征提取、特征關(guān)聯(lián)分析、安全態(tài)勢感知分析3個(gè)層面，采用Suricata，Storm，ElasticSearch等一系列開源大數(shù)據(jù)工具，結(jié)合一些自編性算法及相關(guān)技術(shù)，提出并設(shè)計(jì)了一種基于大數(shù)據(jù)平臺的惡意行為驗(yàn)證系統(tǒng)，該系統(tǒng)將大數(shù)據(jù)處理技術(shù)與安全需求相結(jié)合，通過對安全數(shù)據(jù)的分析，實(shí)現(xiàn)對網(wǎng)絡(luò)惡意行為的分析和檢測，并將結(jié)果以可視化技術(shù)展現(xiàn)。本文實(shí)現(xiàn)了驗(yàn)證系統(tǒng)的主要功能，在今后的研究中，可以考慮在驗(yàn)證系統(tǒng)中增添攻擊擴(kuò)散路徑展示、智能檢索等功能，進(jìn)一步完善驗(yàn)證系統(tǒng)的功能及提高檢索效率。

[1] 王元卓,靳小龍,程學(xué)旗.網(wǎng)絡(luò)大數(shù)據(jù):現(xiàn)狀與展望[J].計(jì)算機(jī)學(xué)報(bào),2013,36(6):1125-1138.

WANG Y Z,JIN X L,CHENG X Q.Network big data:present and future[J].Chinese Journal of Computers,2013,36(6):1125-1138.

[2] 張鑫.大數(shù)據(jù)背景下的網(wǎng)絡(luò)安全隱患及防范措施[J].科技資訊,2016,14(18):4.

ZHANG X.Under the background of big data network security and protection measures[J].Science & Technology Information,2016,14(18):4.

[3] 張歡.解析大數(shù)據(jù)環(huán)境下的安全現(xiàn)狀和未來展望[J].中國新通信,2015(12):20.

ZHANG H.Parsing large data environment safety status and future prospects[J].China New Telecommunications,2015(12):20.

[4] GIURA P,WANG W.Using large scale distributed computing to unveil advanced persistent threats[J].Science,2013,1(3):93-105.

[5] 謝立春,張春琴.基于云模型的網(wǎng)絡(luò)攻擊檢測方法及其性能分析[J].計(jì)算機(jī)科學(xué),2015,42(S2):378-380，389.

XIE L C,ZHANG C Q.Detection method and performance analysis of network attacks based on cloud model[J].Computer Science,2015,42(11A):378-380.

[6] 席榮榮,云曉春,張永錚,等.一種改進(jìn)的網(wǎng)絡(luò)安全態(tài)勢量化評估方法[J].計(jì)算機(jī)學(xué)報(bào),2015,38(4):749-758.

XI R R,YUN X Q,ZHANG Y Z,et al.An improved quantitative evaluation method for network security[J].Chinese Journal of Computers,2015,38(4):749-758.

[7] 儲澤楠,李世揚(yáng).基于節(jié)點(diǎn)生長馬氏距離K均值和HMM的網(wǎng)絡(luò)入侵檢測方法設(shè)計(jì)[J].計(jì)算機(jī)測量與控制,2014,22(10):3406-3409.

CHU Z N,LI S Y.Design of network intrusion detection method based on node grow mahahanobis distancek-means and HMM[J].Computer Measurement & Control,2014,22(10):3406-3409.

[8] 張冰濤,王小鵬.面向WSN安全路由協(xié)議的自適應(yīng)威脅模型[J].計(jì)算機(jī)應(yīng)用研究,2014,31(4):1208-1211.

ZHANG B T,WANG X P.Adaptive threat modeling for secure WSN routing protocols[J].Application Research of Computers,2014,31(4):1208-1211.

[9] 付鈺,李洪成,吳曉平,等.基于大數(shù)據(jù)分析的APT攻擊檢測研究綜述[J].通信學(xué)報(bào),2015,36(11):1-14.

FU Y,LI H C,WU X P,et al.Detecting APT attacks:a survey from the perspective of big data analysis[J].Journal on Communications,2015,36(11):1-14.

[10] 李林.網(wǎng)絡(luò)安全態(tài)勢感知系統(tǒng)設(shè)計(jì)與關(guān)鍵模塊實(shí)現(xiàn)[D].北京：北京郵電大學(xué),2015.

[11] 劉孫俊,李濤,趙奎,等.基于人工免疫的網(wǎng)絡(luò)安全態(tài)勢評估模型[J].微計(jì)算機(jī)信息,2008,24(18):22-24.

LIU S J,LI T,ZHAO K,et al.The network security situation assessment model based on artificial immune[J].Control & Automation,2008,24(18):22-24.

[12] 胡東星.基于人工智能的信息網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)[J].信息通信,2012(6):80-81.

HU D X.Information network security situational awareness technology based on artificial intelligence[J].Information & Communications,2012(6):80-81.

[13] 任偉,蔣興浩,孫錟鋒.基于RBF神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)安全態(tài)勢預(yù)測方法[J].計(jì)算機(jī)工程與應(yīng)用,2006,42(31):136-138.

REN W,JIANG X H,SUN Y F.RBFNN-based prediction of networks security situation[J].Computer Engineering and Applications,2006,42(31):136-138.

[14] 韋勇,連一峰.基于日志審計(jì)與性能修正算法的網(wǎng)絡(luò)安全態(tài)勢評估模型[J].計(jì)算機(jī)學(xué)報(bào),2009,32(4):763-772.

WEI Y,LIAN Y F.A Network security situational awareness model based on log audit and performance correction[J].Chinese Journal of Computers,2009,32(4):763-772.

[15] NEUMEYER L,ROBBINS B,NAIR A,et al.S4:Distributed stream computing platform[C]∥IEEE Data Mining Workshops(ICDMW).2010:170-177.

[16] CARBONE P,EWEN S,HARIDI S,et al.Apache flink:Stream and batch processing in a single engine[J].Data Engineering,2015:28.

[17] ANVAL W.Snort,suricata and syslog intrusion detection,situational awareness and risk management [EB/OL].[2016-06-27].http://wiki.aanval.com/wiki/Snort_vs_Suricata.

[18] 劉建軍.基于Hadoop的WEB入侵檢測分析[C]∥中國通信學(xué)會(huì).第十九屆全國青年通信學(xué)術(shù)年會(huì)論文集.北京：國防工業(yè)出版社，2014:5.

[19] Spark和Storm的選擇：哪個(gè)平臺更適合機(jī)器學(xué)習(xí)[EB/OL].[2015-07-05].http://www.360doc.com/content/15/0705/11/3300331_482745419.shtml.

[20] 袁堂朋.基于用戶行為模式的Web日志挖掘模型的研究與實(shí)現(xiàn)[D].南京：南京郵電大學(xué),2013.

[21] 丁航.基于黑板結(jié)構(gòu)的警報(bào)協(xié)同系統(tǒng)[D].長春：吉林大學(xué),2014.

[22] YANG W,LIU X,ZHANG L,et al.Big data real-time processing based on storm[C]∥IEEE.Trust,Security and Privacy in Computing and Communications.2013:1784-1787.

[23] GIANNELLA C,HAN J,PEI J,et al.Mining frequent patterns in data streams at multiple timegranularities[C]∥Data Mining:Next Generation Challenges and Future Directions.2004:191-212.

[24] 唐耀紅.數(shù)據(jù)流環(huán)境中關(guān)聯(lián)規(guī)則挖掘技術(shù)的研究[D].北京：北京交通大學(xué),2012.

[25] 馬可,李玲娟,孫杜靖.分布式并行化數(shù)據(jù)流頻繁模式挖掘算法[J].計(jì)算機(jī)技術(shù)與發(fā)展,2016(7):75-79.

MA K,LI L J,SUN D J.Distributed parallel algorithm of mining frequent pattern on data stream[J].Computer Technology and Development,2016(7):75-79.

[26] ENDSLEYMR.Toward a theory of situation awareness in dynamic system[J].Human Factors,1995,37(1):32-64.

[27] 趙夢.基于大數(shù)據(jù)環(huán)境的網(wǎng)絡(luò)安全態(tài)勢感知[J].信息網(wǎng)絡(luò)安全,2016(9):90-93.

ZHAO M.Network security situation awareness based on big bata[J].Netinfo Security,2016(9):90-93.

[28] 琚安康,郭淵博,朱泰銘.基于開源工具集的大數(shù)據(jù)網(wǎng)絡(luò)安全態(tài)勢感知及預(yù)警架構(gòu)[J].計(jì)算機(jī)科學(xué),2017(5):125-131.

JU A K,GUO Y B,ZHU T M.Framework for big data network security situational awareness and threat warning based on open source toolset[J].Computer Science,2017(5):125-131.

[29] 李晨光.開源安全運(yùn)維平臺OSSIM最佳實(shí)踐[M].北京：清華大學(xué)出版社,2016.