基于分類器聯(lián)合的分布式安全威脅檢測

譚明強(qiáng)（中國移動(dòng)通信集團(tuán)貴州有限公司，貴陽 550001）

基于分類器聯(lián)合的分布式安全威脅檢測

譚明強(qiáng)
（中國移動(dòng)通信集團(tuán)貴州有限公司，貴陽 550001）

本文對異常流量檢測技術(shù)和云計(jì)算技術(shù)的結(jié)合進(jìn)行了相關(guān)研究，提出了一個(gè)基于云計(jì)算技術(shù)的網(wǎng)絡(luò)異常流量數(shù)據(jù)分類算法，該系統(tǒng)基于Hadoop技術(shù)框架實(shí)現(xiàn)了無監(jiān)督的模糊K-means分類算法和有監(jiān)督的樸素貝葉斯分類算法的并行計(jì)算，然后采用這兩個(gè)分類器對數(shù)據(jù)中心海量流量數(shù)據(jù)進(jìn)行聯(lián)合檢測，基于的聯(lián)合分類算法在檢測準(zhǔn)確率和處理速度上有極高的效率，可以實(shí)現(xiàn)對數(shù)據(jù)中心的海量網(wǎng)絡(luò)流量實(shí)時(shí)檢測，以及發(fā)現(xiàn)網(wǎng)絡(luò)安全威脅，保障業(yè)務(wù)健康穩(wěn)定運(yùn)行。

Hadoop；云安全；大數(shù)據(jù)；異常流量；安全威脅

1　大數(shù)據(jù)分布式安全技術(shù)框架與實(shí)現(xiàn)

1.1框架說明

本文提出了一種基于Mahout技術(shù)的分布式異常流量檢測技術(shù)，它基于模糊K-均值和樸素貝葉斯分類算法，使用檢測探針在海量網(wǎng)絡(luò)數(shù)據(jù)處理平臺的網(wǎng)絡(luò)出口位置對流量數(shù)據(jù)進(jìn)行探測分析，實(shí)現(xiàn)對大型云計(jì)算平臺的網(wǎng)絡(luò)流量近實(shí)時(shí)異常檢測。分布式異常流量檢測技術(shù)使用檢測探針對上下行流量數(shù)據(jù)進(jìn)行檢測，生成相應(yīng)的流記錄，并將其存入該平臺的云存儲中。異常流量檢測技術(shù)對流量采用“流”的形式進(jìn)行檢測。本文提出的異常流量檢測技術(shù)是一個(gè)適用于實(shí)際云計(jì)算環(huán)境的整套解決方案。同時(shí)，配合網(wǎng)絡(luò)硬件監(jiān)測設(shè)備，該系統(tǒng)可以適用于各大數(shù)據(jù)中心的異常流量近實(shí)時(shí)檢測。結(jié)合云存儲的相關(guān)技術(shù)，可以實(shí)現(xiàn)網(wǎng)絡(luò)流量的存儲及再分析。

當(dāng)前，基于大數(shù)據(jù)Hadoop的海量網(wǎng)絡(luò)數(shù)據(jù)處理平臺的安全防御體系是由一系列的安全服務(wù)構(gòu)成，包括傳統(tǒng)的防火墻、IDS、流量控制、網(wǎng)關(guān)等安全設(shè)備，也包括本文介紹的異常流量檢測技術(shù)。通過與海量網(wǎng)絡(luò)數(shù)據(jù)處理平臺的需求緊密結(jié)合，云安全技術(shù)體系可以為其提供立體化全方位的安全保護(hù)，而基于云平臺提供的海量存儲能力和高性能計(jì)算能力，異常流量檢測技術(shù)能夠快速高效地檢測出各類網(wǎng)絡(luò)攻擊和網(wǎng)絡(luò)異常行為，達(dá)到快速可靠地保障云平臺安全的目的。

1.2分類算法選擇和實(shí)現(xiàn)

基于分類器聯(lián)合的分布式異常流量檢測技術(shù)基于大數(shù)據(jù)Hadoop的MapReduce運(yùn)算機(jī)制，并作為海量網(wǎng)絡(luò)數(shù)據(jù)處理平臺的一個(gè)模塊，實(shí)現(xiàn)對云平臺網(wǎng)絡(luò)流量的檢測和異常流量的判定。算法的基本思想是利用歷史測量數(shù)據(jù)構(gòu)建訓(xùn)練模型，對新測量數(shù)據(jù)與模型進(jìn)行匹配，利用串聯(lián)式多級判別算法來判定新測量數(shù)據(jù)是否是異常數(shù)據(jù)。圖1是本算法的整體流程圖。本文基于歷史流量數(shù)據(jù)構(gòu)建模型并進(jìn)行訓(xùn)練，然后進(jìn)行該模型對檢測到的流記錄進(jìn)行判定分析。

收稿日期：2015-11-16

圖1　分類器聯(lián)合檢測算法流量

1.2.1 模糊K-均值算法

模糊K-均值算法是一種常用的聚類算法，其基本原理是通過從原始數(shù)據(jù)中提取出K組的模糊矩陣再計(jì)算出最開始的聚類中心向量矩陣。然后再通過特定的目標(biāo)函數(shù)，使用多次迭代的方法找到最合適的分組和中心，使得目標(biāo)函數(shù)最小，并按照最大隸屬的原則進(jìn)行分類。在處理大數(shù)據(jù)時(shí)，模糊K-均值算法具有較高的效率和伸縮性，適合本文中對海量網(wǎng)絡(luò)數(shù)據(jù)流的處理。

1.2.2樸素貝葉斯分類

樸素貝葉斯分類器需要假設(shè)用于分類的各個(gè)屬性值之間是條件獨(dú)立的。該假設(shè)條件如果成立，則樸素貝葉斯分類器具有優(yōu)于其它分類器的準(zhǔn)確度。因此在本文，我們采用流量特征選擇算法從流統(tǒng)計(jì)特征指標(biāo)中提取出合適的特征指標(biāo)集合，保證選取的特征指標(biāo)與類屬性既有較強(qiáng)的相關(guān)性，同時(shí)各個(gè)指標(biāo)之間又不相關(guān)。

1.2.3基于Mahout的并行分類算法

Mahout是一個(gè)運(yùn)行在Hadoop上的用于進(jìn)行數(shù)據(jù)分析和機(jī)器學(xué)習(xí)的分布式軟件框架，它采用MapReduce機(jī)制實(shí)現(xiàn)了一系列可擴(kuò)展的數(shù)據(jù)挖掘算法。本文對模糊K-均值和樸素貝葉斯分類算法進(jìn)行實(shí)現(xiàn)，改進(jìn)后的基于Mahout的分類算法可以在MapReduce框架上的并行化運(yùn)行，具體算法實(shí)現(xiàn)流程如下。

（1）基于Mahout框架模塊K-均值算法實(shí)現(xiàn)流程。首先在提交作業(yè)時(shí)配置數(shù)據(jù)輸入信息，將需要分類數(shù)據(jù)轉(zhuǎn)換為量向數(shù)據(jù)并將數(shù)據(jù)進(jìn)行分散化（計(jì)算中心點(diǎn)與向量數(shù)據(jù)之間的歐式距離）。在重新計(jì)算中心點(diǎn)向量時(shí)，將樣本數(shù)據(jù)重新分割到Map任務(wù)模塊，讓各個(gè)Map任務(wù)并行算出向量的累加和，然后當(dāng)Reduce任務(wù)模塊開始運(yùn)算后，讓Reduce任務(wù)對各個(gè)Map任務(wù)輸出的中間結(jié)果進(jìn)行累加并計(jì)算出新的中心點(diǎn)，最后返回該算法運(yùn)算結(jié)果。

（2）基于Mahout框架模塊樸素貝葉斯分類實(shí)現(xiàn)流程。該算法同樣需要對樣本數(shù)據(jù)進(jìn)行序列化的預(yù)處理，然后完成數(shù)據(jù)的訓(xùn)練和分類運(yùn)行。在進(jìn)行數(shù)據(jù)的訓(xùn)練時(shí)，該算法需要在訓(xùn)練樣本數(shù)據(jù)中累加各個(gè)Y標(biāo)志相對應(yīng)的xj=k，算出P（xj=k|y=1），P（xj=k|y=0）和P（y）。然后在Mahout數(shù)據(jù)分析框架中配置該算法的Map運(yùn)算任務(wù)，用于計(jì)算公式（1）～（4）最后由Reduce任務(wù)模塊對Map任務(wù)產(chǎn)生的中間結(jié)果進(jìn)行累加獲取最后的運(yùn)算結(jié)果。

1.3分類器聯(lián)合判定算法

本節(jié)對于基于分類器聯(lián)合判定算法進(jìn)行詳細(xì)說明。首先描述了本文提取的原始網(wǎng)絡(luò)流記錄的特征指標(biāo)值，然后利用特征選擇算法進(jìn)行特征指標(biāo)提取，從中選取較為有用的一些特征指標(biāo)值，最后對本文提出的分類聯(lián)合算法進(jìn)行描述。

1.3.1流統(tǒng)計(jì)特征描述

基于流統(tǒng)計(jì)特征的異常流量檢測方法適應(yīng)海量網(wǎng)絡(luò)流量數(shù)據(jù)的檢測。基于流形式的檢測，并將云計(jì)算技術(shù)引入異常流量檢測系統(tǒng)中，不僅能克服模式匹配固有的缺點(diǎn)，更能提高系統(tǒng)檢測性能。

1.3.2流統(tǒng)計(jì)特征提取

本文根據(jù)上一節(jié)的分析選取合適的流統(tǒng)計(jì)特征指標(biāo)來對海量網(wǎng)絡(luò)數(shù)據(jù)處理平臺的流量進(jìn)行檢測，并基于Mahout技術(shù)對流量記錄進(jìn)行快速分類，檢測其中的異常流量，提高海量網(wǎng)絡(luò)數(shù)據(jù)處理平臺的安全性。

本文首先使用流統(tǒng)計(jì)特征指標(biāo)選擇技術(shù)來找到上述特征指標(biāo)中識別度最高的一組集合，然后再使用分類器對其進(jìn)行學(xué)習(xí)訓(xùn)練。流統(tǒng)計(jì)特征指標(biāo)的選擇如圖2所示。

圖2　特征指標(biāo)選擇流程

在本文我們使用CFS （Correlation-based FeatureSelector）算法來進(jìn)行特征指標(biāo)子集的選取。CFS算法的特征指標(biāo)選取公式如公式（5）所示。其中Ms是采用CFS算法運(yùn)算得到的特征指標(biāo)子集s的值，n為該子集所包含的指標(biāo)數(shù)量，rcf表示選取的指標(biāo)與類的相關(guān)性的平均值，rff表示選取的指標(biāo)之間的相關(guān)性的平均值。

對于特征指標(biāo)的相關(guān)性，本文可以采用Symmetrical Uncertainty方法進(jìn)行計(jì)算。假設(shè)X和Y為特征指標(biāo)，則Y的熵如公式（6）所示，在X條件下Y的熵如公式（7）所示。從公式中可以看出，指標(biāo)X和Y相關(guān)性可以表示為X對Y的信息增益，定義如公式（8）所示。

結(jié)合CFS算法和指標(biāo)相關(guān)性計(jì)算，本文可以從流統(tǒng)計(jì)特征指標(biāo)中提取出合適的特征指標(biāo)集合，保證選取的特征指標(biāo)與類屬性既有較強(qiáng)的相關(guān)性，同時(shí)選取的特征指標(biāo)集合不存在冗余，又恰當(dāng)?shù)胤从吵龇诸悓傩浴?/p>

1.3.3聯(lián)合判定算法

聯(lián)合判定算法采用計(jì)算當(dāng)前流量統(tǒng)計(jì)樣本與歷史數(shù)據(jù)樣本臨近度的方式來進(jìn)行分析，綜合了模糊K-均值和樸素貝葉斯分類構(gòu)建的模型，具體包含兩部分，對歷史數(shù)據(jù)的離線學(xué)習(xí)和對流量數(shù)據(jù)的在線分類。同時(shí)，為了驗(yàn)證聯(lián)合分類算法的準(zhǔn)確性，我們在后續(xù)使用采集到的樣本流量數(shù)據(jù)進(jìn)行實(shí)驗(yàn)分析。綜合判定算法的流程圖如圖3所示。

圖3　綜合判定算法流程圖

計(jì)算該流量數(shù)據(jù)的統(tǒng)計(jì)信息，包括均值和均值標(biāo)準(zhǔn)偏差等。根據(jù)流量數(shù)據(jù)的統(tǒng)計(jì)信息對其進(jìn)行預(yù)處理。

基于Mahout實(shí)現(xiàn)模糊K-均值算法和樸素貝葉斯分類器同時(shí)對流量數(shù)據(jù)進(jìn)行檢測；其中模塊K-均值算

（表示第i個(gè)樣本對類別J的隸屬度，x為樣本值， K為聚類數(shù)，b為參數(shù)）計(jì)算出樣本中各個(gè)數(shù)據(jù)對于各個(gè)聚類中心的隸屬度函數(shù)值，并根據(jù)計(jì)算值，采用公式（m為各個(gè)聚類中心，b為控制模糊程度的一個(gè)常數(shù)，值大于l）。更新各個(gè)聚類中心，重復(fù)迭代計(jì)算直到結(jié)果穩(wěn)定。模糊K-均值算法對流數(shù)據(jù)的異常系數(shù)的計(jì)算公式如公式（9）所示。其中，Ps為初始得到的該簇的異常系數(shù)，F(xiàn)為需要判定的流量數(shù)據(jù)點(diǎn)）表示需要判定的流量數(shù)據(jù)點(diǎn)到k個(gè)簇中心點(diǎn)的歐式距離之和，di為F至該簇聚類中心的歐式距離。如果得到的異常系數(shù)Pf值小于0.5，則判定該數(shù)據(jù)點(diǎn)為正常數(shù)據(jù)，否則為異常數(shù)據(jù)。而訓(xùn)練后的樸素貝葉斯分類器通過對流量數(shù)據(jù)中各個(gè)流進(jìn)行判定，根據(jù)先驗(yàn)概率計(jì)算出其所屬類的后驗(yàn)概率，判定流量是否為異常流量。

綜合模糊K-均值和樸素貝葉斯分類器的異常流量檢測結(jié)果，我們對流量進(jìn)行綜合判定。當(dāng)模糊K-均值和樸素貝葉斯分類器的判定結(jié)果一致時(shí)，則該結(jié)果作為最終判定結(jié)果。若不一致，則采用KNN最近鄰原則來重新進(jìn)行判定，從樣本流量數(shù)據(jù)中找出k個(gè)與等待最終判定的數(shù)據(jù)流特征指標(biāo)最為接近的樣本數(shù)據(jù)流，使用公式（10）來進(jìn)行相似度計(jì)算，根據(jù)與待判定數(shù)據(jù)最為相似的多數(shù)樣本流量類型來決定待判定流量的類型。

2　實(shí)驗(yàn)及分析

2.1實(shí)驗(yàn)環(huán)境

基于Hadoop的海量網(wǎng)絡(luò)數(shù)據(jù)流處理平臺系統(tǒng)部署架構(gòu)圖如圖4所示。

表1是本文實(shí)驗(yàn)中用到的6個(gè)數(shù)據(jù)，數(shù)據(jù)中標(biāo)記了流量的各維統(tǒng)計(jì)信息，如此大的真實(shí)網(wǎng)絡(luò)數(shù)據(jù)保證了本文研究的價(jià)值。

2.2實(shí)驗(yàn)方法及結(jié)果分析

在本實(shí)驗(yàn)中，本文對流量測試數(shù)據(jù)采用了多次十折交叉驗(yàn)證的方法進(jìn)行測試。我們將采集到的流量數(shù)據(jù)分成10份，每次使用其中的9份作為訓(xùn)練樣本，剩余一份作為測試樣本，循環(huán)10次求均值。

圖4　云計(jì)算異常流量檢測系統(tǒng)部署圖

由于本文采用MapReduce技術(shù)實(shí)現(xiàn)分類器算法的分布式并行運(yùn)算，因此本文的分類器在性能上有較大的提升，其性能隨著云計(jì)算集群計(jì)算能力的提升而不斷提高，所以本文主要關(guān)注點(diǎn)在與分類器的檢測準(zhǔn)確率。在該分布式異常流量檢測系統(tǒng)中，準(zhǔn)確率是該分類器檢測出正確的正常流量和異常流量數(shù)占全部樣本流量數(shù)的比率。異常流量檢測分類結(jié)果實(shí)例如表2所示。

從表2中我們可以計(jì)算出分類器的準(zhǔn)確率指標(biāo)，即正確判定出的正常流量數(shù)和異常流量數(shù)占所有樣本流量總數(shù)的比率。同時(shí)，結(jié)合上述指標(biāo)中的誤報(bào)率和漏報(bào)率，我們可以對單個(gè)模糊K-均值、單個(gè)樸素貝葉斯分類器，以及聯(lián)合分類器的異常流量檢測效果作對比分析。

我們對樣本數(shù)據(jù)流使用3種分類算法分別進(jìn)行訓(xùn)練測試，樣本數(shù)據(jù)流A1、A2和A3是連續(xù)3天，每天從早8點(diǎn)到晚20點(diǎn)連續(xù)12 h采集的流量數(shù)據(jù)，因此使用

表1　實(shí)驗(yàn)數(shù)據(jù)

這3組數(shù)據(jù)作為一個(gè)組進(jìn)行分析。異常流量的檢查效果可以用誤報(bào)率、漏報(bào)率和準(zhǔn)確率來衡量。在保證越低的誤報(bào)率和漏報(bào)率的基礎(chǔ)上，我們希望能夠獲得盡可能高的檢測準(zhǔn)確率。通過這3組數(shù)據(jù)的測試，從中我們可以看出分類器聯(lián)合的異常流量檢測效果優(yōu)于單一的模糊K均值和樸素貝葉斯分類器。分類器聯(lián)合檢測算法可以在判定過程中很好地降低對數(shù)據(jù)的誤判率，同時(shí)漏判率也有大幅度的降低。這表明本文提出的算法，可以有效地避免單一算法的缺陷，較為全面的對網(wǎng)絡(luò)流量進(jìn)行異常檢測，具有很高的可行性。

表2　流量檢測分類結(jié)果實(shí)例

從A4和A5的實(shí)驗(yàn)結(jié)果我們可以看出隨著數(shù)據(jù)量的增長，基于分類器聯(lián)合的分布式異常流量檢測算法的準(zhǔn)確率略有下降。但是由于采用了多種分類算法的聯(lián)合判決，其檢測的準(zhǔn)確率和穩(wěn)定性均優(yōu)于采用單一算法的檢測結(jié)果。此外，在實(shí)驗(yàn)結(jié)果中模糊K-均值算法的準(zhǔn)確率雖然均高于貝葉斯算法，但其誤判率也高于貝葉斯算法。因此本文提出的基于分類器聯(lián)合的異常流量檢測算法可以克服單一檢測算法的缺陷，通過聯(lián)合無監(jiān)督的模糊K一均值分類算法和有監(jiān)督的樸素貝葉斯分類算法，使得對于海量的網(wǎng)絡(luò)流量數(shù)據(jù)異常檢測結(jié)果更加準(zhǔn)確，同時(shí)通過MapReduce技術(shù)來對分類算法進(jìn)行實(shí)現(xiàn)，可以極大地提高檢測速率，實(shí)現(xiàn)對云平臺的安全保障工作。

3　小結(jié)

海量網(wǎng)絡(luò)數(shù)據(jù)處理平臺中存儲著大量重要的移動(dòng)互聯(lián)網(wǎng)流量數(shù)據(jù)。因此我們除了采用傳統(tǒng)的網(wǎng)絡(luò)安全設(shè)備來保障該平臺的安全外，還需要盡力提高其安全性。同時(shí)傳統(tǒng)的入侵檢測技術(shù)己經(jīng)無法滿足云計(jì)算環(huán)境下的海量數(shù)據(jù)流信息的安全防護(hù)。本文提出的應(yīng)用于云計(jì)算平臺的異常流量檢測技術(shù)具有以下優(yōu)點(diǎn)。第一，基于MapReduce技術(shù)的異常流量檢測技術(shù)，通過采用分布式并行計(jì)算模式來對數(shù)據(jù)進(jìn)行處理，可以實(shí)現(xiàn)對海量數(shù)據(jù)流的高效檢測，避免傳統(tǒng)入侵檢測技術(shù)的效率問題。第二，引入了特征選擇技術(shù)，從流量數(shù)據(jù)中提取有價(jià)值的流量分類數(shù)據(jù)，為后續(xù)更加有效地檢測出異常流量提供幫助。第三，基于分類器聯(lián)合的檢測技術(shù)，模糊K-均值算法是無監(jiān)督的分類算法，樸素貝葉斯分類是有監(jiān)督的分類算法，通過結(jié)合有監(jiān)督和無監(jiān)督的分類算法，本文可以更為全面的對網(wǎng)絡(luò)異常流量進(jìn)行檢測，以提高海量網(wǎng)絡(luò)數(shù)據(jù)處理平臺的安全性。

Distributed security threat detection based on classifier combination

TAN Ming-qiang
（China Mobile Group Guizhou Co.， Ltd.， Guiyang 550001， China）

It is necessary to carry out the research work of the data center cloud computing and virtualization of network security technology， to strengthen the information security capabilities of cloud computing environment， to prevent data centers being attacked by hackers， data theft and other risks. In this paper，we study the anomaly traffic detection technology and cloud computing technology， and propose a data classification algorithm based on cloud computing technology. The system is based on Hadoop technology， which is based on the unsupervised fuzzy K-means classification algorithm and Naive Bayesian's supervised classifi cation algorithm. Then the two classifi ers are used to detect the data center.

Hadoop； cloud security； big data； abnormal fl ow； security threat

TN918

A

1008-5599（2015）12-0021-05