基于APDE-RBF神經網絡的網絡安全態勢預測方法

李方偉, 張新躍, 朱 江, 黃 卿

(重慶郵電大學移動通信技術重慶市重點實驗室, 重慶 400065)

?

基于APDE-RBF神經網絡的網絡安全態勢預測方法

李方偉, 張新躍, 朱 江, 黃 卿

(重慶郵電大學移動通信技術重慶市重點實驗室, 重慶 400065)

為了提高徑向基函數(radical basis function, RBF)神經網絡對網絡安全態勢的預測精度,提出了一種基于吸引力傳播(affinity propagation, AP)聚類和差分進化(differential evolution, DE)優化RBF神經網絡的算法。首先,利用AP聚類算法對樣本數據進行劃分聚類,從而獲得RBF的中心和網絡的隱含層節點數;其次,利用AP聚類得出種群差異度,自適應地改變DE算法的縮放因子和交叉概率,對RBF的寬度和連接權值進行優化;同時為了避免陷入局部最優以及跳出局部極值點,對每一代種群的精英個體和種群差異度中心進行混沌搜索。通過仿真實驗表明,此算法在泛化能力增強的同時,對網絡安全態勢也達到了較高的預測精度。

徑向基函數; 吸引力傳播聚類; 差分進化; 種群差異度; 混沌搜索

0 引 言

隨著各種網絡安全問題層出不窮,網絡安全問題越來越受到重視。網絡安全態勢預測是目前網絡安全領域的一個研究熱點,不同于以往的入侵檢測和防火墻等被動防御手段,網絡安全態勢預測是主動防御機制[1]。網絡安全態勢預測主要是為了在網絡受到攻擊損失前網絡管理員采取相對應的措施,根據當前和以往的網絡安全態勢值,建立合理的數學模型對未來一段時間的網絡安全狀態進行預測。由于網絡攻擊是隨機和不確定的,所以對態勢值的預測是一個復雜的非線性過程[2]。

目前研究人員提出了很多預測的方法,如自回歸滑動平均(auto-regressive moving average, ARMA)模型、灰色預測模型(gray model, GM)、馬爾可夫鏈(Markov)、支持向量機(support vector machine, SVM)等[3-6]。但是大量研究發現,上述方法都存在各自的缺點:ARMA模型會假設時間序列是平穩線性的,但是網絡安全態勢時間序列是非線性的;GM模型適用單調變化的時間序列,對于波動較大的時間序列難以預測;Markov模型需要大量復雜的數學公式推導,難以建立準確的預測模型;SVM對大規模訓練樣本難以實施,收斂速度慢。

為更加精確地預測網絡安全態勢,本文采用吸引力傳播(affinity propagation, AP)聚類和改進的差分進化(differential evolution, DE)對徑向基函數(radical basis function, RBF)神經網絡的結構和參數進行優化。為了加強泛化能力,利用AP聚類可以依據樣本數據自適應確定RBF網絡的結構;為了避免陷入局部最優解,根據種群差異度動態調整DE算法中的縮放因子和交叉概率,并對每代的精英個體和差異度中心進行混沌搜索。利用該方法對網絡安全態勢預測仿真,并進行了誤差分析,結果表明本文方法有更好的泛化能力和預測準確性。

1 RBF神經網絡

RBF神經網絡是一種3層前向型網絡,由第1層的輸入層、第2層的隱含層和第3層的輸出層組成,網絡結構如圖1所示。

圖1 n-h-m結構的RBF神經網絡Fig.1 RBF neural network of n-h-m structure

由于輸入層到隱含層是非線性變換,隱含層到輸出層是線性變換,所以RBF神經網絡本質上是通過非線性基函數的線性組合來實現輸入Rn到輸出Rm的映射關系。

RBF神經網絡結構如圖1所示,具有n個輸入節點,h個隱含層節點和m個輸出節點。對于一個n維的網絡輸入矢量X=(x1,x2,…,xn)T∈Rn,第i個隱含層節點的輸出為

(1)

式中,Ci是隱含層節點中心;‖·‖2是2范數,表示X與Ci的歐氏距離;σi是第i個基函數的寬度;h是隱含層節點個數。

RBF網絡輸出層中第j個神經元的輸出為

(2)

式中,wji是隱含層第i個神經元與輸出層第j個神經元的連接權值;m是輸出神經元個數;bj是輸出層第j個神經元的閾值。

2 基于APDE優化的RBF神經網絡

從RBF網絡結構可以看出,影響預測精度和泛化能力的參數主要有4個:隱含層節點個數h;隱含層節點中心Ci;基函數寬度σi;隱含層到輸出層的連接權值wji。本文使用AP聚類對隱含層個數和節點中心進行優化,利用改進的DE算法對基函數寬度和連接權值進行自適應尋優,并用混沌搜索進行二次尋優,避免陷入局部最優解。

2.1 AP聚類

對基函數中心的選取,無論是隨機選取還是自組織選取都要預先設定隱含層節點個數[7],這種人為設置隱含層節點個數的方法在樣本訓練期間很容易導致RBF神經網絡的過擬合或者欠擬合,從而影響網絡的泛化能力和后期的預測精度,所以本文采用了AP聚類的方法,根據數據樣本的實際情況,對隱含層節點個數和節點中心進行自適應選取。

AP聚類是一種基于相似度矩陣的新型無監督聚類算法[8],不同于以往的k-means和模糊C均值聚類算法,該算法不必預先設定聚類個數,所有樣本數據點都被默認為潛在的聚類中心,通過不斷地競爭迭代,達到最優聚類結果。具體算法步驟如下。

步驟 1 計算相似度矩陣S

(3)

步驟 2 初始化吸引矩陣R,歸屬度矩陣A,R(i,k)=0,A(i,k)=0。

步驟 3 確定偏向參數pk(k=1,…,N)

(4)

步驟 4 計算與更新吸引度矩陣

R(i,k)=λ×R(i,k)old+(1-λ)×R(i,k)new

(5)

步驟 5 計算與更新歸屬度矩陣

A(i,k)=λ×A(i,k)old+(1-λ)×A(i,k)new

(6)

步驟 6 如果滿足以下條件之一:①選擇的類中心保持穩定,②超過最大迭代次數,轉步驟7;否則轉步驟4。

步驟 7 輸出聚類結果。

2.2 改進的DE算法

DE算法是一種基于群體差異的高效并行搜索方法[9],在收斂速度和穩定性方面已被證明優于其他進化算法[10],DE算法的參數包括種群規模、縮放因子和交叉概率。標準DE算法中縮放因子和交叉概率都是固定的,縮放因子過大或者交叉概率過小,雖然有助于種群的多樣性,增強全局搜索能力,但是在進化后期易導致收斂速度慢,最優解精度低等問題;反之,縮放因子過小或者交叉概率過大,易對局部過度開發,易出現早熟的現象。所以本文對DE算法進行改進,使得縮放因子和交叉概率可以根據當前收斂情況進行動態調整。

2.2.1 初始化

1.檢驗假說1的模型。為驗證假說1，借鑒喻坤等人和Stein的研究方法，本文采用以下模型：[4][28]

為了能夠實現對RBF神經網絡基函數寬度σi和隱含層到輸出層連接權值wji的同時優化,本文采用實數編碼,種群中每個個體結構如圖2所示。

圖2 個體編碼結構Fig.2 Individual coding structure

設初始種群S={X1,X2,…,XN},N是種群規模,Xi(Xi∈RD)是種群中的個體,具體初始化過程如下:

(7)

2.2.2 變異

DE算法差分策略來實現種群中個體的變異,通常是隨機選取3個個體,將其中兩個個體的差分縮放后與第3個個體進行合成,如式(8)所示:

Vi(g+1)=Xr1(g)+F×(Xr2(g)-Xr3(g)),

i≠r1≠r2≠r3

(8)

式中,Xi(g)是第g代種群中第i個個體;F為縮放因子,標準DE算法中設為固定值,但是F的設置不當會導致種群的早熟和慢收斂,為了加快收斂速度以及求得全局最優解,本文提出依據種群差異度動態調整F的策略。

種群差異度指對種群空間中所有個體進行聚類所得到的聚類個數。當種群差異度越大時,個體在種群空間中分布越均勻,求得全局最優解可能性越大。所以在進化前期,為了盡可能使種群個體多樣化,使用式(9)對F進行動態調整:

(9)

式中，Fmax和Fmin是縮放因子的上下界;τ1是設置的迭代閾值。

交叉操作也是DE算法的核心操作,對種群中目標個體Xi和變異個體Vi進行交叉,生成新的個體Ui:

(10)

式中,rand是(0,1)間均勻分布的隨機數;jrand是[1,n]間的隨機整數,這是為了保證新個體一定會有變異成分;CR是交叉概率,控制個體各維度參量對交叉的參與程度,因為CR越小,收斂越快,所以為了平衡局部和全局搜索能力,使CR可以自適應調整,在迭代前期減緩收斂速度,保持較大的種群多樣性,在后期加快收斂速度,加強局部搜索能力。

(11)

式中，CRmin和CRmax是交叉概率的上下界;τ2是設置的迭代閾值。

2.2.4 選擇

DE算法采用一對一競爭策略實現選擇。候選個體Ui(g+1)和對應個體Xi(g)按照適應度進行競爭,優勝者進入下一代種群,即

(12)

式中,f(·)是個體的適應度函數,本文使用均方誤差(mean square error, MSE)作為適應度函數。

2.3 混沌搜索

混沌是一種非線性現象, 具有隨機性和遍歷性,可在一定范圍內進行不重復遍歷搜索,因此可以作為進化算法跳出局部最優的一種方法[11-12]。本文采用的混沌搜索對每一代的最優個體以及種群差異度中心進行T次搜索,如果搜索到更優個體則進行取代,從而提高DE算法的全局搜索能力。

本文采用一維Logistic映射混沌模型,即

Zt+1=μZt(1-Zt)

(13)

(14)

2.4 算法步驟

本文主要利用AP聚類得到RBF神經網絡的隱含層節點數和節點中心,并用改進的DE算法對RBF的基函數寬度和連接權值進行尋優,同時為了提高全局搜索能力,使用混沌搜索對最優個體和差異度中心進行二次搜索。本文算法流程如圖3所示。

圖3 基于APDE-RBF算法態勢預測流程圖Fig.3 Flow chart of situation prediction based on APDE-RBF algorithm

2.5 算法收斂性分析

文獻[13]證明了在縮放因子F限定的條件下DE算法能以概率1收斂,文獻[14]通過隨機壓縮應映射定理論證了DE是漸近收斂的。在上述研究的基礎上,對APDE算法的收斂性進行分析。

引理 DE迭代形成的隨機映射Ψ:Ω×S→S為隨機壓縮算子,根據隨機壓縮定理可得Ψ具有唯一隨機不動點,即DE是漸近收斂的。

證明 參考文獻[14]。

從引理1可得DE算法具有漸近收斂性,APDE算法在DE算法方面的改進主要體現在F和CR的自適應調整和混沌搜索。雖然F和CR是根據種群差異度動態變化,但最終是收斂的,沒有影響DE算法的收斂性,所以混沌搜索是影響DE算法的唯一因素。根據DE算法的漸近收斂性可以證明APDE算法的收斂性。

證畢

定理 DE算法具有漸近收斂性,則在1<μ<3的情況下,APDE算法也具有漸近收斂性。

證明 假設DE算法收斂的全局最優解Xbest,則對第t次迭代的個體Xi(t)有:

(15)

(16)

z=f(z)=μz(1-z)

(17)

便可得到式(13)的平衡點為:z1=0和z2=1-1/μ,不論μ是何值,z1=0都是式(13)的不穩定平衡點。對于z2=1-1/μ,由于f′(z2)=μ(1-2z2)=2-μ,根據穩定性條件|f′(z2)|=|2-μ|<1可得到當1<μ<3時,z2=1-1/μ才是差分方程式(13)的穩定平衡點,由此可得式(16)是漸近收斂的,即APDE算法具有漸近收斂性。

證畢

2.6 算法復雜度分析

按照算法的流程步驟分析時間復雜度,最大迭代次數是gmax,種群規模是N,問題維度是D。每一迭代計算和更新PD和最優適應度分別為O(N×D),更新F和CR為O(1),交叉和變異的操作為O(N×D),對最優個體和差異度中心的混沌搜索為O(DlogD)。綜上所述,本文算法的時間復雜度為O(N×D×gmax)。

表1 不同算法的復雜度對比

注:T是HMM的狀態數

3 實驗仿真

為了驗證APDE-RBF算法的有效性,采用某公司安全部門提供的數據,并用文獻[15]的評估方法把原始的多源數據融合為網絡安全態勢值,預測后與現有的算法進行對比。

3.1 數據預處理

因為網絡攻擊的隨機性和連續性,預測時間跨度太小,會使網絡學習程度不夠,如果時間跨度太大,則會影響網絡對近期安全態勢的學習,所以本文使用前80組數據作為訓練集,后21組數據作為測試集,并采用滑動窗口方式(窗口為6,每次滑動為1個單元)對80組訓練數據進行重構,重構結果如表2所示。

表2 訓練數據重構結果

為了提高收斂效率,加快網絡學習速度,本文按照式(18)對網絡安全態勢值進行歸一化處理。

(18)

3.2 網絡的訓練

根據第3.1節的數據預處理,對RBF神經網絡進行和APDE算法進行初始化設置:

(1) RBF神經網絡的輸入向量維度n=5,輸出向量維度m=1;通過AP聚類的結果得出隱含層節點數為h=10。

(2) APDE算法的種群設置為N=80,縮放因子的初始值F0=0.9,交叉概率的初始值CR0=0.3,最大迭代次數為gmax=500,誤差精度設置為1.2×10-3。

為了驗證APDE算法在收斂速度和全局搜索能力上比其他改進的DE算法有優勢,將本算法與DE算法,jDE算法[16],SDE算法[17],EPSDE算法[18],CoDE算法[10]進行對比。從表3可以看出APDE不僅收斂速度快,而且均方誤差最小,從而證明了APDE算法的高效性。

表3 不同DE算法的誤差收斂對比

3.3 網絡的預測

本文采用平均絕對誤差(mean absolute percent error,MAPE)、均方根誤差(root mean square error,RMSE)、相對均方誤差(relative mean square error,RE)作為各算法預測準確度的指標。3個指標的公式如下:

(19)

(20)

(21)

3.3.1 泛化能力仿真分析

RBF神經網絡中的隱含層節點的個數,對整個網絡的泛化能力有很大影響。當隱含層節點過多時,雖然訓練擬合的程度高,但是易產生“過擬合”的現象,泛化能力降低,預測誤差大;而當隱含層節點過少時,雖然泛化能力強,但是易導致“欠擬合”的問題,預測誤差同樣變大。

從表4可以看出,本文算法可以使用較少的隱含層節點達到較高的預測精度,從而使其優化過的RBF神經網絡具有很強的泛化能力。

所以做不同隱含層節點個數對RBF神經網絡泛化能力影響的仿真，并以平均種群差異度、最大種群差異度和平均絕對誤差為評判指標，仿真結果如表4所示。

表4 隱含層節點數和種群差異度對比

3.3.2 預測精度仿真分析

為了證明APDE-RBF的預測能力高于其他算法,本文分為縱向不同算法對比和橫向不同改進DE算法對比,從而驗證了本文所提算法的優越性。

從圖4可以看出本文方法預測精度最高,其他方法都有不同程度的誤差。ARMA主要針對隨機平穩的時間序列,但是因為網絡攻擊的隨機性和復雜性,網絡安全態勢序列是非平穩的;GM對于單調變化的時間序列預測效果好,反之誤差大;LSSVM的支持向量變成了所有數據點,失去了SVM的稀疏性特點;Kmeans-RBF需要預先設定隱含層節點,忽略了數據本身的特點,弱化了RBF的泛化能力;表5是不同算法預測的絕對誤差可以看出本文方法的預測絕對誤差全都控制在0.02以內,相比其他算法預測精度高。

圖4 不同算法態勢值預測的對比Fig.4 Comparison situation prediction of different algorithms

為了能夠從整體上評估不同算法預測的能力,計算不同算法的3種誤差,結果如圖5所示。

表5 不同算法各時間點的絕對誤差對比

Table 5 Absolute error comparison of different time points in different algorithms

序號算法ARMAGMLSSVMKmeansAPDE10．06940．06150．01570．15500．051320．08540．05120．01820．03520．033130．01060．10350．09090．17610．026240．11290．06800．03050．13770．005550．05530．01970．04680．07900．023060．07450．04590．01290．13780．026770．03580．03280．00570．13840．007480．28220．35970．19710．13990．020890．22990．01150．03750．07070．0298100．00420．06640．08780．00690．0178110．18090．05240．05250．02730．0140120．32160．13910．10150．06030．0039130．10930．01420．03310．05270．0272140．04240．11120．05990．02520．0324150．13190．24350．10460．06760．0095160．08150．08870．07040．11880．0378170．15780．13100．00570．07610．0166180．07020．02520．01190．07660．0169190．35130．20160．06230．15300．0335200．11660．21370．05910．07390．0252210．15270．04650．05900．07820．0472

圖5 不同算法的誤差對比Fig.5 Error comparison of different algorithms

從圖5可以看出不論是平均相對誤差、RMSE還是RE,本文方法都保持在較小的誤差水平,體現了較高的預測精度。

以上是不同算法之間的縱向對比,為了對比的完整性,將本文算法與不同改進的DE算法進行對比。

圖6顯示不同改進DE算法在不同時間點表現了不同的預測精度,但是從表6可以看出,APDE算法總體上維持了較低的絕對誤差。 DE算法是固定的F和CR,易陷入局部最優;SDE算法的F采用簡單的隨機數;EPSDE算法利用變異策略池和參數池隨機組合進行迭代進化;jDE算法的F和CR依賴隨機數判別從而得到不同的結果;CoDE算法是利用3種不同的變異策略和參數設置競爭耦合進行迭代進化。上述方法雖然對DE算法的變異策略和參數設置進行自適應改進,但是大多都是隨機數或依賴隨機數進行判別選取,導致進化不穩定。本文算法依賴種群差異度和迭代進化程度對F和CR進行自適應調整,使種群向有利方向進化,加快了算法的收斂速度。

圖6 不同改進DE算法預測對比Fig.6 Prediction comparison of different improved DE algorithms

×10-4

圖7 不同改進DE算法的誤差對比Fig.7 Error comparison of different improved DE algorithms

從圖7可以得出APDE算法在整體的誤差上較其他改進DE算法有較大的優勢,從而說明了本文算法對DE算法的改進是有效的。

4 結 語

本文提出了一種基于APDE-RBF算法的網絡安全態勢預測算法,利用APDE算法對RBF神經網絡的結構和參數進行優化。利用AP聚類加強網絡的泛化能力;利用改進的DE算法加快收斂速度,并用混沌搜索提高算法的全局搜索能力。通過實驗數據和仿真分析,不論是縱向的其他算法還是橫向的DE算法的不同改進,本文算法對網絡安全態勢預測都達到了較高的預測精度,從而證明了本文算法的高效性和實用性

[1] Ajodia S, Liu P, Swarup V, et al.Cybersituationalawareness[M]. Germany: Springer, 2010.

[2] Xi R R, Jin S Y, Yun X C, et al. CNSSA: a comprehensive network security situation awareness system[C]∥Proc.oftheIEEEInternationalJointConference,2011, 11(3): 482-487.

[3] Box G E P, Jenkins G M, Reinsel G C.Timeseriesanalysisforecastingandcontrol[M]. 3rd ed. Beijing; Posts & Telecom Press, 2005: 19-180.

[4] Dong J F. The building of network security situation evaluation and prediction model based on gery theory[C]∥Proc.oftheInternationalConferenceonChallengesinEnvironmentalScienceandComputerEngineering, 2010: 401-404.

[5] Halilcevic S S, Gubina A F. The short term electricity prices forecasting using markov chains[C]∥Proc.oftheEnergyMarket, 2011:198-203.

[6] Xing Z, Zhang H. Support vector machine based aircraft ground icing type classification forecast[C]∥Proc.oftheIntelligentControlandAutomation, 2012:4541-4544.

[7] Wilamowski B M, Cecati C, Kolbusz J, et al. A novel RBF training algorithm for short-term electric load forecasting and comparative studies[J].IEEETrans.onIndustrialElectronics, 2015, 62(10):6519-6529.

[8] Frey B J, Delbert D. Clustering by passing messages between data points.[J].Science, 2007, 31(3):972-976.

[9] Storn R, Price K. Differential evolution: a simple and efficient adaptive scheme for global optimization over continuous spaces[J].JournalofGlobalOptimization, 1995, 23(4):341-359.

[10] Wang Y, Cai Z, Zhang Q. Differential evolution with composite trial vector generation strategies and control parameters[J].IEEETrans.onEvolutionaryComputation, 2011, 15(1):55-66.

[11] Caponetto R, Fortuna L, Fazzino S, et al. Chaotic sequences to improve the performance of evolutionary algorithms[J].IEEETrans.onEvolutionaryComputation, 2003, 7(3):289-304.

[12] Alatas B, Akin E, Ozer A B. Chaos embedded particle swarm optimization algorithms[J].ChaosSolitons&Fractals, 2009, 40(4):1715-1734.

[13] Zaharie D. Critical values for the control parameters of differential evolution algorithms[C]∥Proc.ofthe8thInternationalConferenceonSoftComputing, 2002: 62-67.

[14] He Y C, Wang X Z, Liu K Q, et al. Convergent analysis and algorithmic improvement of differential evolution[J].JournalofSoftware, 2010,21(5):875-855(賀毅朝, 王熙照, 劉坤起,等. 差分演化的收斂性分析與算法改進[J]. 軟件學報, 2010, 21(5):875-885.)

[15] Li F W, Zhang X Y, Zhu J, et al. Network security situational awareness model based on information fusion[J].JournalofComputerApplications, 2015,35(7):1882-1887.(李方偉, 張新躍, 朱江,等. 基于信息融合的網絡安全態勢評估模型[J]. 計算機應用,2015,35(7):1882-1887.)

[16] Brest J, Greiner S, Boskovic B, et al. Self-adapting control parameters in differential evolution: a comparative study on numerical benchmark problems[J].EvolutionaryComputation, 2006, 10(6):646-657.

[17] Xie X F, Zhang W J, Zhang G R, et al. Empirical study of differential evolution[J].JournalofControlandDecision, 2004, 19(1): 49-52(謝曉鋒, 張文俊, 張國瑞,等. 差異演化的實驗研究[J]. 控制與決策, 2004, 19(1):49-52.)

[18] Mallipeddi R, Suganthan P N, Pan Q K, et al. Differential evolution algorithm with ensemble of parameters and mutation strategies[J].AppliedSoftComputing,2011,11(2):1679-1696.

Network security situation prediction based on APDE-RBF neural network

LI Fang-wei, ZHANG Xin-yue, ZHU Jiang, HUANG Qing

(ChongqingUniversityofPostsandTelecommunications,ChongqingKeyLabofMobileCommunicationsTechnology,Chongqing400065,China)

In order to improve the prediction accuracy of network security situation based on radical basis function (RBF) neural network, an optimization algorithm of RBF neural network based on affinity propagation (AP) clustering and differential evolution (DE) is proposed. Firstly, the AP clustering is used to optimize the center and the number of the hidden layer. Secondly, AP clustering is used to get the population diversity (PD), the scaling factor and the crossover probability of DE are adaptively changed with the PD for the optimized width and connection weights of RBF neural network. In order to avoid falling into the local optimum and jump out of the local extreme point, the elite individual and PD’ centers of each generation population are searched by chaotic search. The simulation results show that the APDE-RBF algorithm can enhance the generalization ability, and it also has high prediction accuracy for the network security situation.

radical basis function (RBF); affinity propagation (AP) clustering; differential evolution (DE); population diversity (PD); chaotic search

2015-01-15;

2016-07-28;網絡優先出版日期:2016-08-31。

國家自然科學基金項目(61271260，61301122)；重慶市科委自然科學基金項目(cstc2015jcyjA40050)資助課題

TP 393

A

10.3969/j.issn.1001-506X.2016.12.28

李方偉(1960-),男,教授,博士研究生導師,主要研究方向為移動通信技術與理論、信息安全技術。

E-mail:huangq46@163.com

張新躍(1990-),男,碩士研究生,主要研究方向為網絡安全態勢感知。

E-mail:zhang_xin_yue@qq.com

朱 江(1977-),男,副教授,博士,主要研究方向為認知無線電技術。

E-mail:juliuszhu@vip.qq.com

黃 卿(1990-),男,碩士研究生,主要研究方向為網絡安全態勢感知。

E-mail:2474692825@qq.com

網絡優先出版地址:http:∥www.cnki.net/kcms/detail/11.2422.TN.20160831.1252.004.html