基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)態(tài)勢(shì)評(píng)估方法

焦利彬，霍永華，喻 鵬，李保罡

(1.中國(guó)電子科技集團(tuán)公司第五十四研究所，河北 石家莊 050081； 2.北京郵電大學(xué)，北京 100876； 3.華北電力大學(xué)，河北 保定 071003)

0 引言

隨著網(wǎng)絡(luò)規(guī)模的不斷擴(kuò)大和網(wǎng)絡(luò)服務(wù)的日益完善，網(wǎng)絡(luò)服務(wù)數(shù)量激增，如何保證網(wǎng)絡(luò)正確高效地運(yùn)行就顯得十分重要。態(tài)勢(shì)評(píng)估通過(guò)匯總、分析監(jiān)測(cè)系統(tǒng)和網(wǎng)絡(luò)運(yùn)行產(chǎn)生的運(yùn)維大數(shù)據(jù)信息，對(duì)網(wǎng)絡(luò)運(yùn)行趨勢(shì)進(jìn)行評(píng)估和推理，有助于運(yùn)維人員對(duì)大規(guī)模的網(wǎng)絡(luò)系統(tǒng)進(jìn)行全面、細(xì)節(jié)地監(jiān)控[1]，了解網(wǎng)絡(luò)的整體運(yùn)行狀況，為采取下一步運(yùn)維管理措施提供依據(jù)[2]。網(wǎng)絡(luò)態(tài)勢(shì)評(píng)估可以為網(wǎng)絡(luò)運(yùn)維提供可靠的決策依據(jù)，幫助運(yùn)維人員預(yù)估網(wǎng)絡(luò)中可能存在的問題，加強(qiáng)對(duì)網(wǎng)絡(luò)狀況的認(rèn)知程度，提高問題處置響應(yīng)能力，緩解網(wǎng)絡(luò)管理的壓力。

常用的態(tài)勢(shì)評(píng)估方法包括基于特征分析、基于分類器、基于神經(jīng)網(wǎng)絡(luò)的態(tài)勢(shì)評(píng)估方法[3-5]。Cisco公司截取并分析與網(wǎng)絡(luò)運(yùn)維數(shù)據(jù)相關(guān)的數(shù)據(jù)包信息，獲取所需的關(guān)鍵數(shù)據(jù)特征，提高了對(duì)網(wǎng)絡(luò)流量狀況的監(jiān)控效率。文獻(xiàn)[6]提出了一種基于樸素貝葉斯分類器的網(wǎng)絡(luò)安全態(tài)勢(shì)評(píng)估方法，充分考慮了多信息源與多層次異構(gòu)信息融合，從整體動(dòng)態(tài)上評(píng)估網(wǎng)絡(luò)當(dāng)前安全態(tài)勢(shì)。近年來(lái)，基于神經(jīng)網(wǎng)絡(luò)的態(tài)勢(shì)評(píng)估方法在較多實(shí)踐中被證明表現(xiàn)良好。文獻(xiàn)[7]仿照人體免疫系統(tǒng)的工作原理提出了一種網(wǎng)絡(luò)環(huán)境下的風(fēng)險(xiǎn)定量計(jì)算方法，可以實(shí)時(shí)監(jiān)測(cè)網(wǎng)絡(luò)系統(tǒng)中存在的漏洞，具有自適應(yīng)的特點(diǎn)。

當(dāng)前網(wǎng)絡(luò)運(yùn)行態(tài)勢(shì)評(píng)估方法普遍存在對(duì)專家經(jīng)驗(yàn)依賴度較高、算法模型收斂慢等問題，因此本文提出了基于熵權(quán)法和列文伯格-馬夸爾特(Levenberg-Marquardt，L-M)算法改進(jìn)的反向傳播(Back Propagation，BP)神經(jīng)網(wǎng)絡(luò)模型，用以解決網(wǎng)絡(luò)態(tài)勢(shì)的快速精準(zhǔn)評(píng)估。該方法首先根據(jù)標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)確定模型網(wǎng)絡(luò)結(jié)構(gòu)，采用熵權(quán)法對(duì)模型參數(shù)進(jìn)行初始化；訓(xùn)練模型時(shí)，以L-M算法替代標(biāo)準(zhǔn)網(wǎng)絡(luò)的梯度下降法，加速網(wǎng)絡(luò)收斂速度的同時(shí)減少陷入局部最優(yōu)解的可能性，從而提高態(tài)勢(shì)評(píng)估的準(zhǔn)確率。

1 基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)態(tài)勢(shì)評(píng)估模型

網(wǎng)絡(luò)運(yùn)行態(tài)勢(shì)評(píng)估的原理是在獲取各類設(shè)備運(yùn)行數(shù)據(jù)和網(wǎng)絡(luò)運(yùn)維數(shù)據(jù)的基礎(chǔ)上，通過(guò)推理計(jì)算得到當(dāng)前網(wǎng)絡(luò)運(yùn)行態(tài)勢(shì)的評(píng)估值，從而反映網(wǎng)絡(luò)的整體運(yùn)行情況。從數(shù)學(xué)角度來(lái)看，網(wǎng)絡(luò)運(yùn)行態(tài)勢(shì)評(píng)估是從影響因子到結(jié)果值的映射，其數(shù)學(xué)模型如下：

SA=f(x1,x2,…,xm)，

(1)

式中，SA代表網(wǎng)絡(luò)態(tài)勢(shì)評(píng)估值，取值為[0,100]；xi為網(wǎng)絡(luò)運(yùn)行的影響因素，即評(píng)估指標(biāo)，其中,i=1,2,…,m；f為具體的評(píng)估方法，即本文提出基于熵權(quán)法和L-M算法的改進(jìn)BP神經(jīng)網(wǎng)絡(luò)模型來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)運(yùn)行態(tài)勢(shì)的定量評(píng)估。

本文利用熵權(quán)法和L-M算法改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行態(tài)勢(shì)評(píng)估的訓(xùn)練流程如圖1所示。

圖1 基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)態(tài)勢(shì)評(píng)估流程Fig.1 Network situation assessment process based on the improved BP neural network

依次進(jìn)行確定BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、確定指標(biāo)體系、數(shù)據(jù)預(yù)處理、熵權(quán)法計(jì)算指標(biāo)權(quán)重并作為模型初始參數(shù)、BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型、L-M算法修改參數(shù)等步驟，若模型誤差或迭代次數(shù)滿足期望值，則模型訓(xùn)練結(jié)束。

1.1 傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是一種反向傳播算法訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)，廣泛應(yīng)用于非線性建模、識(shí)別分類等方面，具備任意復(fù)雜度的分類能力。

BP神經(jīng)網(wǎng)絡(luò)由單層的輸入層和輸出層，以及若干隱藏層構(gòu)成。每一層神經(jīng)網(wǎng)絡(luò)包含若干個(gè)神經(jīng)元，其計(jì)算過(guò)程由正向計(jì)算過(guò)程和反向計(jì)算過(guò)程組成[9]。在正向計(jì)算過(guò)程中，輸入層接收輸入向量，經(jīng)輸入層和隱藏層之間的參數(shù)矩陣和隱藏層激活函數(shù)計(jì)算，從隱藏層輸出；再經(jīng)由隱藏層和輸出層之間的參數(shù)矩陣和輸出層激活函數(shù)計(jì)算，從輸出層輸出結(jié)果。若輸出結(jié)果達(dá)不到期望值，則進(jìn)行反向傳播，即反向計(jì)算過(guò)程。網(wǎng)絡(luò)模型以輸出結(jié)果誤差的平方和為目標(biāo)函數(shù)，根據(jù)梯度下降法調(diào)整參數(shù)值，縮小誤差。模型結(jié)構(gòu)如圖2所示。

圖2 三層 BP 神經(jīng)網(wǎng)絡(luò)模型Fig.2 Three-layer BP neural network model

以網(wǎng)絡(luò)態(tài)勢(shì)評(píng)估為例。假設(shè)有N個(gè)評(píng)估指標(biāo)，將它們作為輸入向量X=(x1,x2,…,xn)，輸入層有N個(gè)神經(jīng)元；輸出層有L個(gè)神經(jīng)元，輸出向量O=(o1,o2,…,ol)，期望輸出向量D=(d1,d2,…,dl)；隱藏層僅有一層，有M個(gè)神經(jīng)元，隱藏層輸出向量Y=(y1,y2,…,ym)。輸入層和隱藏層之間的參數(shù)矩陣為V=(V1,V2,…,Vj,…,Vm)，隱藏層和輸出層之間的參數(shù)矩陣為W=(W1,W2,…,Wk,…,Wl)；隱藏層神經(jīng)元的輸出閾值為θ，輸出層神經(jīng)元的輸出閾值為r。對(duì)于隱藏層的第j個(gè)神經(jīng)元，其輸出為：

(2)

式中，函數(shù)f是選擇的激活函數(shù)，通常采用sigmoid函數(shù)：

(3)

同理，對(duì)于輸出層第k個(gè)神經(jīng)元，其輸出為：

(4)

計(jì)算結(jié)果的誤差用最小二乘法表示：

(5)

以上為正向計(jì)算過(guò)程。

若誤差不滿足期望值，則利用梯度下降法調(diào)整計(jì)算過(guò)程中使用的輸入層和隱藏層之間的參數(shù)矩陣、隱藏層閾值、隱藏層和輸出層之間的參數(shù)矩陣、輸出層閾值，共(N+L)×M+M+L個(gè)參數(shù)。這一過(guò)程為反向計(jì)算過(guò)程。

在反向計(jì)算過(guò)程中，對(duì)每一個(gè)需要調(diào)整的參數(shù)求偏導(dǎo)數(shù)，按照梯度下降法改變參數(shù)值，并設(shè)置學(xué)習(xí)速率η，控制參數(shù)變化幅度。以wjk為例，其權(quán)值調(diào)整值為：

(6)

BP神經(jīng)網(wǎng)絡(luò)需要經(jīng)過(guò)多次正向計(jì)算過(guò)程和反向計(jì)算過(guò)程的迭代，設(shè)置迭代次數(shù)或允許的誤差范圍作為迭代終止條件，得到最終的模型。

BP神經(jīng)網(wǎng)絡(luò)的非線性映射能力十分強(qiáng)大，能夠解決很多實(shí)際應(yīng)用問題，且網(wǎng)絡(luò)結(jié)構(gòu)靈活；但也有一些缺陷，例如學(xué)習(xí)速度慢、容易陷入局部最優(yōu)解等。這些缺陷可能會(huì)導(dǎo)致基于標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)的態(tài)勢(shì)評(píng)估模型準(zhǔn)確度較低，且訓(xùn)練時(shí)間較長(zhǎng)。針對(duì)這些問題，本文提出了基于熵權(quán)法和L-M算法的改進(jìn)方法。

1.2 基于熵權(quán)法的初始權(quán)重優(yōu)化

熵權(quán)法是指根據(jù)指標(biāo)的信息熵確定該指標(biāo)對(duì)綜合評(píng)價(jià)的影響權(quán)重。在基于BP神經(jīng)網(wǎng)絡(luò)的態(tài)勢(shì)評(píng)估方法中，BP神經(jīng)網(wǎng)絡(luò)模型的最終訓(xùn)練效果受到模型參數(shù)初始值的影響。合適選取初始值，能夠極大地提高模型訓(xùn)練效率，避免陷入局部最優(yōu)解。本文中，BP神經(jīng)網(wǎng)絡(luò)模型的輸入是網(wǎng)絡(luò)態(tài)勢(shì)評(píng)估的各項(xiàng)指標(biāo)數(shù)據(jù)，因此選用熵權(quán)法優(yōu)化得到的指標(biāo)權(quán)重作為模型的初始化參數(shù)。

使用熵權(quán)法計(jì)算指標(biāo)權(quán)重，首先要確定指標(biāo)體系。指標(biāo)體系由網(wǎng)絡(luò)運(yùn)維中需要關(guān)注的各項(xiàng)指標(biāo)構(gòu)成，包括網(wǎng)絡(luò)通信效能力、抗毀能力和可靠性能力等，構(gòu)建的指標(biāo)體系如表1所示。

表1 運(yùn)維指標(biāo)體系Tab.1 Operation and maintenance index system

對(duì)于進(jìn)行態(tài)勢(shì)評(píng)估所需的總共n個(gè)樣本數(shù)據(jù)，m個(gè)指標(biāo)，其中第i個(gè)數(shù)據(jù)的第j個(gè)指標(biāo)值記為xij，i=1,2,…,n，j=1,2,…,m。數(shù)據(jù)的歸一化定義為：

(7)

式中，min (xj)為所有數(shù)據(jù)第j個(gè)指標(biāo)的最小值；max (xj)為所有數(shù)據(jù)第j個(gè)指標(biāo)的最大值。為方便，歸一化處理后的數(shù)據(jù)x′ij仍記為xij。

計(jì)算第j個(gè)指標(biāo)中第i個(gè)樣本所占的比重：

(8)

計(jì)算第j個(gè)指標(biāo)的熵值：

(9)

計(jì)算第j個(gè)指標(biāo)的信息熵冗余度：

dj=1-ej。

(10)

計(jì)算第j個(gè)指標(biāo)的權(quán)重：

(11)

熵權(quán)法能夠深刻反映指標(biāo)的區(qū)分能力，確定指標(biāo)權(quán)重，具有較高的可信度和精確度。在網(wǎng)絡(luò)態(tài)勢(shì)評(píng)估問題中，以熵權(quán)法計(jì)算得到的指標(biāo)權(quán)重作為BP神經(jīng)網(wǎng)絡(luò)模型的參數(shù)初始值，提高了初始模型的可信度，有利于BP神經(jīng)網(wǎng)絡(luò)模型正確、迅速收斂。

1.3 基于L-M算法改進(jìn)BP神經(jīng)網(wǎng)絡(luò)態(tài)勢(shì)評(píng)估方法

傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)調(diào)整模型參數(shù)值采用的是梯度下降法，這種方法的主要缺點(diǎn)是收斂速度慢，且容易陷入局部最優(yōu)解。本文采用L-M算法對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)。L-M算法是使用最廣泛的非線性最小二乘算法，又稱阻尼最小二乘法[10]。L-M算法是梯度下降法和牛頓法之間的一種優(yōu)化方法，允許誤差沿惡化方向進(jìn)行搜索，減少陷入局部極值的可能性，加快網(wǎng)絡(luò)收斂速度。

對(duì)于待調(diào)整參數(shù)ω，調(diào)整值為：

Δω=(JTJ+μI)-1JTe，

(12)

式中，e為誤差向量，即目標(biāo)函數(shù)；J為誤差對(duì)權(quán)值微分的雅各比矩陣；I為單位矩陣；μ為阻尼因子。根據(jù)文獻(xiàn)[11,13]，阻尼因子的迭代計(jì)算過(guò)程如下：

將阻尼因子μ的初始值設(shè)置為μ0，在本文中，μ0=0.05。訓(xùn)練允許的誤差ε取值為10-6，設(shè)置常數(shù)β=2。訓(xùn)練初始時(shí)μ=μ0，k=0，根據(jù)式(5)和式(12)計(jì)算目標(biāo)函數(shù)Ek、參數(shù)調(diào)整值Δω。根據(jù)Δω調(diào)整模型參數(shù)，并根據(jù)式(5)計(jì)算參數(shù)調(diào)整后的目標(biāo)函數(shù)Ek+1。若Ek+1

L-M算法具備梯度下降法和牛頓法的優(yōu)點(diǎn)，在BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中具有一定優(yōu)越性，可以保持較快的模型收斂速度，當(dāng)接近訓(xùn)練結(jié)果時(shí)，收斂速度下降，避免跳過(guò)最優(yōu)解[12,14-15]。

以往的態(tài)勢(shì)評(píng)估算法，采用單一的神經(jīng)網(wǎng)絡(luò)模型，評(píng)估結(jié)果不夠準(zhǔn)確全面，且十分容易陷入局部最優(yōu)解，本文改進(jìn)的算法可以更好地實(shí)現(xiàn)態(tài)勢(shì)評(píng)估，全面分析各個(gè)網(wǎng)絡(luò)態(tài)勢(shì)指標(biāo)，綜合評(píng)估網(wǎng)絡(luò)運(yùn)行態(tài)勢(shì)。

2 實(shí)驗(yàn)及結(jié)果分析

2.1 樣本數(shù)據(jù)預(yù)處理

本文從現(xiàn)有網(wǎng)絡(luò)運(yùn)行數(shù)據(jù)中提取運(yùn)維指標(biāo)，共3 071個(gè)樣本數(shù)據(jù)，一個(gè)樣本數(shù)據(jù)是一條網(wǎng)絡(luò)運(yùn)維數(shù)據(jù)記錄，包含12個(gè)指標(biāo)維度。將70%的數(shù)據(jù)作為訓(xùn)練集，30%的數(shù)據(jù)作為測(cè)試集。由于實(shí)際應(yīng)用中的數(shù)據(jù)往往存在不完整和錯(cuò)誤等臟數(shù)據(jù)，無(wú)法直接用于分析計(jì)算。在使用數(shù)據(jù)集訓(xùn)練模型之前，首先要進(jìn)行數(shù)據(jù)預(yù)處理工作。預(yù)處理過(guò)程主要包括去重、異常值處理、缺失值處理和數(shù)據(jù)格式處理等步驟。

預(yù)處理后的數(shù)據(jù)集如圖3所示。

圖3 經(jīng)過(guò)預(yù)處理的數(shù)據(jù)集Fig.3 The preprocessed data set

經(jīng)過(guò)預(yù)處理的數(shù)據(jù)具有較好的完整性和準(zhǔn)確性，更適合作為訓(xùn)練模型的輸入，利于后續(xù)分析計(jì)算。

2.2 實(shí)驗(yàn)結(jié)果分析

利用樣本數(shù)據(jù)集訓(xùn)練模型，形成對(duì)網(wǎng)絡(luò)運(yùn)行態(tài)勢(shì)進(jìn)行評(píng)估的權(quán)重模型，為不同時(shí)刻的網(wǎng)絡(luò)運(yùn)行狀況打分。對(duì)比改進(jìn)前后模型對(duì)網(wǎng)絡(luò)的評(píng)估結(jié)果，及與實(shí)際值的差別，可以驗(yàn)證改進(jìn)后的模型評(píng)估準(zhǔn)確度有了明顯提升。為了更好地比較本文所提出的改進(jìn)方法對(duì)模型效果的影響，本文對(duì)傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)模型、基于熵權(quán)法的BP神經(jīng)網(wǎng)絡(luò)模型、基于L-M的BP神經(jīng)網(wǎng)絡(luò)模型，以及本文所提出的“熵權(quán)法+LM”的BP神經(jīng)網(wǎng)絡(luò)模型進(jìn)行了仿真實(shí)驗(yàn)和對(duì)比分析。截取了某天6:05-6:35的態(tài)勢(shì)評(píng)估結(jié)果如圖4所示。

圖4 網(wǎng)絡(luò)運(yùn)行態(tài)勢(shì)評(píng)估結(jié)果Fig.4 Network operation situation evaluation results

由圖4可以看出，基于熵權(quán)法改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)模型整體情況略優(yōu)于傳統(tǒng)的BP網(wǎng)絡(luò)。在少數(shù)時(shí)刻(如6:25)的評(píng)估準(zhǔn)確率略有降低，這是因?yàn)殪貦?quán)法優(yōu)化了模型初始參數(shù)，訓(xùn)練方法不變的情況下，初始參數(shù)直接決定訓(xùn)練結(jié)果，調(diào)整后的初始參數(shù)整體有助于更好的訓(xùn)練結(jié)果，但是無(wú)法保證模型準(zhǔn)確率有較大提升。L-M算法改進(jìn)的BP網(wǎng)絡(luò)模型均優(yōu)于傳統(tǒng)BP網(wǎng)絡(luò)模型的評(píng)估效果，表明L-M算法在訓(xùn)練中起到了良好作用，使模型評(píng)估準(zhǔn)確率有穩(wěn)定的提升。而本文所提出的基于熵權(quán)法和L-M算法改進(jìn)后的BP神經(jīng)網(wǎng)絡(luò)態(tài)勢(shì)評(píng)估模型，在評(píng)估平均準(zhǔn)確率相較于基于單一熵權(quán)法改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)模型、基于單一L-M算法改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)、傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)分別提高了1.68%、0.87%和3.51%。由此可見，本文所提出的態(tài)勢(shì)評(píng)估方法評(píng)估更貼合態(tài)勢(shì)趨勢(shì)。

綜合實(shí)驗(yàn)的所有測(cè)試數(shù)據(jù)結(jié)果，對(duì)態(tài)勢(shì)實(shí)際值、原始BP模型評(píng)估得分、3種改進(jìn)BP網(wǎng)絡(luò)模型平均得分進(jìn)行統(tǒng)計(jì)和計(jì)算，得到表2所示實(shí)驗(yàn)結(jié)果。

由表2可以看出，態(tài)勢(shì)實(shí)際值的平均值是84.46，原始BP算法進(jìn)行態(tài)勢(shì)評(píng)估得到的態(tài)勢(shì)評(píng)分平均值是78.31，引入熵權(quán)法和L-M算法改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)評(píng)分平均值分別是81.12和81.06，而改進(jìn)后的BP算法進(jìn)行態(tài)勢(shì)評(píng)估之后的平均值是81.93。綜上，本文提出的基于熵權(quán)法和L-M算法的改進(jìn)BP網(wǎng)絡(luò)模型在網(wǎng)絡(luò)運(yùn)行態(tài)勢(shì)評(píng)估方面相較于其他算法，具有更高的準(zhǔn)確率。

3 結(jié)束語(yǔ)

本文針對(duì)網(wǎng)絡(luò)運(yùn)行態(tài)勢(shì)評(píng)估存在的過(guò)度依賴專家經(jīng)驗(yàn)、準(zhǔn)確度較差、模型訓(xùn)練速度慢等問題，提出了基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)態(tài)勢(shì)評(píng)估方法。將熵權(quán)法和L-M算法引入傳統(tǒng)的標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)優(yōu)化神經(jīng)網(wǎng)絡(luò)初始參數(shù)值和加速收斂、減少陷入局部最優(yōu)解決方案的可能性等目標(biāo)，進(jìn)而完成BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化，優(yōu)化后的方法更加適合網(wǎng)絡(luò)運(yùn)行態(tài)勢(shì)評(píng)估，降低了對(duì)領(lǐng)域?qū)＜医?jīng)驗(yàn)的依賴程度，提高了態(tài)勢(shì)評(píng)估的準(zhǔn)確度和模型訓(xùn)練效率，為網(wǎng)絡(luò)運(yùn)行態(tài)勢(shì)評(píng)估提供支持。