基于灰狼算法優(yōu)化深度學習網絡的網絡流量預測

張志宏, 劉傳領

(商丘師范學院 信息技術學院, 河南 商丘 476000)

隨著網絡技術的不斷普及, 網絡用戶數(shù)量越來越多, 使得網絡流量急劇增加, 網絡阻塞時有發(fā)生, 導致網絡上信息丟失和延遲嚴重, 給網絡管理帶來挑戰(zhàn)[1-3]. 網絡流量是一個評價網絡管理質量的重要參數(shù), 根據(jù)歷史數(shù)據(jù)集對網絡流量進行建模與預測, 可幫助網絡管理員掌握網絡流量的變化規(guī)律, 改善網絡服務質量. 精確、 快速的網絡流量預測是降低網絡擁塞的重要保障, 因此網絡流量預測是網絡管理領域的一個重要研究方向[4-5].

目前, 已有許多網絡流量預測模型, 這些模型主要劃分為兩類： 1) 基于傳統(tǒng)統(tǒng)計學理論的線性預測模型, 如分數(shù)差分自回歸滑動平均模型, 由于現(xiàn)代網絡是一個復雜的非線性系統(tǒng), 網絡流量變化趨勢具有不確定性, 因此線性模型的網絡流量預測精度很難得到保證[6]； 2) 基于現(xiàn)代統(tǒng)計學理論的非線性預測模型, 如人工神經網絡、 深度學習網絡等, 其具有良好的非線性擬合能力, 可對網絡流量變化趨勢的非線性和不確定性進行建模, 使網絡流量預測結果好于線性模型[7]. 在實際應用中, 人工神經網絡由于采用經驗風險最小化原則的學習原理, 收斂速度慢, 陷入局部極值的概率高, 經常獲得過擬合的網絡流量預測結果, 降低了網絡流量預測精度[8-10]. 深度學習網絡基于結構風險最小化準則的學習原理, 不存在收斂速度慢、 陷入局部極值的缺陷, 但其網絡流量預測結果受懲罰因子和核函數(shù)核寬參數(shù)的影響較大. 因此目前主要采用網格搜索方法、 遺傳算法、 粒子群優(yōu)化算法對深度學習網絡參數(shù)進行優(yōu)化, 但這些算法易陷入局部最優(yōu)解, 無法獲得最優(yōu)的懲罰因子和核函數(shù)核寬度[11].

灰狼算法(grey wolf optimizer, GWO)是一種模擬狼群捕食行為和層級制度特點的新型群智能算法, 具有調整參數(shù)少、 收斂速度快的特點. 本文針對深度學習網絡在網絡流量預測建模過程中的參數(shù)優(yōu)化難題, 以改善網絡流量預測結果為目標, 提出一種基于改進灰狼算法優(yōu)化深度學習網絡的網絡流量預測模型, 并與基于其他算法優(yōu)化深度學習網絡的網絡流量預測模型進行對比分析.

1 深度學習網絡

深度學習網絡對訓練樣本進行學習, 建立描述輸入與輸出變量之間關系的函數(shù). 設訓練樣本集合為T={(x1,y1),(x2,y2),…,(xn,yn)}, 則

f(xi)=ωTφ(xi)+b,

(1)

其中n表示訓練樣本的數(shù)量, φ(xi)表示映射函數(shù),ω表示權值向量,b表示閾值向量[12-14].

定義不敏感損失函數(shù)為

(2)

基于不敏感損失函數(shù), 式(1)可轉化為求解極小化目標函數(shù)問題, 即

(3)

其中C表示懲罰因子. 引入松弛變量, 則式(3)變?yōu)?/p>

(4)

聯(lián)立式(1)和式(5), 并對ω,b,ξ,ξ*求偏導, 可得

(6)

(7)

從而

引入核函數(shù)代替積運算φ(xi)Tφ(xj), 可得深度學習網絡的預測決策函數(shù)為

(9)

其中k(x,xi)為核函數(shù), 本文選擇徑向基核函數(shù)

k(x,xi)=exp{-‖xi-x‖/(2σ2)}.

(10)

2 改進灰狼算法

2.1 標準灰狼算法

圖1 灰狼社會等級劃分示意圖

灰狼群體具有嚴格的社會等級關系, 可劃分為4個等級α,β,δ,ω, 如圖1所示, 其中： 狼α為頭狼, 表示最優(yōu)解; 狼β為協(xié)助者, 表示次優(yōu)解, 狼δ服從狼α,β的命令, 表示第三優(yōu)解; 狼ω沒有自主決策能力, 表示其余候選解.

1) 包圍行為. 當灰狼發(fā)現(xiàn)獵物時, 狼群就對獵物進行包圍, 設其與獵物之間的距離為D, 則

D=|C·Xp(t)-X(t)|,

(11)

X(t+1)=Xp(t)-A·D,

(12)

其中:Xp和X分別表示獵物和位置向量;A和C為系數(shù)向量, 計算公式為

(13)

2) 捕獵行為. 灰狼將獵物包圍后, 由狼α,β,δ帶領狼群不斷靠近獵物. 用Xα,Xβ,Xδ分別表示α,β,δ相對于獵物的位置,Ai和Ci表示系數(shù)向量, 則α,β,δ位置更新公式為

(14)

(15)

(16)

2.2 標準灰狼算法的不足及改進

根據(jù)式(15),(16)灰狼不斷調整其與獵物的方向和距離, 最后α所在位置為問題的最優(yōu)解. 在實際應用中, 灰狼算法存在收斂速度較慢、 容易陷入局部最優(yōu)解、 很難收斂到全局最優(yōu)解等不足, 因此需對灰狼算法進行改進.

1) 改進自適應收斂因子. 灰狼算法的求解結果與A值相關, 而A值與收斂因子a密切相關. 傳統(tǒng)灰狼算法的a采用線性遞減方式, 易陷入局部最優(yōu)解, 本文利用Sigmoid函數(shù)的特點, 將其引入到收斂因子更新過程中, 計算公式為

(17)

其中tmax表示最大迭代次數(shù)[15]. 由式(17)可知, 隨著迭代次數(shù)的增加,a值呈非線性減小, 可發(fā)現(xiàn)多個潛在最優(yōu)解.

2) 改進灰狼位置更新公式. 引入慣性權重對灰狼位置進行更新, 使灰狼盡快跳出局部最優(yōu)值, 計算公式為

X(t+1)=φX(t)-AD,

(18)

式中φ為慣性權重, 其變化方式為

(19)

2.3 改進灰狼算法性能測試

為測試改進灰狼算法的性能, 選擇與傳統(tǒng)灰狼算法進行對比實驗, 采用如下3個標準測試函數(shù)作為測試對象：

改進灰狼算法與傳統(tǒng)灰狼算法的性能對比結果如圖2所示. 由圖2可見, 相對于傳統(tǒng)灰狼算法, 改進灰狼算法的收斂精度有很大提高, 收斂速度更快, 驗證了對傳統(tǒng)灰狼算法改進的有效性.

圖2 改進灰狼算法與傳統(tǒng)灰狼算法的性能對比

3 網絡流量預測模型構建

3.1 相空間重構

網絡流量具有一定的混沌變化特性[16-17], 是一種典型的時間序列數(shù)據(jù), 因此需通過引入相空間重構技術得到合適的嵌入維數(shù)m和延遲變量τ, 對網絡流量時間序列進行重構, 提高網絡流量預測精度. 設網絡流量時間序列為x1,x2,…,xn, 其中n表示時間序列的長度, 則有

Di={di,di+τ,…,di+(m-1)τ},i=1,2,…,N-(m-1)τ.

(23)

目前確定嵌入維數(shù)m和延遲變量τ的方法很多, 本文選擇C-C算法確定m和τ, 取m=1,2,…,k,n=1,2,…,j,ri=i×0.5σ, 其中σ表示時間序列的標準差, 則C-C算法的參數(shù)計算公式為

(24)

(25)

(26)

3.2 深度學習網絡參數(shù)優(yōu)化數(shù)學模型

在深度學習網絡的網絡流量建模過程中, 懲罰參數(shù)C和核參數(shù)至關重要, 直接影響網絡流量的預測精度. 為提高網絡流量預測精度, 建立深度學習網絡的網絡流量預測參數(shù)優(yōu)化數(shù)學模型[18-19]為

(27)

其中k表示參數(shù)組數(shù). 本文引入改進灰狼算法對式(27)進行求解, 找到最優(yōu)參數(shù)C和σ.

3.3 基于灰狼算法優(yōu)化深度學習網絡的網絡流量預測模型構建

1) 收集描述網絡流量變化的歷史數(shù)據(jù), 根據(jù)時間前后組成一維時間序列數(shù)據(jù)；

2) 采用相空間重構技術中的C-C算法確定最佳嵌入維數(shù)和延遲變量；

3) 根據(jù)最佳嵌入維數(shù)和延遲變量得到一組多維的網絡流量時間序列數(shù)據(jù)；

4) 從多維的網絡流量時間序列數(shù)據(jù)中選擇部分數(shù)據(jù)組成訓練樣本, 其他數(shù)據(jù)為測試樣本；

5) 初始化狼群種群, 確定C和σ的取值范圍；

6) 確定灰狼種群的適應度函數(shù), 并將其值作為獵物位置, 根據(jù)灰狼算法的工作原理, 尋找最優(yōu)函數(shù)值, 即獵物的最優(yōu)位置；

7) 根據(jù)獵物最優(yōu)位置得到參數(shù)C和σ的最優(yōu)值；

8) 先根據(jù)最優(yōu)參數(shù)C和σ對深度學習網絡進行訓練, 再根據(jù)訓練精度建立網絡流量預測模型；

9) 輸入測試樣本, 網絡流量預測模型輸出測試樣本預測值.

灰狼算法優(yōu)化深度學習網絡的網絡流量預測流程如圖3所示.

圖3 灰狼算法優(yōu)化深度學習網絡的網絡流量預測流程

4 網絡流量預測實例分析

4.1 實驗數(shù)據(jù)

圖4 原始網絡流量的時間序列

為驗證基于灰狼算法優(yōu)化深度學習網絡的網絡流量預測模型的有效性, 選取某服務器一段時間內的網絡流量作為實驗對象, 如圖4所示. 為驗證基于灰狼算法優(yōu)化深度學習網絡的網絡流量預測結果的性能, 選擇與經典的基于粒子群優(yōu)化算法和基于遺傳算法優(yōu)化深度學習網絡的網絡流量預測模型進行對比實驗. 所有模型均選擇100個樣本作為測試樣本, 其他樣本作為訓練樣本. 網絡流量預測建模的仿真軟件為MATLAB R2017.

圖的變化曲線

圖6 Scor(t)的變化曲線

4.2 深度學習網絡參數(shù)確定

采用粒子群優(yōu)化算法、 遺傳算法和灰狼算法優(yōu)化深度學習網絡參數(shù)C和σ, 每種算法的種群數(shù)量均為20, 迭代次數(shù)為500, 不同算法找到最優(yōu)參數(shù)的迭代次數(shù)列于表1. 由表1可見, 改進灰狼算法少于粒子群優(yōu)化算法和遺傳算法的迭代次數(shù), 加快了深度學習網絡參數(shù)尋優(yōu)的速度.

表1 不同算法的深度學習網絡優(yōu)化參數(shù)

4.3 網絡流量預測結果對比

圖7 不同模型的網絡流量預測結果對比

將每種模型均進行5次仿真實驗, 每次實驗隨機選擇100個測試樣本, 3種模型的網絡流量預測結果如圖7所示. 由圖7可見, 基于遺傳算法優(yōu)化深度學習網絡的網絡模型流量預測偏差較大, 其次為基于粒子群優(yōu)化算法的優(yōu)化深度學習網絡模型, 網絡流量預測效果最優(yōu)者為基于灰狼算法的優(yōu)化深度學習網絡模型, 可以較準確地描述網絡流量的變化趨勢, 得到了更高精度的網絡流量預測結果. 這主要是由于改進灰狼算法找到了更優(yōu)的深度學習網絡參數(shù), 建立了更理想的網絡流量預測模型. 實驗結果驗證了本文模型的優(yōu)越性.

4.4 網絡流量建模效率對比

在4核Intel 2.75 GHz, 32 GB RAM, Win10操作平臺上統(tǒng)計不同模型對網絡流量的訓練時間和預測時間, 結果列于表2. 由表2可見, 基于改進灰狼算法的模型網絡流量預測時間與基于粒子群優(yōu)化算法、 遺傳算法的模型相差很小, 但訓練時間明顯少于基于粒子群優(yōu)化算法和遺傳算法的模型, 表明基于改進灰狼算法的優(yōu)化深度學習網絡的網絡流量預測復雜性未增加, 提高了網絡流量預測建模效率.

表2 不同模型的訓練時間和預測時間對比

綜上所述, 為更準確地對網絡流量進行建模和預測, 本文針對深度學習網絡在網絡流量建模過程中的參數(shù)優(yōu)化問題, 結合灰狼算法收斂速度快、 全局和局部搜索能力強的優(yōu)點, 提出了一種基于改進灰狼算法的優(yōu)化深度學習網絡的網絡流量預測模型, 并通過應用實例得到如下結論：

1) 網絡流量的變化是多種因素共同影響的結果, 引入相空間重構可更好地描述原始網絡流量數(shù)據(jù)的變化趨勢, 同時更有利于后續(xù)深度學習網絡的學習, 可有效改善網絡流量預測結果；

2) 對標準灰狼算法的缺陷進行改進, 可提高灰狼算法的收斂速度, 減少算法陷入局部極值的概率, 尋優(yōu)耗時短, 能快速、 有效地找到深度學習網絡參數(shù), 在提高網絡流量預測精度的同時, 可以滿足網絡流量預測的實時性要求；

3) 與基于其他算法優(yōu)化的深度學習網絡相比, 基于改進灰狼算法優(yōu)化深度學習網絡模型的網絡流量預測誤差更小, 網絡流量預測誤差控制在實際應用的有效區(qū)間內, 網絡流量預測精度約提高5%, 更適合網絡流量的建模與分析.