組合核函數高斯過程的網絡流量預測模型

黃 芳，劉元君，陳 波

HUANG Fang1,LIU Yuanjun1,CHEN Bo2

1.湖南商務職業技術學院 電子信息技術系，長沙410205

2.電子科技大學 計算機科學與工程學院，成都611731

1.Department of Electronic Information Technology,Hunan Vocational College of Commerce,Changsha 410205,China

2.School of Computer Science and Engineering, University of Electronic Science and Technology of China, Chengdu 611731,China

1 引言

隨著網絡業務迅速增長，網絡服務質量要求日益提高，網絡流量預測結果具有十分重要的實際價值，因此提高網絡流量預測的準確性成為當前網絡研究領域中的一個重大課題[1]。

國內外學者們對其進行廣泛的研究，已提出時間序列分析法、神經網絡、灰色理論、隱馬爾夫法、支持向量機等預測模型[2-6]。時間序列分析法可對波動范圍小的網絡流量進行準確預測。但實際網絡流量受到多種因素的綜合影響，具有非線性和時變性等特點，時間預序列分析法的預測偏差較大，應用范圍受限[7]。神經網絡是一種非線性預測能力強的機器學習算法，要求樣本數量大，如果樣本數量不能滿足“大樣本”要求，就易出現“過擬合”等缺陷，預測結果不穩定[8-9]。支持向量機較好地解決了非線性預測問題，比神經網絡取得了更優的預測效果，但其自身存在許多難以克服不足，如核函數參數的選擇問題[10-12]。高斯過程（GP）是一種新型的機器學習算法，它具有支持向量機處理小樣本、非線性的優點，同時具有神經網絡學習速度快特點，大量研究結果表明，通常情況下，GP 模型的性能要優于神經網絡和支持向量機[13]。將高斯過程回歸模型在實際應用中，常采用共軛梯度法確定其最優參數，但是共軛梯度法對初始值敏感，存在易陷入局最優等的弊端，影響了高斯過程回歸模型的性能。對于復雜多變的網絡流量，單一核函數的高斯過程回歸模型存在魯棒性差、泛化能力不強等缺陷，網絡流量的預測精度有待進一步提高[14]。

針對網絡流量的非線性和時變性等特點，提出一種組合核函數高斯過程的網絡流量預測模型。首先采用自相關法和假近鄰法計算網絡流量的延遲時間和嵌入維數，然后采用遺傳算法優化組合核函數高斯模型，最后采用網絡流量數據進行仿真實驗測試模型有效性。

2 高斯過程的網絡流量預測

2.1 高期過程回歸

高斯過程是一種處理小樣本、非線性等的新型機器學習算法，對于數據集：，那么f(x(1),x(2),…,x(n))可構成隨機變量的一個集合，高斯過程為：

式中，m(x)和k(x,x′)分別表示均值函數和協方差函數[15]。

由于收集的數據常含噪聲，那高斯過程回歸模型變為：

式中，ε為獨立的高斯噪聲。

對于式（2），由于噪聲ε為白噪聲，那么觀測值聯合分布的集合得到一個高斯過程，即

式中，δij是Kronecker Delta函數。

采用矩陣形式對協方差函數進行描述：

式中，I為單位矩陣；C(X,X)為協方差矩陣；K(X,X)為Gram 矩陣。

這樣，就可以得到GP 回歸方程為：

2.2 高斯過程訓練和參數的選擇

2.2.1 高斯過程訓練

在GP 建模過程中，協方差函數需要滿足Mercer 條件，因此式（7）可以寫成

式中，k(xi,x*)為核函數，且有

GP 建模過程中，通過核函數k(xi,x*)將非線性變化關系的數據映射到高維特征空間，并且進行線性回歸，因此協方差核函數選擇對高斯過程建模十分關鍵，常規GP 模型常采用平方指數協方差函數（SE）和有理二次協方差函數（RQ），它們具體定義如下：

式中，M為對角矩陣；d是核函數的形狀參數。

在常規GP 模型中，采用單一協方差函數作為高斯過程的核函數，然而對于復雜多變的網絡流量，單一核函數的GP 模型無法準確預測網絡流量的動態變化特征，為了提高網絡流量預測精度，針對單一核函數各自不足，利用它們優點進行互補，將平方指數協方差函數（SE）和有理二次協方差函數（RQ）進行組合，構造新的核函數：

2.2.2 模型參數選擇

當前高斯過程的最優超參數采用共軛梯度法確定，但共軛梯度法存在對初始值敏感等缺陷，難以獲得全局最優的趨參數，對網絡流量預測結果產生不利影響。遺傳算法是一種全局優化和并行搜索能力強的仿生智能算法，十分適合于參數搜索，為了克服共軛梯度法的缺陷，本文采用遺傳算法在高斯過程建模中自動搜索最優超參數。個體適應度函數定義如下：

式中，yi表示第i個網絡流量樣本的實際值；f(xi)表示第i個網絡流量樣本預測值。

2.3 組合核函數高斯過程的網絡流量預測

（1）首先收集網絡流量數據，然后進行預處理，具體為：

式中，xmax和xmin為最大值和最小值；x為原始值。

（2）采用網絡流量的互信函數和關聯維數確定延遲時間和嵌入維數，并對網絡流量數據進行相空間重構，構建高斯過程的學習樣本，并將分為訓練和測試樣本。

（3）根據式（13）構造高斯過程回歸模型的組合核函數。

（4）初始化遺傳算法參數，并產生初始種群，每一個個體代表高斯過程回歸模型參數。

（5）將網絡流量訓練集輸入GP 進行訓練，建立網絡流量預測模型，并對網絡流量進行預測。

（6）根據每組參數的預測結果，采用式（14）計算個體的適應度值，并根據適應度值對個體優劣進行評價。

（7）對個體進行選擇、交叉和變異等操作，產生新一代群數。

（8）如果達到最大代數，根據最優個體得到最優參數，不然返回步驟（5）繼續進行參數尋優。

（9）根據最優參數采用建立的GP 模型網絡流量預測模型，并對模型預測值進行反歸一化處理，得到了預測實際值。

3 仿真實驗

3.1 網絡流量數據

數據來源于http：//newsfeed.ntcu.net/～news/2012/的主節點路由器2012 年3 月1 日到4 月13 日的每小時訪問流量，得到1 000 個數據，據具體如圖1 所示。

圖1 網絡流量時間序列

3.2 對比模型及評價標準

選擇平方指數協方差函數的GP 模型（SE-GP）和有理二次協方差函數的GP 模型（RQ-GP）、最小二乘支持向量機（LSSVM）、支持向量機（SVM）和BP 神經網絡（BPNN）作為對比模型，模型性能采用平均相對百分比誤差MPAE和均方根誤差RMSE進行標準，它們定義如下：

3.3 學習樣本的構造

對于具有混沌特性的網絡流量進行建模時，首先需要通過選擇延遲時間τ和嵌入維數m，得到GP 模型的學習樣本。本文采用自相關法和假近鄰法分別計算網絡流量的延遲時間τ和嵌入維數m。圖2 描述了網絡流量的自相關函數變化曲線，從圖2 可知，最佳延遲時間τ=6。虛假近鄰數和嵌入維數之間的變化關系如圖3 所示，從圖3 可知，隨著嵌入維數的增加，虛假近鄰數逐漸變小，當m=5 時，假近鄰數不再變化，即最優嵌入維數m=5。采用τ=6，m=5 對圖1 中的網絡流量重構。

圖2 網絡流量的延遲時間

圖3 網絡流量的嵌入維數

3.4 結果與分析

3.4.1 單步預測結果

采用組合核函數GP 模型對網絡流量進行學習，建立相應的網絡流量預測模型，并對網絡流量測試集進行預測，得到的單步擬合和預測結果如圖4 和圖5 所示。從圖4 可知，組合核函數GP 模型較好地擬合了網絡流量變化趨勢，實際值與擬合值相當接近，表明組合核函數GP 模型是一種有效、擬合精度高的網絡流量預測模型。同時從圖5 可知，組合核函數GP 模型的預測誤差相當的小，獲得了十分理想的預測結果，這表明組合核函數GP 模型具有較好的泛化和推廣能力。

圖4 組合核函數GP 模型的單步擬合結果

圖5 組合核函數GP 模型的單步預測結果

SE-GP、RQ-GP、LSSVM、SVM、BPNN 和組合核函數GP 模型的單步預測誤差見表1。從表1 可知，與對比模型相比，組合核函數GP 模型的預測誤差最小，獲得最優的網絡流量預測結果，對比結果驗證了組合核函數GP 用于網絡流量預測的優越性和可行性。

表1 不同模型的單步預測誤差比較

3.4.2 多步預測結果

網絡流量預測的目標就是對網絡流量變化趨勢進行把握，要求有一定提前預測時間，然而單步預測僅可以預測下一時刻的網絡流量，實際應用價值不大，因此需要將單預測擴展到多步預測。組合核函數GP 模型的多步擬合和預測結果如圖6 和圖7 所示。從圖6 和7 可知，組合核函數GP 模型擬合和預測結果與實際網絡流量之間的誤差較小，預測結果達到了實際應用的精度要求，比較準確地刻畫了網絡流量的非線性、時變性等變化趨勢，這是單一核函數GP 模型及其他對比模型歸難以企及的，組合核函數GP 模型優勢十分明顯。

SE-GP、RQ-GP、LSSVM、SVM、BPNN 和組合核函數GP 模型的多步預測誤差見表2，表2 給出不同模型的預測性能對比。

圖6 組合核函數GP 模型的多步擬合結果

圖7 組合核函數GP 模型的多步預測結果

表2 不同模型的多步預測誤差比較

從表2 可知，相對于單一核函數GP 模型比，組合核函數GP 模型提高了網絡流量預測性能，泛化性能更優。相對LSSVM、SVM、BPNN，組合核函數GP 模型需要調整參數少，可以有效地實現先驗知識和觀測數據完美結合，具有良好的置信水平，提高了網絡流量的預測效果。

3.4.3 含有噪網絡流量預測性能分析

為了測試組合核函數GP 模型的魯棒性，采用一個含噪的網絡流量進行仿真對比實驗。含噪的網絡流量數據如圖8 所示。對含噪的網絡流量數據進行建模與預測，組合核函數GP 的絡流量擬合和預測結果如圖9和圖10 所示。從圖9 和圖10 可知，組合核函數GP 模型獲得了較理想的預測結果，這表明組合核函數GP 由于引入兩個核函數，具有較強穩健性和魯棒性，具有一定的抗干擾性能，在網絡流量應用范圍更廣。

SE-GP、RQ-GP、LSSVM、SVM、BPNN 和組合核函數GP 模型對含噪網絡流量預測誤差見表3。從表3 可知，相對于對比模型，組合核函數GP 模型由于集成了兩種核函數的優點，克服了單一核函數的不足，同時采用遺傳算法對合核函數GP 模型參數進行優化，建立了全局最優的網絡流量預測模型，獲得了較好的含噪網絡流量預測結果。

圖8 含噪聲的網絡流量數據

圖9 組合核函數GP 的含噪網絡流量擬合結果

圖10 組合核函數GP 的含噪網絡流量預測結果

表3 不同模型的含噪網絡流量預測誤差比較

4 結束語

為了提高網絡流量的預測精度，提出一種組合核函數高斯過程回歸的網絡流量預測模型。通過引入組合核函數對網絡流量變化趨勢進行逼近，采用遺傳算法優化參數以提高其泛化能力，并通過仿真對比實驗驗證了組合核函數GP 的網絡流量預測型的有效性和優越性。

[1] Jun J，Symeon P.Enhancing network traffic prediction and anomaly detection via statistical network traffic separation and combination strategies[J].Computer Communications，2006，29（10）：1627-1638.

[2] He Y J，Zhu Y C，Duan D X.Research on hybrid ARIMA and support vector machine model in short term load forecasting[C]//Proceedings of the 6th International Conference on Intelligent Systems Design and Application，2006：804-809.

[3] 姜明，吳春明，張曼，等.網絡流量預測中的時間序列模型比較研究[J].電子學報，2009，37（11）：2353-2358.

[4] 姚奇富，李翠風，馬華林，等.灰色系統理論和馬爾柯夫鏈相結合的網絡流量預測方法[J].浙江大學學報：理學版，2007，34（4 ）：396-400.

[5] Chen Y，Yang B.Small-time scale network traffic prediction based on flexible neural tree[J].Applied Soft Computing Journal，2012，12（1）：274-279.

[6] Park D C.Prediction of network traffic using dynamic bilinear recurrent neural network[C]//Proceedings of 5th International Conference on Natural Computation，2009，2：419-423.

[7] 劉杰，黃亞樓.基于BP 神經網絡的非線性網絡流量預測[J].計算機應用，2007，27（7）：1770-1772.

[8] 賀相春，董曉輝.基于映射矩陣的網絡流量分析預測模型[J].計算機工程與應用，2013，49（8）：100-104.

[9] 王俊松，高志偉.基于RBF 神經網絡的網絡流量建模及預測[J].計算機工程與應用，2008，44（13）：6-11.

[10] 王俊松.基于Elman 神經網絡的網絡流量建模及預測[J].計算機工程，2009，35（9）：190-191.

[11] 羅贅騫，夏靖波，王煥彬.混沌-支持向量機回歸在流量預測中的應用研究[J].計算機科學，2009，36（7）：244-246.

[12] 張文金，許愛軍.混沌理論和LSSVM 相結合的網絡流量預測[J].計算機工程與應用，2013，49（15）：101-104.

[13] 孫斌，姚海濤，劉婷.基于高斯過程回歸的短期風速預測[J].中國電機工程學報，2012，32（29）：104-110.

[14] Seeger M.Gaussian processes for machine learning[J].International Journal of Neural System，2004，14（2）：69-106

[15] 李軍，張友鵬.基于高斯過程的混沌時間序列單步與多步預測[J].物理學報，2011，60（7）：1-11.