基于改進極端學習機的網絡流量預測

劉春

四川建筑職業技術學院網絡管理中心，四川德陽 618000

基于改進極端學習機的網絡流量預測

劉春

四川建筑職業技術學院網絡管理中心，四川德陽 618000

為了提高網絡流量的預測精度，針對極端學習機的訓練樣本選擇問題，提出一種改進極端學習機的網絡流量預測模型（IELM）。根據最優延遲時間和嵌入維數對網絡流量重構，建立網絡學習樣本，將學習樣本輸入到改進極端學習機進行訓練，隨新樣本加入而逐步求解網絡的權值，以提高學習速度，引入cholesky分解方法提高模型的泛化能力，采用具體網絡流量數據進行了仿真測試。結果表明，IELM不僅可以獲得較傳統網絡流量預測模型更高的精度，并且大幅度減少了計算時間，提高了建模效率，可以較好地滿足網絡流量預測要求。

網絡流量；相空間重構；極端學習機；輸出權值

隨著互聯網規模增大，網絡上的業務種類越來越多，網絡擁塞頻率越來越高，而網絡流量預測是網絡研究中的重要技術之一，因此建立高精度、速度快的網絡流量預測模型至關重要，成為了當前網絡流量研究領域中的熱點問題[1]。

針對網絡流量預測問題，國內外學者進行了大量而深入的研究，提出許多行之有效的網絡流量預測模型，并取得了比較理想的預測結果[2]。當前，網絡流量預測模型主要分為：傳統預測模型和現代預測模型兩種。傳統預測模型主要為線性預測模型，包括時間序列法、多元線性回歸等[3-4]。這些模型均是基于網絡流量是一種線性變化規律進行建模，建模速度快，可以對網絡流量進行短期預測，但是實際網絡流量受到多種因素影響，具有時變性、混沌性等非線性變化特點，導致傳統模型的預測精度低，預測結果不可靠[5]。現代預測模型主要是以神經網絡為代表的非線性學習算法，它們可以對網絡流量變化趨勢進行較好的跟蹤，預測精度較傳統模型得到大幅度提升[6-9]。其中極限學習機（Extreme Learning Machine，ELM）是一種新型的前饋神經網絡，相對于傳統神經網絡，ELM提高了建模效率[10]。但ELM采用隨機確定輸出權值，泛化能力差，易出現過擬合缺陷。為了克服ELM缺陷，文獻[11]基于結構風險最小化原理，提出了正則極端學習機（Regularized Extreme Learning Machine，RELM），從而提高了ELM的泛化能力。然而，RELM只能對網絡流量進行離線建模，不能滿足網絡流量在線預測要求[8]。為此，有學者提出在線貫序極端學習機（Online Sequential Extreme Learning Machine，OS-ELM），但是其存在計算復雜度大，建模效率低等不足[12]。

為了提高網絡流量的預測精度，針對極端學習機的訓練樣本選擇問題，提出一種基于改進極端學習機的網絡流量預測（IELM），并通過網絡流量預測仿真實驗加以驗證。

1 改進正則極端學習機（IELM）

Huang等人提出了一種單隱層前饋神經網絡的新學習算法，稱為極限學習機（ELM），并不需要對所有參數進行調整，輸入權值和隱含層偏差在訓練開始時隨機給定，輸出連接權值通過最小二乘法得到[13]。設收集到的時間序列為：Xp表示重構后的時間序列，n為嵌入維數，k表示樣本數。基于ELM的時間序列預測模型為：

式中，αk=[αk1αk2…αkn]為連接第k個隱層神經元的輸入權值；f()為隱層神經元函數；γ為經驗與結構風險的調節參數；L為隱層神經元的數量；bk為第k個隱層神經元的偏差；βk為連接第k個隱層神經元的輸出權值；εp為回歸誤差。

直接對式（1）進行求解不太現實，引入拉格朗乘子建立相應的函數：

式中，Hk為神經元矩陣；Tk為輸出向量；w為拉格朗日權值。

對拉格朗日函數各變量求偏導并令偏導數為零，可得：

式中，I為單位矩陣。

這樣RELM的時間序列預測模型為：

式中，t和x分別為輸入和輸出。

根據式（4）可知，RELM的訓練過程就是對βk進行求解，該過程涉及矩陣求逆運算，計算量大，降低了時間序列的建模效率[14]。為了解決該難題，為此提出一種改進正極端學習機。設根據時間序列Sk已得到輸出權值βk，當前訓練樣本加入時，RELM輸出權值為：

將矩陣求逆引理應用于式（6），則Pk的遞推表達式為：

對式（6）兩端同時求逆后代入式（5），可得βk的遞推表達式為：

利用Cholesky分解方法來對βk進行求解，簡化建模過程。根據式（3）可得：

那么βL求解過程可被轉化為求解形如式（10）的線性方程：

式中，SL是一個三角矩陣。

最后βL計算公式為：

其中，sij表示SL中不為零的元素；fi計算公式如下：

相比于ELM算法的βk求解過程，IELM采用Cholesky分解法對βL求解，只利用簡單的四則運算就可實現，加快算法學習速度。

2 IELM的網絡流量預測模型

2.1 相空間重構

設網絡流量時間序列為：{x(i)，i=1，2，…，n}，根據Takens嵌入定理進行相空間重構，得到的多維時間序列為：X(t)={x(t)，x(i+τ)，…，x(i+(m-1)τ)，考察相空間中的一對相點：X(i)和X(j)，rij(m)表示兩點間的歐式距離：

式中，r為樣本點之間閾值。

將網絡流量數據{x(i)，i=1，2，…}可劃分成t個子時間序列，則有：

式中，Cl表示第l個子序列的相關積分。

最后得到如下方程：

與ΔSˉ(t)第一個極小值相對應的τ為網絡流量時間序列的最優τ。

式中，Xi(m+1)表示第i個重構相空間向量；Xn(i，m)(m+1)表示與Xi(m+1)最近的向量。

2.2 基于IELM的網絡流量建模步驟

（1）收集網絡流量歷史時間序列數據，并進行歸一化處理，歸一化公式如下：

式中，x(i)和x′(i)分別為原始和歸一化后的網絡流量，max()和min()分別取網絡流量的最大值和最小值。

（2）采用相空間重構方法確定最佳延遲時間（τ）和嵌入維數（m），根據τ和m對原始網絡流量時間序列進行重構，得到訓練集和測試集，訓練集用于IELM網絡學習，測試集用于檢驗模型的泛化性能。

（3）確定IELM輸入權值αk及隱含層偏差bk值，并將網絡流訓練集輸入到IELM進行訓練。

（4）計算隱含層輸出矩陣H。

（5）計算輸出層權值βk。

（6）將βk代入式（4）建立RELM預測模型，并采用該模型對測試集進行預測，并根據預測結果對IELM的擬合性能和泛化推廣能力進行測試。

基于IELM的網絡流量預測模型工作流程如圖1所示。

圖1 基于IELM的網絡流量預測流程

3 仿真實驗

3.1 數據來源

采用網絡流量標準測試數據集http：//newsfeed.ntcu. net/～news/2013/的主節點路由器2013年10月11日到12月30日的每小時訪問流量，得到1 000個數據，共收集到1 200個數據點，具體如圖2所示。前1 000個網絡流量數據點作為訓練集，最后100個數據點作為測試集。

圖2 收集的網絡流量數據

3.2 對比模型及評價標準

在intel酷睿i7 4770K CPU，彩虹iGame780Ti 4 GB RAM，Windows 8操作系統上，選擇文獻[12]的改進極限學機（OS-ELM）、ELM進行對比實驗，以測試IELM的優越性。模型性能評價標準為用最大相對誤差（Max_ error）、均方根誤差（RMSE）、平均相對誤差（M_Error）。它們定義如下：

式中，n為測試樣本數；yi和y′i分別為實際值和預測值。

3.3 網絡流量學習樣本的構建

網絡流量的最優延遲時間和嵌入維數確定過程如圖3所示。從圖3可知，網絡流量時間序列的最優延遲時間τ=6，嵌入維數m=7，根據τ=6和m=7對原始網絡流量數據進行相空間重構，得到網絡流量的學習樣本。

3.4 結果與分析

3.4.1 單步預測結果與誤差分析

圖3 延遲時間（τ）和嵌入維（m）的確定

采用IELM對網絡流量進行建模與預測，測試集的一步預測結果和預測絕對誤差如圖4所示。從圖4可知，網絡流預測精度相當高，預測誤差相當小，結果表明，IELM可以較好地描述網絡流量變化特點，獲得比較理想的預測結果。

IELM、OS-ELM、ELM模型的單步預測誤差見表1。從表1可知，與對比模型相比，IELM模型的網絡流量預測誤差最小，預測精度更高，能夠滿足實際網絡流量預測的要求，可以有效避免對比模型所存在的過擬合現象，對比結果驗證了本文對傳統ELM模型改進的有效性。

表1 不同模型的單步預測性能比較

3.4.2 多步預測結果與誤差分析

圖4 IELM的單步預測結果

圖5 IELM的多步預測結果

采用IELM建立網絡流量的多步預測模型，其2步驟預測結果和預測絕對誤差如圖5所示。從圖5可知，網絡流量預測誤差不大，預測結果與網絡流量原始變化曲線比較接近，預測誤差控制在有效的范圍內，實驗結果再一次驗證了IELM用于網絡流量預測的有效性。

IELM、OS-ELM、ELM模型的多步預測誤差見表2。從表2可知，與對比模型相比，IELM模型的網絡流量預測誤差最小，預測精度更高，能夠滿足實際網絡流量預測的要求，能有效避免對比模型存在的過擬合現象，對比結果驗證了本文對傳統ELM模型改進的有效性。

表2 三種預測模型的多步預測性能對比

對表2的各模型預測結果進行分析可以得到如下結論：

（1）ELM由于無法對網絡流量進行在線預測，這樣，隨著網絡流量預測步長增大，預測模型無法對網絡流量變化趨勢進行準確描述，預測誤差越來越大，預測結果極不可靠，而且易出現過擬合現象。

（2）相對于ELM，IELM和OS-ELM的預測精度得到相應提高，有效減小了網絡流量的預測誤差，這主要是由于IELM和OS-ELM對模型的訓練方式進行了改進，較好地克服了ELM存在的不足，可以對當前時刻網絡流量變化趨勢進行準確刻畫，網絡流預測結果變化十分穩定，預測結果更加理想。

（3）相對于OS-ELM，IELM的網絡流量整體預測性能更優，預測精度得到了進一步提高，這主要是由于IELM不斷將新樣本加入訓練樣本集同時，對模型參數進行了相應的更新，使得更新后的預測模型始終描述當前時刻網絡流量最新變化狀態，預測誤差明顯小于OS-ELM，可以始終保持對于網絡流量的準確預測。

3.4.3 預測模型的訓練時間比較

當隱層神經元的數量L=50時，IELM，OS-ELM和ELM的訓練時間如圖6所示。對圖6可知，相對于OS-ELM、ELM，IELM的訓練時間僅為OS-ELM、ELM的1/3左右，大幅度提高了訓練速度，這主要是由于IELM減少了矩陣求逆運算，計算量急劇下降，減少了網絡流量的建模時間，更加適合于網絡流量的在線建模與預測。

圖6 三種模型的訓練時間對比

當預測步長為2、4、6時，IELM，OS-ELM的Pk值更新次數如圖7所示。從圖7可知，隨著預測步長的增加，OS-ELM的Pk更新次數大幅度增加，建模效率明顯降低，難以滿足網絡流量的在線建模要求；而IELM的Pk更新次數明顯少于OS-ELM，提高了網絡流量的建模效率，其更符合網絡流量在線預測對于計算速度和預測精度的要求。

圖7 IELM和OS-ELM的更新次數比較

4 結束語

傳統極端學習機不能對網絡流量進行在線建模預測，而且OS-ELM存在訓練速度慢、預測精度低等不足，為了提高網絡流量的準確性和建模速度，提出一種改進極端學習機的網絡流量預測模型，并通過仿真對比實驗對模型性能進行檢驗。結果表明，IELM較好地解決了傳統極端學習機存在的不足，獲得高精度的網絡流量預測結果，可以準確對網絡流量變化趨勢進行描述，更適合進行網絡流量在線性建模與預測，更具普適性和魯棒性。

[1]李超，趙海，葛新，等.基于混沌特征的網絡延遲預測模型[J].電子學報，2009，37（12）：2657-2661.

[2]姜明，吳春明，張曼，等.網絡流量預測中的時間序列模型比較研究[J].電子學報，2009，37（11）：2353-2358.

[3]宋楊，涂小敏，費敏銳.基于FARIMA模型的Internet時延預測[J].儀器儀表學報，2012，33（4）：757-763.

[4]鄔平，吳斌.采用回歸方法優化網絡流量管理模型處理性能[J].計算機工程與應用，2012，48（4）：104-106.

[5]溫祥西，孟相如，馬志強，等.小時間尺度網絡流量混沌性分析及趨勢預測[J].電子學報，2012，40（8）：1609-1616.

[6]趙云，肖嵬，陳阿林.基于加權支持向量回歸的網絡流量預測[J].計算機工程與應用，2012，48（21）：103-106.

[7]張強，許少華，李盼池.分式過程神經元網絡在網絡流量預測中的應用[J].計算機工程與應用，2012，48（35）：62-66.

[8]羅贅騫，夏靖波，王煥彬.混沌-支持向量機回歸在流量預測中的應用研究[J].計算機科學，2009，36（7）：244-246.

[9]張文金，許愛軍.混沌理論和LSSVM相結合的網絡流量預測[J].計算機工程與應用，2013，49（15）：101-104.

[10]姚奇富，李翠風，馬華林，等.灰色系統理論和馬爾柯夫鏈相結合的網絡流量預測方法[J].浙江大學學報：理學版，2007，34（4）：396-400.

[11]黨小超，郝占軍.季節周期性Elman網絡的網絡流量分析與應用[J].計算機工程與應用，2010，46（28）：98-101.

[12]張弦，王宏力.基于貫序正則極端學習機的時間序列預測及應用[J].航空學報，2011，32（7）：1302-1308.

[13]Liu N，Wang H.Ensemble based extreme learning machine[J]. IEEE Signal Processing Letters，2010，17（8）：754-757.

[14]Lan Y，Soh C Y，Huang G B.Constructive hidden nodes selection of extreme learning machine for regression[J]. Neurocomputing，2010，73（16）：3191-3199.

LIU Chun

Network Management Center,Sichuan College of Architectural Technology,Deyang,Sichuan 618000,China

In order to improve prediction accuracy of traffic network,a novel network traffic prediction model is proposed based on improved extreme learning machine.The learning samples of network traffic data are obtained by the optimal delay time and embedding dimension,and then the samples are input into improved extreme learning machine to train,and the network weights are gradually updated by adding new samples to fasten the speed and cholesky method is introduced to improve generalization performance.The simulation experiments are carried out to test the model performance based on network traffic data.The results show that the proposed model has improved prediction accuracy of traffic network compared with traditional network traffic prediction models and greatly reduced the computing time to improve the efficiency,so it can meet the requirements of the online prediction for network traffic.

network traffic;phase space reconstruction;extreme learning machine;output weight value

A

TP391

10.3778/j.issn.1002-8331.1312-0139

LIU Chun.Network traffic forecasting based on improved extreme learning machine.Computer Engineering and Applications,2014,50（21）：91-95.

劉春（1981—），男，講師，主要研究領域為計算機網絡管理。

2013-12-10

2014-02-28

1002-8331（2014）21-0091-05

CNKI出版日期：2014-07-02，http://www.cnki.net/kcms/doi/10.3778/j.issn.1002-8331.1312-0139.html