基于ELM 學習算法的混沌時間序列預測

李 彬，李貽斌

(1. 山東大學控制科學與工程學院，濟南 250061；2. 山東輕工業學院數理學院，濟南 250353)

混沌系統是一個確定的非線性動態系統，由這種系統產生的混沌信號對初始條件比較敏感，難以長期預測．混沌理論和混沌信號的處理是現階段的一個熱點研究問題，混沌時間序列(混沌信號)是對一個混沌系統采樣得到的單變量時間序列．為了更好地研究混沌系統，如何對這種高度復雜，強非線性的混沌信號進行建模和預測，是當前的一個難點和熱點問題．

神經網絡作為一種數據驅動的結構和算法，具有逼近任意非線性函數的能力，可以映射出數據之間的非線性關系．從而使得神經網絡成為混沌時間序列預測的一個強有力的工具．文獻[1-3]中，分別探討了徑向基函數(radial basis function，RBF)神經網絡、BP(back propagation)神經網絡、模糊神經網絡等對混沌時間序列問題的預測．現存的這些方法存在很多缺點，一般算法比較復雜，均為批處理學習算法，不能進行實時的在線學習，很多參數需要人工調整，預測精度不高，收斂速度慢或容易陷入局部極小點，算法運行的時間較長等．

2006 年，Huang 等[4]提出了一類性能優良的單隱層前向神經網絡(single-hidden layer feed forward neural networks，SLFNs)學習算法，稱為極端學習機(extreme learning machine，ELM)學習算法，與一般的BP 神經網絡、RBF 神經網絡相比，性能較好．該算法可以隨機地選擇網絡中隱層神經元個數和類型，構造不同的學習算法，且在隨機選擇輸入層權值和隱層神經元偏差(閾值)前提下，可以解析獲得隱層輸出權值，該方法具有許多優良的特性，如學習速度快，泛化能力好等．ELM 學習算法和理論[4-6]經過許多學者的努力，已在函數逼近、模式分類、系統辨識等方面得到廣泛應用．本文將ELM 學習算法用于混沌時間序列預測，擴展了這種算法的應用范圍．仿真結果表明，ELM 學習算法所處理的混沌時間序列，預測精度較高，學習速度較快．并且針對同一問題，在網絡復雜度相同的前提下，選擇不同的激活函數，ELM 學習算法性能差異較大，即ELM 學習算法激活函數的選擇具有問題依賴性．

1 ELM學習算法簡介

式中：G(w i,bi,x)為與輸入x對應的第i個隱層神經元的輸出；βi=[βi1,βi2,···,βim]T為第i個隱層神經元與輸出神經元之間的連接權向量．

當激活函數g(x)為加性神經元時，第i 個隱層神經元的輸出為

當激活函數g(x)為RBF 神經元時，其相應的輸出為

式中：wi和bi分別為第i 個徑向基函數的中心和影響因子(寬度)；R+是一個正實數集合．

對于 N 個任意輸入樣本(xj,tj)，其中，給定個隱層神經元和激活函數G(wi,bi,x)，則存在βi，wi和bi，使得SLFNs 能夠以零誤差逼近這N 個樣本點，即

式(4)可以寫成矩陣形式為

式中：H是該神經網絡的隱層輸出矩陣，H的第i列是關于輸入x1,x2,…,xN的第i 個隱層神經元的輸出．

對于單隱層前向神經網絡，ELM 學習算法對于任意無限可微的激活函數都是可用的[4-5]，從而拓展了前向神經網絡激活函數的選擇空間．與傳統的函數逼近理論不同，ELM 學習算法的輸入層權值w i和隱層的偏差bi可以隨機選擇[4]．從而，對于前向神經網絡來說，在網絡的訓練過程中，無需對輸入層權值和隱層偏差進行調整，一旦這些參數隨機確定以后，隱層輸出矩陣H在網絡開始訓練時，保持不變．從而，SLFNs 的訓練過程，等價于尋找線性系統H β=T的最小二乘解，如果隱層神經元的個數和網絡的輸入樣本個數N 相同，即=N，當輸入層權值和隱層偏差隨機確定以后，矩陣H是可逆方陣，則該SLFNs 能夠以零誤差逼近訓練樣本．但是，在大多數情況下?N，矩陣H不是方陣，從而不存在使得=Hβ=T．但是可以求這個線性系統的最小范數最小二乘解：=H+T，其中H +為矩陣H的Moore-Penrose 廣義逆．

步驟1隨機設定輸入層權值wi和偏差bi，i=1,…，,．

步驟 2計算隱層輸出矩陣H．

步驟3計算輸出層權值β：=H +T，其中T=

2 計算機仿真與結果分析

本文用Box and Jenkins gas furnace data[7]和Mackey-Glass[8]混沌時間序列預測問題來進行計算機仿真．ELM 學習算法的隱層神經元個數和激活函數類型，根據所處理的問題進行選取，以期得到較好的逼近誤差和泛化能力．本文所有結果都是在Matlab 7.0 環境下，CPU 為1.7,GHz 的奔騰Ⅳ機器上運行得到的，為了使算法更有說服力，表中的結果為10 次仿真結果的平均值，算法性能用均方根誤差衡量．

在Box and Jenkins gas furnace data 基準問題中，原始數據點個數為296 個，其中u(t)為輸入氣體流速，y (t )為輸出CO2濃度，用{y(t? 1),y (t? 2),y(t?3),y(t? 4),u(t? 1)，u(t? 2)，u(t? 3)，u(t? 4)，u(t?5),u(t? 6)}時刻的值來預測 y (t )時刻的值．這里取的有效數據點個數為290 個，前200 個為訓練樣本，后90個作為測試樣本．

Mackey-Glass 微分延遲方程被認為是一個混沌時間序列基準問題．它由下面的微分延遲方程產生，

式中：a= 0.2；b= 0.1；τ= 17．用微分延遲方程生成的Mackey-Glass 時間序列個數為4,500，其中的前4,000 數據用來訓練網絡，后500 個作為網絡的測試數據，來測試網絡的泛化能力．

在同一激活函數下，神經網絡中隱層激活函數個數越多，逼近能力越好，但是有可能出現過擬合現象，使得神經網絡的泛化能力降低．因此，為了獲得較好的網絡性能，必須適當地選擇合適的隱層神經元個數．為了使得ELM 學習算法有比較好的性能，在Box and Jenkins gas furnace data 和Mackey-Glass 混沌時間序列預測中，隱層神經元個數分別為15和200．

如表1 所示，對于Box and Jenkins gas furnace data 基準問題，在相同的網絡復雜度(隱層神經元個數相同)前提下，線性(linear)激活函數性能表現良好，和其他激活函數相比，其訓練誤差和測試誤差都較小，2 種誤差的標準偏差為0，網絡的穩定性較好．而對于Mackey-Glass 混沌時間序列問題來說，當激活函數為sigmoid時，網絡的性能表現較好．仿真結果表明對于相同的網絡復雜度，選擇不同的激活函數，同樣的問題性能表現有很大的不同，即ELM 學習算法中激活函數的選擇具有問題依賴性．因此，在同樣網絡復雜度前提下，根據實際問題選擇不同的激活函數對設計高性能的ELM 前向神經網絡是重要的．

表1 不同激活函數條件下ELM學習算法關于混沌時間序列預測問題的性能比較Tab.1 Performance comparison of ELM learning algorithm with different activation functions for chaotic time series prediction problems

圖1和圖2 分別為2個混沌時間序列問題的預測曲線，從圖上可以看出，在適當的選擇激活函數類型和隱層神經元個數前提下，ELM 學習算法比較適合處理復雜的混沌時間序列預測問題，能嚴格地跟蹤擬合這些高度復雜、強非線性曲線．

圖1 ELM 學習算法關于Box and Jenkins 煤氣爐混沌時間序列預測問題的預測曲線(線性激活函數)Fig.1 Prediction curve of ELM learning algorithm for Fig.1 Box and Jenkins gas furnace chaotic time series Fig.1 prediction problems (linear activation function)

圖2 ELM學習算法關于Mackey-Glass混沌時間序列預測問題的預測曲線(sigmoid 激活函數)Fig.2 Prediction curve of ELM learning algorithm for Fig.2 Mackey-Glass chaotic time series prediction pro-Fig.2 blems(sigmoid activation function)

為了更好地體現ELM 學習算法的優良性能，本文比較了ELM 和資源分配網絡(resource allocating network，RAN)[9]徑向基函數神經網絡學習算法．除期望輸出誤差取值為0.001 之外，RAN 學習算法的其他參數選取和文獻[8]一樣．從表2 可以看出，在相同的網絡復雜度前提下，和RAN 學習算法相比，ELM 學習算法的訓練時間、訓練誤差和測試誤差都較小，更適合于混沌時間序列問題的預測．

表2 ELM和RAN學習算法在混沌時間序列預測問題的性能比較Tab.2 Performance comparison of ELM and RAN learning algorithms for chaotic time series prediction problems

3 結 語

本文將ELM 學習算法應用于混沌時間序列預測，與其他方法不同，ELM 學習方法在隨機選擇輸入層權值和隱層偏差的前提下，可以解析獲得隱層輸出權值，算法簡單，執行速度很快．與RAN 學習算法相比，仿真表明對于混沌時間序列預測問題，ELM 學習算法具有較好的性能．同時也說明了對于同樣的問題，ELM 學習算法中，選擇不同激活函數，性能表現差異明顯，即ELM 激活函數的選擇具有問題依賴性．針對不同問題，激活函數的選擇一般有2 種方式：一種是把從所處理問題中提取的先驗知識耦合進神經網絡算法當中[10]；另一種是選擇激活函數自適應可調的神經網絡學習算法．因此，根據實際問題選擇不同的神經網絡激活函數對設計高性能的極端學習機前向神經網絡是重要的，也為將來設計激活函數自適應可調的ELM學習算法提供了一定的理論基礎．

［1］李冬梅，王正歐. 基于RBF 神經網絡的混沌時間序列預測[J]. 模式識別與人工智能，2001，14(2)：231-234.Li Dongmei，Wang Zheng’ou. Prediction of chaotic time series based on RBF neural networks[J].Pattern Recognition and Artificial Intelligence，2001，14(2)：231-234(in Chinese).

［2］郁俊莉. 基于混沌時間序列的非線性動態系統神經網絡建模與預測[J]. 武漢大學學報：理學版，2005，51(3)：286-290.Yu Junli. Modeling and forecasting of the nonlinear dynamic system neural network based on the chaotic time series[J].Journal of Wuhan University：Natural Science Edition，2005，51(3)：286-290(in Chinese).

［3］Maguire L P，Roche B，McGinnity T M，et al. Predicting a chaotic time series using a fuzzy neural network[J].Information Sciences，1998，112(1/2/3/4)：125-136.

［4］Huang G B，Zhu Q Y，Siew C K. Extreme learning machine ： Theory and applications[J].Neurocomputing，2006，70(1/2/3)：489-501.

［5］Huang G B，Siew C K. Extreme learning machine with randomly assigned RBF kernels[J].International Journal of Information Technology，2005，11(1)：16-24.

［6］Li M B，Er M J. Nonlinear system identification using extreme learning machine[C]//Ninth International Conference on Control，Automation，Robotics and Visio.Singapore，2006：1-4.

［7］Rojas I，Gonzalez J，Canas A，et al. Short-term prediction of chaotic time series by using RBF network with regression weights[J].International Journal of Neural Systems，2000，10(5)：353-364.

［8］李 彬，賴曉平. 改進的GGAP-RBF 算法及其在函數逼近中的應用[J]. 模式識別與人工智能，2007，20(2)：230-235.Li Bin，Lai Xiaoping. An improved GGAP-RBF algorithm and its application to function approximation[J].Pattern Recognition and Artificial Intelligence，2007，20(2)：230-235(in Chinese).

［9］Platt J. A resource-allocating network for function interpolation neural computation[J].Neural Computation，1991，3(2)：213-225.

［10］韓 飛. 基于先驗信息編碼的約束學習算法研究[D].合肥：中國科學技術大學自動化系，2006.Han Fei. A Study of Constrained Learning Algorithms Encoding the a Priori Information of Problem[D].Hefei：Department of Automation，University of Science and Technology of China，2006(in Chinese).