基于混合算法優化神經網絡的混沌時間序列預測

摘要:提出了一種混合算法優化神經網絡的混沌時間序列預測模型。將粒子群優化算法與模擬退火算法過程中概率突跳的思想相結合形成一種新的混合算法，并用此混合算法優化神經網絡建立預測模型。該模型克服了傳統的神經網絡收斂慢、易陷入局部最優等不足。利用該模型對Mackey-Glass混沌時間序列和Henon映射進行實驗仿真，結果表明，該模型收斂速度快，穩定性能好，預測精度高。

關鍵詞:粒子群優化;模擬退火;神經網絡;混沌時間序列;

中圖分類號:TP183文獻標識碼:A

Prediction of chaotic time series based on neural network optimized

by hybrid algorithm

Yin Xin，Zhou Ye，He Yigang

(College of Electrical and Information Engineering， Hunan Univ， Changsha 410082，China)

Abstract:The prediction model for time series is introduced in this paper， which use the hybrid algorithm to optimize the neural networks. The main idea is that build the new hybrid algorithm by combining particle swarm optimization with Simulated Annealing that has the idea in sudden jump， and then optimize the neural networks by the hybrid algorithm. Therefore， many shortcomings like convergence too slow of common neural networks， getting into partial optimization easily and getting prediction precocity of simplex particle swarm optimization， is worked out. In addition， in order to prove the validity and the value of the model， taking the Mackey-Glass chaotic time series and the Henon map tests and imitates. The results show that by this model the convergence is fast， the stability is good， and the precision of prediction is high.

Keywords: particle swarm optimization; simulated annealing; neural network; chaotic time series;

非線性混沌時間序列的預測已被廣泛的應用于經濟、信號處理、自動控制等領域，對混沌時間序列的預測成為了當今學術界的研究熱點。近幾年來，提出了各種預測模型和方法被提出，如神經網絡模型和支持向量基模型等[1-5]。神經網絡模型存在著收斂速度比較慢、容易陷入局部最優、預測精度低等不足，而支持向量基模型雖然在效率和預測精度上優于神經網絡，卻存在著選擇參數的困難以及計算時間復雜性的問題。

粒子群優化算法因其具有收斂快、參數少、容易實現、全局搜索能力強等優點，而被廣泛的應用于各個領域[6-10]。本文對傳統的粒子群優化算法進行改進，使得算法具有更高的概率收斂到全局最優解，并用該算法優化神經網絡，建立了基于混合算法優化神經網絡的預測模型。利用此模型對混沌時間序列進行預測，仿真結果表明該模型具有一定的優越性和適用性。

1 混合算法

粒子群優化算法(Particle Swarm Optimization， PSO)是由Eberhart博士和Kennedy博士于1995年提出的一種進化計算技術[11、12]。其思想源于對鳥群捕食的行為研究。該算法通過對初始化的一組隨機解進行迭代來實現，在搜索過程中，各粒子在空間追隨最優的粒子，最后獲得粒子的全局最佳位置，即問題的最優解。

本文以PSO為基礎，借鑒模擬退火算法[13]在搜索過程中具有概率突跳的思想，提出一種有效的混合算法(Hybrid Algorithm， HA)。混合算法繼承了PSO算法的優點，且在搜索的過程中不但絕對接受好的解，還允許以一定的概率接受差的解，這樣就確保了粒子的多樣性，有效地減小了求解過程中陷入局部極小解的可能性。同時這種突跳概率受到溫度參數的控制，即概率隨著溫度的下降而減小，當溫度趨于零的時概率值也將趨于零。基于上述思想粒子速度和位置更新公式如下:

(1)

， (2)

其中: 為 時刻粒子位置; 為 時刻粒子速度。 為慣性因子;為粒子的個數; 為粒子的維數; 、 為學習因子; ， 為隨機數。 為局部最佳位置，是從諸多 中選取。

在標準粒子群算法中， 的值介于[ ， ]之間， 根據問題的實際情況確定;慣性因子 線性遞減，學習因子 、 恒定; 、 均勻分布在0到1之間。從諸多 中選取 的準則如式3所示。

(3)

如果 ， ，則 ，否則 。 為接受概率; 為目標函數; 為溫度參數。

基于上述思想，HA的基本步驟如下:

步1: 初始化:設置粒子的初始位置、初始速度和初始溫度;

步2: 評價種群中所有粒子的目標值，確定種群初始的 和全局最佳位置 :

由評價函數計算每個粒子的目標值，將當前各粒子的位置和目標值存儲于各粒子的 中，將所有 中目標值最優的個體的位置和目標值存儲于 中;

步3: 由選取準則確定 ;

步4: 根據式(1)和式(2)更新各粒子的速度和位置;

步5: 由評價函數計算每個粒子的目標值，比較種群中每個粒子當前目標值與其 的目標值。若當前目標值更優，則用粒子的當前位置和目標值更新其 ;

步6: 比較所有的 和原 的目標值，更新 ;

步7: 退溫度操作;

步8: 若滿足終止條件(得到足夠好的目標值或達到預定的最大迭代次數)，跳出搜索過程，否則返回步3;

步9: 則輸出 及其目標值。

初始溫度和退溫方式如下

(4)

(5)

其中: 為初始群體中最佳微粒的目標值， 為退溫速率。

2 預測模型

本文把混合算法與BP神經網絡[14]相結合，即利用混合算法替代BP算法訓練神經網絡，建立混合算法優化神經網絡的預測模型(Hybrid Algorithm Neural Networks，HANN)。

BP神經網絡利用BP算法調整連接權值和閾值，使得網絡的實際輸出值 與期望輸出值 的誤差均方值(MSE)

，(6)

為最小，實現任意函數的逼近。本文利用HA代替傳統BP算法調整網絡的權值和閾值，同樣以MSE為目標函數對運算結果進行評價，以獲得網絡的總誤差最小的解，其基本步驟如下:

步1: 以BP神經網絡權值和閾值矩陣中所有元素個數之和做為HA的粒子位數;

步2:以隨機矩陣給BP的權值和閾值賦初始值，即權值和閾值初始值存儲于粒子中;

步3: 提供訓練集:給出輸入向量 和期望輸出向量 ;

步4: 利用HA調整權值和閾值:

將式(6)作為目標函數，利用HA算法需找全局最優粒子，即得到最優的權值和閾值;

步5: 計算得到網絡輸出，即預測結果。

3 混沌時間序列預測

對于混沌時間序列的預測問題，其首要任務應根據嵌入定理重構輸入輸出空間。混沌時間序列的時間延遲嵌入狀態空間為

(7)

其中: 是嵌入矢量， 是第 時間點的序列值， 是時延遲， 是嵌入維數。此時可以通過嵌入矢量 預測第 時間點的序列值 ， 表示預測步長。

利用HANN模型對Mackey-Glass和Henon混沌時間序列進行預測，并與PSO算法、GA[15]、BP算法優化的神經網絡模型進行對比，以均方根誤差(root mean square error-RMSE)

(8)

作為衡量不同模型預測效果的性能指標，其中 和 分別為混沌時間序列的實際值和預測值。

3.1 Mackey-Glass序列預測

Mackey-Glass時間序列如下:

(9)

該時間序列為時滯參數 的函數，當 時，系統呈混沌狀態。令 ， ， ，利用四階龍格-庫塔法求得方程的離散數值解 ;設置 ， ，。取 等于201到1700的1500組輸入輸出數據，其中前1000組數據作為模型的訓練集，后500組數據作為測試數據來檢驗模型的預測性能。

算法和網絡參數設置:在PSO算法和HA中，種群大小設為40， ， 從0.9到0.4線性遞減， ，退溫度速率 ;GA的種群數為80，交叉和變異分別設為0.8和0.1;BP算法的學習速率 ，動量因子 ;BP網絡結構為4-9-1，隱含層和輸出層激活函數分別為 和 ，各算法的最大迭代步數均為500次。各模型對上述給出的樣本數據分別進行模擬仿真得到結果如表1和圖1、圖2和圖3所示。

3.2 Henon序列預測

Henon時間序列如下:

(10)

(11)

當 ，時，系統成為混沌狀態，初始值為[0.1，0.1]，設置 ， ，。取 等于11到510的500組輸入輸出數據，其中前400組數據用于訓練集，后100組數據作為測試數據來檢驗模型的預測性能。各算法的參數設置與前面相同，BP網絡結構為3-7-1，隱含層和激活層函數以及最大迭代步數都與前面一樣。各模型對上述給出的樣本數據分別進行模擬仿真得到實驗結果如表2和圖4至圖7所示。

3.3 實驗結果分析

1)由表1和表2所列出的各項數據可知，HANN模型的預測值和實際值的均方根誤差、平均誤差和最大誤差都要優于其它幾個模型，這說明HANN模型具更好的預測精度和穩定性;

2)從圖1和圖4可見，HA的訓練曲線要比PSO算法的訓練曲線收斂到更加小的誤差，這表明HA能夠有效的跳出局部最優，具有更好的有效性和更強的魯棒性;

3)從圖2、圖3、圖5和圖6可以直觀的看出HANN模型的預測結果要優于PSONN模型，進一步說明HA的全局尋優能力要高于PSO算法;

4)從圖7的預測引引子和實際吸引子對比圖可以看出HANN的預測結可以與實際值相當吻合，說明HANN模型能夠有效的進行精確預測。

4 結論

提出了一種混合算法，并用它來優化神經網絡，建立了HANN模型。利用HANN模型對Mackey-Glass時間序列和Henon映射進行模擬仿真并將結果與其它算法優化的神經網絡模型進行比較分析，實驗結果證明了本文提出的混合算法具有收斂速度快、魯棒性強、不易陷入局部最優等優點，也驗證了HANN模型的優越性和有效性。HANN模型還可以應用于其它可以利用BP神經網絡的領域，如電力負荷預測、故障診斷和模式識別等，具有良好的實際應用前景。

參考文獻

[1]Bakker R，Schouten J C，Giles C L.Learning Chaotic Attractors by Neural Networks[J].Neural Computation，2002，12(10):2355-2383.

[2]Hang J F，Hu S S.Chaotic Time Series Prediction Based On RBF Neural Networks With A New Clustering Algorithm[J].Acta Physia Sinaca.2007，56(2):714-719.

[3]Gu H，Wang H W.Fuzzy Prediction Of Chaotic Time Series Based On Singular Value Decomposition[J].Applied Mathematics And Computation.2007，185(2):1171-1185.

[4]譚文，王耀南，周少武等.混沌時間序列的模糊神經網絡預測[J].物理學報.2003，52(4):795-801.

Tan W， Wang Y N， Zhou S W， et al. Prediction of the chaotic time series using neuro-fuzzy networks[J]. Acta Physica Sinica. 2003， 52(4):795-801.

[5]張軍峰，胡壽松.基于一種新型聚類算法的RBF神經網混沌時間序列預測.物理學報，2007，56(2):714-719.

Zhang J F， Hu S S Chaotic Time Series Prediction Based On RBF Neural Networks With A New Clustering Algorithm[J]， Acta Physica Sinica.2007， 56(2):714-719

[6]Yoshida H，Kawata K，Fukuyama Y，et al.A particle swarm optimization for reactive power and voltage control considering voltage security assessment[J].IEEE Trans.Power Syst..2000，119(12): 1232-1239.

[7]Gaing Z L.Particle swarm optimization to solving the economic dispatch considering the generator constraints[J].IEEE Yrans.Power Syst.2003，18(1):1187-1195.

[8]Yin P Y.A discrete particle swarm algorithm for optimal polygonal approximation of digital curves[J].Journal of Visual Communication and Image Representation.2004， 15(2): 241-260.

[9]Liu B，Wang L，Jin Y H.An effective PSO-based mimetic algorithm for flow shop scheduling[J]. IEEE Trans.Syst. Man.Cy.B.Cybernetics. 2007，37(1):18-27.

[10]Wang P，Huang Z Y，Zhang M Y，et al.Mechanical Property Prediction of Strip Model Based on PSO-BP Neural Network[J].Journal of Iron and Steel Research，International.2008，15(3): 87-91.

[11]Kennedy J，Eberhart R C.Particle swarm optimization[C].Proceeding of IEEE International Conference on Neural Networks.Perth，Australia， 1995:1942-1948.

[12]Eberhart R C，Kennedy J.A new optimizer using particle swarm theory[C].Proc.6th Int.Sysposium on Micro Machine and Human Science.Nagoya，Japan，1995:39-43.

[13]Wang Y H，Yan W L.Adaptive Simulated Annealing for the Optimal Design of Electromagnetic Devices[J].IEEE Transactions on magnetics. 1996，32(3):1214-1217.

[14]李國勇.智能控制及其MATLAB實現[M].北京:電子工業出版社，2005.

[15]雷杰英等.MATLAB遺傳算法工具箱及應用[M].西安:西安電子科技大學出版社，2005.