基于MCP正則化SWESN的時間序列預測方法研究

劉半藤，陳 唯，尹則高，孫 萍

(1. 常州大學信息科學與工程學院，江蘇 常州 213164；2. 中國海洋大學水利工程學院，山東 青島 266003；3. 浙江樹人大學信息科技學院，浙江 杭州 310015)

1 引言

時間序列預測指的是通過已知的歷史數據去預測未知的未來數據，已經在醫學、金融、軍事等[1-3]領域中得到了廣泛的應用，由于實際生活中的時間序列大多呈現非線性和不穩定性，因此對于非線性和不穩定時間序列的預測問題一直備受各個領域中研究學者的關注[4]。

目前，對于非線性和不穩定時間序列進行預測的主要方法是采用回聲狀態網絡(Echo State Network，ESN)[5]。其特點就是采用被稱之為“儲備池”的大規模隨機稀疏連接網絡作為傳統神經網絡的隱層，去處理非線性和不穩定的時間序列，并且在訓練過程中只需訓練儲備池至輸出層的輸出權值，簡化了網絡的訓練過程，避免了傳統神經網絡中存在的易于陷入局部最優、訓練算法復雜等問題[6]。目前，一部分學者為了提高ESN的性能，紛紛開始研究改進ESN的方法，主要集中在儲備池拓撲結構優化和輸出權值優化兩個方面[7-8]。在儲備池拓撲結構方面，傳統ESN的儲備池中采用隨機網絡致使模型訓練無目的性，為了解決此問題，李菡[9]等學者提出采用同時具備隨機性和規則性的小世界回聲狀態網絡作為ESN的儲備池去預測非線性時間序列，提高了預測模型的適應性和預測精度；但以上小世界回聲狀態網絡的節點連接屬于確定性連接，對具有時變性和模糊性的時間序列預測精度不高，因此，倫淑嫻[10]等學者提出采用改進的小世界回聲狀態網絡作為ESN的儲備池，即儲備池網絡節點間的加邊概率根據節點間距離的負指數函數進行修正，縮短了訓練時間并提高了對具有時變性和模糊性的非線性時間序列的預測精度。

在輸出權值方面，傳統ESN的輸出權值計算采用偽逆法，但偽逆法求解高維線性回歸時易出現共線性問題[11]；為了解決此問題，Wang[12-13]等學者提出采用Ridge回歸、Lasso回歸等線性回歸方法計算輸出權值，通過添加L2范數、L1范數解決共線性問題，但Ridge回歸、Lasso回歸對偏大的輸出權值施加了更大的懲罰，屬于有偏估計，模型預測時容易出現過擬合問題[14]。為了解決以上問題，在計算輸出權值時需要采用漸近無偏正則化方法，提高預測模型的預測精度與泛化性能。常見的漸近無偏正則化方法有SCAD(Smoothly Clipped Absolute Deviation)正則化法[15]和MCP(Minimax Concave Penalty)正則化法[16]，目前，已有學者將SCAD正則化法成功應用于小世界回聲狀態網絡的輸出權值優化中[17]，提高了小世界回聲狀態網絡對非線性時間序列的預測精度。但采用MCP正則化法優化小世界回聲狀態網絡輸出權值的方法還未曾提出，而且MCP正則化法的懲罰函數具有最小最大凸性，能對偏大或偏小的輸出權值做更恰當的懲罰，更適用于處理多維非線性數據[18-19]，因此，本文提出了一種基于MCP正則化SWESN的時間序列預測方法(Minimax Concave Penalty-Small World Echo State Network， MCP-SWESN)，提高小世界回聲狀態網絡對非線性時間序列的預測能力。

2 基于MCP正則化SWESN的時間序列預測方法

本文采用改進的小世界網絡作為儲備池，得到小世界回聲狀態網絡(Small World Echo State Network，SWESN)。其拓撲結構如圖1所示。

圖1 小世界回聲狀態網絡拓撲圖

小世界回聲狀態網絡的狀態方程和輸出方程分別為

x(t)=f(Winu(t)+Wxx(t-1))

(1)

y(t)=xT(t)Wout

(2)

其中，u(t)∈RL、x(t)∈RM和y(t)∈R分別表示儲備池t時刻的輸入變量、狀態變量和輸出變量；激活函數f通常取雙曲正切tanh函數；Win∈RM×L、Wx∈RM×M和Wout∈RM分別為輸入權值矩陣、儲備池內部權值矩陣和輸出權值矩陣。輸入權值矩陣Win隨機生成，確定后不再改變。

改進的小世界網絡中儲備池內部權值矩陣Wx通過建立加邊概率與節點間距離的函數關系式獲得，確定后不再改變。加邊概率P值隨著節點間的距離增大按指數方式遞減，即：

P=α×e(-β×d)

(3)

其中，P取值范圍為[0， 1]，表示節點間的連接權值。d表示節點間的歐氏距離，α用來調節距離靈敏度，β用來調整網絡的整體密度。

輸出權值矩陣Wout在訓練時獲得，即最小化目標函數對應的Wout值，如式(4)所示，并通過最小二乘法求解獲得，如式(5)所示：

(4)

Wout=X?Y=(XTX)-1XTY

(5)

其中，(X，Y)是訓練樣本，X?是X的偽逆。

正則化方法是在最小化目標函數的基礎上添加懲罰函數，最小化添加懲罰項的目標函數對應的Wout估計值如式(6)所示：

(6)

其中，J表示變量個數，ρλ，γ表示罰函數。

本文采用最小最大凹罰(MCP)作為懲罰函數，MCP罰函數在原點產生奇異值，能夠產生稀疏解。并且，在|θ|>γλ時，直接將變量置為零，滿足對變量θ的近似無偏估計，MCP罰函數如式(7)所示

(7)

其中，γ，λ為可調超參數(γ>2，λ>0)，采用遍歷手段獲得，θ為參數向量，本文中為輸出權值Wout。

(8)

out=arg min(‖Y-XWout‖2+

(9)

其中，D為Wout中非零元素個數，通過對式(9)重復執行Ridge回歸解可得輸出權值估計

(10)

3 仿真研究

3.1 測試數據

為了驗證本方法的有效性，分別用Lorenz混沌時間序列、Mackey-Glass混沌時間序列和實際的PM2.5濃度時間序列進行測試。

1)Lorenz混沌時間序列生成方法如下

(11)

取a=10，b=28，c=8/3，x(0)=12，y(0)=2，z(0)=9，系統呈現混沌特性。利用四階龍格庫塔算法對Lorenz系統求得1000個時刻作為測試數據。

2)Mackey-Glass混沌時間序列生成方法如下

(12)

取a=0.2，b=0.1，c=10，τ=17，x(0)=1.2，t(0)=0，系統呈現混沌特性。利用四階龍格庫塔算法對Mackey-Glass系統求得1000個時刻作為測試數據。

3)實際時間序列采用北京市某年度的PM2.5濃度時間序列，數據來源為中國空氣質量在線監測分析平臺(https：∥www.aqistudy.cn/)。

3.2 仿真分析

通過將Lorenz混沌時間序列、Mackey-Glass混沌時間序列和實際PM2.5濃度時間序列歸一化、相空間重構處理后進行仿真測試和分析，分別取前500個時刻進行訓練，而后200個時刻進行預測，測試結果進行反歸一化。MCP-SWESN對Lorenz混沌時間序列、Mackey-Glass混沌時間序列和北京市某年度的PM2.5濃度時間序列的預測結果如圖2-圖4所示。

圖2 MCP-SWESN對Lorenz序列預測結果

圖3 MCP-SWESN對Mackey-Glass序列預測結果

圖4 MCP-SWESN對實際PM2.5濃度序列預測結果

圖2-圖4表明MCP-SWESN對Lorenz混沌時間序列、Mackey-Glass混沌時間序列和實際PM2.5濃度時間序列的預測均與實際曲線走勢一致，結果吻合度較好。

儲備池規模會影響ESN及其改進方法的預測結果，因此為進一步分析預測誤差，需要比較不同規模儲備池的ESN、SWESN、Ridge-SWESN、Lasso-SWESN、SCAD-SWESN和MCP-SWESN對Lorenz混沌時間序列、Mackey-Glass混沌時間序列和實際PM2.5濃度時間序列的預測結果，并采用標準均方根誤差(NRMSE)作為全部仿真預測的性能指標

(13)

其中，Q表示預測時間序列長度，Yd(t)表示目標值，Y(t)表示預測值。avg(Yd(t))表示目標值均值。

采用上述ESN及其改進的六種方法分別對三組時間序列進行仿真，重復30次，誤差結果取平均值。預測Lorenz混沌時間序列、Mackey-Glass混沌時間序列和實際PM2.5濃度時間序列的訓練NRMSE、測試NRMSE結果分別如圖5-圖10所示。選擇最合適的儲備池規模所對應的預測結果，結果如表1-表3所示。

圖5 不同方法的訓練誤差結果(Lorenz)

圖6 不同方法的測試誤差結果(Lorenz)

表1 Lorenz混沌時間序列預測結果對比

圖7 不同方法的訓練誤差結果(Mackey-Glass)

圖8 不同方法的測試誤差結果(Mackey-Glass)

表2 MG混沌時間序列預測結果對比

圖9 不同方法的訓練誤差結果(PM2.5)

圖10 不同方法的訓練誤差結果(PM2.5)

表3 實際PM2.5濃度時間序列預測結果對比

上述圖表展示了不同儲備池規模下，ESN、SWESN、Ridge-SWESN、Lasso-SWESN、SCAD-SWESN和MCP-SWESN六種預測方法對Lorenz混沌時間序列、Mackey-Glass混沌時間序列和實際PM2.5濃度時間序列進行預測的訓練NRMSE和測試NRMSE情況。MCP-SWESN方法在對上述三種時間序列進行預測時測試NRMSE在六種模型中最小，預測精度最高；相比于ESN、SWESN和SCAD-SWESN方法，MCP-SWESN方法的訓練NRMSE和測試NRMSE均較小，說明MCP-SWESN預測方法的非線性擬合能力有了一定的提升；同時，相比于Ridge-SWESN、Lasso-SWESN預測方法，MCP-SWESN方法的訓練NRMSE和測試NRMSE相近，說明MCP-SWESN方法很好的解決了Ridge-SWESN和Lasso-SWESN預測模型出現的過擬合問題。

4 結語

本文提出一種基于MCP正則化SWESN的時間序列預測方法，采用改進的小世界回聲狀態網絡，縮短模型的訓練時間并提高預測精度；采用MCP正則化方法優化改進的小世界回聲狀態網絡的輸出權值，解決常規回歸方法計算權值時出現的過擬合問題，提高預測模型的非線性擬合能力。最后，仿真實現ESN、SWESN、Ridge-SWESN、Lasso-SWESN、SCAD-SWESN和MCP-SWESN六種預測方法對Lorenz混沌時間序列、Mackey-Glass混沌時間序列和北京市某年度的PM2.5濃度時間序列的預測，結果顯示：基于MCP-SWESN的時間序列預測方法具有更強的預測能力。