基于在線回聲狀態(tài)網(wǎng)絡的變形數(shù)據(jù)預測分析

單　毅　楊建偉　王新志

1　南京信息工程大學數(shù)學與統(tǒng)計學院，南京市寧六路219號，210044 2　南京信息工程大學遙感學院，南京市寧六路219號，210044

基于在線回聲狀態(tài)網(wǎng)絡的變形數(shù)據(jù)預測分析

單毅1楊建偉1王新志2

1南京信息工程大學數(shù)學與統(tǒng)計學院，南京市寧六路219號，210044 2南京信息工程大學遙感學院，南京市寧六路219號，210044

摘要：結合Kalman濾波與回聲狀態(tài)網(wǎng)絡，將在線回聲狀態(tài)網(wǎng)絡算法應用于變形數(shù)據(jù)預測?；芈暊顟B(tài)網(wǎng)絡的輸出權值通過Kalman濾波訓練，直接對網(wǎng)絡的輸出權值進行在線更新，克服了傳統(tǒng)遞歸網(wǎng)絡需要收集大量樣本后才能進行擬合預測的缺陷，同時也保證了預測精度。實例計算驗證了該方法的有效性。

關鍵詞：在線學習；變形觀測數(shù)據(jù)；回聲狀態(tài)網(wǎng)絡；Kalman濾波

神經(jīng)網(wǎng)絡以其強大的自適應性和聯(lián)想記憶能力，廣泛應用于變形數(shù)據(jù)的建模預測[1-4]?；芈暊顟B(tài)網(wǎng)絡(ESN)是近年來興起的一種非線性映射能力很強的神經(jīng)網(wǎng)絡，其采用求偽逆的訓練方法，可避免基于梯度下降算法的一些缺陷[5-6]。目前包括ESN在內的傳統(tǒng)神經(jīng)網(wǎng)絡大多采用離線學習方式，在大量樣本提交后才會調整網(wǎng)絡參數(shù)。然而變形數(shù)據(jù)在某些情況下不容易觀測得到，導致沒有足夠的觀測值供離線學習[1]，且離線學習需要占用大量的計算資源，不能實時調節(jié)相關參數(shù)[7]。此時，需要一種在線預測方法，在相對節(jié)省存儲空間的前提下，對快時變的變形數(shù)據(jù)作出準確預報。Kalman濾波是一種在線預測算法，但其限制條件苛刻，要求系統(tǒng)模型精確且系統(tǒng)誤差模型和觀測誤差模型已知[8]， 這在實際應用中很難滿足。基于此，韓敏等[7]提出一種在線ESN。本文將這種在線ESN應用于變形數(shù)據(jù)的預測，采用Kalman濾波實時更新ESN的輸出權值。相比基于求逆或者梯度下降的離線訓練方式，該算法訓練效率高，能動態(tài)調整網(wǎng)絡權值，從而提高網(wǎng)絡在線預測性能。對淮南市潘一東礦的地表沉降數(shù)據(jù)進行測試，實驗結果證明了該算法的有效性。

1在線回聲狀態(tài)網(wǎng)絡預測算法

1.1回聲狀態(tài)網(wǎng)絡

ESN是一種新型遞歸網(wǎng)絡[5-6]，包含輸入層、輸出層和儲備池3個部分，各部分通過連接權值連接，其結構如圖1所示。在n時刻向網(wǎng)絡輸入樣本u(n)后，形成如下動態(tài)遞歸系統(tǒng)：

(1)

式中，Win是輸入層與儲備池的連接權值矩陣，W是儲備池內部神經(jīng)元之間的連接權值矩陣，Win和W都在訓練前隨機產(chǎn)生于(-1，1)之間并且之后不再變動。在離線學習的情況下，儲備池與輸出層之間的連接權值Wout需要根據(jù)求偽逆的方法得出[6]，這可能占用大量的存儲空間和計算資源。本文使用在線ESN進行變形數(shù)據(jù)的實時預測。

圖1　回聲狀態(tài)網(wǎng)絡基本結構圖Fig.1　The structure of ESN

1.2基于Kalman濾波法的ESN輸出權值訓練

韓敏等[7]提出用Kalman濾波訓練ESN的在線ESN算法，將ESN的狀態(tài)空間轉化為Kalman濾波的形式，即把輸出權值Wout視為Kalman濾波狀態(tài)值，根據(jù)ESN輸出權值的變化特性，將狀態(tài)轉移矩陣設置為單位矩陣，則狀態(tài)轉移方程為：

(2)

(3)

(4)

(5)

式中，R(k)、Q(k)分別為測量噪聲和過程噪聲的協(xié)方差矩陣，K(k)為Kalman濾波增益，A(k)是對增益矩陣的調整：

(6)

(7)

(8)

綜上,可利用式(2)～(8)在線更新ESN的輸出權值，并計算網(wǎng)絡輸出。

2工程實例分析

2.1工程概況與精度檢驗指標

潘一東礦位于淮南市北部，為掌握采礦期間地表沉降狀況，對采礦區(qū)域地表布設CORS自動化監(jiān)測系統(tǒng)。系統(tǒng)由1個基準站和6個監(jiān)測站組成，采樣間隔為30s，利用3G和無線網(wǎng)橋將數(shù)據(jù)實時傳回數(shù)據(jù)中心。以6號監(jiān)測站1個月數(shù)據(jù)為例進行分析，采用均方誤差(MSE)評判預測模型的精度：

(9)

2.2實驗驗證及分析

在線ESN算法流程見圖2。

圖2　預測模型流程Fig.2　The flow chart of model predicting

創(chuàng)建網(wǎng)絡后，設置輸入層和輸出層神經(jīng)元個數(shù)為1，儲備池神經(jīng)元個數(shù)為600，W(儲備池內部連接權值矩陣)譜半徑小于1。

收集變形監(jiān)測點1個月的原始監(jiān)測數(shù)據(jù)，測量單位為m。在監(jiān)測過程中發(fā)現(xiàn)，數(shù)據(jù)的整數(shù)部分沒有變化，而小數(shù)部分變化劇烈，并呈現(xiàn)很強的非線性特征。從預測精度出發(fā)，將小數(shù)部分的變化作為重點研究對象。監(jiān)測數(shù)據(jù)有x、y(水平)、z(高)3個維度方向，本文僅選z方向數(shù)據(jù)為例。由于該沉降數(shù)據(jù)變化范圍在cm級且非線性特征較強，現(xiàn)有的算法模型很難將全部變形情況精確地預測出來[9-10]。根據(jù)該組數(shù)據(jù)的特點，設定其噪聲誤差服從均值為0、方差為0.001 m的高斯分布[11]，初始誤差方差設定為0.001，狀態(tài)轉移矩陣和觀測矩陣都設定為單位陣。

針對同一天的變形數(shù)據(jù)，分別使用在線ESN(圖3)和Kalman濾波預測(圖4)。從圖3可以看出，由于在線ESN可以依據(jù)數(shù)據(jù)的實時變化作出預測，預測結果不易被異常點(圖中第303個數(shù)據(jù))干擾，較適合于短期預測。在線ESN的預測基本上遵循數(shù)據(jù)的變化情況，雖然在細節(jié)上不完全符合真實的振幅，但變化的方向基本吻合。圖4中，Kalman濾波雖然也預測出了大致的變化趨勢，但是沒有描繪出變化細節(jié)。選用離線BP網(wǎng)絡作為比較對象，使用同一天前600個觀測數(shù)據(jù)作為訓練集，預測后200個數(shù)據(jù)的變化情況，結果見圖5?？梢钥闯?，BP網(wǎng)絡雖然有時預測效果不錯，但存在預測不穩(wěn)定的情形，有時預測曲線的變化甚至與真實數(shù)據(jù)變化情況相反。

圖3　在線ESN預測數(shù)據(jù)與實際數(shù)據(jù)對比Fig.3　Comparison between the predicted data by online-ESN and the actual data

圖4　Kalman濾波預測數(shù)據(jù)與實際數(shù)據(jù)對比Fig.4　Comparison between the predicted data by Kalman fliter and the actual data

圖5　BP網(wǎng)絡預測數(shù)據(jù)與實際數(shù)據(jù)對比Fig.5　Comparison between the predicted data by BP and the actual data

計算3種算法對20 d數(shù)據(jù)的預測均方誤差，結果見表1。從表1看出, 由于對數(shù)據(jù)作了預處理，使得該類型數(shù)據(jù)具有一定的平穩(wěn)性，所以3種算法在預測此類型變形數(shù)據(jù)時效果都較好。然而，BP網(wǎng)絡需要在預測前收集大量數(shù)據(jù)，在靈活性方面較差。在線ESN的預測精度幾乎比Kalman濾波高一倍，且無需事先知道模型的狀態(tài)轉移矩陣和觀測矩陣。

表1　3種算法20 d預測精度比較

3結語

本文將在線ESN用于沉降變形數(shù)據(jù)的預測，并以淮南市潘一東煤礦某月的數(shù)據(jù)進行實驗。結果表明，采用在線ESN更加適合于不確定性很強并且變化范圍有限的變形系統(tǒng)，其不需要記憶很多的訓練樣本，更具靈活性和便易性，預測精度與離線學習的BP網(wǎng)絡相當。

參考文獻

[1]盛守照，王道波，黃向華.限定記憶的前向神經(jīng)網(wǎng)絡在線學習算法研究[J]. 控制與決策，2005, 20(3)：304-307(Sheng Shouzhao，Wang Daobo，Huang Xianghua. Online Learning Algorithm for Feed Forward Neural Networks with Moving Range[J].Control and Decision,2005, 20(3)：304-307)

[2]朱玉，趙卿，梅艷.混沌免疫優(yōu)化RBF網(wǎng)絡在動態(tài)變形預測中的應用[J].大地測量與地球動力學,2012，32(5)：53-57(Zhu Yu，Zhao Qing，Mei Yan. Prediction of Dynamic Deformation Based on Chaotic Immune Optimization Algorithm RBF Nueral Network[J]. Journal of Geodesy and Geodynamics,2012，32(5)：53-57)

[3]潘國榮，谷川.GMDH神經(jīng)網(wǎng)絡算法在變形預測中的應用[J].大地測量與地球動力學，2008，28(3)：55-58(Pan Guorong,Gu Chuan. GMDH NN Algorithm and Its Application in Deformation Forecasting[J].Journal of Geodesy and Geodynamics,2008，28(3):55-58)

[4]彭祥國, 王堅, 孫麗紅. BP網(wǎng)絡最佳維數(shù)建模法在變形時序預測中的應用[J]. 大地測量與地球動力學, 2009, 29(6):113-117(Peng Xiangguo，Wang Jian,Sun Lihong. Application of Optimal Dimension Modeling for BP Network in Pridiction of Time Series of Derormation[J].Journal of Geodesy and Geodynamics， 2009， 29(6)：113-117)

[5]Jaeger H. The Echo State Approach to Analysing and Training Recurrent Neural Network[R].Fraunhofer，2001

[6]Jaeger H. Short Term Memory in Echo State Network[R]. Fraunhofer，2002

[7]韓敏，王亞楠. 基于Kalman 濾波的儲備池多元時間序列在線預報器[J].自動化學報,2010, 36(1)：169-173(Han Min，Wang Ya’nan. Multivariate Time Series Online Predictor with Kalman Filter Trained Reservoir[J].Acta Automatica Sinica,2010, 36(1)：169-173)

[8]符拯，王書滿，劉丙杰.自適應卡爾曼濾波的最新進展[J].戰(zhàn)術導彈技術,2009(6)：62-66(Fu Zheng，Wang Shuman，Liu Bingjie. An Overview of the Development of Adaptive Kalman Filtering[J]. Tactical Missile Technology，2009(6)：62-66)

[9]涂克楠，高飛，黃芳偉.時間序列預測法在大壩變形監(jiān)測數(shù)據(jù)處理中的應用[J].水科學與工程技術,2008(3)：65-67(Tu Ke’nan, Gao Fei, Huang Fangwei. The Application Time Series Forecasting Method in Data Processing of Dam Deformation Monitoring[J].Water sciences and Engineering Technology,2008(3)：65-67)

[10]張勇，田林亞，馬丙浩，等.卡爾曼濾波在GPS 精密單點定位中的應用研究[J].測繪通報,2013(7)：8-11(Zhang Yong,Tian Linya,Ma Binghao,et al.Research on the Application of Kalman Filtering in GPS Precise Point Positioning[J].Bulletin of Surveying and Mapping,2013(7)：8-11)

[11]王新志，陳偉，祝明坤. 樣本數(shù)據(jù)歸一化方式對基于神經(jīng)網(wǎng)絡的GPS高程轉換的影響[J].測繪科學,2013, 38(6):162-165(Wang Xinzhi,Chen Wei,Zhu Mingkun. Influence of Sample Data Normalization Ways on GPS Elevation Transforming Based on Neural Network[J]. Geomatics Science, 2013，38(6)：162-165)

Foundation support:National Natural Science Foundation of China, No.61572015.

About the first author:SHAN Yi, postgraduate, majors in pattern recognition and neural network, E-mail：15556530753@163.com.

Analysis and Prediction of Deformation Data Based on Online Echo State Network

SHANYi1YANGJianwei1WANGXinzhi2

1School of Mathematics and Statistics，Nanjing University of Information Science and Technology，219 Ningliu Road, Nanjing 210044, China 2School of Remote Sensing， Nanjing University of Information Science and Technology，219 Ningliu Road, Nanjing 210044, China

Abstract:A new kind of on-line predictor is constructed by combining Kalman filtering with the echo state network. The method of Kalman filtering is applied to the echo state network output weights training, directly on-line updating the network output weights, overcoming the defects in traditional recurrent neural network(RNN) which is needed to collect a large number of samples.The examples demonstrate the effectiveness of the proposed method.

Key words:on-line learning; observation of deformation data; echo state network; Kalman filtering

收稿日期：2015-06-25

第一作者簡介：單毅，碩士生，主要研究方向為模式識別與神經(jīng)網(wǎng)絡，E-mail：15556530753@163.com。

DOI：10.14075/j.jgg.2016.07.013

文章編號：1671-5942(2016)07-0617-03

中圖分類號：P258

文獻標識碼：A

項目來源：國家自然科學基金(61572015)。