基于小波降噪和神經網絡的GPS高程時序預測模型

張仕森,孫憲坤,尹 玲,李世璽

(上海工程技術大學 電子電氣工程學院,上海201620)

0 引 言

全球定位系統(GPS)能夠反映出時間與地理位置的變化信息.通過對GPS時序數據進行預測能為環境和災害的監控等各方面工作帶來極大方便. 對得到的預測結果中的異常波動進行分析,可以盡可能在地質災害尚未發生時發出預警,減少人員傷亡和經濟損失.

傳統的時間序列預測方法如帶控項的自回歸模型(CAR)、滑動平均模型(MA)以及自回歸滑動平均模型(ARMA)[1]等都屬于統計學范疇的線性模型,適用于季節性、周期性等特征平穩的線性時間序列預測. 對于非線性、非平穩的GPS時間序列,由于線性模型不能全面反映時間序列的復雜變化特征,導致傳統的線性模型難以適用于這一類問題的預測[2]. 文獻[3]將自回歸求和滑動平均模型(ARIMA)用于對非線性的GPS時序進行建模預測,ARIMA模型是將非線性序列轉化為線性序列的一種預測方法．雖然ARIMA模型的預測效果相對于傳統方法較好,但是它計算復雜、運算量大,并且需要大量先驗知識的儲備.

人工神經網絡(ANN)作為一種非線性的數據預測方法,具有良好的自適應能力,不需要先驗知識的積累,因此更適合于實際工作中非線性時間序列的預測[4]. 文獻[5]運用反向(BP)神經網絡,采用Levenberg-Marquardt算法進行訓練,對電力負荷數據進行了預測研究. 但是該預測方法受到BP神經網絡結構簡單和學習泛化能力較差的影響,難以達到很高的預測精度. 文獻[6]的研究表明循環神經網絡(RNNs)作為一種包含循環結構的ANN,能夠結合時間序列過去時刻的信息,預測效果相對于結構簡單的BP神經網絡更好,但是在實際應用中存在著“梯度消亡問題”,導致訓練速度慢、耗時長. 文獻[7]提出的長短期記憶(LSTM)神經網絡則是一種特殊的RNNs,能夠學習時序數據之間的長期依賴關系,解決了RNNs中出現的梯度消亡問題[8],對于處理時間序列相關的問題有很好的效果.

由于測量誤差、人為操作等原因, 實際獲得的GPS時序數據含有一定噪聲,噪聲會弱化時間序列數據之間的相關性從而影響預測結果. 單一的神經網絡模型無法處理噪聲問題,將神經網絡與去噪算法結合變得越來越重要. 平滑去噪處理法容易導致信號失真、傅里葉變換濾噪法計算量大并且在有用信號和噪聲頻譜重疊部分去噪效果不好、卡爾曼濾波法則需要準確的系統運動規律、維納濾波法僅適用于處理平穩信號,而小波變換因其具有多分辨率、低熵性、去相關性等特點,在分析處理非線性信號方面具有明顯優勢[9-10]. 在基于小波變換的去噪算法中,模極大值去噪法對小波分解尺度的選取要求很高,容易產生偽極值點或丟失某些局部奇異性;相關性去噪算法在信號邊界去噪效果穩定,但其需要估計噪聲的方差,計算量較大. 文獻[11]證明小波閾值去噪算法適用于信號中含有白噪聲的情況,能夠很好地保留原始信號的重要特征,并且計算速度較快. 上述小波變換方法在信號去噪時通常采用Mallat[12]算法,這種方法計算復雜、對內存占用高,在自身構造和對信號進行時頻轉換時需要耗費大量的系統資源. 文獻[13]用提升小波變換對多普勒雷達信號實現了去噪處理,取得了良好的效果. 提升小波變換被稱為第二代小波變換,相對于傳統小波變換依賴于復雜卷積計算,提升小波變換的算法更加簡潔、計算速度快、內存占用低、實現簡單,并且繼承了小波變換的多分辨率特性[14].

參考上述文獻,綜合考慮到GPS時序數據的自身特性和各種小波變換方法的計算速度、資源占用等因素,本文將提升小波閾值降噪技術與LSTM神經網絡相結合,以時序數據自身為訓練數據和輸出標簽,充分利用降噪后數據之間的相關性,通過迭代訓練的方式,建立GPS高程時序數據單步預測模型. 實驗結果表明該模型減少了原始數據中噪聲對于預測結果的負面影響,提高了預測精度,并且該方法計算速度快、資源占用較少.

1 提升小波平滑閾值降噪算法

1.1 提升小波變換

為了增強時序數據之間的相關性,本文利用提升小波閾值降噪算法對原始數據中含有的噪聲進行剝離.提升小波變換是由Sweldens提出的一種小波變換的簡化計算方法,由于它的分解與重構部分結構相同,因此可以降低運算復雜度,減少系統資源占用,快速實現小波變換[15].

提升小波變換對信號的分解包括分裂(split)、預測(predict)、更新(update)三個過程.

提升小波首先將原始信號Sj按序號奇偶分為倆部分:偶數序列ej-1與奇數序列oj-1. 由于信號之間具有局部相關性,這樣某一點的信號值可以通過與其相鄰的信號值和適當的預測算子計算出來,同時計算出來的誤差就是高頻系數dj-1,這個計算過程稱為預測環節. 預測環節得到的高頻系數再通過更新算子U來調節信號的下采樣過程獲得低頻系數sj-1,這個過程則是更新環節. 通過預測環節與更新環節可以得到信號的高頻部分和低頻部分.

1.2 閾值的選取規則

人們的研究發現,在小波域中,有效信號和噪聲具有不同的特性,噪聲的能量一般集中于高頻部分[16],因此小波降噪的核心內容是對信號的高頻部分進行過濾,以達到信噪分離的目的.

提升小波閾值降噪的具體處理過程為對原始信號進行提升小波變換分解,得到信號高頻部分和低頻部分后,通過設定閾值的方式對高頻部分進行非線性閾值處理.

本文采用的是Donoho提出的全局閾值法[17],其定義為

(1)

式中:thr為閾值;N為每層小波高頻系數序列的長度值;median(·)為求中值函數;σ為噪聲估計的標準差.

常用的閾值函數分為硬閾值函數和軟閾值函數[18]. 硬、軟閾值函數的表達式為式(2)、(3),函數曲線如圖1(a)、(b)所示.

(2)

(3)

(a)硬閾值函數特性圖 (b)軟閾值函數特性圖

(c)平滑型閾值函數特性圖圖1 不同閾值函數的特性圖

1.3 平滑形閾值函數

由于硬閾值函數在小波域內不連續,會在(±thr)閾值處產生間斷,從而會導致重構后的信號出現偽吉布斯現象. 軟閾值函數則在小波域的連續性較好,但在閾值處理過的系數與原系數之間總是存在一個偏差值,造成部分高頻系數損失,從而導致重構后的信號存在一定誤差.

平滑型閾值函數是針對軟閾值函數的一種改進,在軟閾值函數的基礎上對閾值點處建立一個平滑過渡區,減少了高頻系數的損失,使得閾值處理后的信號更加符合信號的自然連續性. 平滑型閾值函數的表達式為式(4), 函數曲線如圖1(c)所示.

(4)

式中:thr為閾值;k為提升小波對信號的分解層數.

提升小波閾值降噪的過程如圖2所示.

圖2 提升小波閾值降噪的過程

2 GPS高程時序預測模型建立

2.1 GPS坐標時間序列分析

高精度 GPS坐標時間序列是將臺站的連續觀測數據經過解算后得到的位置信息序列. 近幾十年來,國際上已建立了很多GPS臺站和網絡. 我國的國家大型科學工程重大項目“中國地殼運動觀測網絡”包括多個分布在中國大陸上的 GPS 連續觀測基準臺站,如圖3所示,具有很好的穩定性,成為中國形變監測的基準框架.

圖3 中國地殼運動觀測網絡臺站分布

國內GPS坐標時間序列運動主要表現為板塊水平方向運動和板塊高程方向運動. 符養[19]通過對GPS時間序列進行計算分析,獲得了全球高程時間序列的振蕩特性;張鵬研究了中國地殼運動觀測網絡基準站的坐標位置變化規律,發現位于中國境內的GPS時間序列在高程方向分量的周期性最為明顯[20]. 因此,研究GPS高程方向時間序列更加有利于分析大陸板塊運動規律,以及對地質災害的預測.

GPS時間序列中若包含了非長期趨勢項、階躍項、噪聲項以及季節項,那么GPS時間序列就會表現出顯著的非線性變化,傳統的線性模型則難以適用于這一類問題的預測.

本文使用LSTM對時間序列具有強辨別力和學習能力,通過學習相關數據之間復雜的非線性關系,克服了BP神經網絡較差的學習泛化能力的影響以及RNNs的梯度消亡問題,對于處理非線性時間序列有很好的效果. 與傳統方法相比,LSTM神經網絡更加靈活,不依賴于輸入數據的特性且大多不需要先驗知識的儲備.

2.2 RNNs

2.2.1 RNNs原理

RNNs是一種包含循環結構的神經網絡. 相對于全連接神經網絡和卷積神經網絡(CNN), RNNs的各個隱藏層之間不再是相互獨立的,循環結構可以將當前時刻隱藏層的狀態傳遞到下一時刻的隱藏層[21].

圖4 RNNs隱藏層單元展開圖

如圖4所示,RNNs隱藏層的輸入不僅包括輸入層的輸出,還包括上一時刻隱藏層的輸出. 其中X為RNNs的輸入,h為RNNs的輸出,Ct為隱藏層的狀態.U、V、W分別是輸入到隱藏層、隱藏層到輸出、隱藏層到隱藏層的權重. 在RNNs中,每一層的參數U、V、W都是共享的,這樣的訓練方式降低了神經網絡需要學習的參數,縮短了訓練時間.

2.2.2 RNNs的缺陷

在實際應用中, RNNs存在這樣一個問題:若RNNs需要的幾個信息在時間序列上相隔較遠,那么較遠的信息對輸出的影響要么衰減得很小,要么呈指數爆炸增長,這個問題通常被稱為“梯度消亡問題”[8].

2.3 LSTM神經網絡

2.3.1 LSTM原理

LSTM是一種特殊的RNNs,具有和RNNs相似的單元結構,但是它不再只是用一個單一隱藏層的狀態Ct,而是增加了三個相互作用的門結構,分別是遺忘門、輸入門和輸出門,如圖5所示.

圖5 LSTM的單元結構

2.3.2 遺忘門

遺忘門會根據當前時刻的輸入Xt和上一時刻的輸出ht-1來計算一個0-1之間的值ft作為上一時刻信息通過的比重,其中0表示全部舍棄,1表示全部保留:

ft=σ(Wf·[ht-1,xt]+bf) ,

(5)

2.3.3 輸入門

輸入門則會根據當前時刻的輸入Xt和上一時刻的輸出ht-1來決定LSTM神經網絡獲得哪些新信息:

it=σ(Wi·[ht-1,xt]+bi) ,

(6)

(7)

更新后的隱藏層狀態Ct為

(8)

2.3.4 輸出門

輸出門會根據上一時刻的輸出ht-1、當前時刻的輸入Xt以及當前時刻的隱藏層狀態Ct共同得出當前時刻神經網絡的輸出ht.

(9)

根據上述公式進行前向計算得到神經網絡的輸出后,利用時間反向傳播(BPTT)算法進行迭代訓練,最終獲得神經網絡所需要的權重參數.

2.4 基于LSTM神經網絡的GPS時序預測模型

由于測量誤差、人為操作等原因,在實際工作中獲得的GPS時間序列含有一定噪聲,這些噪聲會干擾數據預測的結果,造成不必要的誤差.

因此本文在訓練前先對GPS時序數據進行了閾值降噪處理,然后將降噪后的時序數據輸入LSTM神經網絡使用，迭代訓練的方法進行單步預測,并得到預測結果. GPS時序預測模型流程如圖6所示.

圖6 GPS時序預測模型流程圖

3 實驗結果與比較

3.1 評價指標

本文采用平均百分比誤差(MAPE)和均方根誤差(RMSE)作為評價預測結果好壞的兩個指標:

MAPE=

(10)

RMSE=

(11)

式中:observedt為第t天的真實值;predictedt為第t天的預測值;n為預測總天數. 平均百分比誤差和均方根誤差越小,代表模型預測的結果越好.

3.2 實驗結果與比較

本文程序運行環境:Windows 10 64位操作系統,Tensorflow1.4;CPU Intel Core i7 2.80 GHz, RAM 8.00 GB. 按照前人研究經驗,將LSTM神經網絡訓練參數設置為:Learning-rate、batch-size和time-step分別為0.0008、60和10.

實驗數據采用中國地震局 GNSS 數據產品服務平臺下載的GAMIT解算的IGS基準站SHAO的2007年9月29日到2014年4月18日的站心坐標系高程數據. 其中以2007年9月29日到2014年2月17日的數據作為訓練數據,以2014年2月18日至2014年4月18日的數據作為測試數據.

降噪前后的GPS時序數據如圖7(a)、7(b)、7(c)、7(d)所示. 圖7(a)示出的是未經過降噪處理的原始GPS高程時序數據,由圖可以看出,原始數據的曲線形態較差,含有大量毛刺、波動較大. 7(b)示出了經過經驗模式分解降噪后的GPS高程時序曲線.圖7(c),(d)則是分別使用軟閾值函數和平滑閾值函數對GPS高程時序數據進行降噪處理后的時序曲線.與原始數據相比,經過處理后的時序曲線更加圓滑,毛刺大量減少并且波動范圍更小.

(a)原始GPS時序數據

(b)經驗模式分解(EMD)降噪后的GPS時序數據

(c)提升小波軟閾值函數降噪后的GPS時序數據

(d)提升小波平滑閾值函數降噪后的GPS時序數據圖7 GPS時序數據降噪效果圖

圖8為LSTM神經網絡訓練誤差下降曲線圖,以同樣訓練1000輪為例,可以看出時序數據采用EMD降噪法或提升小波降噪法后訓練的收斂速度均快于原始數據,并且在500輪左右基本完成收斂.

圖8 LSTM神經網絡訓練誤差下降曲線

經過提升小波降噪后的GPS時序數據在最終1000輪完成后的訓練誤差小于原始GPS時序數據和EMD降噪后時序數據的訓練誤差,可見當訓練數據的相關性增強后,LSTM神經網絡的學習效率也隨之提高.

圖9為原始的GPS高程時序數據通過ARIMA模型進行建模預測得到的預測數據(點線)與原始數據(直線)的曲線圖.

圖9 ARIMA模型未降噪數據預測圖

圖10示出的是原始GPS高程時序數據未經任何降噪處理直接送入雙層LSTM神經網絡進行建模訓練得到的預測結果.

圖10 LSTM神經網絡未降噪數據預測圖

圖11所示的是GPS高程時序數據經過軟閾值函數，將小于閾值的數值置零,大于閾值的數值保留，得到的時序數據曲線.圖12則是GPS高程時序數據經過平滑閾值函數降噪后得到的時序數據曲線圖,再將上述兩種降噪方法得到的時序數據分別送入雙層LSTM神經網絡進行建模預測,得到的預測結果圖.

圖11 軟閾值函數降噪的LSTM神經網絡模型數據預測圖

圖12 平滑閾值函數降噪的LSTM神經網絡模型數據預測圖

對比不同方法實驗的結果如圖13和表1所示:

圖13 不同方法對比圖

模型MAPE%RMSEARIMA模型(時序數據未降噪)9.150.00482單一LSTM神經網絡模型(時序數據未降噪)8.830.00435軟閾值降噪+LSTM神經網絡模型2.070.00074平滑閾值降噪+LSTM神經網絡模型1.660.00070

為驗證所提出的高程GPS時序預測模型的適用性,將臨滄(YNLC)臺站2010-2016年測得的高程GPS時序數據用于訓練本文提出的神經網絡預測模型,其模型參數設置完全相同. 以2017年7月9日至2017年9月8日的高程時序數據做測試,GPS高程時序預測模型得到的預測結果如圖14(a),(b),(c)所示.其中圖14(a)示出的是YNLC的高程時序數據未經過任何降噪處理而得到的預測結果,圖14(b)則示出了將YNLC站高程時序數據通過平滑閾值降噪處理后再通過預測模型得到的預測效果. 圖14(c)則將原始數據與兩種預測方法得到的預測數據共同展示,從圖中可以看出,經過降噪處理得到的預測曲線更加圓滑及貼合原始高程時序數據的走勢.

(a)時序數據未降噪處理

(b)時序數據經過降噪處理

(c)效果對比圖圖14 YNLC站不同方法對比圖

預測結果的好壞需參考預測結果的評價指標值和得到的預測序列的曲線形態. 對比分析圖9～13以及表1可以看出,對未降噪數據進行預測的ARIMA模型與單一LSTM神經網絡模型,其預測結果的MAPE相近,分別為9.15%和8.83%. 同時兩種方法的RMSE也十分接近,分別為0.004 82與0.004 35. 其中ARIMA模型建模復雜,運算量大,且需要大量先驗知識的積累,而LSTM神經網絡則具有良好的自適應性,建模訓練簡單、資源占用較少. 提升小波軟閾值降噪技術或平滑閾值降噪技術分別與LSTM神經網絡相結合后,得到預測結果的平均百分比誤差以及均方根誤差均小于時序數據沒有經過降噪處理的單一神經網絡預測模型,表明噪聲是影響預測結果準確度的一個因素. 其中基于提升小波平滑閾值降噪技術的LSTM神經網絡預測模型的兩個評價指標分別為1.66%和0.000 70,均小于傳統軟閾值函數降噪的方法,并結合圖14(a),(b),(c),證明該模型在使用效果上具有更好的準確性與適用性.

4 結束語

本文利用LSTM神經網絡對GPS高程時序數據進行預測,并借助提升小波閾值降噪技術對原始時序數據中的噪聲進行剝離,解決了由于噪聲弱化了數據間的相關性而影響預測結果的問題. 實驗結果表明,本文提出的基于提升小波平滑閾值降噪技術和神經網絡的GPS高程時序預測模型結果的平均百分比誤差和均方根誤差分別為1.66%和0.000 7,均小于ARIMA模型、單一LSTM神經網絡模型以及基于軟閾值函數降噪的神經網絡模型的預測結果MAPE和RMSE,這表明本文模型對預測結果的準確度較高. 預測時通過當天的數值預測出下一天的數值,使得預測模型不需要保存之前大量的運算數據,大大降低了因為保存數據帶來的額外花銷,減少了對系統資源的占用,具有良好的適用性.