基于Keras平臺的LSTM模型的對流層延遲預測

時瑤佳,吳飛,朱海,韓學法

(上海工程技術(shù)大學 電子電氣工程學院,上海 201620)

0 引 言

地球大氣的最低部分是對流層．它含大約80%的大氣質(zhì)量和99%的氣溶膠和水蒸氣．17 km是對流層在中緯地區(qū)的普遍深度．它在熱帶地區(qū)較深,最高可達20 km,在極地地區(qū)較淺[1]．除了各種氣體物質(zhì)存在于對流層中,還有水珠、水汽凝華生成的固態(tài)水合物、巖石與金屬顆粒等雜質(zhì),這些非色散介質(zhì)會影響電磁波的傳輸[2]．近年來,隨著中國北斗衛(wèi)星導航系統(tǒng)(BDS)的快速發(fā)展,對空間的進一步探索已成為當代科學領(lǐng)域的研究熱點．對流層會引起衛(wèi)星信號的傳播延遲,電磁波通過對流層時,會發(fā)生傳播路徑的彎曲和速度的變化,最終測距結(jié)果會有誤差．因此,天頂對流層延遲(ZTD)成為全球衛(wèi)星導航系統(tǒng)(GNSS)測量誤差的主要來源[3]．所以,充分認識對流層延遲的變化,對于提高導航定位精度是必要的．

當下,常用的對流層折射誤差改正方法有參數(shù)估算法、差分法、外部改正法、模型改正法[4]．參數(shù)估算法會造成待求參量變多,延長了模糊度收斂時間．外部校正法,即GNSS 信號的對流層延遲經(jīng)由輔助設(shè)備如水汽輻射計、激光雷達等校正以獲取精度較高的數(shù)據(jù)，因為設(shè)備比較貴重,實際狀況下很少使用．但差分計算出的對流層延遲殘量也許會使未知數(shù)固定失敗．模型改正法,即通過分析造成包圍地球的空氣的折射率改變的大氣參數(shù),建立適用在某個區(qū)域的對流層延遲模型[5],分成經(jīng)典模型和經(jīng)驗模型．

模型改正法憑借其廉價和方便的優(yōu)點,得到了普遍使用,但傳統(tǒng)的ZTD模型已很難滿足現(xiàn)今高精度定位的需求．機器學習的快速發(fā)展使其在時間序列分析領(lǐng)域中發(fā)揮著越來越重要的作用,關(guān)于對流層延遲預測的機器學習方法也逐漸發(fā)展．陳陽等[6]利用反向傳播(BP)神經(jīng)網(wǎng)絡(luò)誤差補償技術(shù),在Hopfield模型基礎(chǔ)上建立了一個適于北半球的融合模型． 呂慧珠等[7]對ZTD的頻譜結(jié)構(gòu)進行研究,構(gòu)造預測模型,該模型的殘差被自回歸(AR)方法校正,預測達到cm級精度．李偉捷等[8]為提高無氣象情況下ZTD預測的精準性,采用一種小波-AR組合模型對IGS中7個測站實現(xiàn)單站ZTD建模預測,均方根誤差(RMSE)達到3 cm．任超等[9]提出一種無實測氣象參數(shù)ZTD預報模型,該模型實現(xiàn)了不同地點和季候下的ZTD估計,精度達cm級．Junping Chen等[10]基于中國地殼運動觀測網(wǎng)(CMONOC) GNSS站點和周邊地區(qū)GNSS站點連續(xù)的ZTD時間序列,建立了上海天文臺對流層延遲擴展模型,為中國及周邊地區(qū)的用戶提供了精度更高的對流層延遲修正,RMSE達3.5 cm．尹為松等[11]采用安徽省10個連續(xù)運行參考站(CORS)的ZTD數(shù)據(jù),建立了一種對流層延遲區(qū)域內(nèi)插法,誤差達mm級．

上述實測氣象參數(shù)的經(jīng)典模型需要大量的輸入?yún)?shù),像氣溫、壓力和水汽壓等[12],然而,獲取這些氣象參數(shù)對大多數(shù)使用者來說難度較大,這大大限制了他們使用的便捷性．上述無需實測氣象參數(shù)的經(jīng)驗模型會受天氣變化的影響,穩(wěn)定性較差;存在模型參數(shù)不統(tǒng)一,參考性較差;精度較低等缺點[13]．因此,本文提出了一種基于長短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)的ZTD預測模型．該方法利用LSTM能有效捕捉長期的時變信息的優(yōu)勢,只需使用單個測站前期的ZTD時間序列作為輸入,預測未來的ZTD數(shù)據(jù),這一特點在接收機測試環(huán)境下優(yōu)勢更為明顯,可行性強,穩(wěn)定性高,預測精度基本達到mm級,可滿足用戶的需求．

1 Keras框架簡介及LSTM理論方法

1.1 Keras框架

Keras是一個用Python編寫的高層神經(jīng)網(wǎng)絡(luò)應用程序編程接口(API),它能夠以TensorFlow,CNTK或者Theano作為后端運行[14]．迅速把用戶的思路轉(zhuǎn)換為實驗結(jié)果是Keras的研發(fā)重心,Keras是做好科研的關(guān)鍵[15]．

Keras的優(yōu)勢是:

1) 對使用者友好:Keras這個API是因人而生的,其考慮的第一要義是使用者的運用感受,它的簡便性降低了人們在理解時候的難度,減少了普通應用下使用者的任務量．同時,明確且有實踐價值的問題也被提出．

2) 模塊化:模型可解釋成由獨立的、可自由設(shè)置的模塊構(gòu)成的序列或運算圖．如神經(jīng)網(wǎng)絡(luò)層、損失函數(shù)、優(yōu)化器、激活函數(shù)模塊,可以根據(jù)詳細需求把它們組合起來構(gòu)建新模型．

3) 易擴展性:由于現(xiàn)有的模塊已經(jīng)提供了充沛的示例,新模塊易仿照其編寫新的類,創(chuàng)建新的函數(shù),這種便捷性使Keras在高級鉆研中更有優(yōu)勢．

4) 與Python合作:Keras無獨立的配置文件, 由Python簡潔的代碼描繪其模型,調(diào)試方便,拓展起來很高效便捷．

1.2 LSTM理論方法

LSTM是循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一個改進[16]．LSTM由一組稱之為記憶塊的循環(huán)子網(wǎng)構(gòu)成,每個記憶塊包含一個或多個自連接的記憶細胞及三個乘法控制單元——輸入、輸出和遺忘門,提供著類似讀、寫、重置的功能[17]．從網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計角度來說,LSTM對標準RNN的改進主要體現(xiàn)在通過門控制器增加了對不同時刻記憶的權(quán)重控制,以及加入跨層連接削弱了梯度消失問題的影響[18]．

LSTM記憶塊結(jié)構(gòu)示意圖如圖1所示．符號?代表兩個向量的加法運算,符號?代表兩個向量的點乘運算,σ為sigmoid激活函數(shù),tanh為雙曲正切激活函數(shù)．

圖1 LSTM記憶塊結(jié)構(gòu)示意圖

LSTM通過門控制器增加了對不同時刻記憶的權(quán)重控制,記憶塊數(shù)據(jù)更新的過程如下:

1) 經(jīng)由遺忘門的sigmoid單元來決定細胞狀況需要拋棄的信息．

ft=σ(Wf·[ht-1,xt]+bf).

(1)

式中:ft為遺忘門輸出;Wf,bf分別為遺忘門的權(quán)重矩陣和偏移向量;σ為sigmoid激活函數(shù),σ∈(0,1);ht-1為上一個細胞的輸出;xt為當前細胞的輸入．

it=σ(Wi·[ht-1,xt]+bi).

(2)

(3)

(4)

式中，Ct-1、Ct分別為上一時刻和當前時刻的細胞信息．

4) 狀態(tài)輸出,分為兩個步驟．起初,輸出門的sigmoid層經(jīng)由ht-1和xt,細胞狀態(tài)的輸出部分被選定．下一步是,tanh層通過了更新的細胞狀態(tài)Ct,得到一個向量,值為-1～1．最后一步是sigmoid層的輸出與該向量相乘獲取整個單元的輸出ht．

ot=σ(Wo[ht-1,xt]+bo).

(5)

ht=ot×tanh(Ct).

(6)

式中:ot為輸出門輸出;Wo、bo分別為輸出門的權(quán)重矩陣和偏移向量．

2 ZTD預測模型的構(gòu)建

LSTM的網(wǎng)絡(luò)結(jié)構(gòu)即預測過程如圖2所示,整個LSTM網(wǎng)絡(luò)由若干個記憶塊組成,上一時刻的細胞信息和整個記憶塊的輸出會傳入下一個記憶塊中以進行數(shù)據(jù)更新,其中LSTMt為t時刻的記憶塊．LSTM的網(wǎng)絡(luò)結(jié)構(gòu)由L確定,L為神經(jīng)網(wǎng)絡(luò)的窗口長度,該參數(shù)表示利用時間長度為L的歷史數(shù)據(jù)輸入網(wǎng)絡(luò)以預測下一時刻的數(shù)據(jù)．

圖2 LSTM網(wǎng)絡(luò)結(jié)構(gòu)示意圖

2.1 站點數(shù)據(jù)源

本文使用的對流層延遲數(shù)據(jù)來源于國際GNSS服務(IGS)提供的高精度ZTD產(chǎn)品,數(shù)據(jù)間隔為5 min[19],選取了全球均勻分布的8個測站作為實驗測站,分別是scor,mars,aruc,ykro,riop,alic,falk,syog測站,提取其1 h間隔的ZTD數(shù)據(jù),數(shù)據(jù)的時間范圍是2016年第90—136年積日．各站點的經(jīng)緯度及海拔如表1所示,測站分布如圖3所見,其中紅色點代表8個實驗站點的所在位置．

表1 8個實驗測站的經(jīng)緯度及海拔

圖3 測站分布圖

2.2 LSTM模型的構(gòu)建

用Keras建立模型一般包括數(shù)據(jù)預處理、定義模型、訓練模型、評估模型準確率和進行預測這幾個階段．

設(shè)對流層延遲時間序列為x={xt},t=1,2,3,…,n,其中,xt為t時刻的對流層延遲．給定神經(jīng)網(wǎng)絡(luò)的窗口長度L,該參數(shù)表示使用時間長度為L的歷史對流層延遲xt,xt+1,…，xt+L-1序列來預測下一時刻的對流層延遲pt+L[20]．對ZTD進行訓練和預測過程具體如下:

步驟1:網(wǎng)絡(luò)初始化．

設(shè)定窗口長度L為3,特征數(shù)量amount-of-features為1,dropout系數(shù)為0.05,批訓練數(shù)量batch-size為16,總迭代次數(shù)epoch設(shè)為100．

步驟2:數(shù)據(jù)歸一化．

由于數(shù)據(jù)是每一小時的對流層延遲,即只有一個屬性值,因此不需要歸一化操作．

步驟3:劃分數(shù)據(jù)集．

劃分x為訓練集xtrain={x1,x2,…，xd}和測試集xtest={xd+1,xd+2,…,xn}．根據(jù)L對訓練集劃分子集,結(jié)果為{{xtrain1},{xtrain2},…{xtraint},…,{xtraind-L+1}},其中xtraint={xt,xt+1,…,xt+L-1}．

步驟4:構(gòu)建LSTM網(wǎng)絡(luò)．

本文運用了Keras中最主要的Sequential層次模型,即一層層線性疊加的網(wǎng)絡(luò)架構(gòu),構(gòu)建方式為:model=Sequential()．激活函數(shù)使用relu函數(shù)．使用的損失函數(shù)為均方誤差(MSE),優(yōu)化器為自適應矩估計(Adam)．

步驟5:將網(wǎng)絡(luò)訓練好后,進行迭代預測．

首先,使用訓練子集中的最后一個子集{xtraind-L+1}得到第一個預測值pd+1,將此值與{xtraind-L+1}的后L-1個值合并成新子集{xd-L+2,xd-L+3,…,xd,pd+1},將該子集輸入到網(wǎng)絡(luò)中得到下一個預測值pd+2,以此類推,即可得到所有的預測值{pd+1,pd+2,…,pn}．

3 實驗結(jié)果與精度分析

為了驗證LSTM模型在對流層延遲預測方面的性能及廣泛性,鑒于實驗數(shù)據(jù)完整性準則,本文選取全球均勻分布的,實驗數(shù)據(jù)完整的8個測站．利用IGS提供的其2016年第90～136年積日,共47 d的整點數(shù)據(jù)為樣本數(shù)據(jù),樣本數(shù)據(jù)中前42 d共1 008 h的數(shù)據(jù)作為訓練數(shù)據(jù),后5 d共120 h的數(shù)據(jù)作為測試數(shù)據(jù)．本文采用Python 3.8語言與Keras2.4函數(shù)庫實現(xiàn)建模,建立了8個測站的LSTM對流層延遲預測模型．將LSTM模型與BP神經(jīng)網(wǎng)絡(luò)的預測結(jié)果對比分析,驗證LSTM模型的可靠性．

作為對比的BP網(wǎng)絡(luò)也采用Keras平臺,其與LSTM最大的區(qū)別在于BP是一個全連接網(wǎng)絡(luò),各層神經(jīng)元僅與相鄰層神經(jīng)元之間相互連接,同層的神經(jīng)元之間不連接,具體網(wǎng)絡(luò)連接順序為輸入層、4層隱藏層、輸出層．BP網(wǎng)絡(luò)使用relu為激活函數(shù),采用Adam優(yōu)化函數(shù)實現(xiàn)梯度下降,其余參數(shù)與LSTM基本一致,包括dropout設(shè)為0.05, batch-size設(shè)為16, epoch設(shè)為100等．

本文算法的開發(fā)環(huán)境是Win10操作系統(tǒng)下的TensorFlow4 2.3框架,運行的硬件環(huán)境為英特爾酷睿i7-8750H@2.2 GHz處理器,內(nèi)存是16 GB．

3.1 單個測站預測結(jié)果與分析

本文選取了全球均勻分布的8個測站作為實驗測站,其中ykro,riop,alic處于低緯地區(qū),mars,aruc,falk處于中緯地區(qū),scor,syog處于高緯地區(qū),LSTM模型,BP神經(jīng)網(wǎng)絡(luò)模型的預測結(jié)果如圖4所示．

(a)scor站 (b)mars站

(c)aruc站 (d)ykro站

(e) riop站 (f)alic站

(g)falk站 (h)syog站圖4 各站點在兩種模型下的預測結(jié)果

從圖中可以看出,LSTM模型對對流層延遲的預測比較準確,BP模型預測的結(jié)果與真實值的差距較大,且存在預測效果不穩(wěn)定的情況．總的來說,LSTM模型預測效果在全球均勻分布的8個站點中均優(yōu)于BP模型．其中,北緯地區(qū)的scor,mars,aruc測站的預測效果優(yōu)于ykro測站, 南緯地區(qū)的falk,syog測站的預測效果優(yōu)于riop,alic測站,說明中高緯地區(qū)的LSTM模型預測效果優(yōu)于低緯地區(qū)．

3.2 精度分析

為了驗證LSTM模型對ZTD預測的準確性,選擇了8個實驗測站中的alic測站,利用散點圖直觀地表現(xiàn)出真實值與模型預測值之間的總體關(guān)系趨勢,散點圖如圖5所示．a(chǎn)lic站的LSTM模型預測效果在所有實驗測站中處于較低水平,因此可以大致代表所有實驗測站的散點圖情況．

(a)alic站 (b)alic站圖5 alic站兩種模型ZTD預測結(jié)果散點圖

根據(jù)圖5,對比兩種模型的預測結(jié)果散點分布情況可以看出,LSTM模型的預測值與實際觀測值更加貼切,說明其預測精度更高,決定系數(shù)R2達到了0.725 8,而BP模型的決定系數(shù)R2為0.704 9,比LSTM模型低了約0.02．由此說明,LSTM模型的預測效果優(yōu)于BP模型．

相比于BP模型,LSTM要訓練的參數(shù)增加,如Wf,Wi,Wo,Wc等,因此數(shù)據(jù)關(guān)聯(lián)性和準確度也會增加．另外BP模型在實驗過程中存在一個較為嚴重的問題,由于BP模型的本質(zhì)是梯度下降法,根據(jù)設(shè)置的目標函數(shù)去求取最優(yōu)解,這樣就必然會出現(xiàn)局部鞍點和不收斂的情況,而LSTM則是基于RNN的改良,并且解決了RNN中梯度爆炸和梯度消失的問題,從理論層面是優(yōu)于原始BP模型的．

為進一步驗證LSTM模型的精度,本文使用RMSE、平均絕對誤差(MAE)和平均絕對百分比誤差(MAPE)為精度指標,計算結(jié)果如表2所示,計算公式為:

(7)

(8)

(9)

式中：ot,pt分別為t時刻對流層延遲的觀測值和預測值;n為測試集中數(shù)據(jù)的個數(shù)．

表2 2個模型預測結(jié)果的RMSE,MAE及MAPE對比站

根據(jù)表2,本次實驗LSTM模型在8個測站中的RMSE,MAE,MAPE均比BP模型低,LSTM模型中,有5個站點的RMSE達到mm級,BP模型中,有1個站點的RMSE達到mm級;LSTM模型中,有7個站點的MAE達到mm級,BP模型中,有2個站點的MAE達到mm級;LSTM模型的MAPE均小于0.51%,BP模型的MAPE均小于0.83%,LSTM模型在全球的預測精度明顯高于BP模型．

LSTM模型的預測精度基本達到mm級,適用于對流層延遲的預測,且更適用在中高緯地區(qū)．

4 結(jié)束語

本文通過提取IGS中心提供的全球均勻分布的8個測站2016年第90—131年積日ZTD真值訓練LSTM模型,構(gòu)建了一種無需實測氣象參數(shù)的預測新方法,預測了該8個測站第132—136年積日的ZTD．結(jié)果表明:1)基于LSTM神經(jīng)網(wǎng)絡(luò)的對流層延遲預測模型,其建模方法簡單,易于使用;2) LSTM模型預測結(jié)果的RMSE達到mm級的約占62.5%,BP模型預測結(jié)果的RMSE達到mm級的約占12.5%,LSTM模型的MAE和MAPE均比BP低．LSTM模型在精度和穩(wěn)定性上較BP模型均有顯著提高;3)LSTM模型更適用于中高緯地區(qū)的對流層延遲預測．

論文證明了將LSTM神經(jīng)網(wǎng)絡(luò)應用到定位與導航領(lǐng)域中對流層延遲時間序列預測的可行性．由于本文選取的8個測站(scor,mars,aruc,ykro,riop,alic,falk,syog)經(jīng)緯度,海拔存在較大差異,因此文章所得結(jié)論排除了一定的偶然性．