基于GRU網絡的氣象要素預測算法

王怡婷，陳 曦，鞠興旺，陳北京，2

(1. 南京信息工程大學計算機與軟件學院，江蘇 南京 210044；2. 南京信息工程大學江蘇省大氣環境與裝備技術協同創新中心，江蘇 南京 210044 )

1 引言

氣象要素指某地區特定時刻下的大氣物理指標和天氣現象。氣象要素變化與人們的經濟活動息息相關，因此氣象要素預測可對極端天氣預警、軍事分析和期貨投資等提供很好的指導作用，從而幫助各部門根據天氣變化提前進行統籌安排[1]。比如，在極端天氣災害預警中，氣象要素預測可以為人員提前撤離和財產保護提供幫助，減少相關人員的傷亡和財產損失。

國內外學者最早采用模式預測法對氣象要素進行預測，即利用天氣學、動力學等氣象理論，在初始條件和邊界條件下探究相應要素的變化規律。曾慶存[2]早在1963年就從大氣流體力學的角度對線性和非線性系統預測方程進行了思考，還原其物理過程。Marchuk等[3]首先介紹并總結了一些短期天氣預測的算法，然后提出改進算法以提高預測精度，在正壓模式中使用平衡方程，在斜壓模式中采用準地轉近似算法。不過，這類模型的搭建普遍需要運用大量的假設，存在許多限制，與實際情況具有一定差異。因此，有學者引入了基于統計的算法。這類算法通過統計某一現象在過去一段時間內特殊情況下出現的頻率，推測未來一段時間內相似環境下這種現象出現的概率。比如張晨陽等[4]使用改進的貝葉斯算法對氣象數據進行處理。蔡舒平[5]等探討了基于Fisher算法的短期負荷預測，很好的利用了氣象因素的累積效應。但是，此類算法會出現一些由統計本身帶來的誤差，使預測精度受到一定影響。

隨著相關觀測設施不斷升級，觀測所得數據呈幾何級數增長[6]。巨大的數據量導致傳統的算法已無法滿足人們對于氣象要素預測實時性越來越高的要求。因此，一些基于機器學習的算法隨之出現。Kwong等[7]使用人工神經網絡進行風力預測。黃豪南等[8]結合季節性差分自回歸滑動平均(SARIMA)模型和BP神經網絡對氣要素進行預測。任才溶等[9]首先利用K-Means算法對原始氣象數據聚類，然后利用欠采樣方法對數據進行平衡采樣，最后利用隨機森林構建PM2.5濃度等級預測模型。Gao等[10]在臺風蹤跡的臨近預測中，通過使用長短期記憶網絡(LSTM)與主觀經驗法以及區域數值模擬法進行對比，發現在24h間隔時LSTM的預測誤差低于后兩者。不過，現有基于機器學習的氣象要素預測研究主要是由單一要素的歷史數據預測其未來時刻。而各氣象要素之間是有相關性的，并且這些相關性對預測是有幫助的。當然，各氣象要素之間的相關性難以用單個方程擬合出來。

因此，本文將多項氣象要素輸入到深度網絡中相互作用。從兩方面解決現有工作存在的問題：①能夠處理大量的氣象數據，同時減小了氣象要素大數據在統計計算過程中不可避免的誤差；②將各要素之間較為復雜的非線性變化關系交由深度網絡結構來處理，通過帶標簽的監督學習過程將多項氣象要素輸入結果進行輸出。具體來說，本文提出了一種基于控循環單元(GRU)網絡的氣象要素預測模型，輸入8項相關的氣象要素，輸出基本表征大氣狀態的3項要素(氣溫、濕度和氣壓)的預測結果。GRU網絡是LSTM網絡的一種簡化變體，在性能相近的同時對數據的處理速度較優，而LSTM網絡由于其特殊的記憶門和遺忘門的結構，已在文獻[10]中體現較高的優越性。

2 提出算法

2.1 GRU

在處理時序相關的信息時，卷積神經網絡(CNN)會忽略信息之間的時序信息。為了彌補這樣的缺陷，作為一種由節點定向連接成環的人工神經網絡，循環神經網絡(RNN)利用內部的記憶處理時序信息。不過，在時間間隔不斷增大后，RNN也易于喪失遠處單元的信息，這使得部分重要信息在訓練中逐步減少以及大量無用信息帶來的錯誤逐步累積。為了解決這樣的問題，LSTM、GRU等結構利用門控結構對網絡中的信息進行篩選。LSTM通過輸入門控制是否允許寫入，遺忘門控制記憶單元的值是否需要更新，輸出門控制是否允許輸出。三個門的作用在于讓LSTM能夠記住更久遠處的有效歷史信息，避免梯度的爆炸和消失問題。但由于LSTM的結構較為復雜，Chung等[11]在2014年提出一種新的變形GRU。它在保證與LSTM相當精度的條件下簡化了網絡結構，提高了效率。具體結構如圖1所示。

圖1 GRU網絡結構示意圖

rt=σ(Wr·[ht-1，xt])，

Zt=σ(Wz·[ht-1，xt])，

(1)

2.2 所提算法

由于GRU網絡較LSTM網絡在性能相近的同時對數據的處理速度較優，因此本文基于GRU網絡模型提出了一種氣象要素預測模型。為了學習更深層次的特征以及提高網絡的擬合能力，輸入的氣象數據經過雙GRU處理。具體模型結構如圖2所示。模型對未來表征大氣狀態的氣象要素(氣溫、濕度、壓強)的逐小時變化進行預測。輸入數據序列X={X1，X2，…，Xn}，其中n為選取的與預測相關的氣象要素個數，每個數據Xi由選取的多項相關氣象要素組成。本文選取了8項氣象要素，因此在圖3中使用8種不同顏色表示。這些氣象數據經過雙GRU處理后再通過全連接層FC將所學習到的特征進行線性映射得到預測結果。

圖2 基于GRU的氣象要素預測網絡模型

算法具體步驟如下：

1)以固定的時間間隔在數據集中選取數據序列，每一個數據包含預測相關的8項氣象要素。重復這樣的步驟從原始數據集中提取出訓練數據。

2)將氣象數據以時間序列輸入到GRU網絡中，首先按照式(4)中的前兩個公式，由當前時刻的輸入數據以及其上一時刻的輸出通過重置門和更新門得到當前時刻的狀態值rt和Zt。然后按照式(4)中的后兩個公式，由上一時刻的輸出和重置門的狀態值通過tanh函數激活得到當前時刻的狀態信息候選值，最后由該候選值和更新門的狀態值計算得到當前時刻的輸出。按照此過程得到所有時刻的輸出。

3)將步驟2)所得的所有時刻的輸出作為第二個GRU網絡的輸入，然后進行與步驟2)相同的迭代過程。

4)將步驟3)所得的輸出結果作為全連接層FC的輸入，通過FC層對提取的特征進行線性映射，最終得到3項氣象要素的預測結果。

整個網絡中使用的激活函數均為tanh激活函數，它由Sigmoid函數變形而來，表達式如下

(2)

相比于Sigmoid，tanh函數的輸出以0為中心。而在氣象要素預測應用中一些氣象要素擁有正負極性，比如氣溫，并且tanh函數收斂速度更快，因此選擇使用tanh作為激活函數。

為了更好地訓練網絡，采用均方根誤差(RMSE)來衡量提出模型的損失值。t時刻包含m個氣象要素的預測結果的損失值Lt為

(3)

(4)

3 實驗與分析

3.1 實驗數據及預處理

本文所用實驗數據來源于中國氣象數據網(http：//data.cma.cn)中的2018年南京市基本氣象要素逐小時觀測資料。原始數據共包含24項氣象要素。為了對大氣狀態進行較好的預測分析，依據大氣科學學科經驗選取了與大氣狀態相關性較高的8項氣象要素作為輸入3項氣象要素進行預測輸出。輸入的8項要素包括溫度、濕度、氣壓、水平能見度、兩分鐘平均風速、降水量、總云量和水汽壓。輸出的3項氣象要素為溫度、濕度和氣壓。其中，選取了約5000個小時的數據進行實驗，訓練集與測試集的樣本比例為4：1。不同時間間隔下的訓練集和測試集的樣本數如表1所示。

表1 不同時間間隔下的訓練集與測試集的樣本數

另外，由于一些自然、人為和儀器等因素，選取的氣象數據網上的數據存在數據缺失和異常數據等問題。對于異常的數據，通過觀察某一要素或某幾項要素的波動范圍，若明顯超出正常范圍，這一組數據將被全部剔除出數據集。對于缺失的數據，采用線性插值的算法進行填充，即

(5)

其中，xt是t時刻缺失的值，xt+1是缺失值下一時刻t+1時刻的值，xt-1是缺失值上一時刻t-1時刻的值。

在完善整個數據集后，最后對所有數據進行了歸一化處理。此處采用最大最小法進行歸一化，即，

(6)

其中，x為某項氣象要素的原始值，xmax為其最大值，xmin為其最小值，為歸一化后的值。

3.2 實驗結果對比

為了驗證所提算法的效果，將提出的算法分別與基于CNN、CNN+LSTM、LSTM+LSTM算法進行對比，從而體現采用GRU相對于CNN和LSTM的優勢?；贑NN的算法采用密集卷積網絡(DenseNet)提取特征，而基于CNN+LSTM、LSTM+LSTM算法就是在圖3所示的所提算法中將GRU+GRU組合分別由CNN+LSTM和LSTM+LSTM代替。所有算法的訓練和測試均在如下實驗環境中進行：11GB GeForce GTX 1080 Ti顯卡，3.20 GHz i7-6900K CPU和65GB內存的服務器，Keras和Tensorflow深度學習框架。實驗中對濕度、氣壓和溫度3項要素進行預測，因此下面將分別對每項要素進行對比分析。

對表1所示的3個不同時間間隔的數據集分別進行訓練和測試，測試集的3項氣象要素(濕度、氣壓和溫度)的平均RMSE值如表2所示。從表2可以發現：a) 對于所以對比算法和所有氣象要素，預測誤差均隨時間間隔的增大而增大，這與現實中短期預報較中長期預報更準確相一致；b) 提出的基于GRU+GRU的算法與基于LSTM+LSTM的算法性能相當，基于GRU+GRU的算法在間隔較小時更優，這說明GRU確實是LSTM的有效變體，它保留了LSTM的重要特征，而且速度更快(詳見表3)；c) 上述兩種算法均優于基于CNN的算法以及基于CNN+LSTM的算法，這進一步印證了LSTM與GRU在預測應用中較CNN更有優勢。

表2 不同預測算法對3項氣象要素的預測誤差RMSE值對比

同時，論文中還對比了各算法在相同網絡層數下的訓練時間，如表3所示。這里對比的是時間間隔為3h的情況。從表3中可以發現CNN訓練所需時間最少，這是由于CNN的結構比LSTM以及GRU都更簡單。當然，提出的基于GRU+GRU的算法也快于基于LSTM+LSTM的算法，訓練時間節省近一半。這是因為GRU比LSTM少一個門函數，從而參數量少于LSTM。

表3 時間間隔為3h時各算法訓練所需時間對比

4 結論

本文提出了一種基于雙GRU網絡的多項氣象要素預測算法。該算法利用連續兩個GRU神經網絡對多個相關的氣象要素進行處理，并最終得到多項氣象要素的預測結果。這不僅解決了傳統算法無法有效處理大量氣象數據的不足，而且還彌補了現有基于機器學習算法只是利用單一氣象要素的歷史數據對其自身進行預測的缺陷。通過實驗發現如下一些結論：1) 氣象要素預測精度隨著預測時間間隔的增加而減小；2) 與傳統CNN網絡相比，LSTM和GRU在預測精度效果均顯得更優，且這個優勢隨著預測間隔的增加而愈加明顯；3) 基于GRU的算法在訓練所需時間上也更優。與實際氣象要素預測業務追求的快速高效的需求相一致。