聯(lián)合MOD11A1和地面氣象站點數(shù)據(jù)的多站點溫度預測深度學習模型

張 軍，吳朋莉，石陸魁，史 進，潘 斌

（1.河北工業(yè)大學 人工智能與數(shù)據(jù)科學學院，天津 300401；2.河北省大數(shù)據(jù)計算重點實驗室（河北工業(yè)大學），天津 300401；3.南開大學 統(tǒng)計與數(shù)據(jù)科學學院，天津 300071）

0 引言

溫度是氣候與生態(tài)研究的重要氣象要素，并且可以評估多種氣象災害［1］。如今，隨著氣象設備的完善，氣象觀測站點數(shù)量逐漸增加，對各個氣象觀測站點間的氣溫資料進行聯(lián)合分析有助于改進溫度預測，但是，如何構建站點間的聯(lián)系是一個巨大的挑戰(zhàn)。

目前，溫度的預測方法主要分為數(shù)值方法和數(shù)據(jù)驅(qū)動方法。數(shù)值方法根據(jù)物理條件和過程，利用數(shù)學模型描述溫度的變化，例如，高峰等［2］利用由北京氣候中心研發(fā)的氣候系統(tǒng)模式BCC-CSM1.1（Beijing Climate Center Climate System Model 1.1）進行溫度預測；數(shù)據(jù)驅(qū)動方法則以海量數(shù)據(jù)為基礎，經(jīng)過訓練生成最終的模型，例如，支持向量算法［3］、隨機森林算法［4-5］、決策樹［6］和不同機器學習結合算法［7-9］已經(jīng)在全球溫度預測中得到廣泛的應用。

最近，基于機器學習和人工智能技術的數(shù)據(jù)驅(qū)動方法在氣象預測方面表現(xiàn)出巨大潛力，尤其是處理時間序列的經(jīng)典網(wǎng)絡——循環(huán)神經(jīng)網(wǎng)絡也已被應用于溫度預測并且預測結果得到了改善。Liu 等［10］分析了多深度海洋溫度變化的時間依賴性，基于歷史觀測數(shù)據(jù)的時間依賴性，進行參數(shù)矩陣融合，提出一種海洋溫度時間序列預測方法；Xiao 等［11］提出長短記憶與自適應提升集成網(wǎng)絡LSTM-AdaBoost（Long Short-Term Memory and AdaBoost），利用自適應提升算法預測能力強、不易過擬合的特點，將它與長短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡結合進行溫度預測；Jia 等［12］構建基于卷積和LSTM 的深度學習預測網(wǎng)絡，以預測下一個觀測日期的地表溫度空間分布；Zhang 等［13］提出一個多層卷積LSTM 模型來預測海洋溫度；Karevan 等［14］在天氣預報應用中部署了堆疊LSTM 模型；NEC 實驗室［15］提出基于兩階段注意機制的遞歸神經(jīng)網(wǎng)絡，使溫度預測有效且易于解釋；Mtibaa 等［16］利用LSTM，使用序列到序列方法直接多步預測溫度。鑒于循環(huán)神經(jīng)網(wǎng)絡能有效處理溫度時間序列，本文使用LSTM 與門控循環(huán)單元（Gated Recurrent Unit，GRU）構建溫度時序關系。

然而，在多站點溫度預測中，不僅需要對時間關系建模還需要分析空間關系。學者通常利用卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）處理空間關系［17-19］。但是CNN 不適合處理離散的氣象觀測站點間關系，而適用于提取圖像的語義信息。最近，在其他研究領域中，有許多學者通過圖神經(jīng)網(wǎng)絡（Graph Neural Network，GNN）建立實體之間的聯(lián)系［20-25］，其中，動態(tài)神經(jīng)關聯(lián)推測模型進行了人體關節(jié)的軌跡預測，它在每個時間點推理顯式實體交互關系并使用潛在變量表示實體的關系強度，最后使用估計的關系強度，盡可能準確地重構觀察到的軌跡。受以上研究的啟發(fā)，本文將每個站點視為一個實體并且利用GNN 建模觀測站點間的關系；此外，由于地面氣象站點的分布比較稀疏且無規(guī)則，站點間的距離對站點間關系也會有影響，因此僅使用站點溫度進行溫度預測會忽略站點本身位置的差異而產(chǎn)生的影響。而遙感圖像數(shù)據(jù)具有詳細的地面空間信息的優(yōu)勢，因此本文利用遙感圖像的相鄰像素空間屬性的相似性和相互依賴性，可以縮小由站點分布稀疏而產(chǎn)生的預測誤差。

本文提出基于聯(lián)合MOD11A1［26］和地面氣象站點數(shù)據(jù)的多站點溫度預測深度學習模型（Deep learning Model for multistation temperature prediction combined with MOD11A1 and surface meteorological stations data，GDM），設計了時空注意力（Spatio-Temporal Attention，TSA）模塊將MOD11A1 數(shù)據(jù)轉(zhuǎn)變?yōu)槎嗵摂M站點數(shù)據(jù)；同時，GDM 采用編碼解碼結構，提出雙向圖神經(jīng)長短期記憶網(wǎng)絡（Double Graph neural Long Short-Term Memory，DG-LSTM）編碼模塊，采用雙向的兩層LSTM 對溫度時間序列數(shù)據(jù)進行編碼，并將GNN 用于多站點關系編碼，成功地捕捉了多站點溫度時間序列的空間相關性；最后應用邊-點轉(zhuǎn)換雙向門控循環(huán)網(wǎng)絡解碼模塊EN-GRU（Edge-Node transform Gated Recurrent Unit）對編碼的空間關系解碼，獲得了未來時間段溫度的雙向的特征。

1 GDM

1.1 GDM整體框架

GDM 通過DG-LSTM、EN-GRU 進行編碼、解碼以構建溫度預測模型，如圖1 所示。GDM 通過TSA 模塊將MOD11A1信息轉(zhuǎn)化為與地面氣象觀測站點對應的虛擬站點溫度信息；然后，利用GNN 建模多個觀測站點以及從MOD11A1 提取的多個虛擬站點之間的聯(lián)系，并使用LSTM 編碼溫度時間序列變化，GRU 解碼時間序列。給定N個站點，T個時刻的觀測溫度時間序列X，以及包含上述N個站點，T′個時刻的MOD11A1 時間序列數(shù)據(jù)M。遙感數(shù)據(jù)與站點數(shù)存在時空維度的差異，GDM 采用一個TSA 模塊將遙感數(shù)據(jù)M構造成虛擬的多站點數(shù)據(jù)M1。M1與X擁有一致的時空分辨率，一同被輸入DG-LSTM 以編碼站點間的關系特征，隨后，將對應時刻的關系特征輸入EN-GRU 以提高多站點溫度預測的精度。

1.2 TSA模塊

為了使MOD11A1 數(shù)據(jù)M的時空分辨率與地面氣象站點保持一致，提出TSA 模塊，如圖2 所示。在遙感數(shù)據(jù)時間序列中，不同時刻的相同要素之間以及相同時刻的不同要素之間都緊密關聯(lián)。M包含所有觀測時間的全部要素，每個通道代表區(qū)域內(nèi)某一時刻的某個要素。因此，利用通道間的相互依賴性，建立了時間注意力模塊，將M的時間分辨率與相同時刻要素特征和觀測站點保持一致；同時，在TSA 模塊中使用卷積操作從遙感數(shù)據(jù)中提取豐富的上下文信息，作為與地面觀測站對應的虛擬站點的特征。給定一個遙感數(shù)據(jù)M∈RC′×H′×W′，C′=T′×E，其中：T′是遙感數(shù)據(jù)觀測時間長度；E是每個時刻的要素數(shù)量；T′×E代表通道數(shù)C′；H′、W′分別是每個通道圖的高和寬。M首先經(jīng)過三個卷積層分別提取查詢特征圖MQ、鍵特征圖MK和值特征圖MV，｛MQ，MK，MV｝∈RC×H×W，其中：C=T×N，T是地面觀測站的時間長度，N是站點數(shù)量，H、W分別是特征圖的高和寬。三個特征圖被轉(zhuǎn)換為RC×P，其中：P=H×W。將MQ的轉(zhuǎn)置與MK相乘，采用Softmax 層計算出注意力圖AT∈RC×C，如式（1）所示：

圖2 TSA模塊Fig.2 TSA module

然后，將AT的轉(zhuǎn)置與MV相乘，并將結果通過一個線性層轉(zhuǎn)換得到虛擬多站點數(shù)據(jù)M1。

1.3 DG-LSTM模塊

編碼器DG-LSTM 模塊設置前向與后向LSTM 提取觀測站點與虛擬站點時間序列的特征。在每個時刻，使用GNN依據(jù)提取的特征推理出站點間的交互關系特征，如圖3 所示。將地面觀測多站點數(shù)據(jù)X與虛擬多站點數(shù)據(jù)M1分別輸入?yún)?shù)共享的前向LSTMf和后向LSTMb，如式（2）所示：

圖3 DG-LSTM模塊Fig.3 DG-LSTM module

其中：hf1、hf2、hb1、hb2分別是觀測站點與虛擬站點前向傳播、觀測站點與虛擬站點后向傳播的隱藏狀態(tài)。將4 個隱藏狀態(tài)均傳入GNN 以構建站點i、j之間在t時刻的關系特征：

其中：FC1與FC3是點到邊轉(zhuǎn)換的線性層；FC2是邊到點轉(zhuǎn)換的線性層；h0 代表hf1、hf2、hb1、hb2得到的h分別對應觀測站點前向傳播、虛擬站點前向傳播、觀測站點后向傳播和虛擬站點后向傳播的關系特征hfg1、hfg2、hbg1、hbg2。

為了權衡前后時序傳播方向提取的有效關系，分別結合hfg1、hbg1以及hfg2、hbg2，并通過線性層對整合的結果降維，提取低維關系特征f1和f2，如式（4）所示：

最后，連接f1和f2以結合觀測站點間與虛擬站點間構建的關系特征，并采用Softmax 激活函數(shù)計算出最終的關系強度hg，如式（5）所示：

1.4 EN-GRU模塊

設計EN-GRU 模塊作為解碼器，使用向前、向后兩個傳播方向分別捕獲前向和后向的溫度時間序列變化。按照DG-LSTM 生成的站點間關系強度，在每個時刻關聯(lián)各個站點由GRU 產(chǎn)生的隱藏狀態(tài)，如圖4 所示。在每個時刻，c2 作為關聯(lián)的最終狀態(tài)與地面觀測多站點X一起輸入EN-GRU，產(chǎn)生下一時刻的隱藏狀態(tài)，如式（6）所示：

圖4 EN-GRU模塊Fig.4 EN-GRU module

其中：FCne是點到邊轉(zhuǎn)換的線性層，F(xiàn)Cen是邊到點轉(zhuǎn)換的線性層。EN-GRU 在向前向后傳播使用的GRU 分別是GRUf和GRUb，生成的最終隱藏狀態(tài)ct分別是cft和cbt。

最后，結合最終的隱藏狀態(tài)cf和cb，并通過線性層將其轉(zhuǎn)換為與標簽相同維度的預測結果，如式（7）所示：

1.5 損失函數(shù)

GDM 通過最小化真實溫度值與預測值之間的均方誤差（Mean-Square Error，MSE）來訓練模型，如式（8）所示：

其中：Yi與分別是第i個站點的真實溫度與預測溫度。

2 實驗與結果分析

2.1 數(shù)據(jù)集

實驗使用了河北省氣象局提供的地面氣象站點數(shù)據(jù)集以及公開數(shù)據(jù)集MOD11A1。地面氣象站點數(shù)據(jù)是從2017 年1 月1 日0 時到2020 年4 月3 日24 時的10 個氣象站點的氣象數(shù)據(jù)，在地圖上使用圓點標記10 個觀測站點，如圖5 所示。MOD11A1 以1 km 的空間分辨率提供每日每像素地表溫度和發(fā)射率，如圖6 所示。從MOD11A1 數(shù)據(jù)集提取出如下要素：1 km 分辨率的白天與夜晚的地表溫度；白天與夜晚地表溫度和發(fā)射率的質(zhì)量控制；白天與夜晚的地面溫度觀測；白天與夜晚的角度觀天頂?shù)牡乇頊囟龋徊ǘ?1 發(fā)射率，波段32 發(fā)射率，白天和夜間晴空覆蓋，如圖7 所示。選擇對應地面氣象站點數(shù)據(jù)的時間和空間范圍提取MOD11A1 作為輔助數(shù)據(jù)M。在實驗前，對數(shù)據(jù)進行了Z-SCORE 標準化的預處理，按6∶2∶2 的比例將數(shù)據(jù)集劃分為訓練集、驗證集和測試集。

圖5 站點分布Fig.5 Station distribution

圖6 MOD11A1數(shù)據(jù)Fig.6 MOD11A1 data

圖7 多要素圖Fig.7 Multi-element diagram

2.2 實驗設置

GDM 訓練采用RMSprop 優(yōu)化器進行參數(shù)優(yōu)化，初始學習率設為0.001，使用early stopping 訓練策略防止過擬合，代碼基于Pytorch 架構實現(xiàn)。為了評估GDM 效果，使用平均絕對誤差（Mean Absolute Error，MAE）、均方根誤差（Root Mean Squared Error，RMSE）、決定系數(shù)（R-Square，R2）作為評價指標。MAE 是實際觀測值與預測值之間差值的平均值，可以更好地反映預測值誤差的實際情況；RMSE 測量觀測值和真實值之間的偏差；R2反映訓練模型的擬合效果。MAE 和RMSE 值越低，預測結果越好；R2越大，模型擬合效果越好。為了保證對比實驗與消融實驗的有效性，所有的實驗參數(shù)盡量保持一致。實驗中輸入的序列長度均被設置為72 h。

與GDM 對比的模型如下：二維卷積神經(jīng)網(wǎng)絡（2-Dimensional Convolutional Neural Network，2D-CNN）利用卷積神經(jīng)網(wǎng)絡對氣象站點歷史數(shù)據(jù)進行建模；長短期記憶全連接（Long Short-Term Memory-Fully Connected，LSTM-FC）網(wǎng)絡［27］使用LSTM 捕獲時間序列依賴性，并使用神經(jīng)網(wǎng)絡獲取相鄰站之間的空間依賴關系；長短期記憶神經(jīng)網(wǎng)絡擴展（Long Short-Term Memory neural network Extended，LSTME）網(wǎng)絡［28］利用LSTM 從歷史數(shù)據(jù)中自動提取固有的有用特征，并將氣象數(shù)據(jù)和時間戳數(shù)據(jù)等輔助數(shù)據(jù)合并到模型中；LSTMAdaBoost 結合了異構的LSTM 網(wǎng)絡模型和AdaBoost 模型。為了評估GNN 與遙感數(shù)據(jù)的有效性，進行如下的消融實驗：前饋后饋門控單元（Feedforward and feedBack Gated Recurrent Unit，F(xiàn)BGRU）是雙向GRU 模型；前饋后饋解碼編碼器（Feedforward and feedBack Encoder and Decoder，F(xiàn)BED）采用雙向LSTM 與GNN 編碼地面氣象站點間關系，雙向GRU 解碼出預測結果；GDM 在FBED 的編碼器中加入GNN 編碼的遙感數(shù)據(jù)產(chǎn)生的虛擬站點間關系。

2.3 實驗結果

在實驗中，綜合評估了GDM 和四種對比實驗模型和兩個消融實驗模型。實驗對10 個站點進行了未來1～24 h 的溫度預測。每個站點的所有實驗結果如表1～6 所示，其中最好的結果加粗表示。圖8～13 展示了不同模型在每個時間點的預測誤差的對比情況。

2.3.1 對比實驗結果與分析

使用MAE、R2和RMSE 評估GDM 與四種對比模型的24 h 預測性能，如表1～3 所示，GDM 在任意一個站點都具有最優(yōu)秀結果。圖8～10 展現(xiàn)了GDM 在24 h 內(nèi)與其他模型的對比情況。結果表明，相較于LSTM-AdaBoost 模型，GDM 的三個評價指標的結果僅在第1 小時較差；相較于另外三個對比模型，GDM 的三個評價指標結果在任何時刻均是最優(yōu)。

表1 24 h內(nèi)溫度預測MAE 單位：℃Tab.1 MAE of temperature prediction within 24 hours unit：℃

表2 24 h內(nèi)溫度預測R2 單位：%Tab.2 R2 of temperature prediction within 24 hours unit：%

表3 24 h內(nèi)溫度預測RMSE 單位：℃Tab.3 RMSE of temperature prediction within 24 hours unit：℃

圖8 對比實驗24 h MAEFig.8 MAE of comparison results in 24 hours

圖9 對比實驗24 h R2Fig.9 R2 of comparison results in 24 hours

GDM 表現(xiàn)較好的主要原因有兩點：1）相較于4 種對比模型，針對地面氣象觀測站點分布較為稀疏的特點，本文采用時空注意力模塊將空間信息較為詳細的MOD11A1 數(shù)據(jù)轉(zhuǎn)換為虛擬觀測站點來輔助溫度預測；2）本文采用圖神經(jīng)網(wǎng)絡構建出站點間的關系強度，在每個時刻都對長短期記憶單元輸出的短期記憶構建潛在的聯(lián)系形成觀測站點間的關系強度。

2.3.2 消融實驗結果與分析

如表4～6 所示，對于未來24 h 溫度預測，GDM 優(yōu)于FBGRU 與FBED。從圖11 和13 中可以看到，F(xiàn)BED 的MAE和RMSE 僅僅在前8 個小時較差于FBGRU。圖12 展現(xiàn)了除前7 個小時外，F(xiàn)BED 的R2均優(yōu)于FBGRU。因此，在較長時間序列預測中，GNN 構建站點間的聯(lián)系是有效的。而在前8個時刻的效果較差是由于在較短的時間內(nèi)站點本身溫度序列的時間依賴性比較強，而加入了相鄰站點信息的模型削弱了站點本身歷史觀測溫度信息的強度。圖11～13 顯示GDM的評價指標除第1 個小時均優(yōu)于FBGRU，因為相對于僅采用站點數(shù)據(jù)進行站點間關系的構建，使用構建的虛擬站點進行輔助，可緩解地面站點分布稀疏對站點間關系的影響。

圖10 對比實驗24 h RMSEFig.10 RMSE of comparison results in 24 hours

圖11 消融實驗24h MAEFig.11 MAE of ablation results in 24 hours

圖12 消融實驗24h R2Fig.12 R2 of ablation results in 24 hours

圖13 消融實驗24 h RMSEFig.13 RMSE of ablation results in 24 hours

表4 消融模型24 h內(nèi)溫度預測MAE 單位：℃Tab.4 MAE of temperature prediction within 24 hours for ablation models unit：℃

表5 消融模型24 h內(nèi)溫度預測R2 單位：%Tab.5 R2 of temperature prediction within 24 hours for ablation models unit：%

表6 消融模型24 h內(nèi)溫度預測RMSE 單位：℃Tab.6 RMSE of temperature prediction within 24 hours for ablation models unit：℃

3 結語

本文提出一種基于聯(lián)合MOD11A1 和地面氣象站點數(shù)據(jù)的多站點溫度預測深度學習模型，通過注意力將遙感數(shù)據(jù)轉(zhuǎn)換為虛擬多站點數(shù)據(jù)，然后使用雙向的兩層LSTM 對溫度時間序列數(shù)據(jù)進行編碼，并且將GNN 用于多站點關系編碼，成功地捕捉了多站點溫度時間序列的空間相關性，最后應用兩層EN-GRU 對編碼的空間關系解碼出預測結果。對GDM 進行了消融實驗與對比實驗，實驗結果表明GDM 相較于其他模型預測結果提升顯著。由于本文僅利用了地面氣象站點的溫度資料與深度學習模型，在未來的研究工作中，將探索多元氣象要素與溫度的潛在關系，并把物理模型融入深度學習模型。