基于幾何平均優(yōu)化器的門(mén)控循環(huán)單元模型GMO-GRU的氣溫預(yù)測(cè)

吳澍

摘要：為提升氣溫預(yù)測(cè)的準(zhǔn)確度，改善農(nóng)業(yè)生產(chǎn)等領(lǐng)域的經(jīng)營(yíng)情況，提出了利用幾何平均優(yōu)化器算法優(yōu)化門(mén)控循環(huán)單元神經(jīng)網(wǎng)絡(luò)的GMO-GRU模型。首先，在GRU模型參數(shù)選擇方面，采用幾何平均優(yōu)化器對(duì)其模型選擇進(jìn)行優(yōu)化。然后，采用伯克利的天氣數(shù)據(jù)集對(duì)文中模型進(jìn)行驗(yàn)證。驗(yàn)證結(jié)果表明，提出的預(yù)測(cè)模型在預(yù)測(cè)精度上有一定優(yōu)勢(shì)，相比于LSTM模型，GMO-GRU模型的MAE、RMSE、MAPE3種指標(biāo)分別提升了5.5×10-3、1.13×10-2、7.2×10-3；相比于GRU模型，GMO-GRU模型的MAE、RMSE、MAPE3種指標(biāo)分別提升了2.0×10-3、8.9×10-3、3.9×10-3。

關(guān)鍵詞：門(mén)控循環(huán)單元；氣溫預(yù)測(cè)；幾何平均優(yōu)化器

一、前言

氣溫預(yù)測(cè)是指根據(jù)歷史氣象數(shù)據(jù)、實(shí)時(shí)氣象數(shù)據(jù)和地理環(huán)境等因素，預(yù)測(cè)未來(lái)一定時(shí)間內(nèi)某個(gè)地區(qū)或某個(gè)地點(diǎn)的氣溫情況。氣溫預(yù)測(cè)在現(xiàn)代社會(huì)中具有極高的實(shí)用價(jià)值，準(zhǔn)確的氣溫預(yù)測(cè)對(duì)于農(nóng)業(yè)生產(chǎn)、公共安全等領(lǐng)域具有重要意義[1]。

常見(jiàn)的氣溫預(yù)測(cè)方法包括回歸分析、深度學(xué)習(xí)等。回歸分析是一種基于線性或非線性模型的預(yù)測(cè)方法，常見(jiàn)的方法有線性回歸、邏輯回歸、多項(xiàng)式回歸等。

此類(lèi)方法可以用于建立氣象數(shù)據(jù)與氣溫之間的線性或非線性關(guān)系，從而對(duì)未來(lái)的氣溫進(jìn)行預(yù)測(cè)。但是，回歸分析的缺點(diǎn)在于其對(duì)復(fù)雜的時(shí)間序列數(shù)據(jù)預(yù)測(cè)性能較差。深度學(xué)習(xí)作為一種基于神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)方法，可以有效地處理復(fù)雜的時(shí)間序列數(shù)據(jù)和長(zhǎng)序列數(shù)據(jù)，常見(jiàn)的模型有循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（LSTM）、門(mén)控循環(huán)單元模型（GRU）等。

相較于RNN模型和LSTM模型，GRU模型的計(jì)算效率更高，其引入的門(mén)控機(jī)制在處理長(zhǎng)序列數(shù)據(jù)以及長(zhǎng)期依賴(lài)關(guān)系的問(wèn)題上具有一定的優(yōu)勢(shì)，且具有較低的計(jì)算復(fù)雜度，能夠更快地訓(xùn)練和部署，但GRU模型預(yù)測(cè)的準(zhǔn)確度仍有待提高。

基于以上論述，本文選用深度學(xué)習(xí)領(lǐng)域的典型模型GRU模型進(jìn)行天氣預(yù)測(cè)，在整體采用GRU模型預(yù)測(cè)的基礎(chǔ)上，結(jié)合幾何平均優(yōu)化器（GMO）算法對(duì)模型進(jìn)行優(yōu)化，提升模型預(yù)測(cè)的精確度，采用伯克利的天氣數(shù)據(jù)對(duì)模型進(jìn)行效果驗(yàn)證，結(jié)果表明，本文提出的模型具有一定優(yōu)勢(shì)。

二、GMO-GRU模型

（一）GRU模型基礎(chǔ)

GRU（Gated Recurrent Unit）模型是一種基于門(mén)控循環(huán)單元的深度學(xué)習(xí)模型，由Sepp Hochreiter和Jürgen Schmidhuber于1997年提出，是循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（LSTM）一種效果較好的衍生模型[2]。

GRU模型中有兩個(gè)門(mén)（更新門(mén)、重置門(mén)），更新門(mén)決定了前一時(shí)刻的狀態(tài)信息的更新和丟棄，重置門(mén)決定了前一時(shí)刻狀態(tài)信息的寫(xiě)入。GRU整體結(jié)構(gòu)及原理見(jiàn)圖1。

（1）

（2）

（3）

（4）

圖中的zt和rt分別表示更新門(mén)和重置門(mén)的更新公式。重置門(mén)rt控制著前一狀態(tài)的信息ht-1傳入候選狀態(tài)～ht的比例，重置門(mén)rt的值越小，則與ht-1的乘積越小，ht-1的信息添加到候選狀態(tài)越少。更新門(mén)用于控制前一狀態(tài)的信息ht-1有多少保留到新?tīng)顟B(tài)ht中，（1-zt）越大，保留的信息越多。

（二）GMO模型基礎(chǔ)

幾何平均優(yōu)化器（Geometric Mean Optimizer，GMO）是一種元啟發(fā)式算法，該算法可以同時(shí)評(píng)估搜索空間中搜索個(gè)體的適應(yīng)度和多樣性[3]。

種群的個(gè)體位置和速度如下。

（5）

（6）

為了解決優(yōu)化問(wèn)題，GMO采用雙實(shí)用度指標(biāo)DFI評(píng)估空間中個(gè)體的適應(yīng)度和多樣性。

（7）

其中，MF代表個(gè)體間的模糊隸屬函數(shù)。

為了使得所有個(gè)體最佳，定義了加權(quán)平均值，并將其分配給DFI。

（8）

為了使得Yit具備更強(qiáng)的隨機(jī)性，針對(duì)突發(fā)情況，設(shè)計(jì)了突變形式的權(quán)重。

（9）

根據(jù)以上內(nèi)容，推導(dǎo)出個(gè)體的更新方程。

（10）

（11）

（12）

（13）

（三）GMO-GRU模型整體流程

本文構(gòu)造了GMO-GRU預(yù)測(cè)模型，GMO算法輔助GRU模型進(jìn)行參數(shù)選擇，GMO-GRU網(wǎng)絡(luò)結(jié)構(gòu)建立的具體步驟如下。

1.對(duì)要進(jìn)行預(yù)測(cè)的數(shù)據(jù)集進(jìn)行預(yù)處理，得到輸入數(shù)據(jù)，記作E=（E1，E2，...，Ei，...，En），其中Ei（i=1，2，3，...，n）表示輸入數(shù)據(jù)中的第i個(gè)。

2.采用GMO算法協(xié)助GRU模型進(jìn)行參數(shù)選擇，然后將輸入向量輸入GMO-GRU模型最后輸出預(yù)測(cè)的結(jié)果。

GMO-GRU模型流程見(jiàn)圖2。

三、實(shí)驗(yàn)結(jié)果與分析

（一）數(shù)據(jù)來(lái)源和實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)的數(shù)據(jù)為伯克利當(dāng)?shù)氐奶鞖鈹?shù)據(jù)，選用1932-2003年的864組數(shù)據(jù)對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練，選用2個(gè)時(shí)間段的最高溫度和最低溫度數(shù)據(jù)進(jìn)行效果測(cè)試，時(shí)間跨度分別為2004年1月1日至2009年12月31日，2010年1月1日至2015年12月31日，數(shù)據(jù)集中相鄰數(shù)據(jù)的時(shí)間間隔為1個(gè)月，數(shù)據(jù)集中的數(shù)據(jù)數(shù)目均為144組。

實(shí)驗(yàn)的筆記本電腦型號(hào)為L(zhǎng)enovo-Y7000p、Windows10，64位，CPU型號(hào)為Intel（R）Core（TM）i5，python的版本為3.6.1，采用的IDE為VScode。

（二）模型評(píng)價(jià)指標(biāo)

為準(zhǔn)確評(píng)估模型指標(biāo)，本文選擇三個(gè)常見(jiàn)的預(yù)測(cè)模型評(píng)估指標(biāo)進(jìn)行評(píng)估，包括：平均絕對(duì)誤差（MAE，Mean Absolute Error）、平均方根誤差（RMSE，Root Mean Squared Error）、平均絕對(duì)百分誤差（MAPE，Mean Absolute Percentage Error）。

三個(gè)指標(biāo)從不同角度對(duì)模型效果進(jìn)行檢測(cè)，MAE傾向于衡量誤差的絕對(duì)值；RMSE對(duì)誤差做了平方處理，因此對(duì)于誤差有放大作用，會(huì)突出影響較大的誤差值，更容易分析出離群數(shù)據(jù)；而MAPE使用百分比衡量誤差的大小，容易理解和解讀，無(wú)需結(jié)合真實(shí)值判斷離群的差異。三個(gè)評(píng)估指標(biāo)的表達(dá)式如下。

（14）

（15）

（16）

其中，y（t）和y?（t）分別代表t時(shí)刻的真實(shí)值和模型的預(yù)測(cè)值。

（三）預(yù)測(cè)結(jié)果與分析

本文采用GMO-GRU模型對(duì)天氣數(shù)據(jù)集進(jìn)行預(yù)測(cè)。針對(duì)本實(shí)驗(yàn)數(shù)據(jù)，采用伯克利的兩組天氣數(shù)據(jù)對(duì)經(jīng)典預(yù)測(cè)模型LSTM模型、GRU模型，以及本文提出的GMO-GRU模型進(jìn)行效果驗(yàn)證，當(dāng)日最低氣溫和最高氣溫構(gòu)成兩組數(shù)據(jù)集，兩組數(shù)據(jù)集的結(jié)果見(jiàn)圖3、圖4。

從以上預(yù)測(cè)效果對(duì)比圖可以看出，GMO-GRU模型在GMO算法輔助選擇參數(shù)的幫助下，算法的預(yù)測(cè)效果最佳，預(yù)測(cè)的結(jié)果最貼近于真實(shí)數(shù)據(jù)，其次是GRU模型，最后是LSTM模型。除了預(yù)測(cè)效果的對(duì)比，本文還對(duì)三種算法的評(píng)估指標(biāo)進(jìn)行了對(duì)比分析，見(jiàn)表1。

相比于GRU模型和LSTM模型，本文模型在預(yù)測(cè)指標(biāo)上也展示了一定的優(yōu)勢(shì)。例如，在最高溫度的預(yù)測(cè)上，本文模型的MAE相比于GRU和LSTM模型分別提升了1.1×10-3、3.0×10-3。在最低溫度的預(yù)測(cè)上，RMSE相比于GRU和LSTM分別提升了5.7×10-3、6.7×10-3。相比于LSTM模型，GMO-GRU模型的MAE、RMSE、MAPE3種指標(biāo)分別提升了5.5×10-3、1.13×10-2、7.2×10-3。相比于GRU模型，GMO-GRU模型的MAE、RMSE、MAPE3種指標(biāo)分別提升了2.0×10-3、8.9×10-3、3.9×10-3。

為了使對(duì)比結(jié)果更直觀，本文將表中的圖繪制到條形統(tǒng)計(jì)圖進(jìn)行對(duì)比（見(jiàn)圖5），由圖5、表1以及預(yù)測(cè)結(jié)果可見(jiàn)，GMO-GRU模型相比于LSTM模型和GRU模型，在預(yù)測(cè)效果和評(píng)價(jià)指標(biāo)上均有明顯的提升。

四、結(jié)論

準(zhǔn)確的氣溫預(yù)測(cè)對(duì)農(nóng)業(yè)生產(chǎn)、公共安全等領(lǐng)域具有十分重要的現(xiàn)實(shí)意義。本文提出了一種利用幾何平均優(yōu)化器算法優(yōu)化門(mén)控循環(huán)單元的GMO-GRU模型。首先，在GRU模型參數(shù)選擇方面，采用幾何平均優(yōu)化器算法對(duì)其模型選擇進(jìn)行優(yōu)化。其次，用GMO-GRU模型對(duì)天氣數(shù)據(jù)進(jìn)行訓(xùn)練。最后，采用伯克利天氣數(shù)據(jù)集對(duì)該模型進(jìn)行效果測(cè)試，實(shí)驗(yàn)結(jié)果表明，本文提出的模型具有一定的優(yōu)勢(shì)。

參考文獻(xiàn)

[1]劉家輝，梅平，劉長(zhǎng)征，等.基于GRU-CNN模型的云南地區(qū)短期氣溫預(yù)測(cè)[J].計(jì)算機(jī)仿真，2023，40（09）：472-476.

[2]韋小多，陳艷，敖煜測(cè)，等.一種基于STGCN-GRU模型的交通流量預(yù)測(cè)[J].中國(guó)科技信息，2023（23）：114-116.

[3] Rezaei F， Safavi H.R， Abd Elaziz M. et al. GMO： geometric mean optimizer for solving engineering problems. Soft Comput 27， 10571–10606 （2023）.

作者單位：海南師范大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院

責(zé)任編輯：尚丹