基于混合GA優化LSTM的中小流域流量預測研究

張甲甲，萬定生

(河海大學計算機與信息學院，江蘇南京 211100)

1 引言

對流域徑流變化趨勢的模擬和預測是水文領域的一個重要研究課題[1]。隨著近年來深度學習的發展，基于數據驅動的水文預測方法得以長足發展。然而這種模型大多用于大流域，很少用于小流域[2-3]。與大江大河相比，中小河流具有分布廣、降水及下墊面空間異致性強、產匯流時間短、突發性強等特點[4-6]。如何利用智能算法提高中小河流水文預報的準確率，是一個重要的研究方向。

與支持向量機SVM[7]，BP神經網絡[8]，極限學習機ELM[9]等模型相比，帶有記憶功能的LSTM既可對連續的徑流數據進行處理，又能考慮到長時間徑流序列的季節性和周期性，因此能更合理處理序列信息，實現序列預測。不過與其它神經網絡類似，LSTM模型參數難以確定，往往靠人為經驗來選擇。為了更好地確立LSTM的模型參數，提高流量的預測精度，本文提出一種混合遺傳算法(SP＿GA)，用其優化LSTM后建立SP＿GA-LSTM模型應用于漳州龍山站的時徑流預報中。模型的輸入數據考慮了流域內流量和降雨帶來的影響，并通過實驗分析以驗證所提模型的有效性。

2 基于LSTM的流量預測模型

2.1 LSTM神經網絡

長短時記憶單元(LSTM)屬于遞歸神經網絡(RNN)的一種，它具備 RNN 的遞歸屬性，同時其具有的獨特記憶和遺忘模式，可以解決遞歸神經網絡(RNN)中的梯度爆炸和梯度消失問題[10]。LSTM由于可以完美地模擬多個輸入變量的問題，十分適用于時間序列預測。LSTM基本單元結構如圖1。

圖1 LSTM單元結構

在LSTM神經網絡中，歷史信息通過遺忘門ft、輸入門it、輸出門ot的控制進行更新。遺忘門ft依據上一階段的輸入，來決定Ct-1里的丟棄。輸入xt經過輸入門it來篩選候選信息，再與遺忘門ft共同決定Ct里的更新。輸出門ot與更新后的Ct經過tanh函數運算后輸出。其基本過程按照式(1)-式(6)計算。

ft=σ(Wf·[ht-1，xt]+bf)

(1)

it=σ(Wi·[ht-1，xt]+bi)

(2)

(3)

(4)

ot=σ(Wo·[ht-1，xt]+bo)

(5)

ht=ot*tanh(Ct)

(6)

其中：xt和ht分別表示輸入向量和輸出向量，Ct-1和Ct分別表示上一時刻與當前時刻單元狀態，Wf、Wi、WC、Wo是權重矩陣，bf、bi、bC、bo是對應權重的偏置。

2.2 基于LSTM的流量預測模型

2.2.1 數據選擇及處理

本文選取龍山流域作為研究對象，龍山流域位于福建省漳州市，是典型中小流域。上游設有4個雨量站提供降雨信息，分別是月明、和溪、后眷、龍山。龍山水文站位于龍山流域的匯流出口處。龍山站及其周邊地理位置如圖2。

圖2 龍山站及其周邊地理位置示意圖

本文選取2010年1月到2014年7月的龍山站小時流量數據和龍山流域內4個雨量站的時雨量數據共39998條數據作為實驗數據。取前28000條數據作為訓練樣本數據，后11998條作為測試樣本數據。

對于采用智能化預報方法對流量進行回歸預測時，預報因子的選擇尤為重要。運用相關系數分析法后，確定將前5小時的龍山水文站前期的流量值以及龍山流域內雨量站前期降雨量值選作預報因子，選擇預見期為3h，即將前5小時的流量和雨量組成輸入來預測未來3小時的流量。

Yt+3=f(Yt，Xt-5，Xt-4，Xt-3，Xt-2，Xt-1)

(7)

其中，Xt表示t時刻的龍山站雨量值、月明站雨量值、和溪站雨量值、后眷站雨量值、龍站雨量值山組成的向量，Yt表示t時刻的龍山站流量值。

數據規范化就是把數據根據比例投射至某一區間內，以縮短數據在訓練過程中的收斂時間。本文采用Max-Min歸一化，使經過歸一化后的數據位于0～1之間。Max-Min歸一化公式如下

(8)

2.2.2 模型評價指標

本文采用均方根誤差、確定性系數和納什系數對預測結果進行評價。

均方根誤差反映了預測值與真實值之間的偏差程度，值越小越優，其計算公式為：

(9)

確定性系數反應了模型預報過程與實測過程之間的吻合程度，其取值范圍為[0，1]，其結果越接近1，準確率越高，計算公式為：

(10)

2.2.3 單預測模型建模

為了測試 LSTM 單模型的流量預測性能，選取不同基礎模型進行比較。分別選用 BP、SVM 和 LSTM 單預測模型進行預測。并對2013年7月13日3時到2013年7月15日4時和2013年9月22日17時到2013年9月24日16時的預測結果進行對比分析。

相關參數設置為：BP與LSTM的結構設置為25-50-1，學習率為0.001，訓練次數為100；SVM選擇徑向基(RBF)核函數，懲罰因子C=100，核函數參數σ=5。預測結果如圖3，預測誤差見表1。

表1 各模型預測誤差

從圖3和表1可以看出，SVM的預測誤差在三者中最大，預測曲線具有明顯波動，且峰值預測效果最差；BP的預測精度較SVM有所提高，預測曲線與真實值貼合程度也更好；LSTM的均方根誤差和確定性系數為7.95和0.909，在三個模型中最優，并且整體預測曲線和峰值預測最貼合真實值，說明LSTM模型更具優勢

3 LSTM模型參數優化及其預測模型

3.1 TM模型參數優化

LSTM模型的非線性建模性能與3個主要參數密切相關：隱含層節點數hidden＿size、學習率lr、訓練次數epoch。本文將通過混合遺傳算法來確定這三個參數。

3.1.1 遺傳算法

遺傳算法(GA)是由美國Michigan大學的Holland J教授于1975年首先提出，它是一種借鑒生物界自然選擇機制的隨機化搜索算法[11]。遺傳算法的基本思想是基于達爾文進化論和孟德爾的遺傳變異理論。其主要步驟包括編碼、種群初始化、選擇、交叉、變異等操作。通過這些步驟使得種群內個體適應度越來越高，最終收斂到一群最適應環境的個體，從而求得問題的最優解。

3.1.2 混合遺傳算法

作為一種典型的群體智能算法，遺傳算法在搜索全局最優解方面具有獨特的效率，但在局部搜索能力方面明顯不足。通過在遺傳算法過程中融合其它優化方法(爬山法、粒子群算法、蟻群算法、模擬退火算法等)，從而構成混合遺傳算法是提高遺傳算法運行效率和求解質量的一個有效手段。

本文提出的SP＿GA算法將PSO公式引入作為變異算子，讓種群內個體可以根據自身迄今最優解和種群內最優解以及個體進化的速度來確定變異的方向和幅度，使變異操作具有方向指導作用，不再是簡單的隨機變異[12]。

(11)

那么引入的粒子群算法的粒子更新公式為

(12)

模擬退火算法(SA)是一種迭代更新可行解時，以一定的概率來接受一個比當前解要差的解，從而有效避免陷于局部極小并最終趨于全局最優的優化算法[13-14]。模擬退火算法包含Metropolis算法和退火過程兩個部分。算法步驟如下：

1)參數初始化：包括初始解S，初始溫度T，迭代次數L，計數器M；

2)計算增量ΔT=E(n+1)-E(n)，E(n)為評價函數，其中n+1為新解；

3)ΔT判斷：以概率P接收n+1為當前解，其中

4)若連續M個新解都沒被接受，那么輸出當前解作為最優解。否則進行降溫操作，降溫公式為：Tw=γTw-1。

5)重復上述過程，完成所有個體的抽樣。

SP＿GA算法在種群進化過程中引入模擬退火算法，算法內加入SA判斷函數

fave-fmin

(13)

3.2 基于SP＿GA-LSTM的流量預測模型

基于SP＿GA-LSTM的神經網絡水文預測模型建立步驟如下：

1)選擇水文時間序列樣本數據，劃分整理數據后，歸一化數據；對隱含層節點數hidden＿size、學習率lr和訓練次數epoch進行二進制編碼處理；適應度函數采用式(10)確定性系數r2；

2)對種群個數、最大迭代次數Tmax、c1、c2、模擬退火初始溫度T進行初始化；

3)判斷是否滿足終止條件，若達到最大迭代次數Tmax則終止迭代并用該最優解進行SP＿GA-LSTM神經網絡的流量預測模型的建立，否則進入4)；

4)對個體進行解碼，把解碼參數代入訓練與測試樣本，計算得到每個個體的適應度值；

5)更新種群最優個體和歷史最優個體。分別用一個變量把每個個體的當前解碼后的值保留下來，把每一代的最優解也用單獨的變量保留下來。從第二代迭代開始，如果產生的新個體的適應度值比前一次保留的個體的適應度值大，則把新個體存儲在變量中并替換前一代的個體，否則不替換。同樣地，如果這一代的歷史最優個體適應度值比前一代的大，則更新每一代的最優解，否則不更新；

采用9種已知辣度的辣椒紅果果實，建立應用電子鼻評價加工型辣椒果實辣度的方法，所用辣椒果實取自山東省青島農業大學辣椒栽培基地(見表1)；應用所建立的辣度評價方法分別檢測11種辣椒紅果及辣椒綠果，檢測的11個辣椒加工基地的原料見表2。將試驗材料于常溫、避光保存，待測定。

6)用賭輪盤算法進行選擇，即按照適應度值對應的選擇概率進行隨機選取，直到選出滿足設定數量的個體數；

7)種群交叉；然后用式(11)、(12)進行變異。在變異之前要先解碼，在變異完成之后再重新編碼；

8)判斷是否滿足式(13)，如果滿足，則說明種群進化到了后期趨于同一，進行模擬退火操作，否則直接轉3)。

根據上述步驟，SP＿GA-LSTM神經網絡

的水文預測模型建立算法如下：

輸入：種群個數n，交叉概率cp，解的維度dim，pso學習因子c1，c2，初始溫度T，最大迭代次數iter＿time，樣本集合S。

輸出：預測結果集合fore。

1)初始化種群chrosXi(i=1，2，…，n)

2)for i in range(iter＿time)：

3)種群解碼values

4)for j in range(0，len(values))：

5) fore=LSTM(values[j]，S)

6) 計算適應度fitness[i]=r2＿score(S，fore)

7)更新種群最優個體pbest=values[np.less(pbest，fitness)]

8)更新種群歷史最優個體gbest=values[np.argmax(fitness)]

9)種群復制cocs=copy(chros，values)

10)種群交叉crcs=cross(cp，cocs)

11)種群變異ms=psomut(crcs，pbest，gbest，c1，c2)

12)if(np.average(fitness)-np.min(fitness)

13) 對種群模擬退火

14) 保留最好的解Xi

15)比較取得最優解Xbest

16)用最優參數建模預測fore=LSTM(Xbest，S)

4 仿真與分析

下面從兩個角度進行對比分析SP＿GA優化算法的有效性。

1)不同優化算法之間的對比

將GA算法、PSO算法和SP＿GA算法分別應用于優化LSTM模型參數(hidden＿size，lr，epoch)。尋優過程按照3.2節步驟進行，其中，LSTM模型的隱含層節點數hidden＿size的范圍為[10，150]，學習因子lr范圍為[0.001，0.01]，訓練次數epoch范圍為[10，100]。

相關參數設置為：GA、PSO和SP＿GA中的最大進化代數均為40，種群規模為20?；綠A中，變異概率是0.05，交叉概率是0.8；基本PSO中慣性權重ω=0.5，學習因子c1=0.2，c2=0.5；SP＿GA中交叉概率是0.8，pso學習因子c1=0.2，c2=0.5，初始溫度T是100。尋優程中三種優化算法的適應度變化曲線如圖4。

圖4 LSTM尋優適應度變化曲線

圖4中，在控制使用模型相同的情況下，分別使用不同的優化算法對LSTM進行參數尋優，通過尋優結果來分析各優化算法的優劣。其中GA-LSTM通過20次迭代可以收斂到最佳適應度值0.921，PSO-LSTM通過19次迭代可以收斂到最佳適應度值0.92，SP＿GA-LSTM通過13次迭代可以收斂到最佳的適應度值0.93。從全局看SP＿GA算法在LSTM的優化中表現出的局部搜索能力和全局部搜索能力更強，收斂速度也更快。這是因為SP＿GA算法引入了PSO公式作為變異算子，使變異操作具備了學習的能力，增強了算法的局部搜索能力，不易陷入局部最優。并且在迭代后期進行的模擬退火判斷，進一步提升了算法跳出局部最優的能力。因此在三者對比中，改進后的混合GA算法尋優能力表現更強。最終經SP＿GA尋找到的最優LSTM模型參數為：hidden＿size=116，lr=0.00875，epoch=55。

2)SP＿GA作用在不同模型上的對比

用上述尋優得到的參數建立SP＿GA-LSTM模型和SP＿GA-SVM模型，將其與未優化的LSTM、SVM模型進行對比，對比結果見圖5。各模型預測誤差見表2。

表2 各模型預測誤差比較表

通過表2的預測結果評估可以得知，針對SVM模型，SP＿GA-SVM比未經優化的SVM的DC系數高出4個百分點，均方根誤差rmse降低1.524；針對LSTM模型，SP＿GA-LSTM比未經優化的LSTM的DC系數高出2.2個百分點，均方根誤差rmse降低0.94。結合圖5的兩處細節展示分析，在兩側真實值本就較為平緩的數據上，四種模型的預測精度都與真實值相差無幾，但對于波峰和拐點處，經SP＿GA優化過后的模型預測值都僅圍繞真實值上下小幅度波動，表現地更加貼合原始數據，總體上均優于未優化的兩種模型。

另外從峰值處看預測曲線，并聯合評價指標綜合分析，對預測效果進行排序分別為SP＿GA-LSTM>LSTM>SP＿GA-SVM>SVM?？梢钥闯?，經過SP＿GA優化后的SVM和LSTM模型預測精度都有明顯提升，而SP＿GA優化后的LSTM模型預測精度最高。由此可見，針對不同的模型SP＿GA算法都能發揮自身的尋參優勢，將各模型本身的預測效果都進一步提升，從而也進一步的驗證了SP＿GA的有效性和泛用性。

5 結語

針對復雜的中小流域流量預測問題，本文提出了一種改進的混合遺傳算法SP＿GA，用其優化 LSTM后建立SP＿GA-LSTM模型進行預測。從優化算法的分析過程和實驗仿真結果可以看出：SP＿GA算法在參數尋優過程中有更強的全局搜索能力和更快的收斂速度，能進一步提高模型的預測精度。本文建立的SP＿GA-LSTM模型在中小流域流量預測方面有較高的預測精度，也可適用于其它領域的預測，可待后續進一步的研究。