基于LSTM神經網絡的水電站短期水位預測方法

劉亞新,樊啟祥,尚毅梓,樊啟萌,劉志武

(中國長江三峽集團有限公司,北京 100038)

準確的水位預測是水電站安全運行和增發效益的關鍵。然而,受諸多因素的影響,水位預測常常較實際情況偏差較大,導致發電計劃頻繁修改,不利于電站安全、高效、穩定地運行。特別是具有緊密水力聯系的梯級電站,如三峽水電站和葛洲壩水電站構成的梯級電站,上游電站的出庫流量預報誤差會疊加到下游電站,且因兩壩間往復流、出入庫不平衡等問題,使得下游電站水位的準確預測更難實現。

大量學者對水位預測問題進行了研究,提出了多種預測模型。王蒙蒙等[1]基于支持向量回歸模型對洞庭湖水位進行了預測,其輸入變量為三峽水庫逐日出庫流量、清江逐日流量及洞庭湖“四水”逐日入湖流量。馬輝等[2]提出了一種將灰色模型與神經網絡相結合的灰色-BP神經網絡預測方法,得到了較高精度的預測結果。李欣等[3]綜合考慮河流水位時空信息,建立了基于時空序列的徑向基函數(RBF)神經網絡預測模型,預測了金沙江下游向家壩水文站的水位情況。余開華[4]提出了小波神經網絡河道流量水位預測模型,并應用于預測盤龍河天保站的水位。Ashaary等[5]采用BP神經網絡預測了Timah Tasoh水庫的水位變化,采用窗處理的方式將前w個時刻的水位數據作為輸入變量,建立了6個不同的神經網絡模型進行比較,結果表明當w=2時,所建立的神經網絡模型最優。Chang等[6]采用自適應神經模糊推理系統建立了水庫水位的預測模型,并將其應用于Shihmen水庫的水位預測,結果表明該模型可以準確預測連續3 h的水位。

但在梯級電站的水位預測方面,尤其是下游電站的水位預測,國內外進行的研究較少。由于梯級電站之間的緊密聯系,上游電站的運行情況會影響到下游電站的水位,并且因距離的原因使得影響具有時間滯后性,因此在預測時要綜合考慮這些影響因素。長短時記憶(long short-term memory, LSTM)網絡是循環神經網絡中一種帶有門控的網絡,能夠考慮到數據的時序性特點,學習到數據之間的長期依賴關系,在處理時間序列數據的預測方面具有獨特的優勢,已被廣泛應用于自然語言處理、語音識別、圖片描述等領域。王鑫等[7]將LSTM用于航空領域的月度故障時間序列的預測,并提出了基于多層網格搜索的LSTM預測模型參數優選方法。保羅等[8]考慮磨機特征樣本之間的時間尺度信息,采用編碼神經網絡的方法提取樣本特征,使用LSTM建立了負荷參數的預測模型。Wielgosz等[9]將深度學習算法應用于大型強子對撞機超導磁體的監測和故障保護,分析了不同的LSTM網絡結構和超參數對模型預測效果的影響,結果表明記憶單元為128,歷史步長為16時效果最佳。楊訓政等[10]將LSTM用于發電機組的污染物排放研究,并與最小二乘法、支持向量回歸機進行對比,結果表明LSTM明顯優于其他兩種方法。

本文提出一種基于LSTM網絡的水電站水位預測方法,并將其應用于預測葛洲壩水電站上下游水位，以期為葛洲壩水庫的實時調度提供技術支撐。

1 基于LSTM神經網絡的水位預測模型

1.1 循環神經網絡與LSTM

循環神經網絡在時間序列預測方面具有獨特的優勢,其通過特定的網絡結構,將過去時刻的影響反映到當前的預測之中,同時由于共享不同時刻的權值矩陣,減少了參數數目,使得訓練效率大大提高,并且可以處理任意長度的時間序列數據。盡管理論如此,但實際上,原始的循環神經網絡由于參數共享,經過多階段傳播后的梯度傾向于消失或爆炸[11-12],使得模型喪失了學習到更早信息的能力,這個問題也稱為長期依賴問題。1997年Hochreiter 等[13]提出了LSTM網絡,很好地解決了這一問題。LSTM通過引入門的設置來決定控制信息的流動,最初LSTM只有兩個門,即輸入門和輸出門,2000年Gers等[14]對其進行了改進,加入了遺忘門使LSTM通過自主學習遺忘一些無關緊要的歷史信息。之后Gers等[15]提出了加入“窺視孔連接”的 LSTM變體,將單元狀態也作為門的輸入。Cho等[16]將遺忘門和輸入門合并為更新門,提出了GRU(gated recurrent unit)模型。

圖1 LSTM的隱含層結構

1.2 LSTM的前向傳播過程

正如圖1所示,LSTM中的每個門實際上就是一個全連接層,輸出是[0,1]之間的向量,用以控制信息的傳遞。門的激勵函數σ為sigmoid函數,可表示為

(1)

根據應用的不同,LSTM可以有不同的變體形式。本文構建的LSTM結構如圖2所示,每一個時間步都有輸出,隱含層結構如圖1所示,并且隱含層單元之間有循環連接。

圖2 LSTM的基本結構

圖1和圖2對應的LSTM的前向傳播的具體公式為

遺忘門ft=σ(nf,t)

(2)

輸入門it=σ(ni,t)

(3)

輸出門ot=σ(no,t)

(4)

(5)

(6)

隱含層輸出ht=ot°tanh(ct)

(7)

輸出層yt=tanh(ny,t)

(8)

其中nf,t=Wfhht-1+Wfxxt+bf

ni,t=Wihht-1+Wixxt+bi

no,t=Wohht-1+Woxxt+bo

ny,t=Wyht+by

式中:Wfh和Wfx分別為遺忘門中與ht-1和xt對應的權重矩陣;Wih和Wix分別為輸入門中與ht-1和xt對應的權重矩陣;Woh和Wox分別為輸出門中與ht-1和xt對應的權重矩陣;Wch和Wcx分別為當前輸入的單元狀態中與ht-1和xt對應的權重矩陣;Wy為輸出層中與ht對應的權重矩陣;bf、bi、bo、bc、by分別為遺忘門、輸入門、輸出門、當前輸入的單元狀態、輸出層中的偏置向量;°表示兩個向量對應元素相乘。

1.3 LSTM的誤差反向傳播過程

LSTM的訓練算法仍然是誤差反向傳播算法。由于LSTM的前向傳播過程是從左到右的有序傳播,因此誤差反向傳播過程也是沿時間反向傳遞,稱為BPTT(back-propagation through time)算法。

在本文構造的LSTM中,要訓練的參數包括權重矩陣Wfh、Wfx、Wih、Wix、Woh、Wox、Wch、Wcx、Wy和偏置向量bf、bi、bo、bc、by。將誤差沿時間反向傳播,需要計算每個時刻的誤差項。設t時刻真實值dt與估計值yt的誤差為yt-dt,1到T時刻的總誤差E可表示為

(9)

(10)

進一步可得

(11)

(12)

(13)

進而得到權重矩陣和偏置項的梯度分別為

(14)

(15)

由以上梯度公式就可以采用梯度下降法來更新權重和偏置項。本文將梯度下降法和擬牛頓法中的BFGS算法相結合,在初始階段誤差比較大時,采用梯度下降法,當總誤差減小到一定程度后,采用BFGS法來訓練,并通過Wolfe-Powell線搜索來搜索合適的步長,提高迭代效率。設模型參數ω={Wfh,Wfx,Wih,Wix,Woh,Wox,Wch,Wcx,Wy,bf,bi,bo,bc,by},給定它的初始值ω0;精度閾值為ε;迭代次數為j;最大迭代次數為jmax;梯度下降法轉為BFGS算法的閾值為a;D表示逆海森矩陣的近似,其初始矩陣設為D0=I,I表示單位矩陣。參數更新算法的具體步驟為:①計算模型訓練的總誤差E(ω),以及總誤差對參數的梯度E(ω);②若E(ω)>a,則下降方向δω=-E(ω),根據線搜索得到步長α,更新參數ωnew=ω+αδω,轉至步驟⑤,否則轉至步驟③;③下降方向δω=D[-E(ω)],根據線搜索得到步長α,更新參數ωnew=ω+αδω;④若E(ω),則s=ωnew-ω,m=E(ωnew)-E(ω),h=Dm,k1=更新D,即Dnew=D+k2ssT-k1(shT+hsT);⑤若‖E(ω)‖>ε且j

2 葛洲壩水電站上下游水位預測

2.1 數據采集及分析

選取2013年8月18日至2014年7月2日三峽水電站和葛洲壩水電站非棄水期間的小時運行數據,輸入變量為三峽上游鳳凰山水位、三峽左岸電站總有功、右岸電站總有功、地下電站總有功、電源電站總有功、葛洲壩大江電廠總有功、二江電廠總有功、自備電站總有功,輸出變量為葛洲壩上游5號站水位、下游7號和8號站水位,訓練前先將數據進行標準化處理,消除量綱的影響。圖3(a)顯示了7號站和8號站的水位走勢,圖3(b)顯示了5號站的水位走勢,圖4為葛洲壩入庫流量與5號站水位散點圖(7、8號站散點圖類似,不再畫出),圖5顯示了三峽水庫出庫流量與葛洲壩入庫流量之間關系。從圖4可以看出,葛洲壩入庫流量是葛洲壩上游5號站水位預測的重要影響因素,而葛洲壩入庫流量又與三峽水庫出庫流量有著緊密的聯系。從圖5可以看出,三峽水庫出庫流量和葛洲壩入庫流量呈寬帶狀分布,在相同的三峽水庫出庫流量水平下,葛洲壩入庫流量有比較大的取值區間,僅僅采用線性回歸來估計葛洲壩入庫流量會產生較大的誤差。另一方面,三峽和葛洲壩梯級電站的流量數據均是計算得到,本身含有一定的偏差,因此本文沒有選取流量數據,而是通過水位和有功數據等實時監測數據來間接反映流量的隱含變化。

圖3 不同站位水位走勢

圖4 葛洲壩入庫流量與5號站水位散點圖

圖5 三峽水庫出庫流量與葛洲壩入庫流量關系

2.2 水位預測

由于三峽水庫的出庫流量到達葛洲壩壩前需要一定的時間,所以三峽水電站的水位和出力變化對葛洲壩水電站水位的影響存在一定的滯后性,當預測葛洲壩水電站上下游水位時,應綜合之前多個時刻三峽水電站和葛洲壩水電站的出力情況以及三峽上游鳳凰山的水位數據。本文采用LSTM神經網絡,將歷史每60個時刻的數據通過隱含狀態引入到下6個時刻的預測之中,每個時刻的輸入為8維,隱含層為20維,輸出為3維,采用BPTT算法進行訓練。為了評估模型的預測效果,采用預測誤差的均值、標準差、平均絕對誤差(YMAE)和均方根誤差(YRMSE)作為評價指標,計算公式分別為

(16)

(17)

表1 8號站連續6 h預測誤差的統計結果

表3 5號站連續6 h預測誤差的統計結果

2.3 結果分析

從表1～表3可以看出,無論是上游5號站水位,還是下游8號站和7號站水位,誤差結果分析的各項指標均隨著預見期的延長而增大,說明預見期越長,水位越難以準確預測;對于8號站和7號站,其連續6 h的預測誤差的90%分位區間基本在±0.2 m以內,而且YMAE和YRMSE值均較小,總體達到水位預測的精度要求;對于5號站,連續前3 h的預測誤差的90%分位區間控制在±0.2 m以內,但是第4到6 h的YMAE值和YRMSE值均比較大,誤差波動性較大,這主要是因為5號站處于三峽水電站和葛洲壩水電站之間,水動力學特性遠遠比下游河道復雜,所以對于5號站水位的預測,建議采取連續3 h預測,及時更新的方法來確保預測的有效性。

3 結 語

本文建立了基于LSTM神經網絡的梯級電站短期水位預測模型?？紤]上游電站的運行對下游電站水位的影響以及時間的滯后性,將上游電站的水位以及出力等可觀測數據放入模型之中,并采用梯度下降法與擬牛頓算法中的BFGS方法相結合訓練模型,Wolfe-Powell線搜索方法選取步長。將模型應用于葛洲壩水電站上下游水位預測,結果表明模型實現了葛洲壩水電站連續6 h的下游水位準確預測,以及連續3 h的上游水位準確預測,為科學的調度決策提供了更加可靠的理論支撐。