一種用于風電功率預測的雙存儲結構LSTM模型

應稼田 程良倫 林錦發

摘 要：文章針對風力發電特有的間歇性和不穩定性等特性，提出一種雙存儲神經元的長短時記憶（LSTM）模型（Du-LSTM）用于風電功率預測。通過建立雙存儲神經元結構的LSTM模型，對周期性較強和突變性較強的風電功率分別采用不同神經元建模，有效解決受天氣劇烈變化影響下的風電功率預測精度較低的問題。實驗結果表明，預測誤差相對LSTM模型從10.4%下降到7.0%，改進后的Du-LSTM神經網絡模型在預測精度和擬合度上優于原始LSTM網絡模型。

關鍵詞：風電功率；神經網絡；趨勢預測

風力發電是一種清潔安全的能源，技術相對成熟，是具有大規模開發的可再生能源技術之一。然而風是隨機的、不可控的，這就導致風力發電具有不穩定性，若能實現風電功率高精度預測，就能準確掌握風電變化趨勢，有利于消除風電對電網的不良影響，使其在電力市場具有更強的競爭力[1]。研究基于歷史數據的風電高精度預測對我國風電行業具有重要意義，已經成為相關研究人員研究重點[2]。

風電功率預測方法主要有以下幾種：基于數值天氣預報系統的物理模型預測方法，統計預測方法和空間相關性方法[3]，卡爾曼濾波法[4]，遺傳算法與預測模型結合的預測方法[5-6]。隨著人工智能發展，神經網絡在風電功率預測中應用最為廣泛[7-8]。其中，長短時記憶網絡模型（Long Short-Term Memory，LSTM）神經網絡模型由于其可以記憶更長遠的歷史時間信息，在風電功率預測上表現更好。

針對風力具有季節性和波動性的特征，本文構建雙存儲神經元的長短時記憶神經網絡模型（DU-LSTM），長時記憶單元存儲長期歷史風力數據進行訓練，風力出現短時大幅波動時將其存儲在短時記憶單元進行訓練。可以解決受天氣劇烈變化影響下風電功率變化大，導致預測精度較低的問題。最終提高了雙存儲神經元LSTM模型的短期風電功率預測精度。

1 LSTM模型相關理論

LSTM是一種遞歸神經網絡（Recurrent Neural Network，RNN）的特殊類型，可以學習長期依賴的信息[9-10]。盡管標準RNN模型能夠有效地處理非線性時間序列，但是主要存在兩個問題：一是由于梯度消失和梯度爆炸問題，RNN不能處理延遲過長的時間序列；二是訓練RNN模型需要預先確定延遲窗口長度，然而實際應用中很難自動地獲取這一參數的最優值。LSTM模型改變了RNN的細胞模型，使之具有長期記憶能力。LSTM模型結果包含一組相互聯系的遞歸子網絡，被稱為記憶模塊。每個記憶模塊包含一個或多個自相關的記憶信元和3個增值單元。它的前向算法可以表示為：

其中：i，f，c，o分別表示輸入門、遺忘門、細胞狀態、輸出門，W和b分別為對應的權重系數矩陣和偏置項，σ為sigmoid函數。

LSTM模型的前向傳播算法（Forward Propagation）跟反向傳播算法（Back Propagation，BP）神經網絡的并無本質不同，而其訓練過程采用的基于時間的反向傳播算法（Back Propagation Through Time，BPTT）是經典BP的簡單變體，其目的也是從最后一步時間向前傳遞累積的殘差，其計算過程為：

（1）按照前向傳播算法（公式（1）—公式（5））計算LSTM模型中cell的輸出值。

（2）反向計算每個cell的誤差項，包括時間和網絡層兩個反向傳播方向。

（3）根據誤差，計算相應權重的梯度。

（4）應用基于梯度的優化算法更新權重。

2 雙存儲LSTM模型實現

2.1 雙存儲LSTM神經元

為了解決不同天氣因素情況下，長期時間因素和短時時間因素對風電功率預測不同程度的影響，本文提出了一種長時記憶單元和短時記憶單元相結合的雙存儲LSTM神經元，定義變量ηt，用于判斷風電功率訓練所用的LSTM神經元記憶單元。它們有不同的時間步長。對于時間t+1步的風電功率預測，長時記憶單元的時間步長為起始時間到t時刻。相對應的，短時記憶單元捕捉短周期內的風電功率變化趨勢，其時間步長為預測時間點t之前的最短時間步長ω，即從t-ω+1到t時刻。這種雙存儲結構的LSTM神經元模型如圖1所示。其中h為LSTM層輸出，x為觀測特征，y為風電功率。

基于雙存儲神經元的LSTM模型，需要定義兩組細胞，{ct（l）}和{ct（s）}，分別記錄長時記憶單元信息和短時記憶單元信息。c（l）和c（s）有獨立的LSTM權重參數，即對于長時記憶單元和短時記憶單元來說，它們的細胞狀態，遺忘門和輸入門分別有其各自對應的權重矩陣，分別記為θ（l）={Wc（l），Wf（l），Wi（l）}和θ（s）={Wc（s），Wf（s），Wi（s）}，但是它們的輸出門的權重矩陣Wo是共用的。在LSTM模型的訓練階段，參數θ（l）和θ（s）分別為長時記憶單元與短時記憶單元中的樣本數據訓練所得。在本文中，通過變量ηt來確定隱藏層輸出ht所屬記憶單元。ηt通過所觀測特征{P1，P2，Pn}計算所得。某些時間點的風電功率表現為季風特性，趨向于長期的風電功率變化特性，而對于某些時間點的風電功率表現為受短時極端天氣影響，則趨向于短期的大幅波動變化。長時記憶單元和短時記憶單元的選擇過程可以表示為：

當ηt大于0.5時，LSTM神經元的細胞為長時記憶單元；當ηt小于等于0.5時，LSTM神經元的細胞為短時記憶單元。

在已經設計好的雙存儲LSTM模型上，結合Adam算法計算LSTM模型各個參數的自適應學習率。流程如圖2所示。

2.2 網絡訓練

網絡訓練主要是以隱藏層為研究對象。首先在LSTM神經網絡輸入層中，定義原始的風電功率時間序列為Po={P1，P2，…，P3}，將其劃分為訓練集Ptrain={P1，P2，…，Pm}和測試集Ptest={Pm+1，Pm+2，…，Pm+3}。接著對訓練集和測試集中的所有元素p進行標準化。

設定時間步長為L，對訓練集進行切割，切割后的模型輸入為：

公式（9）中的Cn-1和Hn-1為前一個LSTM神經元的狀態和輸出，可由公式（1）到公式（5）求得。對于訓練過程中的損失函數，采用均方根誤差作為誤差計算公式，訓練的目標是使得損失函數最小化。

2.3 網絡預測

將訓練完成的模型用于預測。預測采用迭代的過程，首先將LSTM訓練模型的最終輸出結果Yt={pm-L+1'，pm-L+2'，pm}作為輸入，輸入到訓練完成的LSTM模型（記為LSTMtrain），得到m+1時刻的預測值為pm+1。刪除Yt中第一個時間點的值pm-L+1，將pm+1與Yt合并為新的數據集。以此類推，可以得到最終的預測結果為：Yp={pm+1，pm+2，…，pn}。

得到預測結果后，對Yp進行反標準化，得到與測試集Ptest對應的預測序列Ytest={p*m+1，p*m+2，…，p*n}。

總的來說，Du-LSTM模型的訓練及預測過程如下。

步驟1 設置LSTM模型參數。包括輸入層維度，輸出層維度，LSTM層神經元個數，初始學習率。

步驟2 數據集切割與標準化處理。LSTM模型所用激勵函數為sigmoid函數，其值域為[0，1]，對數據集進行標準化處理。將數據集劃分為訓練集與訓練標簽。

步驟3 構建雙存儲LSTM網絡模型，即Du-LSTM網絡模型。每個LSTM神經元包括長時記憶單元與短時記憶單元兩個存儲塊，具體結構如圖1所示。

步驟4 利用構建好的LSTM模型對數據進行訓練，采用Adam算法對LSTM所有參數自適應其學習率。

步驟5 確定預測時間范圍，逐點預測風電功率。

3 實驗及結果分析

3.1 數據選取

為驗證所建立的預測模型的有效性，本文采用Global Energy Forecasting Competition 2012-Wind Forecasting的風電場數據為樣本進行風電功率預測。時間跨度為2010年1月1日到2012年6月28日。時間分辨率為1小時。所采集數據包括實際風電功率和風機監測系統采集的緯度方向風分量，經度方向風分量，風速和風向等。以單臺的異步風力發電機組為例，對該風電機組的短期風電功率進行預測。為了預測短期的風電機組輸出功率，將前一小時的風電機組輸出功率、后一小時的風速、風向、緯度方向風分量和經度方向風分量作為網絡訓練的輸入。

對于風電功率預測模型中輸入的訓練特征風速、風電功率等，它們的量綱不一樣，數量級也不相同，因此，首先對訓練數據進行標準化處理，將訓練數據映射到[0，1]，當使用訓練好的模型進行預測時，將預測所得的風電功率進行反標準化，則可得到真實數據。

風速是一個變化趨勢明顯的非線性函數，對風電機組的發電功率影響最大。風速的變化呈現出一定的周期性，同時存在波動較大的特點。

設置LSTM模型的參數為：隱藏層數為2，每一層的神經元個數為10，初始學習率為0.001，最大迭代次數1 000次；兩層的Dropout層，Dropout層神經元丟棄率為0.2；一層池化層，激勵函數為relu函數。

3.2 方法評估及誤差分析

在實際建模過程中，選取了2012年6月27日到2012年6月28日作為預測時間段，預測這兩天內48小時中每小時的風電功率。為了評價本文提出的Du-LSTM算法的預測效果，將通過上述的訓練樣本分別用Du-LSTM，LSTM和XGBoost（Extreme Gradient Boosting）模型訓練，并用同樣測試集預測檢驗。XGBoost最初是由Tianqi Chen提出，所應用的算法就是GBDT（Gradient Boost Decision Tree），近年來在kaggle等各大數據挖掘競賽展示了強大的能力，有兩個以上的團隊采用XGBoost算法獲得最終冠軍。圖3是本文方法的預測結果。

由圖3可以看出，本文提出的Du-LSTM模型不僅能很好地逼近風電功率時間序列，同時也能迅速趨近風電功率變化趨勢。

為了判定模型預測結果的有效性，采用絕對平均誤差，均方根誤差RMSE和相對系數R-square作為模型預測的評價指標。其中絕對平均誤差MMAPE和RMSE用來評估模型預測結果的準確性，而相對系數R-square是通過數據的變化來表征一個擬合的好壞。“確定系數”的正常取值范圍為[0，1]，越接近1，表明模型的解釋能力越強，這個模型對數據擬合得也較好。

為進一步驗證預測模型的有效性，分別利用原始LSTM和XGBoost建立風電功率預測模型。其中原始LSTM和XGBoost的模型參數初始學習率，迭代次數與Du-LSTM的對應參數保持一致，采用與Du-LSTM相同的訓練樣本和測試樣本數據，同樣計算對應的絕對平均誤差、RMSE和R-square。圖4是各個方法每個時間點的絕對平均誤差對比圖。絕對平均誤差、RMSE和R-square的對比如表1所示。

由圖4和表1可得，Du-LSTM在絕對平均誤差、RMSE和R-square 3種指標上的表現均優于原始LSTM和XGBoost，說明其在預測精度和模型擬合度上表現都是最好的。尤其是相對于原始LSTM，絕對平均誤差從19.40%下降到12.90%，RMSE從10.40%下降到7.04%，R-square從85.04%提升到93.20%。提升效果較為明顯。

4 結語

本文在LSTM模型基礎上，提出了雙存儲神經元結構LSTM模型對風電功率趨勢進行預測，可以很好地預測未來風電功率值。

通過將Adam算法與LSTM模型結合，改變單一學習率更新網絡模型參數為自適應學習率更新網絡模型參數。

在相同的數據條件下，Du-LSTM的雙存儲神經元結構能夠更好地處理長期與短期訓練特征，使之預測結果相對LSTM模型預測精度更高，擬合度更好。在絕對平均誤差，RMSE和R-square上均有提升。但是在運算的速度上，本文的算法相對較慢，主要原因是兩層的LSTM模型訓練過程時間復雜度更高。

對于其他預測算法，其他數據，本文提出算法是否同樣具有優越性還有待進一步深入研究。

[參考文獻]

[1]鄭婷婷，王海霞，李衛東.風電預測技術及其性能評價綜述[J].南方電網技術，2013（2）：104-109.

[2]谷興凱，范高鋒，王曉蓉，等.風電功率預測技術綜述[J].電網技術，2007（S2）：335-338.

[3]安學利，蔣東翔.風力發電機組運行狀態的混沌特性識別及其趨勢預測[J].電力自動化設備，2010（3）：15-19.

[4]潘迪夫，劉輝，李燕飛.基于時間序列分析和卡爾曼濾波算法的風電場風速預測優化模型[J].電網技術，2008（7）：82-86.

[5]周洪煜，曾濟貧，王照陽，等.基于混沌DNA遺傳算法與PSO組合優化的RNN短期風電功率預測[J].電力系統保護與控制，2013（2）：144-149.

[6]楊洪，古世甫，崔明東，等.基于遺傳優化的最小二乘支持向量機風電場風速短期預測[J].電力系統保護與控制，2011（11）：44-48.

[7]張穎超，王雅晨，鄧華，等.基于IAFSA-BPNN的短期風電功率預測[J].電力系統保護與控制，2017（7）：58-63.

[8]范高鋒，王偉勝，劉純，等.基于人工神經網絡的風電功率預測[J].中國電機工程學報，2008（34）：118-123.

[9]HAO X，DU Q H，REYNOLDS M.SS-LSTM： a hierarchical lstm model for pedestrian trajectory prediction[C].Lake Placid：IEEE Winter Conference on Applications of Computer Vision，IEEE Computer Society，2018：1186-1194.

[10]KUMAR V，KUMAR V，KUMAR V，et al.Incremental dual-memory lstm in land cover prediction[C].Chicago：ACM SIGKDD International Conference on Knowledge Discovery and Data Mining，ACM，2017：867-876.