基于卷積神經網絡特征提取的風電功率爬坡預測

景惠甜，韓 麗，高志宇

（中國礦業大學電氣與動力工程學院，江蘇省徐州市221116）

0 引言

近年來，隨著環境污染的加重和化石能源的日益減少，開發新的替代能源成為研究熱點。其中，風能以其高效清潔的特點獲得了國內外的青睞。但是，風能具有很強的隨機性和間歇性［1-2］，尤其是當發生長時間的極端氣象天氣，爬坡事件極易發生。風電爬坡是指一段時間內，風電功率發生大幅度的波動，風電爬坡使電力系統維持功率和頻率的穩定更加困難，給風電的并網和調度帶來了巨大的挑戰［3-7］。為了減少爬坡事件對系統的影響，需要對爬坡預測的方法進行研究。目前，最常見的爬坡預測方法是基于歷史數據進行預測［8-9］。為了提升預測的精度，也有研究將氣象預測數據和統計模型相結合［10-11］。由于風能的特性受多種因素的影響，簡單的預測方法無法準確捕捉爬坡特性，這就要求不斷研究新的方法以更加準確地獲取風電的爬坡特征［12-14］。

深度學習網絡具有強大的深度特征提取能力，其中，長短期記憶（long short-term memory，LSTM）網 絡［15-18］和 卷 積 神 經 網 絡（convolutional neural network，CNN）在風電功率預測方面已經有了很廣泛的應用［19-20］，所以本文采用了以CNN 為基礎的深度模型進行特征提取和爬坡預測。特征提取的本質是通過一個特定的評價標準衡量一個給定特征子集的優良性。通過特征選擇，原始特征集合中的冗余特征和不相關特征被除去，而有用特征得以保留。CNN 在圖像識別方面有強大的功能，其中特征提取層的參數可以通過訓練數據學習得到，避免了人工提取特征，其同一特征圖的神經元可以共享權值，從而可以減少網絡參數。CNN 善于挖掘數據局部特征，具有極強的適應性［19］。注意力機制（attention mechanism，AM）最早用在圖像處理領域，每個輸入是具有相應注意力的權重，這些注意力權重在輸出后進行重新計算，使得網絡的注意力能隨著輸入的推移而改變，在模型訓練時讓神經網絡高度關注某些信息。由于風電爬坡場景少，其特征信號容易淹沒在大量其他特征中，采用AM 來加強對爬坡特征的學習，能有效提高預測模型精度?，F有的AM 需要人為設置打分函數［21-22］，難以適應對復雜風電信號中爬坡特征的學習。為此，本文通過全連接層直接構造AM，AM 的權重在對風電信號學習過程中通過訓練得出，以加強風電爬坡的特征。

本文提出了基于CNN 和LSTM 的風電功率爬坡預測方法，針對風電爬坡特征難以提取及學習的難題，提出用AM 來強化對風電爬坡特征的學習，并針對AM 權重須人為設置的局限，提出采用全連接層構造AM 的權重，保證對爬坡特征的有效學習。仿真驗證表明，本文提出的模型有較好的特征提取和預測能力。

1 風電功率爬坡事件

風電功率爬坡事件主要指長時間極端天氣引起的短時間內風電功率發生大幅度的變化。當出現強烈低壓系統（或氣旋）、低空急流、雷陣雨、陣風或類似的長期極端氣象事件時，會造成風電場一段時間內功率驟增，發生上爬坡事件；當出現相對氣象事件或風速較高超過切出風速，部分風機陸續退出運行時，風電場一段時間內功率驟降，發生下爬坡事件［23-26］。風電功率的急劇變化對電網造成很大的不利影響，如頻率失穩等。

文獻［24］給出了定義爬坡事件的5 個表征量，如附錄A 圖A1 所示。

1）幅度變化ΔPr，風電功率的變化值。

2）持續時間Δt，大幅功率波動持續時間。

3）爬坡率ΔPr/Δt，風電功率變化速率。

4）開始時間t0，既可以定義為爬坡事件開始的時間，也可以定義為爬坡事件的中段時間。

5）爬坡方向，功率增大為上爬坡，減小為下爬坡。

本文采用文獻［24］給出的爬坡定義：

式中：Pt和Pt+Δt分別為t 和t+Δt 時刻的風電功率；Pthreshold為功率閾值。 Pt+Δt-Pt>Pthreshold表示發生了上爬坡，Pt+Δt-Pt<-Pthreshold表示發生了下爬坡，具體內容見附錄A 圖A2。

2 基于CNN 特征提取的風電預測

2.1 基本原理

2.1.1 CNN 基本原理

提取風電信號的深層特征對于風電功率爬坡預測具有非常重大的意義。CNN 可以模仿人類的視覺感知機制，從而有效地提取原始圖像的特征。CNN 通常是由卷積層、池化層和全連接層組成。其中，卷積層是CNN 最重要的部分。CNN 將傳統神經網絡中至少一層的常規矩陣乘法替換為卷積，即CNN 是對傳統神經網絡的改進。在卷積層中，采用濾波器對輸入進行卷積操作，每個濾波器的實質是一個較小的矩陣，在卷積操作之后可得到相應的特征圖。CNN 可以自動創建濾波器，并建立稠密、完備的特征向量，被已有研究證實了是提取數據深層特征的一種非常可靠的方法。在同一個卷積層中，除了權值是共享的之外，各個神經元之間沒有聯系。因此，相對于有相同層數和神經元個數的多層感知機，CNN 的效率更高。每個卷積層都可以用式（2）來表示［20］：

附錄A 圖A3 為一維卷積運算，輸入為x1，x2，…，x6，一 維 卷 積 后 得 到 的 特 征 圖 為c1，c2，c3，c4，輸入和特征圖通過不同顏色的線條連接，相同顏色的線條代表權重是共享的，圖中只需要3 個權重值即可執行卷積運算。因為權重的數目相比全連接結構少，CNN 的訓練就相對容易，從而可以有效提取重要特征。

本文模型采用了3 個卷積層，每層分別包含4，16，32 個濾波器，故而每層可以分別輸出4，16，32 個特征圖。

池化層是CNN 的另一個特殊的層，可以通過將網絡特定位置的輸出替換為附近數據的統計量而保留主要特征，同時減少下一層的參數和計算量，防止過擬合。池化的方法主要包括最大池化和平均池化，最大池化可以得到鄰域內的最大值，即可以得到經卷積特征提取后最重要的特征，同時最大池化也對卷積層提取到的數據特征進行了降維，減少后續LSTM 層數據輸入個數，有效地減少計算量，所以本文選取了最大池化。

在CNN 中，每個卷積核所對應的卷積層其實就是用于判斷輸入特征的系統，但是對于要判斷特征的系統的運行法則是不清楚的，所以通過誤差反向傳播的方式不斷調整卷積核的參數，使得在訓練后調整參數的卷積核能夠完成當前卷積層判斷輸入特征的工作。當所有的單個卷積層都能夠有效完成特征判斷的任務時，由一定數量卷積層所組成的復雜系統的CNN 就能完成所需的復雜特征的提取。

對于圖像識別來說，附近的像素有很強的關聯性，同樣地，對風電功率時間序列，時間上鄰近的功率點也具有很強的相關性。雖然CNN 是一個前饋神經網絡，但它的卷積層可以提取附近和相關的輸入元素的關系，這樣的特點可以用來建立風電的特征提取模型。綜上所述，當附近的數據點有很強的相互關系時，CNN 可以捕捉到局部趨勢和局部變量的特征，因此可以用來提取附近時段的風電功率的特性，如爬坡特性。

2.1.2 LSTM 網絡基本原理

LSTM 網絡在循環神經網絡的基礎上增加了單元狀態c，保存長期的狀態，成功解決了循環神經網絡訓練時梯度消失和爆炸的缺陷。

已知輸入序列為X =[ x1，x2，…，xT]，T 為輸入序列的長度。遞歸隱層按照時刻t=1，2，…，T 依次計算3 個門和記憶單元的激活值。t 時刻的計算式如下［19］。

輸入門：

式中：Wix為輸入門與輸入向量的權重矩陣；Wih為輸入門與上一時刻中間狀態向量ht-1的權重矩陣；Wic為輸入門與上一時刻記憶單元ct-1的權重矩陣；bi為輸入門的偏置向量；σ 為Sigmoid 非線性函數。

忘記門：

式中：Wfx，Wfh，Wfc分別為忘記門與xt，ht-1，ct-1的權重矩陣；bf為忘記門的偏置向量。

記憶單元：

式中：Wcx，Wch分別為記憶單元與xt，ht-1的權重矩陣；? 為雙曲正切函數；bc為記憶單元偏置向量。

輸出門：

式中：Wox，Woh，Woc分別為輸出門與xt，ht-1，ct-1的權重矩陣；bo為輸出門偏置向量。

隱層輸出：

本文采用的LSTM 層包含64 個神經元，輸入為32 個向量，輸出為64 個向量，激活函數為線性整流函數（rectified linear unit，ReLU），定義如下［20］：

式中：x 為ReLU 的輸入變量。

具體的模型參數見附錄A 表A1。

2.1.3 AM 基本原理

注意力是一個相似性的量度，當前的輸入與目標狀態越相似，當前輸入的權重就會越大，說明當前的輸出越依賴于當前的輸入。注意力的本質是加權求和。 假設有m 個d 維的特征向量hi(i=1，2，…，m)，整合這k 個特征向量的信息，整合后的向量設為h*（一般也是d 維），一個簡單的方法是這k 個向量點乘取平均，得到新的向量，更合理的方法是加權平均，即：

式中：αi為權重。AM 的目的就是得出一個合理的αi。

αi的求取一般分2 個步驟：

1）設計一個打分函數g，針對每個hi(i=1，2，…，k)，計算出一個分數si，打分依據是hi與所關注對象的相關程度，越相關所得si值越大。

2）對所得的k 個分數si，通過softmax 函數，得到最后的權重αi，即：

本文采取的AM 通過在LSTM 層和神經元個數為1 的全連接層之間增加節點數和LSTM 層單元數相同的全連接層來構造，即：

式 中：ht為 當 前 時 刻LSTM 層 的 輸 出 向 量；Wα為 注意力權重矩陣；bα為注意力偏置向量。

LSTM 層每個神經元的輸出對當前網絡的輸出的重要程度是不同的，網絡結構中的AM 負責自動學習注意力權重，可以用來衡量LSTM 層輸出對于網絡輸出的重要程度，即用LSTM 層輸出和網絡輸出作為AM 的輸入，進而學習αi關于兩者的函數，而通過學習得到的αi可以反映兩者的相關性。

2.2 CNN-LSTM-AM 模型

本文提出的CNN-LSTM-AM 模型以風電功率時間序列作為網絡的輸入。參考自然語言中詞向量的表示方法，將某一時刻的風電功率值以單個向量的形式輸入，再用滑動時間窗口的方式依次將輸入的時間序列數據生成特征圖從而進行后續的計算，充分發揮CNN 模型的潛在特征提取優勢，從而挖掘數據中蘊含的更多有效信息。

風電爬坡的特征信號容易淹沒在大量隨機紊亂的數據中，普通模型很難建立從風電數據輸入到爬坡識別輸出的映射關系，模型的精度必然不高，所以本文通過3 個部分對風電功率的爬坡特性進行提取和加強。

風電功率信號經CNN 識別后提取出的爬坡特征作為LSTM 層的輸入，LSTM 層所特有的3 個門和記憶單元可以對CNN 提取到的爬坡特征進行進一步的篩選，使重要的特征通過記憶單元得到保留，不重要的特征通過忘記門進行遺忘，最后通過AM對LSTM 層的輸出進行加權，進一步突出重要的特征。

爬坡數據相當于模式突變，發生次數又較少，預測模型無法對其有效學習，必然不能有效判斷。若未經CNN 識別，風電數據直接輸入LSTM 層，風電爬坡的特征信號容易淹沒在大量其他特征中，通過CNN 爬坡特征被清晰準確地提取出來，因而使爬坡識別更為準確。所以，利用CNN 識別是本文方法取得較好識別效果的關鍵。

由于風電功率較強的隨機性，導致多步預測困難且準確性普遍不高，在風電功率實時預測中，下一個采樣點的結果是未知的，是否發生長時間功率爬坡無法確定，所以預測選相鄰的時間點更為準確。

卷積層特征提取的過程見附錄A 圖A4。本文主要研究發生爬坡時CNN 對于數據的處理能力，即當數據發生突變時，CNN 所提取到的特征圖，所以截取該段數據進行有針對性的說明。圖1（a）、（b）和（c）分別是由3 個卷積層處理后得到的數據繪制成的圖像，橫軸代表按采樣時間順序排列的樣本點，樣本點之間的時間間隔相同，縱軸代表該時刻歸一化的風電功率值。

圖1 卷積層輸出Fig.1 Output of convolutional layers

由圖1 可知，在發生下爬坡事件的樣本附近，3 個卷積層輸出的特征均發生了突變，其中第1 個卷積層由于濾波器的個數較少，導致提取到的特征不夠全面，從而第1，4 個濾波器未提取到特征，第3 個濾波器提取到的特征不準確（圖1（a））。通過對16 個濾波器提取到的特征進行對比后發現，在經過第2 個卷積層的特征提取后，基本每個卷積層都能很好地提取到特征（圖1（b））。經過第3 個卷積層的特征提取后，雖然在發生爬坡的樣本附近提取到的特征也發生了突變，但是輸出的特征沒有能很好地跟隨原始樣本的變化趨勢，通過圖1（b）和（c）的對比發現，原始數據在樣本區間［210，230］是下降趨勢，圖1（b）整體也呈下降趨勢，但圖1（c）中除了發生突變的位置外，數據的趨勢較為平穩，說明3 個卷積層足夠可以捕捉發生爬坡時風電的特性。

綜上所述，當附近的數據點有很強的相互關系時，CNN 可以捕捉到局部趨勢和局部變量的特征，因此可以用來提取附近時段的風電功率爬坡特性。

由附錄A 圖A5 可以看出，假設當前的輸出為yt，通過訓練的方式，讓模型自動學習重要的值，可以算出每一個輸入（即由LSTM 單元組成的隱藏層的輸出）與當前輸出yt的關聯度，比較重要的輸入會通過較大的權重α 得到加強，在風電功率爬坡預測輸出時會占較大的比重，同時不重要的會被減弱，從而在一定程度上提高了預測的準確性。

圖2 所示為AM 的部分權重，通過對所有權重進行比較，可以得到大部分樣本點第63 個權重最大，說明LSTM 的第63 個神經元的輸出最為重要，也就是說，網絡輸出和LSTM 層的第63 個神經元輸出關聯度最大。

圖2 注意力層權重Fig.2 Weights of attention layer

用全連接層構造AM，將LSTM 層的輸出作為AM 層的輸入，計算權重，將權重與LSTM 層的輸出相乘得到最后全連接層的輸入，最終經過全連接層輸出結果。

綜上所述，本文首先對原始的風電功率序列進行了深層特征提取。池化層的輸出作為LSTM 層的輸入，LSTM 層的輸出作為AM 層的輸入，通過訓練得到AM 層的權重后，與LSTM 層的輸出相乘，為LSTM 層的輸出分配權重。梯度下降法作為優化函數，通過全連接層得到輸出，進而得到預測結果。模型具體結構見附錄A 圖A6。圖中n 為每次輸入模型的風電功率時間序列長度，Pt-n為t-n 時刻的風電功率數值。

3 仿真研究

為驗證模型的科學性和可靠性，本文采用了ELIA 網站［27］和NREL 網站的風電功率數據作為數據集。式（1）中，Pthreshold取3%的裝機容量，用ELIA數據驗證時，Δt 取15 min，用NREL 數據驗證時，Δt取5 min。

本文采用Python 作為編程語言，編譯環境為JetBrains PyCharm 2018，RAM 為4 GB，處理器為Intel Core i5-8250U。

3.1 模型預測性能評估

選取4 個季度，每個季度2 000 個樣本對模型進行測驗，50%作為訓練集，50%作為測試集。

本次采用min-max 標準化將原始數據進行線性變換，將數據大小約束在［0，1］。為了測試模型的預測效果，選取了3 個標準，分別為平均絕對百分比誤差（mean absolute percentage error，MAPE）、平均絕對誤差（mean absolute error，MAE）、均方根 誤差（root mean square error，RMSE）［16］。

根據表1 中ELIA 預測結果，4 個季度中反向傳播 神 經 網 絡［28］（back propagation neural network，BPNN）、埃爾曼神經網絡（Elman neural network，ENN）的 預 測MAPE 都 大 于CNN-LSTM-AM 模型，RMSE 和MAE 結論相同，且本文模型4 個季度模型預測MAPE 均在6%以下。其中，ENN 4 個季度的預測MAPE 超過了10%，說明ENN 在風電預測方面的精確度低，且CNN，LSTM，AM 單獨預測時的MAPE 均大于組合模型，從而說明了本文模型預測風電功率有很好的精度。

根 據附錄A 表A2 中NREL 預測結果，4 個季度CNN-LSTM-AM 模型的MAPE 均在其余對比模型之下，且低于6%，AM 除了第1 季度外，其余季度MAPE 均在10%以上，ENN 第2 季度MAPE 甚至超過了20%，進一步說明了本文所提出模型在風電功率預測方面有良好的精度。

表1 ELIA 不同方法預測誤差對比Table 1 Forecast erorr comparison of ELIA between different algorithms

3.2 模型爬坡預測性能評估

本文選取了4 個季度驗證模型對爬坡的提取能力，并與BPNN，ENN，CNN，LSTM 以及包含AM的神經網絡的爬坡預測能力作對比，正確率、漏報率、誤報率以及錯報率［29］見表2。從表2 中可以看到本文模型的錯報率均小于等于0.1%，對比模型的錯報率大部分都在0.1%之上，且模型的漏報率均在2%以下，誤報率均在5%以下。和單個模型的爬坡預測相比，CNN-LSTM-AM 模型有效減少了單個模型爬坡預測的錯報率，且第3 季度和第4 季度的準確率均有所提升，其中第4 季度相比CNN，LSTM，AM 爬坡預測正確率分別提升了8.2%，5.7%，5.6%。綜合表1 和表2 可以看出，雖然第1，2 季度CNN-LSTM-AM 模型爬坡預測正確率有所下降，但第1 季度最大下降不超過3.6%，第2 季度不超過1%，而且對于點預測的誤差，CNN-LSTM-AM 模型4 個季度的MAPE 均小于單個模型點預測的MAPE，所以從綜合的角度來看，CNN-LSTM-AM組合模型的性能優于單個模型的性能。

表2 ELIA 不同算法爬坡指標對比Table 2 Ramp indices comparison of ELIA between different algorithms

從附錄A 表A3 中可以看到，4 個季度中CNNLSTM-AM 的準確率比BPNN，ENN 都高，且錯報率均在2% 以下，BPNN 的錯報率最高達到了7.4%。和單個模型的爬坡預測指標相比，CNNLSTM-AM 模型減少了單個模型的錯報率，其中，和LSTM，AM 相比，4 個季度的漏報率均有所下降。

從附錄A 表A4 可以看到加入CNN 后，由于CNN 的權重共享以及最大池化，CNN-LSTM-AM模型的運行速度明顯高于LSTM 模型的運行速度。表A4 運行的時間包含了窗口提取、歸一化的數據預處理的時間。一般來說，離線訓練后，在線上進行預測，風電調度周期一般為2 h，實時調度的時間尺度為5～15 min［30］，在僅計入預測時間的情況下，最長的預測時間不超過0.5 s，因而預測的速度完全可以滿足風電場的調度管理。

采用CNN 正向計算一次所花費的時間可代表模型特征提取的效率。從附錄A 表A5 可以看到在不計數據導入和歸一化的時間的情況下，CNN 正向運行一次的時間均小于0.1 s，計入數據導入和歸一化時間的情況下，運行時間不超過0.2 s，說明模型提取特征的效率較高。

從以上分析可以看出，本文所提預測方法的爬坡預測性能指標較對比方法均有改善，從而表明了所提出模型在風電功率爬坡事件預測方面的可行性和有效性。

選取第4 季度ELIA 數據進行對比。功率預測對比見附錄A 圖A7，爬坡指標對比見附錄A 圖A8。節選350 個數據對各個爬坡指標進行分析。圖A8（a）表示實際的爬坡，向上的箭頭表示上爬坡，向下的箭頭表示下爬坡，圖A8（b）、（c）和（d）分別代表CNN-LSTM-AM，BPNN 和ENN 的爬坡預測?？梢钥吹皆谇?50 個樣本點中，CNN-LSTM-AM 模型僅有5 個誤判點，而BPNN 和ENN 的誤判點分別達到 了18 個 和21 個，明 顯 高 于CNN-LSTM-AM 模型，且3 個模型均無錯判。在樣本區間［150，200］內，原始風電功率數據較為平緩，但BPNN 和ENN的爬坡預測變化較為劇烈，因而發生了較多次的誤判，導致誤判率升高，而本文模型的預測輸出相對平緩，因而誤判次數低，從而說明本文模型有很好的爬坡預測能力。

4 結語

本文首先用CNN 對風電功率信號進行深層特征提取，很好地捕捉了風電功率的爬坡事件。然后，加入了LSTM 網絡解決風電功率的長時依賴問題。最后，加入AM 對LSTM 層的輸出進行加權處理，加強了網絡輸出的重要部分，使得模型對爬坡預測的準確性得到進一步的提升。本文中所提出的模型很好地學習了風電功率的深層特性，對處理波動性較強的風電功率序列有較好的效果。

本文僅對模型的正向傳播過程進行分析并提取了中間過程，未結合風電信號本身的特性對反向傳播的優化算法進行改進，并且僅采用了風電功率數據進行預測。未來的研究可以引入反向優化算法和多變量預測，從而進一步提高模型對風電爬坡的預測能力。

附錄見本刊網絡版（http：//www.aeps-info.com/aeps/ch/index.aspx），掃英文摘要后二維碼可以閱讀網絡全文。