基于雙重Q學(xué)習(xí)的動態(tài)風(fēng)速預(yù)測模型

李永剛 王 月 吳濱源

基于雙重Q學(xué)習(xí)的動態(tài)風(fēng)速預(yù)測模型

李永剛 王 月 吳濱源

（新能源電力系統(tǒng)國家重點實驗室（華北電力大學(xué)） 保定 071003）

準(zhǔn)確的風(fēng)速預(yù)測對新能源并網(wǎng)穩(wěn)定運行具有重要意義。為提高風(fēng)速預(yù)測精度，該文構(gòu)建基于雙重Q學(xué)習(xí)的動態(tài)風(fēng)速預(yù)測模型。首先，構(gòu)建由五種基礎(chǔ)預(yù)測算法組成的風(fēng)速Q(mào)學(xué)習(xí)模型集，充分考慮風(fēng)速波動情況和屬性因素，通過Q學(xué)習(xí)強(qiáng)化學(xué)習(xí)算法選取出每時段的最佳預(yù)測模型，得到初步的風(fēng)速預(yù)測結(jié)果；然后，基于風(fēng)速預(yù)測結(jié)果計算預(yù)測誤差，構(gòu)建第二階段的誤差Q學(xué)習(xí)模型庫，篩選該模型庫中的最佳模型，以修正初步預(yù)測值，對誤差進(jìn)行校正，得到最終的預(yù)測結(jié)果；最后，通過對實際風(fēng)場不同季節(jié)的風(fēng)速進(jìn)行預(yù)測，驗證所提方法的有效性。

風(fēng)速預(yù)測 Q學(xué)習(xí) 誤差校正 動態(tài)模型選擇

0 引言

近年來風(fēng)力發(fā)電技術(shù)在全世界得到了廣泛的應(yīng)用和發(fā)展。隨著越來越多的風(fēng)電集成到電網(wǎng)中，給電力系統(tǒng)的安全運行帶來了巨大的挑戰(zhàn)，這主要是由風(fēng)的間歇性和波動性引起的[1-3]。因此，準(zhǔn)確的風(fēng)速預(yù)測對于風(fēng)電并網(wǎng)及電力系統(tǒng)的穩(wěn)定運行變得越發(fā)重要[4-6]。

現(xiàn)階段主流的風(fēng)速的預(yù)測方法主要有BP神經(jīng)網(wǎng)絡(luò)[7]、極限學(xué)習(xí)機(jī)[8]、核嶺回歸[9]（Kernel Ridge Regression, KRR）等。文獻(xiàn)[10]運用小波分解進(jìn)行數(shù)據(jù)預(yù)處理，利用遺傳算法對支持向量機(jī)進(jìn)行參數(shù)優(yōu)選，實現(xiàn)短期風(fēng)速預(yù)測，得到較好的預(yù)測效果。文獻(xiàn)[11]通過長短時記憶網(wǎng)絡(luò)（Long-Short Term Memory, LSTM）對風(fēng)向進(jìn)行建模，并在預(yù)測模型中添加了誤差校正環(huán)節(jié)，驗證了誤差校正的有效性。現(xiàn)如今，風(fēng)速預(yù)測方法已不僅僅滿足于單模型預(yù)測，越來越多的國內(nèi)外學(xué)者將集成學(xué)習(xí)[12-13]、深度學(xué)習(xí)[14]等方法融入風(fēng)速預(yù)測中，相比于過去的單一預(yù)測模型，預(yù)測精度得到了一定程度的提高。文獻(xiàn)[15]基于多模型融合Stacking集成學(xué)習(xí)方式對負(fù)荷進(jìn)行預(yù)測，相對于單模型預(yù)測顯著提高了預(yù)測精度。

隨著人工智能技術(shù)的快速發(fā)展，無模型的強(qiáng)化學(xué)習(xí)框架成為近幾年的研究熱點，通過對當(dāng)前狀態(tài)的行為進(jìn)行獎勵或懲罰來提高下一動作的預(yù)測精度。其中，Q學(xué)習(xí)由于所需的參數(shù)少、可離線訓(xùn)練等優(yōu)點已成為最受歡迎的強(qiáng)化學(xué)習(xí)方法[16]。它可以從最新技術(shù)中選擇最佳的預(yù)測模型，每一步均基于機(jī)器學(xué)習(xí)的預(yù)測模型。具體地說，在每個訓(xùn)練步驟中，Q學(xué)習(xí)代表將從當(dāng)前的預(yù)測模型M轉(zhuǎn)移到下一個預(yù)測模型M，從而獲得獎勵，Q學(xué)習(xí)代表將從中學(xué)習(xí)模型選擇的最優(yōu)策略。

本文選取不同的機(jī)器學(xué)習(xí)算法構(gòu)建基于雙重Q學(xué)習(xí)的動態(tài)預(yù)測（Dynamic Prediction based on Double Q Learning, DPDQ）模型，對風(fēng)電場風(fēng)速序列進(jìn)行預(yù)測。選用支持向量回歸（Support Vector Regression, SVR）、核嶺回歸（Kernel Ridge Regression, KRR）、BP（back propagation）神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)算法LSTM和XGBoost五種機(jī)器學(xué)習(xí)算法組成第一階段Q學(xué)習(xí)模型庫，通過Q學(xué)習(xí)篩選出適應(yīng)本時段的預(yù)測算法，得到初步的風(fēng)速預(yù)測結(jié)果；第二階段采用基于不同內(nèi)核函數(shù)的KRR算法、SVR、BP神經(jīng)網(wǎng)絡(luò)組成第二階段Q學(xué)習(xí)模型庫，通過Q學(xué)習(xí)選取適應(yīng)度高的模型對第一階段預(yù)測誤差進(jìn)行訓(xùn)練及預(yù)測，進(jìn)而實現(xiàn)對第一階段預(yù)測結(jié)果的修正，得到更為準(zhǔn)確的風(fēng)速預(yù)測值。最后，將預(yù)測結(jié)果與實際風(fēng)場數(shù)據(jù)進(jìn)行對比，驗證所提模型的有效性。

1 基礎(chǔ)理論介紹

1.1 支持向量回歸

支持向量回歸模型通過將低維數(shù)據(jù)映射到高維的空間，在高維空間中找到線性可分的超平面，最后再將高維空間的超平面映射回低維空間，以實現(xiàn)支持向量機(jī)的預(yù)測。但是，將低維的數(shù)據(jù)映射到高維的空間，在高維空間做計算將會增加模型計算量，也容易過擬合[17]。由此，本文選擇徑向基核函數(shù)代替線性方程中的線性項，可以使原來的線性算法非線性化，即能做非線性回歸，此時引進(jìn)核函數(shù)達(dá)到了升維的目的，也可以有效地控制過擬合。

1.2 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋網(wǎng)絡(luò)，通過輸入信號正向傳播和誤差信號反向傳播對網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整，具有很強(qiáng)的非線性映射能力和良好的自組織學(xué)習(xí)能力[18-19]。BP神經(jīng)網(wǎng)絡(luò)模型由輸入層、輸出層和多個隱藏層組成。輸入信號正向傳播過程是通過輸入向量及各層權(quán)重、閾值計算輸出向量，再根據(jù)輸出向量和期望輸出向量計算誤差；而誤差信號反向傳播過程則是采用誤差梯度下降法更新網(wǎng)絡(luò)各層權(quán)重和閾值，使誤差不斷減小，直至滿足精度要求。

1.3 核嶺回歸

核嶺回歸[20]基于核技巧將時間序列數(shù)據(jù)模式非線性地轉(zhuǎn)換為由滿足Mercer條件的核函數(shù)所確定的某些高維特征空間。回歸模型表示為

式中，為輸入數(shù)據(jù)的高維特征空間；為不同核函數(shù)代表的核心矩陣；為正則化系數(shù)；為階單位矩陣；為輸入通過非線性映射函數(shù)內(nèi)積的向量。

在訓(xùn)練過程中，滿足Mercer條件的核函數(shù)通過將數(shù)據(jù)映射到高維特征空間來提高計算能力，增強(qiáng)數(shù)據(jù)的線性可分性，從而提高了模型回歸和分類的準(zhǔn)確性、穩(wěn)定性及泛化能力。內(nèi)核函數(shù)種類及具體表達(dá)式如下。

多項式核函數(shù)（Polynomial kernel）為

高斯核函數(shù)（Gaussian kernel）為

正切雙曲核函數(shù)（tangent hyperbolic kernel）為

Morlet小波核函數(shù)（Morlet wavelet kernel）為

墨西哥帽小波核函數(shù)（Mexican Hat wavelet kernel）為

式中，、、、為核參數(shù)；為最高次數(shù)。

1.4 長短時記憶網(wǎng)絡(luò)

式中，、、、為連接輸入信號x的權(quán)重矩陣；、、、為連接隱含層輸出信號y的權(quán)重矩陣；、、為連接神經(jīng)元激活函數(shù)輸出矢量和門函數(shù)的對角矩陣；r、r、r、r為偏置參數(shù)；為激活函數(shù)，通常為tanh或Sigmoid函數(shù)。采用反向誤差傳播為本文LSTM的訓(xùn)練算法。

1.5 XGBoost算法

XGBoost算法通過優(yōu)化結(jié)構(gòu)化損失函數(shù)（加入了正則項的損失函數(shù)，可以起到降低過擬合的風(fēng)險）實現(xiàn)弱學(xué)習(xí)器的生成，并且XGBoost沒有采用搜索方法，而是直接利用損失函數(shù)的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)值，并通過預(yù)排序、加權(quán)分位數(shù)等技術(shù)大大提高了算法的性能。模型形式為

式中，1為樹的數(shù)量；為樹的集合；f為第棵樹的相關(guān)情況。

2 基于Q學(xué)習(xí)的動態(tài)預(yù)測模型

強(qiáng)化學(xué)習(xí)是一種典型的機(jī)器學(xué)習(xí)算法，可與其他預(yù)測算法結(jié)合，構(gòu)建出具有高度自適應(yīng)性的預(yù)測模型。本文采用無模型自適應(yīng)動態(tài)規(guī)劃算法Q學(xué)習(xí)，在每個時段獲取風(fēng)速預(yù)測模型庫和誤差校正模型庫的最優(yōu)策略。

2.1 基礎(chǔ)模型庫選擇

考慮到風(fēng)速序列的高變異性，深度學(xué)習(xí)可對原始數(shù)據(jù)進(jìn)行深層特征挖掘，在風(fēng)速波動劇烈時能更好地預(yù)測風(fēng)速變化趨勢，但在細(xì)節(jié)上可能存在過擬合的現(xiàn)象。而SVR和BP神經(jīng)網(wǎng)絡(luò)往往在風(fēng)速波動較平緩時段，擁有更高的預(yù)測精度；在風(fēng)速波動劇烈時具有較大的預(yù)測誤差。故選取深度學(xué)習(xí)算法LSTM、集成學(xué)習(xí)算法XGBoost、淺層學(xué)習(xí)算法SVR、BP神經(jīng)網(wǎng)絡(luò)和KRR五種算法作為風(fēng)速預(yù)測模型集中的基礎(chǔ)模型，以期針對不同波動情況，Q學(xué)習(xí)能在其中選取到更適合的預(yù)測模型，其中KRR選擇基于多項式核函數(shù)的PKRR。

根據(jù)風(fēng)速預(yù)測部分得到的初步預(yù)測結(jié)果和實際值之差得到的初步預(yù)測誤差為

對于誤差校正模型集的選取，由于預(yù)測誤差的波動性和變異性遠(yuǎn)沒有原始風(fēng)速序列劇烈，更多的是需要對誤差序列進(jìn)行細(xì)節(jié)上的預(yù)測。因此，本文選取效率較高的SVR、BP神經(jīng)網(wǎng)絡(luò)、GKRR、PKRR、MHKRR五種模型構(gòu)成誤差校正模型集。最終的預(yù)測結(jié)果為

2.2 Q學(xué)習(xí)理論

為了訓(xùn)練Q學(xué)習(xí)代表，首先在馬爾可夫決策過程中定義了基于強(qiáng)化學(xué)習(xí)的動態(tài)模型選擇的數(shù)學(xué)框架。通常，Q學(xué)習(xí)代表根據(jù)狀態(tài)-作用值矩陣在一系列狀態(tài)下采取順序操作，直到達(dá)到最終目標(biāo)[21]。通過評估當(dāng)前狀態(tài)空間的預(yù)測效果得到獎勵更新。狀態(tài)空間由當(dāng)前的預(yù)測模型組成，即

為了使用Q學(xué)習(xí)成功地解決馬爾可夫決策過程，最核心的部分是通過適當(dāng)?shù)莫剟詈瘮?shù)(,)得到獎勵矩陣。本文定義誤差和模型排名混合獎勵函數(shù)為

式中，RANK(M)為第時刻預(yù)測模型M的排名；TIME(M)為第時刻預(yù)測模型M的計算時間；、為權(quán)重系數(shù)，且滿足+=1。

由于Q學(xué)習(xí)為無模型的動態(tài)模型選擇框架，往往會擇優(yōu)選取模型進(jìn)行預(yù)測，因此當(dāng)兩模型均排名為1時，該項為0，則失去獎懲作用。故選擇加權(quán)兩個Q學(xué)習(xí)框架，使獎勵函數(shù)更具普適性。定義狀態(tài)、行動和獎勵后，通過使用Q學(xué)習(xí)訓(xùn)練數(shù)據(jù)集t訓(xùn)練Q學(xué)習(xí)動態(tài)預(yù)測模型。

采用衰變t貪婪方法[22]的Q學(xué)習(xí)代表從一開始就采取完全隨機(jī)的動作，同時在學(xué)習(xí)過程中通過衰減來降低隨機(jī)性。在N次訓(xùn)練之后，Q學(xué)習(xí)算法最終將收斂到最優(yōu)策略Q*，該策略用于在Q學(xué)習(xí)過程中找到最優(yōu)動作*。具體步驟如下：

（1）定義模型步長，預(yù)測尺度，模型庫尺寸M，Q學(xué)習(xí)數(shù)據(jù)集t，動態(tài)預(yù)測模型數(shù)據(jù)集c，控制學(xué)習(xí)的積極性的學(xué)習(xí)率，權(quán)衡未來回報的折現(xiàn)因子，訓(xùn)練次數(shù)N，確保在c的每個步驟中，從個模型中選擇最佳模型。圖1中te和ce分別為第步的Q學(xué)習(xí)數(shù)據(jù)集及動態(tài)預(yù)測模型數(shù)據(jù)集。

（3）根據(jù)式（17）計算更新獎勵矩陣。

（4）通過式（18）更新(,)。

2.3 基于雙Q學(xué)習(xí)的動態(tài)預(yù)測模型框架

風(fēng)速波動的季節(jié)性和不可測性給預(yù)測模型帶來巨大的挑戰(zhàn)，因此本文致力于提高風(fēng)速預(yù)測精度的研究提出了基于雙重Q學(xué)習(xí)的兩步動態(tài)預(yù)測模型，具體框架如圖1所示。

圖1 基于雙Q學(xué)習(xí)的動態(tài)選擇模型框架

為驗證所提模型的有效性，選取方均誤差1、相對誤差2和決定系數(shù)2三種評價指標(biāo)對預(yù)測結(jié)果進(jìn)行評價，其中1、2預(yù)測結(jié)果期望為0，2期待最優(yōu)為1。

3 仿真分析

選取東北某實際風(fēng)場2019年1月～2020年12月風(fēng)速及相關(guān)屬性數(shù)據(jù)展開研究，對該風(fēng)場2020年各季度典型月進(jìn)行短期風(fēng)速預(yù)測，并對原始數(shù)據(jù)進(jìn)行預(yù)處理，采用相鄰數(shù)據(jù)互補(bǔ)法替換缺失及異常數(shù)據(jù)值。原始數(shù)據(jù)的采樣間隔為10min，全年共計52 560個點，取2019年全年數(shù)據(jù)為訓(xùn)練集，對DPDQ及QWSP模型進(jìn)行訓(xùn)練。選取2020年3、6、9、12月1～15日數(shù)據(jù)為測試集，16～30日為檢驗集（用以檢驗?zāi)Ｐ蛥?shù)設(shè)定是否合適）。

本文的訓(xùn)練及測試均在Matlab 2016b環(huán)境下運行，采用Intel(R)Core(TM) i5-8500，CPU@3.00GHz，RAM 8.00 GB的微機(jī)平臺。

3.1 模型超參數(shù)設(shè)置

為提升模型應(yīng)用靈活性，本文選取滑動步長為6，即以1h為最小單位尺度。1h的風(fēng)速預(yù)測即可為風(fēng)電實時并網(wǎng)所需的超短期預(yù)測提供參考，也可擴(kuò)展至24h的日前預(yù)測，工程上更具實用性和廣泛性。

本文Q學(xué)習(xí)框架具體參數(shù)設(shè)置為=0.1，=0.8，以確保動態(tài)模型選擇的學(xué)習(xí)速度，N=100，并充分考慮獎勵函數(shù)的未來獎懲，選取=0.9，=0.1。根據(jù)風(fēng)場實際運行情況，本文選擇進(jìn)行步長為6的日前預(yù)測（=6，=144），即根據(jù)訓(xùn)練集數(shù)據(jù)的訓(xùn)練結(jié)果，采用最佳策略為下一個步做出模型選擇決策。基礎(chǔ)模型超參數(shù)設(shè)置見表1。

表1 不同算法超參數(shù)設(shè)置

Tab.1 Different algorithm hyperparameter settings

關(guān)于Q學(xué)習(xí)獎勵函數(shù)的設(shè)置，目前在人工智能算法中自適應(yīng)誤差函數(shù)比較常用，但在訓(xùn)練過程中發(fā)現(xiàn)采用自適應(yīng)誤差函數(shù)為獎勵函數(shù)進(jìn)行的Q學(xué)習(xí)未能收斂，這是因為預(yù)測評估指標(biāo)的大小不僅取決于預(yù)測模型，而且會隨著時間而變化。采用從表現(xiàn)較差的模型切換到最佳模型的操作可能仍會收到負(fù)回報（由于預(yù)測評估指標(biāo)的下降）。同時，一個預(yù)測模型的成熟與否不僅與預(yù)測精度有關(guān)，還與其所付出的時間成本相關(guān)，由此，本文提出了另一種獎勵函數(shù)對模型效果進(jìn)行評價，即綜合考慮模型排名改進(jìn)和模型預(yù)測時間，見式（17）。兩種方法的部分訓(xùn)練結(jié)果如圖2所示，可以看出，該函數(shù)成功收斂，有效地避免了時間序列效應(yīng)。

圖2 獎勵函數(shù)收斂情況

為了使DPDQ模型預(yù)測效果達(dá)到最優(yōu)，本文在歷史風(fēng)速數(shù)據(jù)的基礎(chǔ)上添加了多種屬性因素作為考量以提高風(fēng)速預(yù)測模型精度。計算了風(fēng)向（WD）、風(fēng)速標(biāo)準(zhǔn)差（SD）、濕度（SH）、湍流強(qiáng)度（TI）、風(fēng)速（WS）、溫度（TP）6組序列的Spearman秩序相關(guān)系數(shù)[23]。當(dāng)相關(guān)系數(shù)大于0時兩序列為正相關(guān)，小于0為負(fù)相關(guān)，數(shù)值越大則相關(guān)程度越高。具體結(jié)果如圖3所示。

圖3 各屬性因素相關(guān)性

由圖3可知，各屬性因素與風(fēng)速之間的相關(guān)系數(shù)有正有負(fù)，其中最高的為風(fēng)速標(biāo)準(zhǔn)差，可達(dá)0.762；與風(fēng)向的相關(guān)程度次之，相關(guān)系數(shù)為0.199；最低為湍流強(qiáng)度，僅-0.014。選擇正相關(guān)變量可提升模型預(yù)測精度，選擇負(fù)相關(guān)變量會導(dǎo)致模型預(yù)測誤差增大[24]。由此，根據(jù)結(jié)果本文選擇風(fēng)速、風(fēng)速標(biāo)準(zhǔn)差、風(fēng)向和溫度作為輸入集，對DPDQ模型進(jìn)行訓(xùn)練和預(yù)測。

3.2 預(yù)測算法對比分析

東北風(fēng)場2019年一整年的風(fēng)速波動情況如圖4所示，可以看出該風(fēng)場風(fēng)能量密度較大，其中春冬兩季風(fēng)速波動較為劇烈，不同時刻風(fēng)速差較大，最高風(fēng)速超過25m/s。而夏秋兩季風(fēng)速多為低于10m/s，波動較為平緩，風(fēng)能量密度明顯低于秋冬季節(jié)。

圖4 風(fēng)場2019年風(fēng)速波動情況

為檢驗和說明基于Q學(xué)習(xí)的動態(tài)模型選擇的有效性，選取單預(yù)測模型LSTM和BP神經(jīng)網(wǎng)絡(luò)兩種不同預(yù)測原理的人工智能算法與DPDQ中的風(fēng)速預(yù)測部分（Q learning Wind Speed Prediction, QWSP）進(jìn)行仿真對比分析，對各季度典型月風(fēng)速進(jìn)行滑動步長為6的日前預(yù)測。具體預(yù)測結(jié)果如圖5所示。

由圖5可以看出，QWSP在應(yīng)對各季節(jié)不同的風(fēng)速波動情況下均能得到良好表現(xiàn)，整體的預(yù)測效果優(yōu)于單一預(yù)測模型。而從細(xì)節(jié)上看，夏季的風(fēng)速波動較為平緩，風(fēng)速也較低，春冬季節(jié)的風(fēng)速相對較高。展開圖5a中時間序列121～126和圖5b中時間序列61～66部分可以看出，各模型均能得到較好的預(yù)測效果。圖5c中127～132部分，BP神經(jīng)網(wǎng)絡(luò)和LSTM由于沒有進(jìn)行動態(tài)選擇，導(dǎo)致其不能應(yīng)對所有的風(fēng)速變化情況，預(yù)測結(jié)果與實際值偏差較大。而圖5d中的細(xì)節(jié)預(yù)測結(jié)果則不然，Q學(xué)習(xí)各時段所選擇的預(yù)測模型結(jié)果見表2。

表2 Q學(xué)習(xí)在各時段選擇模型結(jié)果

Tab.2 Q learning to select model results at each time period

（續(xù)）

由表2和圖5d中小圖可以看出，Q學(xué)習(xí)在10:00～11:00點之間選擇的預(yù)測模型為SVR，預(yù)測結(jié)果偏差大于BP神經(jīng)網(wǎng)絡(luò)，這主要是Q學(xué)習(xí)模型選擇失誤而導(dǎo)致的預(yù)測偏差較大，由于獎勵函數(shù)機(jī)制的設(shè)置，本次所選模型的排名應(yīng)較為靠后，導(dǎo)致本次獎勵為負(fù)值，在下一次模型選擇中實現(xiàn)修正，進(jìn)而保證預(yù)測結(jié)果的精度。下一次的預(yù)測結(jié)果如圖6所示，接收到負(fù)獎勵信號后的Q學(xué)習(xí)在本次得到了較為準(zhǔn)確的預(yù)測結(jié)果，大部分模型的預(yù)測值都更接近實際值。值得說明的是，在0:00～1:00時Q學(xué)習(xí)選擇的SVR模型不是排名第一的，而是隨機(jī)選擇的，這主要是由于首次選擇需為后續(xù)步驟提供獎勵值參考，使后面的模型選擇更具邏輯性。

圖6 冬季第121～126步預(yù)測結(jié)果

在Q學(xué)習(xí)的動態(tài)選擇正確時，預(yù)測精度普遍偏高，模型具有較好的穩(wěn)健性；而當(dāng)單預(yù)測模型過擬合時，將會出現(xiàn)預(yù)測誤差較大的情況，由于獎勵函數(shù)的機(jī)制，可充分考慮本地獎懲和宏觀優(yōu)勢，使模型能夠及時得到修正。由此，基于Q學(xué)習(xí)的模型選擇策略，可使風(fēng)速預(yù)測模型性能得到整體提高。

各模型訓(xùn)練及預(yù)測時間見表3，深度學(xué)習(xí)相比于淺層學(xué)習(xí)所需要的訓(xùn)練時間更長。而Q學(xué)習(xí)訓(xùn)練Q代理在各基礎(chǔ)模型中進(jìn)行選擇，需要153.89s。各季度預(yù)測誤差見表4。

由表4中數(shù)據(jù)可知，由于夏季風(fēng)速波動最小，各模型方均誤差均小于0.5(m/s)2，而冬季風(fēng)速波動大，給模型帶來一定的預(yù)測難度，導(dǎo)致預(yù)測誤差1也隨之增大。本文所提的基于強(qiáng)化學(xué)習(xí)的動態(tài)模型選擇使其2結(jié)果在各季度均最接近于1，1誤差也為三個模型中最小。不同方法夏季的相對誤差2結(jié)果如圖7所示。可以看出，QWSP的誤差在大多數(shù)時刻都小于其他兩種方法，驗證了本文所提方法的預(yù)測精度更高。由圖7中誤差情況可知，采用本文方法得到初步預(yù)測結(jié)果對應(yīng)的誤差值同樣為非線性波動，因此，本文提出的風(fēng)速預(yù)測模型也適用于預(yù)測誤差，繼而進(jìn)行誤差修正。由于誤差的隨機(jī)波動性遠(yuǎn)低于原始風(fēng)速序列，故只需選用效率較高的淺層學(xué)習(xí)算法進(jìn)行預(yù)測即可。

表3 不同方法運行時間

Tab.3 Different method running time

表4 不同方法短期預(yù)測誤差

Tab.4 Short-term prediction error results of different methods

圖7 不同方法相對誤差ε2

3.3 誤差校正環(huán)節(jié)

為驗證本文誤差校正環(huán)節(jié)的有效性，利用DPDQ對各季節(jié)進(jìn)行日前風(fēng)速預(yù)測，結(jié)果如圖8所示。可以看出DPDQ模型在各季節(jié)均能達(dá)到較好的預(yù)測效果，但對于某些風(fēng)速驟變的極端風(fēng)況，如圖8c中的極值風(fēng)速點仍存在一定的預(yù)測誤差，這是不可避免的。對各季節(jié)預(yù)測值進(jìn)行誤差校驗前后的相對誤差計算如圖9所示。其他誤差結(jié)果見表5。

圖8 各季節(jié)DPDQ預(yù)測結(jié)果

圖9 各季節(jié)誤差校正前后對比

表5 DPDQ日前預(yù)測誤差

Tab.5 DPDQ day-ahead forecast error

圖9中右側(cè)框為DPDQ模型的預(yù)測誤差，左側(cè)框為QWSP的預(yù)測誤差，可以看出，各季節(jié)的預(yù)測結(jié)果中位數(shù)均在0左右，誤差上下四分位數(shù)有效減小。進(jìn)一步對比表5中和表4中QWSP的預(yù)測誤差，不同季節(jié)的風(fēng)速預(yù)測結(jié)果在進(jìn)行誤差校正后都有所改進(jìn)，驗證了誤差校正環(huán)節(jié)的合理性和必要性。

為了定量分析誤差校正部分對預(yù)測精度的影響程度，選擇校正前后預(yù)測結(jié)果的|2%|誤差進(jìn)行對比，結(jié)果如圖10所示。從中可以看出，校正前預(yù)測誤差居于區(qū)間大于16中的點在經(jīng)過校正后，數(shù)量明顯減少，而多數(shù)的點都集中在區(qū)間小于4之間。統(tǒng)計多次預(yù)測結(jié)果可知，校正后預(yù)測模型的相對誤差與之前相比降低約50%。分析結(jié)果表明，誤差校正部分可有效減少模型預(yù)測誤差，提高預(yù)測精度。

圖10 誤差校正前后對比

4 結(jié)論

本文構(gòu)建雙重Q學(xué)習(xí)的動態(tài)預(yù)測模型，在每個步驟中，Q學(xué)習(xí)代理從風(fēng)速預(yù)測模型集部分中選擇最佳預(yù)測模型進(jìn)行初步風(fēng)速預(yù)測，下一階段另一個Q學(xué)習(xí)代表從誤差預(yù)測模型集中選擇最佳預(yù)測模型，將誤差預(yù)測結(jié)果輸入到誤差修正部分，最終提出風(fēng)速的最優(yōu)預(yù)測策略。結(jié)合實測風(fēng)場數(shù)據(jù)進(jìn)行日前風(fēng)速預(yù)測，得出以下結(jié)論：

1）Q學(xué)習(xí)在風(fēng)速預(yù)測部分和誤差校正部分都有效選擇了每個預(yù)測步長的最佳預(yù)測模型。

2）誤差校正使相對平均誤差減少50%左右，說明了誤差校正環(huán)節(jié)對成熟預(yù)測模型的有效性。

3）通過構(gòu)建組合風(fēng)速預(yù)測模型對不同季節(jié)典型月進(jìn)行預(yù)測，結(jié)果表明DPDQ具有較好的穩(wěn)健性與適用性。

本文初步探索了將強(qiáng)化學(xué)習(xí)融入風(fēng)速預(yù)測的可能性，基于此，比較不同強(qiáng)化學(xué)習(xí)的模型選擇功能，如何將其與風(fēng)速預(yù)測結(jié)合，構(gòu)建更全面的誤差指標(biāo)，將成為下一步工作的研究重點。

[1] 潘超, 王典, 蔡國偉, 等. 考慮風(fēng)速時空相關(guān)特性的元啟發(fā)式支配預(yù)測模型[J]. 電網(wǎng)技術(shù), 2020, 44(11): 4105-4114.

Pan Chao, Wang Dian, Cai Guowei, et al. Meta-heuristic dominance prediction model considering wind speed spatio-temporal correlation characteristics[J]. Power System Technology, 2020, 44(11): 4105-4114.

[2] 楊茂, 董昊. 基于數(shù)值天氣預(yù)報風(fēng)速和蒙特卡洛法的短期風(fēng)電功率區(qū)間預(yù)測[J]. 電力系統(tǒng)自動化, 2021, 45(5): 79-85.

Yang Mao, Dong Hao. Short-term wind power interval prediction based on wind speed of numerical weather prediction and Monte Carlo method[J]. Automation of Electric Power Systems, 2021, 45(5): 79-85.

[3] 沈小軍, 周沖成, 付雪嬌. 基于機(jī)聯(lián)網(wǎng)-空間相關(guān)性權(quán)重的風(fēng)電機(jī)組風(fēng)速預(yù)測研究[J]. 電工技術(shù)學(xué)報, 2021, 36(9): 1782-1790.

Shen Xiaojun, Zhou Chongcheng, Fu Xuejiao. Wind speed prediction of wind turbine based on the internet of machines and spatial correlation weight[J]. Transactions of China Electrotechnical Society, 2021, 36(9): 1782-1790.

[4] 王晨, 寇鵬. 基于卷積神經(jīng)網(wǎng)絡(luò)和簡單循環(huán)單元集成模型的風(fēng)電場內(nèi)多風(fēng)機(jī)風(fēng)速預(yù)測[J]. 電工技術(shù)學(xué)報, 2020, 35(13): 2723-2735.

Wang Chen, Kou Peng. Wind speed forecasts of multiple wind turbines in a wind farm based on integration model built by convolutional neural network and simple recurrent unit[J]. Transactions of China Electrotechnical Society, 2020, 35(13): 2723-2735.

[5] Ma J, Fouladirad M, Grall A. Flexible wind speed generation model: Markov chain with an embedded diffusion process[J]. Energy, 2018, 164: 316-328.

[6] 凡航, 張雪敏, 梅生偉, 等. 基于時空神經(jīng)網(wǎng)絡(luò)的風(fēng)電場超短期風(fēng)速預(yù)測模型[J]. 電力系統(tǒng)自動化, 2021, 45(1): 28-35.

Fan Hang, Zhang Xuemin, Mei Shengwei, et al. Ultra-short-term wind speed prediction model for wind farms based on spatiotemporal neural network[J]. Automation of Electric Power Systems, 2021, 45(1): 28-35.

[7] Wang Shouxiang, Zhang Na, Wu Lei, et al. Wind speed forecasting based on the hybrid ensemble empirical mode decomposition and GA-BP neural network[J]. Renewable Energy, 2016, 94: 629-636.

[8] 王琦, 關(guān)添升, 秦本雙. 基于MRMR的ORELM的短期風(fēng)速預(yù)測[J]. 可再生能源, 2018, 36(1): 85-90.

Wang Qi, Guan Tiansheng, Qin Benshuang. Short-term wind speed prediction of ORELM based on MRMR[J]. Renewable Energy, 2018, 36(1): 85-90.

[9] Naik J, Bisoi R, Dash P K. Prediction interval forecasting of wind speed and wind power using modes decomposition based low rank multi-kernel ridge regression[J]. Renewable Energy, 2018, 129: 357-383.

[10] 羅文, 王莉娜. 風(fēng)場短期風(fēng)速預(yù)測研究[J]. 電工技術(shù)學(xué)報, 2011, 26(7): 68-74.

Luo Wen, Wang Lina. Research on short-term wind speed prediction in wind farms[J]. Transactions of China Electrotechnical Society, 2011, 26(7): 68-74.

[11] 唐振浩, 趙賡楠, 曹生現(xiàn), 等. 基于SWLSTM算法的超短期風(fēng)向預(yù)測[J]. 中國電機(jī)工程學(xué)報, 2019, 39(15): 4459-4468.

Tang Zhenhao, Zhao Gengnan, Cao Shengxian, et al. Ultra-short-term wind direction prediction based on SWLSTM algorithm[J]. Proceedings of the CSEE, 2019, 39(15): 4459-4468.

[12] 胡夢月, 胡志堅, 仉夢林, 等. 基于改進(jìn)AdaBoost.RT和KELM的風(fēng)功率預(yù)測方法研究[J]. 電網(wǎng)技術(shù), 2017, 42(2): 536-542.

Hu Mengyue, Hu Zhijian, Wu Menglin, et al. Research on Wind power forecasting method based on improved AdaBoost.RT and KELM algorithm[J]. Power System Technology, 2017, 42(2): 536-542.

[13] 李永剛, 王月, 劉豐瑞, 等. 基于Stacking融合的短期風(fēng)速預(yù)測組合模型[J]. 電網(wǎng)技術(shù), 2020, 44(8): 2875-2882.

Li Yonggang, Wang Yue, Liu Fengrui, et al. Combination model of short-term wind speed prediction based on Stacking fusion[J]. Power System Technology, 2020, 44(8): 2875-2882.

[14] Wang Kejun, Qi Xiaoxia, Liu Hongda, et al. Deep belief network based k -means cluster approach for short-term wind power forecasting[J]. Energy, 2018, 165: 840-852.

[15] 史佳琪, 張建華. 基于多模型融合Stacking集成學(xué)習(xí)方式的負(fù)荷預(yù)測方法[J]. 中國電機(jī)工程學(xué)報, 2019, 39(14): 4032-4042.

Shi Jiaqi, Zhang Jianhua. Load forecasting based on multi-model by stacking ensemble learning[J]. Proceedings of the CSEE, 2019, 39(14): 4032-4042.

[16] Ouyang Tinghui, Zha Xiaoming, Qin Liang, et al. Prediction of wind power ramp events based on residual correction[J]. Renewable Energy, 2019, 136(6): 781-792.

[17] 王賀, 胡志堅, 張翌暉, 等. 基于聚類經(jīng)驗?zāi)B(tài)分解和最小二乘支持向量機(jī)的短期風(fēng)速組合預(yù)測[J]. 電工技術(shù)學(xué)報, 2014, 29(4): 237-245.

Wang He, Hu Zhijian, Zhang Yihui, et al. Combination forecast of short-term wind speed based on clustering empirical mode decomposition and least square support vector machine[J]. Transactions of China Electrotechnical Society, 2014, 29(4): 237- 245.

[18] 李奎, 李曉倍, 鄭淑梅, 等. 基于BP神經(jīng)網(wǎng)絡(luò)的交流接觸器剩余電壽命預(yù)測[J]. 電工技術(shù)學(xué)報, 2017, 32(15): 120-127.

Li Kui, Li Xiaobei, Zheng Shumei, et al. Prediction of residual current life of AC contactors based on BP neural network[J]. Transactions of the China Electrotechnical Society, 2017, 32(15): 120-127.

[19] 宋建, 束洪春, 董俊, 等. 基于GM(1,1)與BP神經(jīng)網(wǎng)絡(luò)的綜合負(fù)荷預(yù)測[J]. 電力建設(shè), 2020, 41(5): 75-80.

Song Jian, Shu Hongchun, Dong Jun, et al. Comprehensive load forecasting based on GM(1,1) and BP neural network[J]. Electric Power Construction, 2020, 41(5): 75-80.

[20] 李勇周, 羅大庸, 劉少強(qiáng). 鄰域保持最大間隔分析的人臉識別[J]. 模式識別與人工智能, 2010, 23(1):23-28.

Li Yongzhou, Luo Dayong Liu Sshaoqiang Face recognition using neighborhood preserving maximal margin analysis of kernel ridge regression[J]. Pattern Recognition and Artificial Intelligence, 2010, 23(1): 23-28.

[21] Yan Jun, He Haibo, Zhong Xiangnan, et al. Q-learning-based vulnerability analysis of smart grid against sequential topology attacks[J]. IEEE Transactions on Information Forensics and Security, 2016, 12(1): 200-210.

[22] Mnih V, Kavukcuoglu K, Silver D, et al. Playing atari with deep reinforcement learning[J]. Computer Science, 2013.

[23] 康重慶, 夏清, 劉梅. 電力系統(tǒng)負(fù)荷預(yù)測[M]. 北京:中國電力出版社, 2007.

[24] 朱喬木, 李弘毅, 王子琪, 等. 基于長短期記憶網(wǎng)絡(luò)的風(fēng)電場發(fā)電功率超短期預(yù)測[J]. 電網(wǎng)技術(shù), 2017, 41(12): 3797-3802.

Zhu Qiaomu, Li Hongyi, Wang Ziqi, et al. Short-term wind power forecasting based on LSTM[J]. Power System Technology, 2017, 41(12): 3797-3802.

Dynamic Wind Speed Prediction Model Based on Double Q Learning

Li Yonggang Wang Yue Wu Binyuan

（State Key Laboratory of New Energy Power System North China Electric Power University Baoding 071003 China）

Accurate wind speed prediction is of great significance to the stable operation of new energy grids. In order to improve the accuracy of wind speed prediction, this paper constructs a dynamic wind speed prediction model based on double Q learning. First, build a wind speed Q learning model set consisting of 5 basic prediction algorithms, fully consider wind speed fluctuations and attribute factors, select the best prediction model for each time period through the Q learning, and get the preliminary wind speed prediction results. Calculate the prediction error based on the wind speed prediction result, construct the second-stage error Q learning model library, screen the best model in the model library to correct the preliminary prediction value, obtain the final prediction result. Finally, the effectiveness of the proposed method is verified by predicting the wind speed of the actual wind field in different seasons.

Wind speed prediction, Q learning, error correction, dynamic model selection

10.19595/j.cnki.1000-6753.tces.210272

TM715

李永剛 男，1967年生，教授，博士生導(dǎo)師，研究方向為電氣設(shè)備診斷、新能源電力系統(tǒng)。E-mail：lygzxm0@163.com

吳濱源 男，1998年生，博士研究生，研究方向為新能源電力系統(tǒng)。E-mail：wby_ncepu@163.com（通信作者）

國家自然科學(xué)基金資助項目（51777075）。

2021-03-03

2021-05-30

（編輯 赫蕾）