基于Q學(xué)習(xí)算法的區(qū)域綜合能源負(fù)荷預(yù)測(cè)方法

任曉俊,顏紅,江熙,王婷婷

(哈爾濱普華電力設(shè)計(jì)有限公司,哈爾濱 150001)

區(qū)域綜合能源的規(guī)劃與初期負(fù)荷預(yù)測(cè)是一項(xiàng)十分重要且關(guān)鍵的工作,涉及到較多的可控環(huán)節(jié),一般會(huì)使用模擬軟件、智能化平臺(tái)進(jìn)行輔助處理,以此來(lái)獲取最終的負(fù)荷預(yù)測(cè)結(jié)果。區(qū)域綜合能源的負(fù)荷預(yù)測(cè)實(shí)際上也是范圍之內(nèi)需求分析預(yù)測(cè)、規(guī)劃的先決條件,初始的能源負(fù)荷預(yù)測(cè)形式一般設(shè)定為單向的。文獻(xiàn)[1]在考慮綜合能源系統(tǒng)下提出多元負(fù)荷特性的預(yù)測(cè)方法,在構(gòu)建綜合能源負(fù)荷預(yù)測(cè)模型后,選取某示范區(qū)的負(fù)荷進(jìn)行分析和預(yù)測(cè),預(yù)測(cè)的準(zhǔn)確度在90%以上,MAPE指標(biāo)分布比較集中,但是缺乏針對(duì)性與穩(wěn)定性,在不同的背景環(huán)境難以進(jìn)行異常負(fù)荷位置的標(biāo)定,致使最終得出的負(fù)荷預(yù)測(cè)結(jié)果出現(xiàn)誤差。文獻(xiàn)[2]利用神經(jīng)網(wǎng)絡(luò)方法針對(duì)母線負(fù)荷建立預(yù)測(cè)模型,以此達(dá)到優(yōu)化母線負(fù)荷預(yù)測(cè)準(zhǔn)確率的目的。這種方法從整體提升母線負(fù)荷預(yù)測(cè)的準(zhǔn)確率,結(jié)合小波分解的方法,為電網(wǎng)的安全性能營(yíng)造良好的技術(shù)監(jiān)督手段,但該方法對(duì)于母線負(fù)荷預(yù)測(cè)準(zhǔn)確率的影響較大。此外,由于區(qū)域綜合能源負(fù)荷預(yù)測(cè)多為單向,整體的預(yù)測(cè)范圍受限制,整體的效率較低,這也是導(dǎo)致預(yù)測(cè)結(jié)果不精準(zhǔn)、不可靠的重要原因之一[3-4]。為此提出對(duì)基于Q學(xué)習(xí)算法的區(qū)域綜合能源負(fù)荷預(yù)測(cè)方法的設(shè)計(jì)與驗(yàn)證分析,所謂Q學(xué)習(xí)算法(Q-Learning),主要指的是一種基于值迭代(Value Iteration)的強(qiáng)化學(xué)習(xí)(Reinforcement Learning)算法,將其與區(qū)域綜合能源負(fù)荷預(yù)測(cè)工作相融合,進(jìn)一步擴(kuò)大實(shí)際的預(yù)測(cè)范圍,逐步形成更為靈活、多變的負(fù)荷預(yù)測(cè)結(jié)構(gòu),通過(guò)對(duì)區(qū)域的劃分與監(jiān)測(cè),強(qiáng)化預(yù)測(cè)的效率及質(zhì)量,多方向?qū)Ξ?dāng)前能源進(jìn)行控制,形成循環(huán)性的預(yù)測(cè)處理框架,為后續(xù)相關(guān)技術(shù)的發(fā)展以及行業(yè)支撐結(jié)構(gòu)的完善奠定堅(jiān)實(shí)基礎(chǔ)[5]。

1 設(shè)計(jì)Q學(xué)習(xí)測(cè)算區(qū)域綜合能源負(fù)荷預(yù)測(cè)方法

1.1 負(fù)荷預(yù)測(cè)特征提取

一般來(lái)說(shuō),區(qū)域綜合能源的控制以及負(fù)荷預(yù)測(cè)需要通過(guò)多層級(jí)的程序進(jìn)行控制,但是當(dāng)前的預(yù)測(cè)方式較為單一,再加上外部環(huán)境及特定因素的影響,導(dǎo)致最終得出的負(fù)荷預(yù)測(cè)結(jié)果出現(xiàn)誤差,因此,結(jié)合實(shí)際的預(yù)測(cè)要求,需要進(jìn)行負(fù)荷預(yù)測(cè)特征的提取[6]。首先需要明確當(dāng)前的綜合能源預(yù)測(cè)區(qū)域,并依據(jù)自身的需求,將其劃分多個(gè)模塊,內(nèi)部設(shè)置一定數(shù)量的監(jiān)測(cè)節(jié)點(diǎn),便于后續(xù)數(shù)據(jù)以及信息的采集[7]。接著通過(guò)Q學(xué)習(xí)算法進(jìn)行基礎(chǔ)值函數(shù)的計(jì)算,具體如公式(1)所示[9]：

(1)

式中：G(x)表示Q學(xué)習(xí)算法回歸函數(shù),M和m表示函數(shù)的條件,z表示單元負(fù)荷偏差,I表示負(fù)荷均值,(x∈Rm)表示函數(shù)的回歸過(guò)程。

結(jié)合當(dāng)前的測(cè)定,完成對(duì)值函數(shù)的計(jì)算。針對(duì)區(qū)域能源存在的長(zhǎng)期負(fù)荷預(yù)測(cè)、中期負(fù)荷預(yù)測(cè)、短期負(fù)荷預(yù)測(cè)以及超短期負(fù)荷預(yù)測(cè)四種情況,結(jié)合計(jì)算得出的值函數(shù),來(lái)限制反應(yīng)對(duì)應(yīng)的預(yù)測(cè)負(fù)荷波動(dòng)情況[8]。這部分可以設(shè)置一組測(cè)定周期,周期之內(nèi)負(fù)荷的變動(dòng)狀態(tài)為其自身的特征值。與此同時(shí),還可以從日負(fù)荷值和月負(fù)荷值中提取出對(duì)應(yīng)的特征,測(cè)定出后續(xù)負(fù)荷預(yù)測(cè)的靈活度,為后續(xù)的預(yù)測(cè)處理奠定基礎(chǔ)條件。

1.2 部署多目標(biāo)預(yù)測(cè)節(jié)點(diǎn)

與傳統(tǒng)的區(qū)域綜合能源負(fù)荷預(yù)測(cè)節(jié)點(diǎn)部署方式相比,此次由于區(qū)域能源覆蓋范圍較大,當(dāng)前的節(jié)點(diǎn)預(yù)測(cè)應(yīng)用效率較低,所以需要采用多目標(biāo)的方式部署預(yù)測(cè)節(jié)點(diǎn),強(qiáng)化最終的負(fù)荷預(yù)測(cè)效果。先測(cè)定出當(dāng)前區(qū)域能源負(fù)荷的預(yù)測(cè)邊緣位置,再依據(jù)時(shí)段的不同,計(jì)算出邊緣預(yù)測(cè)差值,具體如公式(2)所示[9]：

(2)

式中：i表示預(yù)測(cè)節(jié)點(diǎn)的切分特征空間,ki表示特征值的取值范圍,f(x)表示目標(biāo)函數(shù)。

結(jié)合當(dāng)前的測(cè)定,通過(guò)邊緣預(yù)測(cè)差值,調(diào)整模塊邊緣節(jié)點(diǎn)的位置,促使負(fù)荷預(yù)測(cè)區(qū)域發(fā)生變化。以此為基礎(chǔ),設(shè)定多個(gè)區(qū)域的負(fù)荷預(yù)測(cè)任務(wù),協(xié)同控制、集中處理,將同類型的負(fù)荷預(yù)測(cè)目標(biāo)歸納在一起,與周圍設(shè)置的預(yù)測(cè)節(jié)點(diǎn)進(jìn)行搭接關(guān)聯(lián),形成循環(huán)的預(yù)測(cè)結(jié)構(gòu),為后續(xù)預(yù)測(cè)任務(wù)的處理提供便利條件。

但是這部分需要注意的是,預(yù)測(cè)節(jié)點(diǎn)所覆蓋的目標(biāo)并不是固定的,而是隨著實(shí)際的需求作出對(duì)應(yīng)調(diào)整,以此來(lái)強(qiáng)化預(yù)測(cè)結(jié)構(gòu),靈活預(yù)測(cè)程序。

1.3 構(gòu)建Q學(xué)習(xí)測(cè)算區(qū)域綜合能源負(fù)荷預(yù)測(cè)模型

依據(jù)設(shè)置的多目標(biāo)負(fù)荷預(yù)測(cè)節(jié)點(diǎn),結(jié)合Q學(xué)習(xí)算法,設(shè)計(jì)區(qū)域綜合能源負(fù)荷交叉預(yù)測(cè)模型。建立負(fù)荷預(yù)測(cè)的輸入序列和輸出序列,制定基礎(chǔ)的預(yù)測(cè)目標(biāo),并進(jìn)行基礎(chǔ)預(yù)測(cè)指標(biāo)及參數(shù)的設(shè)置,具體如表1所示。

表1 Q學(xué)習(xí)測(cè)算區(qū)域綜合能源負(fù)荷預(yù)測(cè)模型指標(biāo)表

根據(jù)表1,完成對(duì)Q學(xué)習(xí)測(cè)算區(qū)域綜合能源負(fù)荷預(yù)測(cè)模型指標(biāo)的設(shè)定及調(diào)整。接著基于Q學(xué)習(xí)算法,測(cè)定出多層級(jí)交叉預(yù)測(cè)的標(biāo)準(zhǔn),并構(gòu)建對(duì)應(yīng)的預(yù)測(cè)模型結(jié)構(gòu),如圖1所示。

圖1 Q學(xué)習(xí)測(cè)算區(qū)域綜合能源負(fù)荷預(yù)測(cè)模型流程圖示

根據(jù)圖1,完成對(duì)Q學(xué)習(xí)測(cè)算區(qū)域綜合能源負(fù)荷預(yù)測(cè)模型結(jié)構(gòu)的設(shè)計(jì)與分析。當(dāng)前,將制定的預(yù)測(cè)目標(biāo)導(dǎo)入模型之中,通過(guò)上述的程序進(jìn)行目標(biāo)協(xié)同串聯(lián),以此來(lái)進(jìn)一步提升預(yù)測(cè)的效率及質(zhì)量,并對(duì)區(qū)域能源的輔助變動(dòng)狀態(tài)進(jìn)行捕捉,完善優(yōu)化模型的預(yù)測(cè)效果,增加預(yù)測(cè)的精準(zhǔn)度。

1.4 棧式集成修正實(shí)現(xiàn)負(fù)荷預(yù)測(cè)處理

所謂棧式集成修正,主要指的是通過(guò)集合式的關(guān)聯(lián)棧,與部署的節(jié)點(diǎn)建立協(xié)同預(yù)測(cè)結(jié)構(gòu),結(jié)合設(shè)計(jì)的負(fù)荷預(yù)測(cè)模型,對(duì)導(dǎo)入的目標(biāo)進(jìn)行整合修正,最終得出對(duì)應(yīng)的預(yù)測(cè)結(jié)果。使用XGBoost、GBRT、Sequence三種形式建立定向集成結(jié)構(gòu),通過(guò)Q學(xué)習(xí)算法,測(cè)算出此時(shí)棧式集成負(fù)荷預(yù)測(cè)允許出現(xiàn)的最大限值,一般控制在3.25～4.11之間為最佳。

接著通過(guò)協(xié)同預(yù)測(cè)結(jié)構(gòu),依據(jù)各個(gè)時(shí)段負(fù)荷的變動(dòng)情況,調(diào)整對(duì)應(yīng)的負(fù)荷棧式預(yù)測(cè)標(biāo)準(zhǔn),形成多個(gè)階段的負(fù)荷預(yù)測(cè)層級(jí),與設(shè)定的棧式集成階層建立聯(lián)系,進(jìn)一步擴(kuò)大當(dāng)前的預(yù)測(cè)范圍,維持預(yù)測(cè)環(huán)境的真實(shí)穩(wěn)定。與此同時(shí),采用交叉處理的形式,加強(qiáng)對(duì)預(yù)測(cè)誤差的控制,并按照預(yù)設(shè)的標(biāo)準(zhǔn),進(jìn)行負(fù)荷預(yù)測(cè)結(jié)果的多維修正,以此獲取更加精準(zhǔn)、可靠的負(fù)荷預(yù)測(cè)結(jié)果,為后續(xù)區(qū)域性負(fù)荷預(yù)測(cè)技術(shù)的完善及優(yōu)化提供參考依據(jù)。

2 方法測(cè)試

此次主要是對(duì)基于Q學(xué)習(xí)算法的區(qū)域綜合能源負(fù)荷預(yù)測(cè)方法的實(shí)際應(yīng)用效果進(jìn)行分析與驗(yàn)證研究,考慮到最終測(cè)試結(jié)果的真實(shí)性與可靠性,采用對(duì)比的方式展開分析,選定G區(qū)域進(jìn)行能源負(fù)荷處理,設(shè)定傳統(tǒng)多元負(fù)荷特性區(qū)域綜合能源負(fù)荷預(yù)測(cè)小組、傳統(tǒng)計(jì)及區(qū)域綜合能源負(fù)荷預(yù)測(cè)小組以及此次所設(shè)計(jì)的Q學(xué)習(xí)測(cè)算區(qū)域綜合能源負(fù)荷預(yù)測(cè)小組。根據(jù)當(dāng)前的測(cè)定要求及標(biāo)準(zhǔn),對(duì)最終得出的測(cè)試結(jié)果比照研究,接下來(lái),結(jié)合Q學(xué)習(xí)算法,進(jìn)行初始測(cè)試環(huán)境的搭建。

2.1 測(cè)試準(zhǔn)備

結(jié)合Q學(xué)習(xí)算法,對(duì)選定的G區(qū)域能源負(fù)荷進(jìn)行預(yù)測(cè)與研究。該區(qū)域?yàn)閺?fù)合式的管理控制區(qū)域,一般需要多層級(jí)的能源供應(yīng)方式展開控制。將當(dāng)前的區(qū)域劃分為5個(gè)位置,并在范圍之內(nèi)設(shè)置一定數(shù)量的監(jiān)測(cè)節(jié)點(diǎn),節(jié)點(diǎn)之間互相關(guān)聯(lián),形成一個(gè)循環(huán)、具體的負(fù)荷預(yù)測(cè)框架。該區(qū)域的建筑91.5%為居民住宅樓,對(duì)于能源負(fù)荷的需求量是相對(duì)較大的,且不同的時(shí)間段,對(duì)應(yīng)的能源應(yīng)用量也存在較大的差異。此時(shí),將該區(qū)域劃分為6個(gè)時(shí)段,分別為8∶00～12∶00、12∶00～14∶00、14∶00～16∶00、16∶00～20∶00、20∶00～22∶00、22∶00～24∶00?；谏鲜龃罱ǖ膮^(qū)域綜合能源隨機(jī)模型,進(jìn)行基礎(chǔ)測(cè)試指標(biāo)及參數(shù)的設(shè)置,具體如表2所示。

表2 區(qū)域綜合能源隨機(jī)模型基礎(chǔ)測(cè)試指標(biāo)及參數(shù)表

根據(jù)表2,完成對(duì)區(qū)域綜合能源隨機(jī)模型基礎(chǔ)測(cè)試指標(biāo)及參數(shù)的設(shè)置。接著,結(jié)合當(dāng)前的負(fù)荷預(yù)測(cè)需求,進(jìn)行負(fù)荷均值的計(jì)算,具體如公式(3)所示[10]：

Qh=∑KhQw/3600T

(3)

式中：Qh表示負(fù)荷值,Kh表示小時(shí)變化系數(shù),Qw表示最高耗熱量,T表示負(fù)荷時(shí)間。結(jié)合當(dāng)前的設(shè)置,完成對(duì)基礎(chǔ)測(cè)試環(huán)境的搭建,并依據(jù)Q學(xué)習(xí)算法,進(jìn)行具體的測(cè)定和實(shí)踐研究。

2.2 測(cè)試過(guò)程及結(jié)果分析

在上述搭建的測(cè)試環(huán)境之中,結(jié)合Q學(xué)習(xí)算法,對(duì)G區(qū)域的能源負(fù)荷預(yù)測(cè)方法進(jìn)行比對(duì)測(cè)試。利用部署的監(jiān)測(cè)節(jié)點(diǎn)進(jìn)行基礎(chǔ)預(yù)測(cè)數(shù)據(jù)與信息的采集,匯總整合之后以待后續(xù)使用。測(cè)定出此時(shí)隨機(jī)區(qū)域的峰值冷負(fù)荷均值為23.05 MW,標(biāo)準(zhǔn)差控制在2.05～3.75 MW之間。分時(shí)段標(biāo)定出當(dāng)前區(qū)域的負(fù)荷情況,具體如圖2所示。

圖2 隨機(jī)區(qū)域負(fù)荷情況及峰值標(biāo)定圖示

根據(jù)圖2,完成對(duì)隨機(jī)區(qū)域負(fù)荷情況及峰值的標(biāo)定。接下來(lái),綜合峰值的負(fù)荷情況,計(jì)算出隨機(jī)區(qū)域負(fù)荷的正態(tài)負(fù)荷預(yù)測(cè)差值,具體如公式(4)所示[11]：

(4)

式中：下標(biāo)4、5表示時(shí)段,JNZ表示隨機(jī)區(qū)域負(fù)荷的預(yù)測(cè)模型常數(shù)值,o表示可控預(yù)測(cè)范圍,U、E、A表示第一階段與第二階段負(fù)荷的變化過(guò)程,T表示轉(zhuǎn)換預(yù)測(cè)頻次。結(jié)合當(dāng)前的測(cè)定,依據(jù)正態(tài)負(fù)荷預(yù)測(cè)差值的波動(dòng),對(duì)隨機(jī)選定的5個(gè)區(qū)域的負(fù)荷情況進(jìn)行等效預(yù)測(cè),結(jié)合Q學(xué)習(xí)算法,并計(jì)算出負(fù)荷預(yù)測(cè)差值,具體如公式(5)所示[12]：

(5)

圖3 測(cè)試結(jié)果對(duì)比分析圖示

根據(jù)圖3,完成對(duì)測(cè)試結(jié)果的分析：對(duì)比于傳統(tǒng)多元負(fù)荷特性區(qū)域綜合能源負(fù)荷預(yù)測(cè)小組、傳統(tǒng)計(jì)及區(qū)域綜合能源負(fù)荷預(yù)測(cè)小組,所設(shè)計(jì)的Q學(xué)習(xí)測(cè)算區(qū)域綜合能源負(fù)荷預(yù)測(cè)小組最終得出的負(fù)荷預(yù)測(cè)差值被較好地控制在3.5 MW以下。結(jié)合Q學(xué)習(xí)算法,降低預(yù)測(cè)誤差,強(qiáng)化預(yù)測(cè)的精準(zhǔn)度,具有實(shí)際的應(yīng)用價(jià)值。

3 結(jié)語(yǔ)

綜合上述分析,通過(guò)對(duì)基于Q學(xué)習(xí)算法的區(qū)域綜合能源負(fù)荷預(yù)測(cè)方法的設(shè)計(jì)與驗(yàn)證分析,與初始的區(qū)域綜合能源負(fù)荷預(yù)測(cè)結(jié)構(gòu)相對(duì)比,此次融合Q學(xué)習(xí)算法,所設(shè)計(jì)的區(qū)域綜合能源負(fù)荷預(yù)測(cè)結(jié)構(gòu)更為靈活、多變,自身具有較強(qiáng)的綜合性和安全性。此外,在Q學(xué)習(xí)算法的輔助與支持下,當(dāng)前能源負(fù)荷預(yù)測(cè)的范圍得到了進(jìn)一步擴(kuò)大,在MATLAB工具與電負(fù)荷處理方法融合下,標(biāo)定出實(shí)際的負(fù)荷預(yù)測(cè)區(qū)域,獲取異常數(shù)據(jù)及信息,平衡區(qū)域能源負(fù)荷標(biāo)準(zhǔn),為能源系統(tǒng)的開展以及電力設(shè)備運(yùn)行營(yíng)造更加穩(wěn)定的環(huán)境。