基于增強(qiáng)學(xué)習(xí)算法的微電網(wǎng)智能頻率協(xié)調(diào)控制策略

姜展鵬，劉 洋，劉守恒，郝立超

(1.沈陽工業(yè)大學(xué)電氣工程學(xué)院，遼寧 沈陽 110870；2.中電投東北新能源發(fā)展有限公司，遼寧 沈陽 110170)

隨著“雙碳”戰(zhàn)略的實(shí)施，可再生能源如風(fēng)能、水能、太陽能引起了人們廣泛關(guān)注，其中光伏發(fā)電是利用太陽能發(fā)電的一種常見形式。然而，光伏發(fā)電具有很強(qiáng)的不確定性，尤其在陰天具有很強(qiáng)的波動(dòng)性，由于不知光伏陣列上方何時(shí)有云遮擋，光伏發(fā)電功率很難預(yù)測[1-4]，同時(shí)，由于人們生活水平的提高，負(fù)荷種類也越來越多，且有極大的不確定性，嚴(yán)重影響了微電網(wǎng)頻率的穩(wěn)定性。

微電網(wǎng)頻率波動(dòng)可能影響用電設(shè)備，解決這個(gè)問題通常有減少發(fā)電的不確定性和利用控制策略來穩(wěn)定頻率2種方式。由于天氣實(shí)時(shí)變化的因素，很難預(yù)測光伏發(fā)電的功率，因此，很多學(xué)者更加青睞于第2種方式。

增強(qiáng)學(xué)習(xí)算法是一種具有函數(shù)逼近最優(yōu)性的有效方法，特別適用于非線性系統(tǒng)和復(fù)雜系統(tǒng)。在面對(duì)“維數(shù)災(zāi)”時(shí)，可以得到近似最優(yōu)解[5-9]。增強(qiáng)學(xué)習(xí)算法在電力系統(tǒng)領(lǐng)域應(yīng)用頗豐，在文獻(xiàn)[10]中，通過基于數(shù)據(jù)的策略迭代對(duì)一類離散時(shí)間系統(tǒng)進(jìn)行H∞控制，并將其應(yīng)用于風(fēng)力渦輪機(jī)。在文獻(xiàn)[11]中，設(shè)計(jì)了一種基于自適應(yīng)動(dòng)態(tài)規(guī)劃的控制方案，以輔助電力系統(tǒng)的負(fù)荷頻率控制。在文獻(xiàn)[12]中，研究了基于數(shù)據(jù)的魯棒值迭代方法，并將其應(yīng)用于風(fēng)機(jī)變槳距控制。在文獻(xiàn)[13]中，采用自適應(yīng)的設(shè)計(jì)方法，在智能電網(wǎng)中應(yīng)用了一種基于廣域測量的動(dòng)態(tài)隨機(jī)最優(yōu)潮流控制算法。然而，在現(xiàn)有的電力系統(tǒng)研究中，增強(qiáng)學(xué)習(xí)算法經(jīng)常被設(shè)計(jì)為輔助控制，而利用增強(qiáng)學(xué)習(xí)算法對(duì)電力系統(tǒng)直接控制卻很少見[14-15]。本文利用增強(qiáng)學(xué)習(xí)算法直接控制微型燃?xì)廨啓C(jī)和儲(chǔ)能設(shè)備的輸出功率來抑制頻率波動(dòng)，為未來微電網(wǎng)的應(yīng)用提供了理論依據(jù)。

1 基于儲(chǔ)能的微電網(wǎng)模型

1.1 基于儲(chǔ)能的具有不確定性的微電網(wǎng)

本文研究了由光伏發(fā)電、負(fù)荷需求、儲(chǔ)能系統(tǒng)和微型燃?xì)廨啓C(jī)組成的微電網(wǎng)，如圖1所示。

圖1 微電網(wǎng)結(jié)構(gòu)

等效微型燃?xì)廨啓C(jī)、儲(chǔ)能系統(tǒng)和電力系統(tǒng)的傳遞函數(shù)分別為G(t)、Ge、Gp，公式如下：

(1)

式中：Tt、Te、Tp分別為微型燃?xì)廨啓C(jī)、儲(chǔ)能設(shè)備和系統(tǒng)慣性的時(shí)間常數(shù)；kp為電力系統(tǒng)的增益系數(shù)。

定義x(t)=[Δf(t),ΔPt(t),ΔPe(t)]T∈m作為初始狀態(tài)為x(0)的微電網(wǎng)的狀態(tài)向量。式中：Δf(t)為頻率偏差；ΔPt(t)為微型燃?xì)廨啓C(jī)的頻率輸出；ΔPe(t)為儲(chǔ)能設(shè)備的功率輸出。

頻率動(dòng)力學(xué)可以描述如下：

(2)

(3)

(4)

式中：Δpl(t)為負(fù)荷變化；Δpp(t)為光伏發(fā)電產(chǎn)生的不確定性；R為調(diào)速系數(shù)；ut(t)為微型渦輪機(jī)的控制信號(hào)；ue(t)為儲(chǔ)能設(shè)備的控制信號(hào)。微電網(wǎng)的頻率動(dòng)力學(xué)可以用以下形式表示：

(5)

(6)

(7)

(8)

式中：A為系統(tǒng)矩陣；B為控制矩陣；u(t)=[ut(t),ue(t)]T∈n為控制輸入；Π(t)表示光伏發(fā)電以及負(fù)荷的不確定性。

1.2 儲(chǔ)能設(shè)備運(yùn)行限制狀態(tài)

微電網(wǎng)中儲(chǔ)能設(shè)備的主要作用是抑制由光伏發(fā)電和負(fù)荷不確定性引起的頻率波動(dòng)，對(duì)于該場景下的儲(chǔ)能設(shè)備具有如下荷電狀態(tài)限制：

(9)

(10)

其余情況時(shí)：

Soc(t+1)=Soc(t)

(11)

1.3 微電網(wǎng)調(diào)頻過程

在調(diào)頻過程中，考慮負(fù)載和光伏發(fā)電功率的不確定性，利用儲(chǔ)能設(shè)備智能充放電來抑制該不確定性，具體調(diào)頻過程如圖2所示。

圖2 微電網(wǎng)頻率調(diào)節(jié)過程

2 基于增強(qiáng)學(xué)習(xí)算法的智能頻率調(diào)節(jié)

本文設(shè)計(jì)了一種基于負(fù)荷變化和光伏發(fā)電不確定性引起的功率不確定性的微電網(wǎng)頻率智能控制策略，采用增強(qiáng)學(xué)習(xí)算法進(jìn)行調(diào)節(jié)，并由神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)。

微電網(wǎng)Δf(t),ΔPt(t),ΔPe(t)的狀態(tài)均為頻率控制器的輸入端。

2.1 增強(qiáng)學(xué)習(xí)算法的控制器設(shè)計(jì)

所研究的微電網(wǎng)的頻率動(dòng)態(tài)用式(5)表示，對(duì)于頻率控制，設(shè)計(jì)了一個(gè)狀態(tài)反饋控制律u(t)來調(diào)節(jié)微型燃?xì)廨啓C(jī)和儲(chǔ)能設(shè)備的功率輸出，通過對(duì)不確定系統(tǒng)的頻率最優(yōu)控制，可以得到對(duì)不確定頻率動(dòng)力系統(tǒng)式(5)的魯棒控制，并表示為

(12)

對(duì)于系統(tǒng)式(12)，通過最小化代價(jià)函數(shù)設(shè)計(jì)了控制律u(t)。

(13)

式中：U(x(t),u(t))為效用函數(shù)，U(x(t),u(t))=xT(t)Qx(t)+uT(t)Ru(t)；Q，R為具有適當(dāng)維數(shù)的正定對(duì)稱矩陣。

最優(yōu)代價(jià)函數(shù)定義為

(14)

基于貝爾曼最優(yōu)性原理，可以得到哈密頓函數(shù)為

+U(x(t),u(t))

(15)

最優(yōu)控制律u*(t)滿足哈密頓-雅可比-貝爾曼方程。

(16)

式中：Ωc為1個(gè)可接受的控制集。

由此可以推斷出系統(tǒng)式(12)的最優(yōu)頻率控制律為

(17)

將最優(yōu)控制律式(17)代入(16)，然后將HJB方程進(jìn)一步轉(zhuǎn)化為以下形式。

(18)

最優(yōu)HJB方程符合0=H(x(t),u*(t),?J*(x))，u*(t)為最優(yōu)控制律。

2.2 增強(qiáng)學(xué)習(xí)算法的迭代算法

一般來說，由于式(18)中存在偏微分項(xiàng)，幾乎不可能直接求解，因此，利用迭代算法得到了最優(yōu)控制律u*(t)和最優(yōu)代價(jià)函數(shù)J*(x)的近似解。迭代算法流程如下：

a.初始化

設(shè)置迭代索引i=0，并讓J(i)(x)=0。定義一個(gè)足夠小的正數(shù)ε作為停止該算法的先決條件，從一個(gè)初始可接受的控制律u(0)(t)開始迭代。

b.迭代過程

在第1次迭代過程中，用J(0)(x)=0將初始值u(0)(t)代入式(18)，然后，J(i+1)(x)可以用式(19)表示：

0=(?J(i+1)(x))T(Ax(t)+Bu(i)(t))+U(x(t),u(i)(t))

(19)

c.更新控制律

根據(jù)式(20)更新控制律u(i+1)(t)。

(20)

d.停止條件

在此迭代過程中，迭代控制律u(i+1)(t)近似收斂到最優(yōu)控制律u*(t)，隨著迭代指數(shù)足夠大，迭代代價(jià)函數(shù)J(i+1)(x)也收斂到最優(yōu)值J*(x)。

2.3 智能頻率控制的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)

假設(shè)存在權(quán)值W1，使得J(x)被一個(gè)神經(jīng)網(wǎng)絡(luò)近似為

(21)

式中：φ1(x):n→N為激活函數(shù)向量；N為隱層神經(jīng)元數(shù)；ε(x)為神經(jīng)網(wǎng)絡(luò)近似誤差。選擇激活函數(shù)以提供一個(gè)完整的基集，使J(x)及其導(dǎo)數(shù)一致。

(22)

神經(jīng)網(wǎng)絡(luò)權(quán)值W1未知，那么神經(jīng)網(wǎng)絡(luò)的輸出為

(23)

U(x(t),u*(t))=e1

(24)

利用神經(jīng)網(wǎng)絡(luò)近似方法可以得到系統(tǒng)式(12)的近似最優(yōu)控制律。

(25)

(26)

通過最小化平方誤差，權(quán)值更新定律可以設(shè)計(jì)為

(27)

式中：γc>0為評(píng)價(jià)網(wǎng)絡(luò)的主要學(xué)習(xí)速率；γa>0為輔助學(xué)習(xí)速率；Js(x)=0.5xT(t)x(t)是根據(jù)李雅普諾夫定理選擇的。

因此，利用權(quán)值更新定律可以得到評(píng)價(jià)網(wǎng)絡(luò)的估計(jì)權(quán)值，可以為系統(tǒng)提供頻率控制律。

3 仿真分析

根據(jù)圖2給出的微電網(wǎng)日前調(diào)度曲線，對(duì)微電網(wǎng)模型進(jìn)行仿真，抑制光伏發(fā)電及負(fù)荷不確定性引起的頻率波動(dòng)，提高微電網(wǎng)供電可靠性。在頻率調(diào)節(jié)中考慮儲(chǔ)能設(shè)備的功率約束，微電網(wǎng)參數(shù)如下：Tt=0.2，Te=0.7，Tp=9，kp=1，R=0.1，儲(chǔ)能設(shè)備功率約束見表1。

表1 儲(chǔ)能設(shè)備功率約束

由于光伏電源連接到微電網(wǎng)，本文考慮了光照和溫度2個(gè)影響光伏功率的主要因素，受環(huán)境影響的光伏發(fā)電不確定性如圖3所示。同時(shí)，考慮了實(shí)際負(fù)荷需求的不確定性，如圖4所示。

圖3 光伏發(fā)電不確定度

圖4 負(fù)荷變化干擾

在智能頻率控制中，所使用的參數(shù)如下：Q=2.5×I3×3，R=2.5×I2×2，γc=0.9，γa=0.15，其中I為單位矩陣。根據(jù)系統(tǒng)數(shù)據(jù)，可以得到評(píng)價(jià)網(wǎng)絡(luò)的權(quán)值，如圖5所示。

根據(jù)頻率控制器在隨機(jī)干擾激勵(lì)下，頻率偏差Δf(t)、微型燃?xì)廨啓C(jī)功率輸出ΔPt(t)和儲(chǔ)能設(shè)備功率輸出ΔPe(t)的變化誤差最終收斂為零，如圖6所示，即通過神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程。至此，微電網(wǎng)智能頻率控制策略訓(xùn)練過程完畢。

圖5 在訓(xùn)練過程中的權(quán)重更新律

圖6 微電網(wǎng)系統(tǒng)的狀態(tài)收斂

儲(chǔ)能設(shè)備在該控制策略中應(yīng)用于整個(gè)微電網(wǎng)頻率調(diào)節(jié)過程，維持微電網(wǎng)頻率穩(wěn)定，提高了微電網(wǎng)供電可靠性。

4 結(jié)語

本文研究了具有光伏發(fā)電和負(fù)荷不確定性的微電網(wǎng)頻率控制問題，設(shè)計(jì)了一種基于增強(qiáng)學(xué)習(xí)算法的智能控制策略，并由神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，通過調(diào)節(jié)微型燃?xì)廨啓C(jī)和儲(chǔ)能設(shè)備的功率輸出，抑制微電網(wǎng)頻率波動(dòng)，可有效提高供電可靠性，增加用戶用電滿意度。仿真結(jié)果顯示，所提出的智能頻率控制策略能夠較好地調(diào)整頻率波動(dòng)。在未來，可以考慮微電網(wǎng)的拓?fù)浣Y(jié)構(gòu)，將該控制策略應(yīng)用于更多場景。