基于深度強(qiáng)化學(xué)習(xí)的微電網(wǎng)并離網(wǎng)穩(wěn)定性均衡控制

中圖分類號(hào)：TM761 文獻(xiàn)標(biāo)志碼：A

0 引言

在“雙碳”戰(zhàn)略背景下，隨著新能源占比的不斷提高，含交直流子系統(tǒng)的混合微網(wǎng)（簡稱“微網(wǎng)”）規(guī)模日益擴(kuò)大。混合微網(wǎng)在接入公用電網(wǎng)時(shí)，須依賴公用電網(wǎng)保障系統(tǒng)穩(wěn)定運(yùn)行；而在離網(wǎng)狀態(tài)下，則須借助接入變換器實(shí)現(xiàn)電力互補(bǔ)與動(dòng)態(tài)支撐。然而，由于新能源出力的間歇性以及負(fù)載的波動(dòng)性，微網(wǎng)在并離網(wǎng)切換過程中容易出現(xiàn)電壓/頻率不穩(wěn)定、功率振蕩等問題。傳統(tǒng)的固定參數(shù)控制方法難以滿足微網(wǎng)多模式運(yùn)行的需求。因此，研究具有自適應(yīng)性的穩(wěn)定平衡控制策略，對(duì)于提升混合微電網(wǎng)的運(yùn)行可靠性以及促進(jìn)新能源消納具有重要意義。

在已有研究中，羅龍等基于范德波爾振蕩器的微網(wǎng)并行-離線協(xié)同控制方法，在微網(wǎng)中引入非線性振子，提高系統(tǒng)抗擾動(dòng)性能，可在離線狀態(tài)下快速恢復(fù)電壓頻率。其優(yōu)點(diǎn)是不需要進(jìn)行模態(tài)轉(zhuǎn)換，系統(tǒng)結(jié)構(gòu)簡單。但該方法過于依賴準(zhǔn)確的數(shù)學(xué)模型，沒有考慮新能源接入帶來的隨機(jī)干擾對(duì)振蕩器參數(shù)的動(dòng)態(tài)影響，難以適應(yīng)強(qiáng)不確定環(huán)境。程啟明等以模塊化多電平換流器組成的交直流混聯(lián)微網(wǎng)為研究對(duì)象，提出一種基于擾動(dòng)觀測器的并聯(lián)網(wǎng)絡(luò)切換控制方法，通過前饋補(bǔ)償實(shí)現(xiàn)對(duì)切換瞬態(tài)沖擊的有效抑制。這種方法雖然提高了系統(tǒng)的光滑性，但是其觀測器的設(shè)計(jì)過于依賴于線性化假定，因此，在微網(wǎng)強(qiáng)非線性運(yùn)行條件下容易產(chǎn)生觀測誤差的積累，沒有對(duì)并網(wǎng)后的長期穩(wěn)定性進(jìn)行優(yōu)化。基于上述存在不足，本文開展基于深度強(qiáng)化學(xué)習(xí)的微電網(wǎng)并離網(wǎng)穩(wěn)定性均衡控制研究。

1基于深度強(qiáng)化學(xué)習(xí)的微電網(wǎng)模型構(gòu)建

文章將微電網(wǎng)的并離網(wǎng)穩(wěn)定性均衡控制看作是一個(gè)在動(dòng)態(tài)環(huán)境中的多目標(biāo)優(yōu)化問題，采用深度強(qiáng)化學(xué)習(xí)方法，將深度神經(jīng)網(wǎng)絡(luò)的特征抽取和增強(qiáng)學(xué)習(xí)的動(dòng)態(tài)決策能力相結(jié)合[3]，實(shí)現(xiàn)微網(wǎng)并離網(wǎng)切換過程的自主優(yōu)化控制。

文章引入改進(jìn)的馬爾科夫決策過程建立微電網(wǎng)模型，模型集合可表示為： （s，a，p，r） ，其中， s 表示狀態(tài)集合； a 表示動(dòng)作集合； p 表示狀態(tài)轉(zhuǎn)移概率； r 表示獎(jiǎng)懲函數(shù)。將并離網(wǎng)穩(wěn)定性均衡控制框架劃分為3個(gè)層次結(jié)構(gòu)，分別為感知層、決策層和評(píng)估機(jī)制層。其中，感知層主要通過卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)微電網(wǎng)狀態(tài)特征的實(shí)時(shí)提取。決策層利用DDPG算法生成控制策略，其輸出主要包括并離網(wǎng)切換指令、儲(chǔ)能充放電功率以及機(jī)組出力等連續(xù)動(dòng)作[4]。在評(píng)估機(jī)制中，文章設(shè)計(jì)多維度獎(jiǎng)勵(lì)函數(shù)，其中包含瞬時(shí)穩(wěn)定性指

標(biāo)、長期運(yùn)行成本等。

微電網(wǎng)模型包含光伏發(fā)電系統(tǒng)模型、鋰蓄電池模型、儲(chǔ)氫系統(tǒng)模型以及負(fù)荷模型[5]。其中，微電網(wǎng)的光源只要為光伏發(fā)電和儲(chǔ)能，光伏發(fā)電輸出的最大功率可表示為：

P_pv=P_i×η_pv

其中， P_pv 表示光伏發(fā)電輸出最大功率; P_i 表示太陽能電池板接收到的太陽能輻射功率值； η_pv 表示光伏發(fā)電時(shí)將太陽能轉(zhuǎn)換為電能的轉(zhuǎn)化效率。對(duì)于鋰蓄電池模型，其主要作為短期儲(chǔ)能設(shè)備模型，鋰蓄電池的實(shí)時(shí)電量可以通過公式（2）計(jì)算得出：

其中， S_b 表示鋰蓄電池實(shí)時(shí)電量； P_b 表示實(shí)時(shí)充放電功率； η_ba 表示充放電效率。氫氣儲(chǔ)存系統(tǒng)是一種長效的能源儲(chǔ)存裝置，它的充放電效率和峰值功率都很低，但是可以通過電解來實(shí)現(xiàn)長時(shí)間的儲(chǔ)能[6]利用氫氣儲(chǔ)存系統(tǒng)可以有效地平衡不同季節(jié)的能源不平衡。因此，根據(jù)儲(chǔ)氫系統(tǒng)的特點(diǎn)，其模型可表示為：

其中， S_h 表示儲(chǔ)能系統(tǒng)的實(shí)時(shí)容量； P_ch 表示實(shí)時(shí)電解功率; η_hy 表示電解與釋放的效率; P_di 表示實(shí)時(shí)釋放功率。在微電網(wǎng)當(dāng)中，假設(shè)實(shí)時(shí)負(fù)荷功率為P_load ，光伏實(shí)時(shí)發(fā)電功率為 P_pro ，則微電網(wǎng)的實(shí)時(shí)電能可表示為：

D_t=P_load-P_pro

其中， D_t 表示微電網(wǎng)的實(shí)時(shí)電能。將該函數(shù)作為微電網(wǎng)模型，從而掌握微電網(wǎng)實(shí)時(shí)電能：當(dāng) D_r 的取值為大于0的數(shù)時(shí)，則此時(shí)儲(chǔ)能系統(tǒng)需要進(jìn)行放電操作；當(dāng) D_r 的取值為小于0的數(shù)時(shí)，則此時(shí)儲(chǔ)能系統(tǒng)須進(jìn)行蓄電；當(dāng) D_t 的取值為0時(shí)，此時(shí)說明電能平衡，儲(chǔ)能系統(tǒng)不須進(jìn)行充放電操作。

2微電網(wǎng)并離網(wǎng)切換設(shè)計(jì)

當(dāng)微電網(wǎng)由并網(wǎng)模式切換至離網(wǎng)模式時(shí)，變流器工作于虛擬同步發(fā)電機(jī)（VirtualSynchronousGenerator，VSG）模式。接入電網(wǎng)時(shí)，電源功率由直流微網(wǎng)向交流微網(wǎng)轉(zhuǎn)移；脫離電網(wǎng)后，僅須調(diào)整虛擬同步發(fā)電機(jī)的控制參數(shù)，即可維持直流微網(wǎng)電壓恒定[7]。在交流換流器采用固定直流電壓控制策略的情況下，接人電網(wǎng)時(shí)，功率在交流微網(wǎng)與直流微網(wǎng)間雙向流動(dòng)；離網(wǎng)運(yùn)行時(shí)，采用蓄能穩(wěn)壓與變頻蓄能相結(jié)合的方式對(duì)交流微網(wǎng)進(jìn)行控制[8]。本文將虛擬同步發(fā)電機(jī)視為獨(dú)立電壓源，用于支撐微網(wǎng)的電壓與頻率。在微電網(wǎng)并離網(wǎng)切換過程中，僅須調(diào)整虛擬同步發(fā)電機(jī)的給定參數(shù)，無需外部干預(yù)，即可實(shí)現(xiàn)平滑切換，無明顯瞬態(tài)過程。

當(dāng)微電網(wǎng)從離網(wǎng)型過渡到并網(wǎng)型時(shí)，微網(wǎng)的電壓和頻率調(diào)整時(shí)間不斷累積，可能會(huì)引起交流變流機(jī)和儲(chǔ)能設(shè)備輸出的電壓頻率與電網(wǎng)電壓頻率存在偏差。針對(duì)這一問題，文章通過公式（5）計(jì)算實(shí)際偏差值：

ΔU=usin（wT-δ）-u_gsin（wT-δ）

其中， ΔU 表示輸出電壓與電網(wǎng)電壓的差值； u 表示虛擬同步發(fā)電機(jī)的輸出電壓； w 表示輸出頻率； T 表示運(yùn)行時(shí)間；8表示虛擬同步發(fā)電機(jī)輸出電壓與微電網(wǎng)電壓的相角； u_g 表示微電網(wǎng)電壓。在虛擬同步發(fā)電機(jī)的控制下，電壓幅值與微電網(wǎng)電壓幅值之間相差不會(huì)過大，因此，可將其認(rèn)為近似相等[9]。在此基礎(chǔ)上，代入公式（5），求得輸出電壓與微電網(wǎng)電壓的最大電壓偏差為 2u 。為實(shí)現(xiàn)微電網(wǎng)并離網(wǎng)切換時(shí)的無縫銜接，在進(jìn)行并網(wǎng)操作時(shí)，微電網(wǎng)的電壓和電網(wǎng)的電壓之間幅值、頻率以及相位均需要控制在合理偏差范圍內(nèi)。

3微電網(wǎng)并離網(wǎng)聯(lián)合均衡控制

在微電網(wǎng)并離網(wǎng)聯(lián)合均衡控制中，常規(guī)的控制模式是通過坐標(biāo)轉(zhuǎn)換和模型解耦來將交流部分轉(zhuǎn)化為直流部分，而P型控制器則是利用P型控制器來完成對(duì)直流量的無靜差追蹤，這就導(dǎo)致了系統(tǒng)結(jié)構(gòu)的復(fù)雜性和響應(yīng)時(shí)間的增加。為解決這一問題，文章設(shè)計(jì)公式（6所示的傳遞函數(shù)：

H=2u+2wTs%≈2wTs+s²

其中， H 表示傳遞函數(shù)： s 表示響應(yīng)時(shí)間。在對(duì)微電網(wǎng)輸出電壓和電網(wǎng)電壓進(jìn)行Clark變換時(shí)，文章對(duì)比例控制-諧振控制（Proportional-Resonant，PR）控制器進(jìn)行設(shè)計(jì)。以交流換流器的輸出電壓為基準(zhǔn)，文章利用交流換流器輸出電壓的差值，對(duì)交流換流器的電流環(huán)實(shí)施控制。具體而言，對(duì)交流換流器的電感電流進(jìn)行差動(dòng)處理，再經(jīng)過比例調(diào)整，得到電壓環(huán)和電流環(huán)的比例調(diào)整參數(shù)，以此簡化微電網(wǎng)并離網(wǎng)均衡控制過程[10]。在此基礎(chǔ)上，文章依據(jù)轉(zhuǎn)子運(yùn)動(dòng)方程、定子電壓方程，結(jié)合調(diào)速器和勵(lì)磁調(diào)節(jié)器來描述系統(tǒng)的機(jī)電能量轉(zhuǎn)換過程，利用交流變換器模擬同步發(fā)電機(jī)的基本特性。在基于深度強(qiáng)化學(xué)習(xí)的微電網(wǎng)模型中，機(jī)械動(dòng)力取決于原動(dòng)機(jī)的輸出，而原動(dòng)機(jī)所需的機(jī)械動(dòng)力則由直流微電網(wǎng)提供。通過上述方法，實(shí)現(xiàn)了微電網(wǎng)并離網(wǎng)聯(lián)合均衡控制。

4對(duì)比實(shí)驗(yàn)

4.1實(shí)驗(yàn)環(huán)境

本文引入深度強(qiáng)化學(xué)習(xí)，提出一種全新的微電網(wǎng)并離網(wǎng)均衡控制方法，為驗(yàn)證該方法在實(shí)際應(yīng)用中的穩(wěn)定性和均衡性，以某光儲(chǔ)微電網(wǎng)為控制對(duì)象。光強(qiáng)為 1200W/m²?s ，溫度是 26°C ，這時(shí)，由太陽能電池組件組成的光電陣列單元的最大總功率是 10kW 。微電網(wǎng)在運(yùn)行模式當(dāng)中，自動(dòng)切換采取下述3種控制方法。

在該環(huán)境中，將本文提出的控制方法設(shè)置為實(shí)驗(yàn)組，將基于范德波爾振蕩器的控制方法設(shè)置為對(duì)照A組，將基于干擾觀測器的控制方法設(shè)置為對(duì)照B組。文章通過對(duì)比3種控制方法的實(shí)際應(yīng)用性能，實(shí)現(xiàn)對(duì)其可行性的驗(yàn)證。

4.2實(shí)驗(yàn)參數(shù)

在初始階段，文章將微網(wǎng)接入電網(wǎng)。在0～5s內(nèi)，微電網(wǎng)的電能為負(fù)值，蓄能系統(tǒng)雖已具備充電能力，但輸出功率不足，須由電網(wǎng)向微網(wǎng)傳輸電能。在5～10s 期間，交流母線功率變?yōu)檎担娏髟龃螅藭r(shí)，電網(wǎng)中無關(guān)負(fù)荷被切除，蓄能系統(tǒng)進(jìn)入可充電狀態(tài)，同時(shí)微網(wǎng)輸出的電能被存儲(chǔ)至蓄能裝置。10s后，微網(wǎng)從電網(wǎng)脫離，實(shí)現(xiàn)了從并網(wǎng)到離網(wǎng)的轉(zhuǎn)換。在 10～12.5s 時(shí)間段內(nèi)，微網(wǎng)無外部電能輸入且無電流輸出，蓄能裝置進(jìn)入放電模式，與光伏系統(tǒng)共同為微網(wǎng)供電。12.5s后，微網(wǎng)再次接入電網(wǎng)，儲(chǔ)能裝置持續(xù)充電，微網(wǎng)將多余電能傳輸至電網(wǎng)。至此，整個(gè)微網(wǎng)完成了并網(wǎng)一離網(wǎng)一并網(wǎng)的全過程，如圖1所示。

為直觀比較3種控制方法的控制性能，文章選取控制過程中微電網(wǎng)交流母線頻率變化作為評(píng)估指標(biāo)，對(duì)比3種控制方法應(yīng)用下微電網(wǎng)交流母線頻率的波動(dòng)幅度。波動(dòng)幅度越小，表明對(duì)應(yīng)控制方法的穩(wěn)定性越強(qiáng)；反之，波動(dòng)幅度越大，則說明對(duì)應(yīng)控制方法的穩(wěn)定性越差。

4.3實(shí)驗(yàn)結(jié)果

根據(jù)上述論述，文章將3種控制方法應(yīng)用下的交流母線頻率波動(dòng)情況繪制成圖2所示。

圖1微電網(wǎng)運(yùn)行全過程交流母線電流變化

圖2交流母線頻率波動(dòng)情況對(duì)比

從圖2所示的實(shí)驗(yàn)結(jié)果可知，在實(shí)驗(yàn)組控制方法應(yīng)用下，微電網(wǎng)并離網(wǎng)時(shí)交流母線頻率波動(dòng)最小，這表明該控制方法具有更高的穩(wěn)定性。而在對(duì)照A組和對(duì)照B組控制方法應(yīng)用下，微電網(wǎng)并離網(wǎng)時(shí)交流母線頻率波動(dòng)較大，頻率均曾低于 49.95Hz 。這種頻率波動(dòng)情況會(huì)嚴(yán)重危及整個(gè)微電網(wǎng)運(yùn)行的安全性與穩(wěn)定性。因此，綜合上述實(shí)驗(yàn)結(jié)果可以證明，實(shí)驗(yàn)組控制方法的控制性能更優(yōu)，更契合微電網(wǎng)實(shí)際運(yùn)行的需求。

5結(jié)語

本文針對(duì)微電網(wǎng)并離網(wǎng)控制問題，提出了一種基于深度強(qiáng)化學(xué)習(xí)的新型控制方法，通過實(shí)驗(yàn)驗(yàn)證了該方法相較于現(xiàn)有控制方法具有更高的穩(wěn)定性。未來研究將聚焦于微電網(wǎng)發(fā)電系統(tǒng)、儲(chǔ)能系統(tǒng)與電網(wǎng)之間的信息交互與協(xié)調(diào)控制，以進(jìn)一步提升微電網(wǎng)并離網(wǎng)切換的平滑性，為微電網(wǎng)的穩(wěn)定運(yùn)行提供新的研究方向與實(shí)踐路徑。

參考文獻(xiàn)

[1]羅龍，李耀華，李子欣，等.基于范德波爾振蕩器和PQ控制的微電網(wǎng)并離網(wǎng)協(xié)調(diào)控制策略[J].電力自動(dòng)化設(shè)備，2023（1）：130-139.

[2]程啟明，程尹曼，張磊，等.基于干擾觀測器的MMC-PET交直流混合微電網(wǎng)并網(wǎng)/離網(wǎng)切換控制策略［J].高電壓技術(shù)，2024（3）：1196-1204.

[3]姜漢周，潘歡，納春寧.混合負(fù)載下基于虛擬振蕩器控制的離網(wǎng)逆變器控制策略研究[J].電力系統(tǒng)保護(hù)與控制，2023（9）：88-96.

[4]許瑩，陳卓，郝正航，等.混合微電網(wǎng)并離網(wǎng)切換控制技術(shù)研究[J].電網(wǎng)與清潔能源，2023（4）：137-146.

[5]趙文青，楊金明，侯緒杰，等.微電網(wǎng)生物質(zhì)發(fā)電燃?xì)鈨艋c并離網(wǎng)智能控制研究[J].應(yīng)用化工，2024（3）：608-612.

[6]李鐵成，胡雪凱，侯小超，等.一種統(tǒng)一并離網(wǎng)模式的串聯(lián)型光伏微網(wǎng)分層分布式控制策略[J].電工電能新技術(shù)，2023（6）：1-12.

[7]楊燕偉.基于暫態(tài)負(fù)載大數(shù)據(jù)的光伏并網(wǎng)異常智能告警算法[J].無線互聯(lián)科技，2024（15）：57-59.

[8]閔杰.地鐵車輛段分布式光伏發(fā)電并網(wǎng)功率控制方法研究[J].江蘇科技信息，2024（1）：128-131.

[9]武阿濤，許寅，吳翔宇.極端事件下基于頻率響應(yīng)降階模型的城市局部電網(wǎng)離網(wǎng)過程緊急頻率控制[J].電網(wǎng)技術(shù)，2025（2）：427-436.

[10]陳明軒，王文雍，張寶平，等.離網(wǎng)下風(fēng)光儲(chǔ)氫多能源系統(tǒng)的多目標(biāo)優(yōu)化調(diào)度策略研究[J].新能源科技，2025（1） ：41-48，62.

（編輯 王永超）

Stability and equilibrium control of microgrid connected and disconnected based on deep reinforcement learning

ZHONG Chaolu’， ZHAO Zhenye2（1.Guangxi Vocational amp; Technical Institute of Industry， Nanning 53OoO1， China;2. China Southern Power Grid Electric Power Technology Co.， Ltd.， Guangzhou 510ooo， China）

Abstract：To improvethe stabilityof microgridon-gridandof-gridequilibriumcontrol，aresearch study isconducted on designing anequilibrium control method for microgrid on-gridandof-gridstability basedon deepreinforcement learning.Using deep reinforcement learning，a microgrid model composed of photovoltaic power generation system models，lithium batery models，hydrogen storage system models，and load models is constructed.Bycalculating the diffrence between the output voltage of the microgridand thegridvoltage，it ensures that both theamplitude， frequency，and phaseof the microgrid’s voltageand thegrid’s voltageare controlled within reasonable deviation ranges，achieving seamless switching between on-grid and of-grid operations.A joint control method is proposed to achieve combined equilibrium control of the microgrid on-grid and off-grid.Comparative experiments have shown that underthe applicationof thenewcontrol method，the frequency fluctuations of theAC bus duringtheon-gridandoffgridswitching of the microgridareeffectivelycontrolled，enhancingtheoveralloperational stabilityofthemicrogrid. Key words：deep reinforcement learning;balanced control;stability；grid-connectedand off-grid;microgrid