一種基于強化學習的微電網能量管理算法

張宏濤，吳怡之，鄧開連，張 磊

（東華大學 信息科學與技術學院，上海 201620）

0 引 言

微電網是由可再生能源、儲能系統以及可在孤島或并網模式下運行的負載組成的獨立電網集群，其中，可再生能源發電和儲能系統作為推動能源行業可持續發展、滿足快速增長能源需求的關鍵解決方案，是未來電力基礎設施建設中的關鍵技術。然而，可再生能源發電具有間歇性和波動性， 對微電網運營的可靠性、經濟性帶來了重大挑戰[1-3]。服務供應商（Service Provider, SP）通過調度儲能系統，能夠利用能源價格波動，在需求低迷時期購買相對便宜的能源，并在需求高漲時高價出售來產生利潤[4-6]。隨著更多本地可再生能源發電機投入使用，供應商能夠以由公用事業公司控制的動態價格將能源賣回給公用事業公司，利用分布式可再生能源發電提高電網運營的穩定性和可靠性。

近年來，不少研究者優化了微電網能量管理中的運營成本。Zhong等[7]提出一種基于動態規劃（Dynamic Programming, DP）的分布式優化算法，能夠在無需與外界進行信息交換的條件下，對儲能共享系統實施在線能量管理與運營成本優化。Hafiz等[8]提出一種基于預測文件的DP算法，可以減少微電網運營成本，對各分布式單元進行實時控制。Li等[9]提出一種基于李雅普諾夫優化（Lyapunov Optimization, LO）的負載調度和儲能控制算法，提升電網高頻能量調度下的儲能利用率。Zhang等[10]提出一種基于在線競爭的能量管理算法，優化微電網場景下的運營成本與服務質量（Quality of Service, QoS）。上述工作只考慮了電網層面的運營成本，提出的數學模型與相關算法難以應用于實際微電網場景下的長期能量調度。

本文的主要貢獻如下：

（1）對微電網能源管理進行理論建模，將長期優化問題轉化為馬爾可夫決策過程，通過調度儲能裝置優化能量管理系統（Energy Management System, EMS）的運營利潤。

（2）引入強化學習算法，建立狀態空間，充放電動作和獎勵函數，通過ε-貪婪策略探索當前環境得出最優能量調度策略。

（3）通過實驗仿真，對比所提算法在運營利潤上的性能增益。

1 微電網能量管理優化調度模型

實現微電網的經濟調度和穩定運行是微電網能量管理的主要目標。本文所述微電網能量管理系統采用并網運行方式為本地負載提供能量，微電網EMS內包含可再生能源發電單元、儲能系統、電動汽車負荷與建筑負荷。微電網EMS可與常規電網相連進行雙向能量交換，如圖1所示。其中，可再生能源發電單元作為供給側，建筑負荷與電動汽車負荷構成需求側。在考慮可再生能源發電、實時電價、實時負荷的不確定性情況下，綜合考量儲能系統充放電與從常規電網購電的經濟性，建立了并網運行模式下微電網EMS優化調度模型。

圖1 微電網EMS優化調度模型

1.1 微電網EMS運行約束

微電網EMS優化調度的目標是在滿足各個分布式單元運行約束、負荷需求和供需平衡的限制下，實現系統運營利潤最高。根據微電網EMS運行狀況可知，約束如下：

（1）可再生能源發電約束

微電網中可再生能源發電單元受技術、氣候條件限制，需滿足自身發電出力約束；同時，在任意時間段內滿足優先供給本地負載。發電出力約束和供給約束分別表示為：

式中，N(t)為t時段可再生能源發電單元的輸出能量；Nmin和Nmax分別為t時段可再生能源發電單元的最小、最大輸出能量；min{}運算表示兩者取小；G(t)為t時段本地負載總能量需求；Ns(t)為t時段供給本地負載的可再生能源發電單元輸出能量。

t時段剩余的可再生能源發電單元輸出能量Nw(t)為：

式中，剩余能量Nw(t)通過雙邊能量流動回售給常規電網。

（2）儲能系統運行約束

儲能系統需滿足其自身的容量限制，充放電出力約束和能量平衡約束。充放電出力約束分別表示為：

式中：Fc(t)和Fd(t)分別為t時段儲能系統充電輸入能量、放電輸出能量；Fcmax為t時段儲能系統最大充電輸入能量；為t時段儲能系統最大放電輸出能量。由于電池物理特性，充、放電操作無法同時進行，可表示為：

定義儲能系統能量狀態[11]（State of Energy, SoE），需滿足容量約束：

式中：SoE(t)為t時段儲能系統的能量狀態；Ec為儲能系統的額定容量；ζ(t)為t時段儲能系統的荷電狀態（State of Charge, SoC）；ζmax和ζmin分別為儲能系統荷電狀態最大值和最小值。

儲能系統滿足能量平衡約束：

式中：SoE(t+1)為t+1時段儲能系統的能量狀態；ηch和ηdis分別為充放電的能量轉換效率。

（3）購電售電定價約束

服務供應商通過購電價格從常規電網側購電，通過售電價格向本地負載出售能源來獲利，購電價格由公用事業公司在t時段開始前公布；服務供應商通過回售價格將t時段剩余的可再生能源發電單元輸出能量Nw(t)回售給常規電網。

購電價格、售電價格和回售價格需滿足定價約束：

式中：Pb(t)為t時段購電價格；Ps(t)為t時段售電價格；Pw(t)為t時段回售價格；α1為售電折扣參數；α2為回售折扣參數；Pbmax和Pbmin為購電價格的上下限。

（4）供需能量平衡約束

在任意調度時間內，模型都必須滿足微電網EMS內部的供需能量平衡約束：

式中：C(t)為t時段從常規電網購入用于滿足本地負載的電能；Gb(t)為t時段的建筑負荷；Gev(t)為t時段的電動汽車負荷。

1.2 優化問題

本節提出將最大化微電網EMS運營利潤，最小化電池退化成本作為聯合優化目標，系統運營凈利潤定義為：

結合式（18）可知，假設系統運行T個時段，優化問題可以表示為：

由于微電網EMS環境狀態時刻變化，式（20）定義的聯合優化問題難以直接求得最優解。下節引入強化學習中的Q學習算法，對最優解進行全局探索，使結果逼近最優解。

2 基于強化學習的微電網EMS調度算法

本節提出了Q學習能量調度算法，將強化學習用于微電網場景下的能量調度問題。儲能系統與微電網環境實時交互，得出當前環境下的最優決策。該算法能夠在減少電池退化成本的同時，提高運營利潤。

2.1 Q學習能量調度算法

本系統中儲能系統觀察到的狀態為微電網EMS在t時刻接收到的實時信息，t時刻系統的狀態st∈S為：

式中：Pb(t)代表t時刻的電價；G(t)代表t時刻的本地負載；ζ(t)代表t時刻的電池荷電狀態；Ns(t)為t時段供給本地負載的可再生能源發電單元輸出能量。

根據式（4）～式（6）中充放電動作的大小范圍和約束，本文設計出了一組離散的動作空間at∈A。

儲能系統在執行完充放電動作后，從微電網EMS環境中得到瞬時獎勵Rt：

式中：U(t)為t時刻系統運營凈利潤；V(t)為t時刻電池退化成本；β為懲罰參數。ζ(t)∈（0.1，0.9）表示微電網EMS滿足約束式（8），在電池荷電狀態安全條件下運行；U(t)越大且V(t)越小時，儲能系統得到的獎勵值越高。ζ(t)小于0.1或大于0.9時，電池荷電狀態處于過載、危險運行狀態，相應的回報函數為負值。

建立運營利潤-退化成本聯合優化的Q學習模型。Q值采用貝爾曼方程進行更新，即使用后繼狀態最大Q值估計當前Q值，經過不斷迭代，使Q值趨于最優，從而得出最優策略：

式中：α∈（0，1）為學習率，γ為折扣參數；過去的工作[12-15]證明，在馬爾可夫決策過程中，若狀態空間與動作空間是離散的，動作價值函數Q（st，at）經過無數次迭代會收斂到最優值Qπ*(s, a)，通過不斷學習更大的Q值，儲能系統能得到最優動作at*∈A。

為了使儲能系統能夠探索到最優動作，智能體需要兼顧已有經驗，利用和探索未知動作兩個過程，以保證在每個狀態下，每個動作都有被選中的可能。Q學習法采用ε-貪婪策略來選擇動作，同時用來平衡利用和探索的過程：

式中：X是一個從0到1的隨機數，用來選擇動作；ε為貪婪值；儲能系統以1-ε的概率選擇Q值最高的動作進行利用；以ε的概率隨機選擇動作進行探索。在Q學習初始階段，儲能系統未得出有效調度策略，Q(st, at)大部分數值為零，智能體偏向探索；隨著學習的不斷進行，Q(st, at)將不斷變大直至收斂，從而得出最佳調度策略πt。

2.2 Q學習調度算法實現

由于傳統能量管理沒有考慮儲能系統接入、實時電價、可再生能源輸出能量等因素，在面對現實環境時，算法性能隨著預測不確定性的提高而不斷下降，因此本文引入了在人工智能領域得到廣泛應用的強化學習算法，該算法通過學習狀態量的變化趨勢來對決策值進行實時更新，相比傳統能量管理算法具有更強的魯棒性。Q學習調度算法將儲能系統作為智能體，通過調度電池中的能量，來獲得微電網EMS中的最大運營利潤。Q學習能量調度算法如下所示：

輸入 ：狀態量 {Pb(t)，G(t)，Ns(t)，ζ(t)}

輸出：優化的充放電策略π

（1）初始化Q學習算法參數，初始化Q表；

（2）初始化狀態量 st0={Pb(t)，G(t)，Ns(t)，ζ(t)}；

（3）For 回合數=1，2，…，M；

（4）獲取初始狀態st0；

（5）For 時刻=1，2，…，T；

（6）觀察并計算動作價值函數Q(st, at)；

（7）使用ε-貪婪策略選擇動作at；

（8）執行所選動作at；

（9）計算退化成本，運營利潤；

（10）計算優化目標；

（11）使用貝爾曼方程更新Q(st, at)；

（12）將結果存入Q表；

（13）計算累積獎勵Rt；

（14）判斷累積獎勵Rt是否收斂；

（15）輸出優化后的充放電策略π。

微電網EMS收集t時刻的外部狀態信息Pb(t)、G(t)、Ns(t)和儲能系統內部信息ζ(t)，將信息傳給儲能系統；儲能系統根據已知信息，使用ε-貪婪策略選擇動作加以執行，得到實時反饋；系統計算當前時刻的運營利潤和退化成本，使用貝爾曼方程更新Q(st, at)，將結果存入Q表；進入下一個時刻后，再重新執行以上步驟，直到獎勵函數收斂。

3 仿真結果與分析

本節在仿真中模擬實時變化的微電網EMS環境，對比Q學習能量調度算法與現有基線算法的各個性能指標。

3.1 仿真參數

實驗使用Python編譯器，使用Torch模塊編寫算法，模擬真實微電網環境下實時變化的電價、負荷與可再生能源能量。其中，電價、本地負荷與可再生能源發電單元輸出能量數據源于澳大利亞新南威爾士州某市兩周的電力系統運行數據。表1給出了仿真參數與配置。

表1 仿真參數與配置

3.2 仿真結果

首先，本文評估了Q學習能量調度算法的收斂性表現。所提出算法在10 000個回合內進行了訓練，以學習優化的儲能系統充電/放電調度，其中懲罰因子β設置為2。累積獎勵的演變過程如圖2所示。觀察可得智能體獲得的累積獎勵在前1 500個回合不斷增加，在第2 000個回合達到80后趨向穩定，之后由于智能體不斷以10%的概率選擇隨機動作，累積獎勵曲線呈現輕微振蕩。因此，所提出Q學習能量調度算法能在短時間內達到收斂。

圖2 累積獎勵與回合數變化關系圖

圖3展示了系統利潤隨時間的變化情況，3種算法的系統利潤隨著時間的增加而不斷上升。其中，Greedy代表貪心算法，執行貪心算法時，智能體只求得每個時刻的最優收益，并將其累加；執行Uncontrolled策略時，智能體會在電池荷電狀態低于0.1時以最大充電速率充電，在荷電狀態高于0.9時以最大放電速率放電。Q學習算法從微電網EMS運行開始，其系統利潤一直高于Greedy和Uncontrolled策略；微電網EMS在經過336個小時運營之后，Q學習與Greedy算法比提高了8.32%，與Uncontrolled策略比提高了10.54%。

圖3 系統利潤與時間變化關系圖

4 結 語

本文提出了一個微電網儲能管理系統，該系統由可再生能源、儲能以及進出常規電網的雙邊能量流組成。本文的目標是在電池容量的約束下，最大化儲能管理系統的運營利潤。為了解決上述問題，本文提出了一種基于Q學習的強化學習能量調度算法，以根據來自復雜環境的信息即電池的動態變化荷電狀態、價格和需求變化、準確的電池退化作為狀態，學習優化的控制動作。最后，與基于真實世界數據的性能評估表明，與2個基線算法相比，所提出的方法可以將系統利潤提高8.32%～10.54%。