風儲聯合電站實時自調度的高效深度確定性策略梯度算法

宋煜浩 魏 韡 黃少偉 吳啟仁 梅生偉

風儲聯合電站實時自調度的高效深度確定性策略梯度算法

宋煜浩1魏 韡1黃少偉1吳啟仁2梅生偉1

（1. 清華大學電機工程與應用電子系 北京 100084 2. 中國三峽新能源（集團）股份有限公司 北京 101100）

發展風電等可再生能源對于實現雙碳目標具有重要意義，風儲聯合電站是未來風電接入電網的主要形式。該文研究發電側商業化運行的風儲聯合電站的實時自調度問題，目標是使自身的期望收益最大化。由于場站級風電預測誤差較大，獨立發電商信息有限，難以準確預測電網電價，風儲聯合電站實時自調度面臨多重不確定性，極具挑戰。該文提出高效深度確定性策略梯度（DDPG）算法求取風儲聯合電站實時自調度策略，實現不依賴預測的場站級在線決策。首先通過Lyapunov優化構建基礎策略，得到一個較好的但未必是局部最優的策略；然后，采用基礎策略預生成樣本，用于初始化經驗庫，提升搜索效率；接著，應用引入專家機制的DDPG算法，可以訓練得到局部最優的自調度策略；最后，算例分析表明，相比于基礎調度策略和經典DDPG，該文所提方法能有效提升風儲聯合電站的平均收益。

風儲聯合電站 實時自調度 Lyapunov優化 深度確定性策略梯度（DDPG）

0 引言

近年來，新能源發電發展迅速。以風電為例，截至2021年底，我國風電累計裝機容量已經超過3億kW，同比增長16.6%[1]，僅2022年一季度便新增風電790萬kW[2]。風能作為一種綠色能源有望在未來的低碳電網中發揮主要作用。然而風能本身的波動性和隨機性卻給電力系統的運行帶來了巨大的挑戰，需要足夠的備用資源。儲能可以平滑風電出力，風儲聯合電站是未來風電接入電網的主要形式[3-5]。

本文考慮由獨立發電商管理的風儲聯合電站參與實時市場，發電商的目標是最大化期望收益。由于場站級風電預測誤差較大[6]，且獨立發電商信息有限，難以準確預測電網電價[7]，風儲聯合電站實時自調度面臨多重不確定性，極具挑戰。目前關于風儲聯合電站調度優化的方法可大致分為以下幾類。

1）基于模型預測控制（Model Predictive Control, MPC）或稱滾動優化[8]。該方法利用一個預測模型求解當下的最優策略，如此隨時間向前推進。文獻[9]中提出了風儲聯合電站協調調度運行的框架。然而，MPC方法的性能依賴預測的精度。在最壞的情況下，與無預測的貪婪算法相比，MPC并不能帶來更好的性能[10]。

2）基于兩階段魯棒優化或者隨機規劃。隨機規劃假設不確定量的分布已知，對目標函數的期望值進行優化[11]。魯棒優化考慮不確定集合中的最壞情況[12]。如采用隨機規劃方法研究風儲聯合電站參與電力市場問題[13]，采用魯棒優化的方法研究風儲聯合電站在微網中的能量管理問題[14]。這一類方法的主要問題在于，第二階段需要假設所有時段的不確定量都已獲知后才能做出決策，無法用于在線調度。

3）以Lyapunov優化[15]為代表的在線優化方法，這一類方法既不需要預測也不需要歷史數據。通過構造儲能荷電狀態的虛擬隊列，將隊列長度作為懲罰項加入目標函數，從而將時段耦合的優化問題分解為單時段決策。文獻[16]將Lyapunov優化用于風儲聯合電站的實時調度，提升長期收益。此類方法的共性問題在于懲罰項引入目標函數可能會影響算法性能，導致得到的策略具有保守性。此外，完全忽略歷史數據與預測信息也會影響策略的最優性。

4）基于以強化學習為代表的近似動態規劃算法。相比于前兩類方法，強化學習為數據驅動，其本身不依賴預測信息且便于實現在線決策。而相比于Lyapunov優化，強化學習可以充分利用歷史數據的價值。強化學習在電力系統調度問題中已有較多應用[17-19]。特別地，對于風儲聯合電站的調度，目標包括最小化棄風[20]和最大化收益[21]等。

在強化學習算法中，深度確定性策略梯度（Deep Deterministic Policy Gradient, DDPG）算法[22]適用于狀態和動作都為連續量的場景，和風儲聯合電站的調度問題兼容性較好。然而，在不依賴預測的前提下，鮮有研究將DDPG算法應用于風儲聯合電站的實時自調度中。如文獻[23]將DDPG算法用于風儲聯合電站日前調度，文獻[24]研究風光儲聯合系統在線調度，都使用了預測信息，性能依賴預測精度。此外，當調度時段較多時，各時段策略函數不同，離線訓練效率降低；由于給儲能充電沒有即時收益，在訓練時智能體容易短視而影響性能。這些也大大增加了DDPG算法應用于本文問題的難度。

Lyapunov優化利用了系統運行模型，可以有效規避不可行的調度動作和低收益動作，作為先驗知識提升DDPG的探索效率；DDPG則可以充分利用歷史數據的價值，通過訓練，降低Lyapunov優化的保守性。鑒于二者具有互補性，本文提出高效DDPG算法。以Lyapunov優化作為基礎策略，用于初始化DDPG的訓練，求取風儲聯合電站實時自調度策略，實現不依賴風電出力和電價預測的場站級在線決策。最后對實際數據進行算例分析，通過和經典DDPG算法的對比，驗證了所提策略的有效性。

1 風儲聯合電站自調度的數學模型

風儲電站及其內部潮流如圖1所示。電站通過一條輸電線和主網相連，其傳輸容量是有限的。風能既可以直接通過傳輸線送到電網，也可以儲存在配套儲能中。儲能從風機充電，向電網放電。為了提高收益，風儲電站需要在電價低時儲存風能，在電價高時賣出電能。然而在實時自調度的場景下，未來風電出力和電網電價是不確定的，傳統優化模型只能作為離線策略提供最優值的基準，并不能提供在線策略。以下分別描述離線模型和在線模型。

圖1 風儲電站及其內部潮流

1.1 離線模型

由于各階段狀態不存在不確定量，式（8）退化為式（10），形式上屬于線性規劃。

1.2 在線模型

為了得到性能較優的策略，實現在線自調度模型（14）的求解，本文先基于Lyapunov優化理論得到一個基礎調度策略，用該策略生成初始樣本。隨后提出高效DDPG算法，訓練智能體改進基礎調度策略。

2 基于Lyapunov優化的基礎調度策略

選擇二次函數（19）為Lyapunov函數[15]。

相鄰兩個時期的Lyapunov函數增量定義為漂移，即

、和為常矩陣，為常向量，即

3 基于DDPG的改進調度策略

基于Lyapunov優化的基礎調度策略求解速度快，然而，由于完全忽略了歷史數據和預測信息，可導致應用效果偏保守或貪婪，在一定程度上損失了最優性。本節在基礎策略的基礎上，利用歷史數據通過DDPG算法改善策略的表現。基礎策略利用了系統模型，提升了智能體的探索效率，相比于經典DDPG性能更好。

3.1 自調度的MDP表述

式（14）可以看作一個馬爾可夫決策過程（Markov Decision Process, MDP）[27]。

SOC的狀態轉移由式（5）描述。如果忽略實時電價和風機實時出力的長程相關性，可近似認為下一時期的狀態不受過去時期狀態和動作的影響，而受到當前時期狀態和動作的影響，由此體現了MDP表述的合理性。

3.2 DDPG算法

表1 DDPG神經網絡

Tab.1 Neural networks of DDPG

訓練時，Actor評估網絡的目標為最大化其輸出動作的函數值，其損失函數為

Critic評估網絡的目標是最小化和目標網絡之間的時間差分損失。

3.3 動作降維

式中，relu()定義為當＞0時，relu()=；否則，relu()=0。

可以驗證，采用式（38）替換3.1節中原有獎勵式（28）得到新的MDP問題，其最優策略及最優值都是不變的，因此該問題和式（14）仍是等價的，但是訓練難度降低了。

3.4 策略初始化與高效DDPG算法

引入基于基礎策略的樣本初始化和專家機制后，求解自調度MDP模型的高效DDPG算法結構如圖2所示。

圖2 高效DDPG算法結構

表2 高效DDPG算法訓練流程

Tab.2 Efficien DDPG algorithm training process

算法1是在基礎調度策略樣本的基礎上進一步訓練。相比于之前的基礎策略，性能有進一步的提升。當訓練完成后，Actor評估網絡可以直接用于調度動作的生成，由此得到表3中的改進調度策略。由于神經網絡的前饋在ms級時間即可完成，該策略是實時的，滿足在線需求，并且不依賴于對未來不確定量的預測。但由于利用了歷史數據，電價與風電出力的日變化模式包含在了最優動作價值函數式（29）中，因此具有一定前瞻性，可以獲得比基礎策略更好的性能。

表3 改進調度策略

Tab.3 Real-time self-dispatch improved strategy

4 算例分析

圖3 風機實時出力（測試集）

圖4 實時電價（測試集）

表4 風儲電站參數

Tab.4 Wind - storage power plant parameters

表5 高效DDPG算法的超參數

Tab.5 Hyperparameters of the improved DDPG algorithm

表6 神經網絡的結構和優化器

Tab.6 Structure and optimizer of neural networks

圖5 神經網絡權重—訓練輪次曲線

在測試集上測試改進調度策略、經典DDPG算法訓練的智能體及基礎調度策略三種算法，結果見表7。在運行效果方面，三種策略不可行點數都為0，說明這些策略都運行在安全范圍內，沒有給出越界的調度動作；在SOC方面，改進策略的平均日最大SOC高于經典DDPG，但都小于12%，說明儲能容量比較充足，而基礎調度策略的平均日最大SOC高達43.68%，這是因為Lyapunov漂移懲罰項傾向于將SOC穩定在50%附近；在收益方面，改進調度策略的性能最好，經典DDPG算法的效果最差，前者比后者收益增加了2.60%，比基礎調度策略增加了1.80%。由此可見，在基礎調度策略基礎上進行的DDPG訓練提升了其性能，而基礎策略的樣本初始化及專家機制這一改進也明顯提升了DDPG的訓練效果。在運行過程中，改進調度策略給出的調度動作都是可行的且平均收益相對其他兩種策略都有明顯提升，證明了算法的有效性。

表7 平均性能比較（測試集）

Tab.7 Average performance comparison (test set)

為了進一步對比策略的性能，選取測試集第19天，對比改進調度策略和基礎調度策略的放電功率，如圖6所示，其SOC曲線如圖7所示。可以看到這一天的電價波動較大，凌晨時在22$/(MW·h)以下而下午則一度逼近30$/(MW·h)。基礎策略的充電行為波動劇烈，放電行為出現在11:00電價上漲之后，然而隨著SOC的下降，式（20）中的Lyapunov漂移懲罰項開始影響決策，在臨近15:00出現了“高價充電”的情況；此外，在3:00附近由于長時間滿充，SOC較高，類似地也出現了“低價不充”的現象。這些都影響了其最終的收益。而改進策略的充電行為比較平滑，如在0:00～5:00時SOC較低且電價有下降趨勢，因此不斷增加充電功率，5:00以后SOC達到較高水平且電價有上升趨勢，因此充電功率迅速減小。由此，改進策略基本滿足“低充高放”，且改進策略對電價變化的響應非常靈敏。

圖6 放電功率對比（測試集第19天）

圖7 SOC對比（測試集第19天）

圖8 隨機權重對算法結果的影響

圖9 容量變化對算法結果的影響

5 結論

本文針對傳輸線并網的風儲聯合電站的實時自調度問題，從并網上電經濟收益最大化目標出發，利用基于Lyapunov優化的基礎調度策略，由高效DDPG算法得到改進調度策略。通過和經典DDPG算法的對比，論證了該策略的有效性。結果表明：

1）改進調度策略在提升經濟收益方面效果較佳。第4節的仿真算例表明，在風電和電價等預測信息未知的條件下，本文所提方法相比于基礎調度策略和經典DDPG算法得到的調度策略，平均收益都有明顯提升。

2）基礎調度策略引入了額外的保守性，經典DDPG算法容易陷入不給儲能充電的解。高效DDPG算法用基礎調度策略進行初始化并引入專家機制，訓練效率高。由此得到的改進調度策略更充分地利用了儲能的存儲容量，對電價變化的響應靈敏。

3）高效DDPG算法收斂性較好。離線訓練的智能體在線應用，滿足了自調度的實時性需求。

[1] 國家能源局. 2021年全國電力工業統計數據[EB/OL]. [2022-01-26]. http://www.nea.gov.cn/2022-01/26/c_1310441589.htm.

[2] 國家能源局. 截至3月底全國發電裝機容量約24億千瓦,3月份可再生能源發電量較快增長.[EB/OL]. [2022-04-22]. http://www.nea.gov.cn/2022-04/22/c_ 1310569074.htm.

[3] 姜書鵬, 喬穎, 徐飛, 等. 風儲聯合發電系統容量優化配置模型及敏感性分析[J]. 電力系統自動化, 2013, 37(20): 16-21.

Jiang Shupeng, Qiao Ying, Xu Fei, et al. Capacity optimization and sensitivity analysis of cogeneration system of wind power and energy storage[J]. Automation of Electric Power Systems, 2013, 37(20): 16-21.

[4] 陸秋瑜, 羅澍忻, 胡偉, 等. 集群風儲聯合系統廣域協調控制及利益分配策略[J]. 電力系統自動化, 2019, 43(20): 183-191.

Lu Qiuyu, Luo Shuxin, Hu Wei, et al. Wide-area coordinated control and benefit assignment strategy of clustering wind-energy storage integrated system[J]. Automation of Electric Power Systems, 2019, 43(20): 183-191.

[5] 孫輝, 劉鑫, 賁馳, 等. 含風儲一體化電站的電力系統多目標風險調度模型[J]. 電力系統自動化, 2018, 42(5): 94-101.

Sun Hui, Liu Xin, Ben Chi, et al. Multi-objective risk scheduling model of power system containing power station with integrated wind power and energy storage[J]. Automation of Electric Power Systems, 2018, 42(5): 94-101.

[6] 王佳麗. 探路風電預報[J]. 能源, 2014(3): 74-76.

Wang Jiali. Pathfinder wind power forecast[J]. Energy, 2014(3): 74-76.

[7] 姚子麟, 張亮, 鄒斌, 等. 含高比例風電的電力市場電價預測[J]. 電力系統自動化, 2020, 44(12): 49-55.

Yao Zilin, Zhang Liang, Zou Bin, et al. Electricity price prediction for electricity market with high proportion of wind power[J]. Automation of Electric Power Systems, 2020, 44(12): 49-55.

[8] García C E, Prett D M, Morari M. Model predictive control: theory and practice—a survey[J]. Automatica, 1989, 25(3): 335-348.

[9] Xie Le, Gu Yingzhong, Eskandari A, et al. Fast MPC-based coordination of wind power and battery energy storage systems[J]. Journal of Energy Engineering, 2012, 138(2): 43-53.

[10] Lin Minghong, Liu Zhenhua, Wierman A, et al. Online algorithms for geographical load balancing[C]//2012 International Green Computing Conference (IGCC), San Jose, 2012: 1-10.

[11] Wu Hongyu, Shahidehpour M, Li Zuyi, et al. Chance-constrained day-ahead scheduling in stochastic power system operation[J]. IEEE Transactions on Power Systems, 2014, 29(4): 1583-1591.

[12] Ben-Tal A, Nemirovski A. Robust solutions of uncertain linear programs[J]. Operations Research Letters, 1999, 25(1): 1-13.

[13] Garcia-Gonzalez J, de la Muela R M R, Santos L M, et al. Stochastic joint optimization of wind generation and pumped-storage units in an electricity market[J]. IEEE Transactions on Power Systems, 2008, 23(2): 460-468.

[14] Lara J D, Olivares D E, Ca?izares C A. Robust energy management of isolated microgrids[J]. IEEE Systems Journal, 2019, 13(1): 680-691.

[15] Neely M J. Stochastic network optimization with application to communication and queueing systems[M]. Berlin: Springer, 2010.

[16] Guo Zhongjie, Wei Wei, Chen Laijun, et al. Real-time self-dispatch of a remote wind-storage integrated power plant without predictions: explicit policy and performance guarantee[J]. IEEE Open Access Journal of Power and Energy, 2021, 8: 484-496.

[17] 趙冬梅, 陶然, 馬泰屹, 等. 基于多智能體深度確定策略梯度算法的有功-無功協調調度模型[J]. 電工技術學報, 2021, 36(9): 1914-1925.

Zhao Dongmei, Tao Ran, Ma Taiyi, et al. Active and reactive power coordinated dispatching based on multi-agent deep deterministic policy gradient algorithm[J]. Transactions of China Electrotechnical Society, 2021, 36(9): 1914-1925.

[18] 李濤, 胡維昊, 李堅, 等. 基于深度強化學習算法的光伏-抽蓄互補系統智能調度[J]. 電工技術學報, 2020, 35(13): 2757-2768.

Li Tao, Hu Weihao, Li Jian, et al. Intelligent economic dispatch for PV-PHS integrated system: a deep reinforcement learning-based approach[J]. Transactions of China Electrotechnical Society, 2020, 35(13): 2757-2768.

[19] 刁浩然, 楊明, 陳芳, 等. 基于強化學習理論的地區電網無功電壓優化控制方法[J]. 電工技術學報, 2015, 30(12): 408-414.

Diao Haoran, Yang Ming, Chen Fang, et al. Reactive power and voltage optimization control approach of the regional power grid based on reinforcement learning theory[J]. Transactions of China Electrotechnical Society, 2015, 30(12): 408-414.

[20] 梁煜東, 陳巒, 張國洲, 等. 基于深度強化學習的多能互補發電系統負荷頻率控制策略[J]. 電工技術學報, 2022, 37(7): 1768-1779.

Liang Yudong, Chen Luan, Zhang Guozhou, et al. Load frequency control strategy of hybrid power generation system: a deep reinforcement learning—based approach[J]. Transactions of China Electrotechnical Society, 2022, 37(7): 1768-1779.

[21] 于一瀟, 楊佳峻, 楊明, 等. 基于深度強化學習的風電場儲能系統預測決策一體化調度[J]. 電力系統自動化, 2021, 45(1): 132-140.

Yu Yixiao, Yang Jiajun, Yang Ming, et al. Prediction and decision integrated scheduling of energy storage system in wind farm based on deep reinforcement learning[J]. Automation of Electric Power Systems, 2021, 45(1): 132-140.

[22] Lillicrap T P, Hunt J J, Pritzel A, et al. Continuous control with deep reinforcement learning[EB/OL]. 2019: arXiv: 1509.02971. https://arxiv.org/abs/1509. 02971

[23] 蔡新雷, 崔艷林, 董鍇, 等. 基于改進K-means和MADDPG算法的風儲聯合系統日前優化調度方法[J]. 儲能科學與技術, 2021, 10(6): 2200-2208.

Cai Xinlei, Cui Yanlin, Dong Kai, et al. Day-ahead optimal scheduling approach of wind-storage joint system based on improved K-means and MADDPG algorithm[J]. Energy Storage Science and Technology, 2021, 10(6): 2200-2208.

[24] 張淑興, 馬馳, 楊志學, 等. 基于深度確定性策略梯度算法的風光儲系統聯合調度策略[J/OL]. 中國電力, 2022: 1-9. [2022-07-03]. http:// kns.cnki.net/ kcms/ detail/11.3265.TM.20211115.1426.002.html.

Zhang Shuxing, Ma Chi, Yang Zhixue, et al. Joint dispatch of wind-photovoltaic-storage hybrid system based on deep deterministic policy gradient algorithm [J/OL]. Electric Power, 2022: 1-9. [2022-07-03]. http://kns.cnki.net/kcms/detail/11.3265.TM. 20211115. 1426.002.html.

[25] Shen Ziqi, Wei Wei, Wu Danman, et al. Modeling arbitrage of an energy storage unit without binary variables[J]. CSEE Journal of Power and Energy Systems, 2021, 7(1): 156-161.

[26] 束金龍, 聞人凱. 線性規劃理論與模型應用[M]. 北京: 科學出版社, 2003.

[27] Sigaud O, Buffet O. Markov decision processes in artificial intelligence[M]. New York: John Wiley & Sons, 2013.

Efficient Deep Deterministic Policy Gradient Algorithm for Real-Time Self-Dispatch of Wind-Storage Power Plant

Song Yuhao1Wei Wei1Huang Shaowei1Wu Qiren2Mei Shengwei1

（1. Department of Electrical Engineering Tsinghua University Beijing 100084 China 2. China Three Gorges Renewables (Group) Co. Ltd Beijing 101100 China）

The development of wind power and other renewable energy is of great significance to achieve the dual carbon goal, and the wind-storage power plant is the main form of wind power connected to the power grid in the future. This paper studies the real-time self-dispatch problem of the wind-storage power plant commercialized on the generating side, with the goal of maximizing its expected income. Due to the large prediction error of the field-level wind power and the difficulty in accurately predicting the electricity price of the grid due to the limited information of independent power producers, the real-time self-dispatch of the wind-storage power plant is faced with multiple uncertainties, which is extremely challenging. In this paper, an efficient DDPG algorithm was proposed to solve the real-time self-dispatch strategy of the wind-storage power plant, and realize the field-level online decision-making independent of prediction. Firstly, Lyapunov optimization was used to construct the basic strategy to obtain a good but not necessarily local optimal strategy. Then, samples were pre-generated by the basic strategy to initialize the experience base and improve the search efficiency. Further, DDPG algorithm with expert mechanism was applied to train the locally optimal self-scheduling strategy. Case study shows that compared with the basic dispatch strategy and the classical DDPG, the proposed method can effectively improve the average revenue of the wind-storage power plant.

Wind-storage power plant, real-time self-dispatch, Lyapunov optimization, deep deterministic policy gradient(DDPG)

10.19595/j.cnki.1000-6753.tces.220979

TM614

中國長江三峽集團有限公司科研項目資助（202003128）。

2022-05-30

2022-07-18

宋煜浩 男，1998年生，博士研究生，研究方向為儲能技術的應用。E-mail：3160871816@qq.com

黃少偉 男，1985年生，博士，副研究員，碩士生導師，研究方向為人工智能在電力系統中的應用。E-mail：huangsw@mail.tsinghua.edu.cn（通信作者）

（編輯 赫蕾）