面向儲能輔助火電機組一次調頻的深度強化學習控制策略

摘要：為充分挖掘火儲聯合系統中儲能單元的一次調頻潛力，同時減少火電機組調頻頻度，提出了一種基于雙延遲深度確定性策略梯度算法的儲能輔助火電機組一次調頻控制策略。搭建了典型含有火儲聯合調頻系統的區域電網一次調頻模型；以提高電網頻率控制效果、維持儲能荷電狀態（SOC）平穩、減少火電機組調頻動作次數等多項目標建立優化問題，綜合考慮電網運行狀態及調頻動作的約束，將儲能輔助火電機組一次調頻問題建模為一個馬爾可夫決策過程；使用雙延遲深度確定性策略梯度算法進行優化問題求解。典型調頻任務場景的仿真結果表明，與傳統火儲聯合調頻控制算法相比，所提出的儲能輔助火電機組智能調頻控制策略可使電網頻率偏差均值降低約10.4%、火電機組的調頻動作次數減少約56.2%，驗證了該策略能在有效釋放火儲聯合系統的調頻潛力，同時大幅減少火電機組一次調頻頻次。

關鍵詞：一次調頻；深度強化學習；下垂控制；調頻死區；荷電狀態

中圖分類號：TM734 文獻標志碼：A

DOI：10.7652/xjtuxb202406017 文章編號：0253-987X（2024）06-0186-07

Deep Reinforcement Learning Control Strategy for Primary Frequency Regulation of

Energy Storage Assisted Thermal Power Units

WANG Jianbo1， SUN Ran1，" LIU Zhongkai2， ZHANG Xiaoke3， GUO Hongzuo1， HU Huaizhong2

（1. State Grid Henan Electric Power Company， Zhengzhou 450000， China;

2. School of Automation Science and Engineering， Xi’an Jiaotong University， Xi’an 710100， China;

3. Electric Power Research Institute of State Grid Henan Electric Power Company， Zhengzhou 450052， China）

Abstract：In order to fully tap the potential of primary frequency modulation in the energy storage unit of the thermal-storage combined system and reduce the frequency regulation of thermal power units， a twin delayed deep deterministic policy gradient algorithm based energy storage assisted primary frequency regulation control strategy for thermal power unit is proposed. A typical regional power grid primary frequency regulation model containing thermal-storage combined frequency regulation system is established. Optimization problems with multiple objectives such as improving the frequency control effect of the power grid， maintaining a stable state of charge （SOC）， and reducing the frequency regulation actions of thermal power unit are set. Taking into account the constraints of power grid operation status and frequency regulation actions， the primary frequency regulation problem of thermal power unit assisted by energy storage is modeled as a Markov decision process. Twin delayed deep deterministic policy gradient algorithm is used for optimization problem solving. The simulation results of typical frequency regulation task scenarios show that compared with traditional frequency regulation system control algorithms， the proposed energy storage assisted intelligent frequency regulation control strategy for thermal power units can reduce the average frequency difference of the power grid by about 10.4%， and reduce the frequency regulation actions of thermal power unit by about 56.2%. This verifies that the strategy can effectively release the frequency regulation potential of the thermal-storage combined system while significantly reducing frequency regulation of thermal power units.

Keywords：primary frequency control; deep reinforcement learning; droop control; frequency dead band; state of charge

近年來，我國風電、光伏裝機容量已躍居世界第一［1］。隨著發電能源結構的清潔低碳化，以風能、太陽能為代表的清潔能源正逐步取代傳統化石能源，成為電力系統的重要組成部分。然而，由于清潔能源發電的隨機性和波動性，大規模接入將給電網調頻帶來巨大的挑戰［2-3］，火電機組的調頻壓力也日益增加［4-6］。電池儲能作為一種解決清潔能源并網的有效手段，其憑借著響應速度快、控制精度高、具有雙向調節能力等優點在一次調頻領域備受關注［7-8］。

針對儲能輔助火電機組的一次調頻控制策略，目前已經有了許多研究。文獻［9］采用了虛擬下垂控制，并根據儲能荷電狀態設計了自適應系數優化了調頻效果。文獻［10］虛擬下垂控制的基礎上添加了虛擬慣性控制，并根據電網頻率偏差以及偏差變化劃分出了多個模式，進一步提高了儲能的調頻能力。文獻［11］分析了儲能參與一次調頻過程，并根據頻率偏差是否達到最大值劃分了控制模式，充分發揮了虛擬慣性控制以及虛擬下垂控制的優點。文獻［12］分析了一次調頻中的頻率變換特性，指出了頻率恢復期這一特殊的階段，并提出了負虛擬慣性控制，從而平滑了儲能調頻動作，且顯著提高了電網的暫態穩定質量。此外，部分文獻在一次調頻死區內兼顧了荷電狀態恢復，提高了儲能的持續調頻能力。文獻［13］提出了兼顧荷電狀態恢復的一次調頻策略，當電網頻率處于死區內時，儲能可根據電網以及自身荷電狀態情況，控制儲能進行荷電狀態恢復，有效改善了儲能的荷電狀態。文獻［14］在兼顧荷電狀態恢復的基礎上，采用模糊控制的方式確定虛擬慣性以及虛擬下垂的自適應因子，有效平滑了儲能調頻動作，提升了其自適應調節能力。文獻［15］進一步優化了荷電狀態恢復效果，其根據當前負荷狀態調節荷電狀態（SOC）恢復基準，并且根據當前頻率偏差以及恢復基準確定儲能調頻動作，使SOC長期處于良好狀態。文獻［16-17］研究了調頻死區設置對于儲能參與一次調頻的影響，并通過合理的死區設置有效改善了火電機組調頻頻繁動作的問題。

綜上，目前電池儲能參與一次調頻的研究其控制方式主要為虛擬慣性結合虛擬下垂控制，并根據儲能荷電狀態、電網頻率偏差及其變化調整儲能出力，但是這導致了控制模式及其變量過多，參數選取困難。此外，文獻［16-17］通過優化儲能死區設置來降低火電機組調頻動作頻率，但依然存在著優化的空間。

為解決上述問題，本文采用智能決策的方法，通過深度強化學習算法訓練智能體。該智能體可以根據當前儲能荷電狀態、電網頻率及其變化率控制儲能系統參與一次調頻，從而提高火儲聯合調頻系統的頻率控制效果、維持儲能荷電狀態平穩、以及減少火電機組調頻動作次數。

3 實驗驗證

本文評價對比指標為頻率偏差均值、SOC偏差均值以及火電機組調頻動作次數，其中頻率偏差均值為Δfp，SOC偏差均值為ΔSp。火電機組調頻動作次數計算方式如下：如頻率頻差從火電機組調頻死區內到火電機組調頻死區外則視為進行了一次動作。

3.1 實驗設置

本文將圖1所示的儲能參與一次調頻模型作為智能體交互的環境。火電機組參數取自某1 000 MW機組，該機組汽輪機為CCLN1000-25.0/600/600型四缸四排汽、凝氣式汽輪機。最大調頻負荷變化幅度為50 MW，控制方式采用下垂控制，其一次調頻閥位因子為20；儲能采用磷酸鐵鋰電池，其容量為1 MW·h，最大輸入輸出功率為10 MW，荷電狀態范圍限制在20%～80%，儲能出力最大變化率為15%；火電機組以及儲能系統的控制間隔均為1 s。含儲能以及火電機組的電網一次調頻動態模型參數如表1所示。

本文算法中Actor網絡輸入層有3個神經元，對應智能體觀測的3個維度，其隱藏層有3層，前兩層各有128個神經元，第3層則有64個神經元；Critc網絡有3個隱藏層，前兩層各有256個神經元，第3層則有128個神經元。激活函數均采用RELU，算例運行硬件環境為11th Gen lntel（R）Core（TM） i5-11400 @ 2.60GHz，所有訓練以及測試在 python3.6環境中運行，使用了深度學習框架pytorch。

對比方法分別選擇了兼顧荷電狀態恢復的定K法［21-23］以及當前控制效果較好的變K法［13-15］，并設置儲能的調頻動作死區小于火電機組［24-25］，具體數值上為火電機組調頻死區的60%［16］。其中變K法可以在儲能進行一次調頻時兼顧荷電狀態恢復。當頻率處于儲能調頻死區外時，這種方法可以根據頻率偏差以及當前荷電狀態自適應改變當前出力，可有效提高調頻效果；當頻率處于死區內時，其可以根據頻率偏差以及當前荷電狀態綜合決定儲能荷電狀態恢復的方向以及力度，這種方式可以一定程度上減少火電機組的調頻動作次數。

3.2 智能體策略訓練

向模型中加入功率不超過25 MW，長1 000 s隨機生成的擾動。智能體訓練時的獎勵曲線如圖2所示，共進行了約2×107步的訓練，每過3×105步對當前智能體表現進行測試，選取測試中表現最好的智能體保存作為最優控制策略。

3.3 典型負荷擾動下控制效果對比

設置初始荷電狀態為50%，向圖1所示模型中加入擾動，典型負荷擾動曲線如圖3所示，擾動時長為1 000 s，將其與定K法以及變K法的控制效果進行對比，評價指標的數值結果如表2所示，頻率波動曲線對比如圖4所示，測試中儲能荷電狀態變化以及儲能不同控制策略下火電機組調頻動作對比如圖5、圖6所示。

由表2可知，本文控制策略下的頻率偏差均值小于對比策略的，這表明本文策略能有效提高儲能調頻能力。本文控制策略下SOC偏差均值為0.122 3，小于定K法的0.125 0以變K法的0.123 6，表明本策略下的荷電狀態恢復能力更好，荷電狀態控制能力更強。結合圖4可知，本文策略下的頻率波動曲線頻率處于火電機組調頻死區內的時間較對比策略更久，本文策略在維持頻率穩定上的性能優于對比策略。

在火電機組調頻動作次數上，本方法較對比策略有極大的提升。由表2可知，本文方法控制下的火電機組調頻動作次數較對比策略降低超50%。結合圖6可以看到，在440～520 s之間，對比方法中的火電機組經常出現小幅調頻出力，相比之下本文方法中的火電機組并不進行調頻動作，顯示出了本文方法對死區附近的高頻擾動有著較好的提前抑制作用，從而大大減少了火電機組調頻動作次數。

3.4 隨機負荷擾動下控制效果對比

按照上述參數設置，繼續向模型中加入多次隨機負荷擾動，對其控制效果進行統計，取平均值后，其控制效果對比如表3所示。可知在荷電狀態控制效果相近下，本文方法頻率偏差均值相比于定K法降低了10.4%，較變K法降低了6.2%。在火電機組調頻動作次數方面，本文方法較定K法降低了56.2%，較變K法降低了54.6%，可見本文方法極大減少了火電機組的調頻動作次數。

4 結 論

為充分挖掘火儲聯合系統中儲能單元的一次調頻潛力，同時減少火電機組調頻頻度，本文提出了一種基于TD3的儲能輔助火電機組一次調頻控制策略，并與傳統控制策略定K法以及變K法進行仿真對比，可得如下結論：

（1）本文控制策略根據當前電網頻率、電網頻率變化以及儲能荷電狀態控制儲能輔助火電機組一次調頻，可有效提高頻率控制效果；

（2）本文控制策略極大減少了火電機組在調頻死區附近的小幅度高頻率一次調頻動作次數，極大幅減少了火電機組一次調頻頻次。

參考文獻：

［1］張劍云， 李明節. 新能源高滲透的電力系統頻率特性分析 ［J］. 中國電機工程學報， 2020， 40（11）： 3498-3506.

ZHANG Jianyun， LI Mingjie. Analysis of the frequency characteristic of the power systems highly penetrated by new energy generation ［J］. Proceedings of the CSEE， 2020， 40（11）： 3498-3506.

［2］葉林， 王凱豐， 賴業寧， 等. 低慣量下電力系統頻率特性分析及電池儲能調頻控制策略綜述 ［J］. 電網技術， 2023， 47（2）： 446-462.

YE Lin， WANG Kaifeng， LAI Yening， et al. Review of frequency characteristics analysis and battery energy storage frequency regulation control strategies in power system under low inertia level ［J］. Power System Technology， 2023， 47（2）： 446-462.

［3］LIU Ju， YAO Wei， WEN Jinyu， et al. Impact of power grid strength and PLL parameters on stability of grid-connected DFIG wind farm ［J］. IEEE Transactions on Sustainable Energy， 2020， 11（1）： 545-557.

［4］張小科， 王子杰， 夏大偉， 等. 一種面向深度調峰運行火電機組的一次調頻能力建模新方法 ［J］. 電網技術， 2022， 46（12）： 4947-4953.

ZHANG Xiaoke， WANG ZI Jie， XIA Dawei， et al. New modeling for primary frequency regulation capability of thermal power units under deep peak regulation ［J］. Power System Technology， 2022， 46（12）： 4947-4953.

［5］趙東元， 胡楠， 傅靖， 等. 提升新能源電力系統靈活性的中國實踐及發展路徑研究 ［J］. 電力系統保護與控制， 2020， 48（24）： 1-8.

ZHAO Dongyuan， HU Nan， FU Jing， et al. Research on the practice and road map of enhancing the flexibility of a new generation power system in China ［J］. Power System Protection and Control， 2020， 48（24）： 1-8.

［6］卓振宇， 張寧， 謝小榮， 等. 高比例可再生能源電力系統關鍵技術及發展挑戰 ［J］. 電力系統自動化， 2021， 45（9）： 171-191.

ZHUO Zhenyu， ZHANG Ning， XIE Xiaorong， et al. Key technologies and developing challenges of power system with high proportion of renewable energy ［J］. Automation of Electric Power Systems， 2021， 45（9）： 171-191.

［7］張程銘， 柳璐， 程浩忠， 等. 考慮頻率安全的電力系統規劃與運行優化研究綜述與展望 ［J］. 電網技術， 2022， 46（1）： 250-264.

ZHANG Chengming， LIU Lu， CHENG Haozhong， et al. Review and prospects of planning and operation optimization for electrical power systems considering frequency security ［J］. Power System Technology， 2022， 46（1）： 250-264.

［8］劉暢， 卓建坤， 趙東明， 等. 利用儲能系統實現可再生能源微電網靈活安全運行的研究綜述 ［J］. 中國電機工程學報， 2020， 40（1）： 1-18.

LIU Chang， ZHUO Jiankun， ZHAO Dongming， et al. A review on the utilization of energy storage system for the flexible and safe operation of renewable energy microgrids ［J］. Proceedings of the CSEE， 2020， 40（1）： 1-18.

［9］李欣然， 鄧濤， 黃際元， 等. 儲能電池參與電網快速調頻的自適應控制策略 ［J］. 高電壓技術， 2017， 43（7）： 2362-2369.

LI Xinran， DENG Tao， HUANG Jiyuan， et al. Battery energy storage systems self-adaptation control strategy in fast frequency regulation ［J］. High Voltage Engineering， 2017， 43（7）： 2362-2369.

［10］鄧霞， 孫威， 肖海偉. 儲能電池參與一次調頻的綜合控制方法 ［J］. 高電壓技術， 2018， 44（4）： 1157-1165.

DENG Xia， SUN Wei， XIAO Haiwei. Integrated control strategy of battery energy storage system in primary frequency regulation ［J］. High Voltage Engineering， 2018， 44（4）： 1157-1165.

［11］李欣然， 崔曦文， 黃際元， 等. 電池儲能電源參與電網一次調頻的自適應控制策略 ［J］. 電工技術學報， 2019， 34（18）： 3897-3908.

LI Xinran， CUI Xiwen， HUANG Jiyuan， et al. The Self-Adaption control strategy of energy storage batteries participating in the primary frequency regulation ［J］. Transactions of China Electrotechnical Society， 2019， 34（18）： 3897-3908.

［12］吳啟帆， 宋新立， 張靜冉， 等. 電池儲能參與電網一次調頻的自適應綜合控制策略研究 ［J］. 電網技術， 2020， 44（10）： 3829-3836.

WU Qifan， SONG Xinli， ZHANG Jingran， et al. Study on self-adaptation comprehensive strategy of battery energy storage in primary frequency regulation of power grid ［J］. Power System Technology， 2020， 44（10）： 3829-3836.

［13］李軍徽， 侯濤， 穆鋼， 等. 基于權重因子和荷電狀態恢復的儲能系統參與一次調頻策略 ［J］. 電力系統自動化， 2020， 44（19）： 63-72.

LI Junhui， HOU Tao， MU Gang， et al. Primary frequency regulation strategy with energy storage system based on weight factors and state of charge recovery ［J］. Automation of Electric Power Systems， 2020， 44（19）： 63-72.

［14］王育飛， 楊銘誠， 薛花， 等. 計及SOC的電池儲能系統一次調頻自適應綜合控制策略 ［J］. 電力自動化設備， 2021， 41（10）： 192-198， 219.

WANG Yufei， YANG Mingcheng， XUE Hua， et al. Self-adaptive integrated control strategy of battery energy storage system considering SOC for primary frequency regulation ［J］. Electric Power Automation Equipment， 2021， 41（10）： 192-198， 219.

［15］李軍徽， 高卓， 應鴻， 等. 基于動態下垂系數與SOC基點的儲能一次調頻控制策略 ［J］. 電力系統保護與控制， 2021， 49（5）： 1-10.

LI Junhui， GAO Zhuo， YING Hong， et al. Primary frequency regulation control strategy of energy storage based on dynamic droop coefficient and SOC reference ［J］. Power System Protection and Control， 2021， 49（5）： 1-10.

［16］馬智慧， 李欣然， 譚莊熙， 等. 考慮儲能調頻死區的一次調頻控制方法 ［J］. 電工技術學報， 2019， 34（10）： 2102-2115.

MA Zhihui， LI Xinran， TAN Zhuangxi， et al. Integrated control of primary frequency regulation considering dead band of energy storage ［J］. Transactions of China Electrotechnical Society， 2019， 34（10）： 2102-2115.

［17］張峰， 游歡歡， 丁磊. 新能源一次調頻死區影響機理建模及系數修正策略 ［J］. 電力系統自動化， 2023， 47（6）： 158-167.

ZHANG Feng， YOU Huanhuan， DING Lei. Influential mechanism modelling of dead band in primary frequency regulation of renewable energy and its coefficient correction strategy ［J］. Automation of Electric Power Systems， 2023，47（6）： 158-167.

［18］HU Junyan， NIU Hanlin， CARRASCO J， et al. Voronoi-based multi-robot autonomous exploration in unknown environments via deep reinforcement learning ［J］. IEEE Transactions on Vehicular Technology， 2020， 69（12）： 14413-14423.

［19］FUJIMOTO S，VAN HOOF H， MEGER D. Addressing function approximation error in actor-critic methods ［C］//Proceedings of the 35th International Conference on Machine Learning. Chia Laguna Resort， Sardinia， Italy： PMLR， 2018： 1587-1596.

［20］LILLICRAP T P， HUNT J J， PRITZEL A， et al. Continuous control with deep reinforcement learning［EB/OL］. （2019-07-05）［2023-06-06］. https：//arxiv.org/abs/1509.02971.

［21］ZHANG Yingjun， ZHAO Changhong， TANG Wanrong， et al. Profit-maximizing planning and control of battery energy storage systems for primary frequency control ［J］. IEEE Transactions on Smart Grid， 2018， 9（2）： 712-723.

［22］劉英培， 田仕杰， 梁海平， 等. 考慮SOC的電池儲能系統一次調頻策略研究 ［J］. 電力系統保護與控制， 2022， 50（13）： 107-118.

LIU Yingpei， TIAN Shijie， LIANG Haiping， et al. Control strategy of a battery energy storage system considering SOC in primary frequency regulation of power grid ［J］. Power System Protection and Control， 2022， 50（13）： 107-118.

［23］修連成， 熊連松， 康志亮， 等. 運用下垂控制的并網儲能系統慣量阻尼特性分析 ［J］. 西安交通大學學報， 2018， 52（12）： 112-120.

XIU Liancheng， XIONG Liansong， KANG Zhiliang， et al. Analysis on dynamic characteristics of grid-tied energy storage system with droop control ［J］. Journal of Xi’an Jiaotong University， 2018， 52（12）： 112-120.

［24］FRADLEY J， PREECE R， BARNES M.Fast frequency response from MMC-HVDC with varying dead band implementation ［J］. IFAC-PapersOnLine， 2018， 51（28）： 49-54.

［25］LIU Muyang， BIZZARRI F， BRAMBILLA A M， et al. On the impact of the dead-band of power system stabilizers and frequency regulation on power system stability ［J］. IEEE Transactions on Power Systems， 2019， 34（5）： 3977-3979.

（編輯 趙煒）