基于強化學習的換相失敗抑制策略研究
2020-02-22 03:58:10范晶晶
電腦知識與技術 2020年36期
范晶晶
摘要：針對直流輸電系統中換相失敗問題，在控制系統中引入強化學習算法，在故障發生時通過實時采集逆變側電氣量，動態調整整流側的電流參考值，通過與低壓限流環節相互配合，抑制直流線路電流增大，利于逆變側電弧熄滅，從而抑制連續換相失敗問題，在故障消失后系統能盡快恢復穩定運行。實驗結果表明，系統采用基于強化學習的換相失敗抑制策略比沒有采用該策略的故障恢復效果要好。
關鍵詞：強化學習;動態調整;換相失敗
中圖分類號： TP391? ? ?文獻標識碼： A
文章編號：1009-3044（2020）36-0150-03
Abstract： Aiming at the problem of commutation failure in the DC transmission system， a reinforcement learning algorithm is introduced into the control system. When a fault occurs， the inverter side electrical quantity is collected in real time， and the current reference value of the rectifier side is dynamically adjusted. Suppressing the increase of DC line current facilitates the extinguishment of the arc on the inverter side， thereby suppressing the problem of continuous commutation failure， and the system can resume stable operation as soon as possible after the fault disappears. The experimental results show that the system adopts the commutation failure suppression strategy based on reinforcement learning better than the failure recovery effect without adopting this strategy.
Key words： reinforcement learning; dynamic adjustment; commutation failure
1 引言
隨著我國社會經濟的飛速發展，直流輸電以大容量、低損耗的獨特優勢，逐步參與到大電網的建設上來[1]。于是，建設特高壓、遠距離的交直流混聯輸電系統成為必然趨勢。然而，直流系統的運行過程中會出現一系列的故障，其中直流系統的換相失敗問題最為嚴重[2]。
LCC-HVDC換流器具有兩種方式實現對換流站換流閥的觸發，分別為分相觸發和等間隔觸發[3]，換流站在運行過程中，如果觸發脈沖丟失故障發生，逆變器便會發生換相失敗問題，歸根結底，逆變器換相失敗發生的根本原因是其換流閥關斷角小于換相失敗發生時的臨界關斷角，在換相失敗發生時，換流閥關斷角接近于0。
針對換相失敗問題，相關文獻提出通過投入無功補償裝置維持受端交流電壓穩定，當受端交流系統發生故障后，交流電壓迅速跌落，無功補償不足，可采用靜止無功補償裝置的投入，抬高跌落的交流電壓 [4]。另外，有文獻提出可通過調整直流線路平波電抗器的數值來抑制換相失敗，在換相過程無法正常完成，直流系統的電容器會釋放電流，導致直流線路直流電流的迅速增大，如果此時增大直流線路平波電抗器的數值，可以有效抑制直流電流的增大。在直流系統的控制方面，相關文獻[5]提出通過控制系統增發觸發脈沖來緩解換相失敗帶來的危害，但當受端交流系統為弱交流系統時，逆變站換流閥很有可能出現連續換相失敗問題，此時再進行觸發脈沖的調整，將會進一步增加系統擾動。也有文獻提出將觸發超前角[β]和關斷角[γ]的整定值提高，增大觸發超前角將有利于預防換相失敗的發生，然而增大觸發超前角將造成換流站吸收的無功功率增加，導致有功功率的傳輸效率降低，影響了整個直流系統運行的經濟型[6]。
本文通過引入強化學習整流側參考電流動態調整模塊，在故障發生時，通過實時采集逆變側電氣量，動態調整整流側的電流參考值，同時與低壓限流環節相互配合，抑制直流線路電流增大，利于逆變側電弧熄滅，抑制連續換相失敗問題，從而在故障消失后系統能盡快恢復穩定運行。
2 相關理論
2.1 強化學習
在強化學習中[7，8]，一個智能體（Agent）在不同時間步與環境交互盡可能得到累積最大獎賞。強化學習問題可以以一個五元組的形式[
尋找出最優策略是強化學習的關鍵，并在該策略基礎上進行決策。在強化學習中，策略為[π]，[π（s，a）]是指在狀態[s]下選擇動作[a]的概率。如果策略[π]是一個確定的策略，在任意狀態[s∈S]，[π（s）]表示在狀態[s]下所選擇的動作[a]。
強化學習中用來評估策略[π]的好壞的是值函數，由狀態值函數[Vπ]、動作值函數[Qπ]組成，[Vπ（s）]表示在狀態[s]下，根據策略[π]得到的期望回報，[Qπ（s）]表示在狀態[s]下，選擇動作[a]并根據策略[π]得到的期望回報。通常用[Qπ（s）]來評估策略[π]的好壞。
公式（2）為Bellman方程。
強化學習中[π*]表示最優策略，該策略能最大化獎賞函數，對應的[Q*（s，a）]可以表示為：
公式（3）為最優Bellman方程。
2.2 換相失敗機理
正常情況下兩個橋臂可以正常換相，但當發生故障后，其中一個橋臂的換流閥未能及時換相成功卻又收到了反向電壓的作用，這種情形被定義為換相失敗。對于逆變側受端交流系統發生故障而導致的直流系統換相失敗問題，有文獻指出：逆變側受端交流系統故障導致換相支撐電壓跌落，使得換相電壓作用逆變器的時間面積變小，而引起逆變器的關斷角小于換相失敗發生時的臨界關斷角，這是直流系統逆變器發生換相失敗的根本原因[9]。
相關文獻研究表明[10]，逆變系統關斷角[γ]與換流變壓器變比k、逆變側直流電流Id、逆變系統等效換相電抗Xc、逆變側交流母線電壓有效值UL、觸發超前角β的相互關系為：
直流輸電系統運行中逆變側交流系統故障情況下，直流電流會發生不平穩變化，然而根據換相過程分析，逆變器換相過程中直流電流的變化不應被忽略。為此，本文計及考慮逆變側交流系統故障時，直流輸電系統逆變側直流電流變化。
以逆變器運行關斷角[γ]大小定義逆變器換相過程，當換相結束即
從上式可以看出，逆變系統換相成功與否與逆變器觸發延遲角[α]、換相電壓幅值及換相起止時刻的直流電流大小有關。
據此分析，逆變側交流系統故障造成流過逆變器的直流電流增大、交流系統母線電壓下降時，其直流電流控制則可貫穿整個換相過程始終，在逆變系統故障運行時可增強LCC-HVDC逆變站控制系統對其換相過程的控制。因此，可通過直流電流控制，充分降低逆變器發生換相失敗的概率。
2.3 強化學習算法在直流控制系統中的應用
低壓限流環節在LCC-HVDC的作用異常重要，具有左右交流系統故障時直流電壓、電流沖擊大小及故障后直流功率恢復速度等，其曲線設定與具體系統的特性關系密切，因此，為了不致改變VDCOL對原系統運行特性的影響作用，直流電流整定值[Ido_rec]取VDCOL與直流電流預測控制整定值[Id_PREV]之間的較小值，實施方案以對CIGRE HVDC輸電系統控制系統的改進為例，如下圖所示。
直流電流預測值[Id_PREV]表達式如下所示：
其中CF表示為直流控制系統通過關斷角來判斷逆變器是否可能發生換相失敗（是為1，否為0）。[Id_NOR]是為發生換相失敗時系統正常運行狀態下的整流側直流電流參考值。
[Id_PREVC]是換相失敗發生后通過強化學習動態跟蹤系統而得到的整流側直流電流參考值。強化學習模塊包括采集測量模塊、強化學習數據處理模塊、參考電流輸出模塊。采集測量模塊主要用來采集逆變側的狀態數據，所述狀態數據主要包括逆變側交流系統母線電壓有效值以及直流系統逆變側直流電流值。強化學習數據處理模塊與所述采集測量模塊相連，以獲取所述數據采集模塊的狀態數據。其中，數據處理模塊包括數據存儲庫和Q-學習算法模型，Q-學習算法模型利用獲取的狀態數據對逆變側直流電流的狀態數據進行預測，選擇最佳的動作，即動態調整整流側的參考值。例如在逆變側電流變大時，通過降低整流側直流電流參考值來動態調整直流線路上的電流，從而起到抑制逆變側直流電流升高作用，利于逆變器熄弧，在故障發生期間可抑制連續換相失敗問題，減小故障對系統造成的危害。其中，動態整流側參考值[Id_PREVC]為動作Action提供選擇區間，根據低壓限流的歷史數據，區間下限選取得比低壓限流值中的電流參考值要小一些，本文中的[Id_PREVC]的選擇區間為[0.5，1.0]。由于整流側電流參考值[Id_PREVC]的動態跟蹤作用，會有效抑制直流電流在故障時的增大，同時動態得到一個關斷角實測值。直流系統換相失敗發生判斷的標準便是關斷角小于臨界關斷角的值，這個值接近于0，正常運行狀態下的關斷角約為18°，當系統關斷角實測值在故障期間離目標值18°的誤差綜合最小，那便是最優的動作情況，這種最優動作情況即是整流側直流電流參考值[Id_PREVC]的數據選擇過程。實測值關斷角[γ]和目標值關斷角[γobj]之間的誤差為：[E=γ-γobj]，那么設模型中的獎賞為一個負值的變量。
如公式7所示：
3 實驗分析
3.1 實驗數據及設置
為了驗證強化學習算法模塊在抑制直流系統故障發生換相失敗的有效性，以下實驗的直流系統選自PSCAD仿真軟件中自有算例CIGRE標準直流輸電系統，系統模型及數據如下所示，圖及表中所有值的單位為[Ω]、H或mF。
強化學習的狀態數據來自沒有加入強化學習換相失敗預測模塊前的歷史仿真數據。仿真數據包括單相故障時的數據以及三相故障時的數據，如表2和表3所示，數據集中包括逆變側直流電流值[Id_inv]、逆變側交流電壓有效值[VAC_inv]。強化學習算法程序基于matlab編程環境，模型中的學習速率為0.4，折扣率因子為0.99。仿真過程是基于matlab和PSCAD的聯合仿真，在測試算法時建立了PSCAD和MATLAB之間的接口模塊，采集到的實時狀態數據經過算法處理，返回系統最佳動作值，從而有效抑制故障發生后的連續換相失敗。
3.2 實驗結果分析
本文仿真測試分別以受端交流系統三相短路和單相接地故障為典型。不同類型故障設置于逆變側交流系統母線處，故障持續時間均為0.05s，仿真測試中所的Lf為故障電抗。
（1）逆變側交流母線單相故障
下圖為逆變側交流系統母線單相接地故障開始時刻6.000s、故障電抗0.55H情況下，未加入強化學習算法與加入所提算法下逆變系統逆變側電氣量的對比圖，[VAC_inv]受端電力系統的交流母線電壓有效值、[Id_inv]為LCC-HVDC逆變側直流電流、[Δαinv_PREV]為系統面對故障自適應調節的觸發延遲角提前值，以及[Id_PREV]為強化學習算法輸出的整流側直流電流動態參考值。
從圖3可以看出，相對于未引入算法的系統控制效果，引入強化學習算法可以及時抑制受端交流系統故障情況下LCC-HVDC直流電流的短時上升、逆變側交流母線電壓的進一步下降，從而更為有效地降低逆變器換相失敗發生的概率，而且從仿真曲線可以看出引入強化學習模塊后對并網系統故障后直流輸電系統恢復的快速性和有效性上也有一定提高。
（2）逆變側交流母線三相故障
圖4為未引入強化學習算法與引入算法兩種情形下逆變器發生換相失敗（故障時刻6.000s，故障電抗1.14H）時相應的[VAC_inv]、[Id_inv]、[Δαinv_PREV]及[Id_PREV]波形。由圖中波形可以看出，引入算法后在逆變側交流系統三相故障情況下，對逆變器換相失敗的抑制和故障后直流系統的快速恢復均有效果。
4 結束語
本文針對直流輸電系統中換相失敗問題，引入強化學習算法模塊，在故障發生時通過實時采集逆變側電氣量，動態調整整流側的電流參考值，通過與低壓限流環節相互配合，抑制直流線路電流增大，利于逆變側電弧熄滅，抑制連續換相失敗問題。實驗結果表明，引入強化學習算法后，直流輸電控制系統在抑制換相失敗方面有較好的效果。
參考文獻：
[1] 韓民曉，文俊，徐永海.高壓直流輸電原理與運行[M].2版.北京：機械工業出版社，2013.
[2] 張文峰. 交直流混聯受端電網故障特性變異分析[M]. 北京： 中國電力出版社， 2015
[3] 黃玉東.高壓直流輸電換相失敗的研究[D].北京：華北電力大學，2006.
[4] 陳樹勇，李新年，余軍，等.基于正余弦分量檢測的高壓直流換相失敗預防方法[J].中國電機工程學報，2005，25（14）：1-6.
[5] 王智冬.交流系統故障對特高壓直流輸電換相失敗的影響[J].電力自動化設備，2009，29（5）：25-29，38.
[6] Tamai S，Naitoh H，Ishiguro F，et al.Fast and predictive HVDC extinction angle control[J].IEEE Transactions on Power Systems，1997，12（3）：1268-1275.
[7] Sutton R S，A G.Reinforcement learning：an introduction[J].IEEE Transactions on Neural Networks，1998，9（5）：1054.
[8] 劉全，翟建偉，章宗長，等.深度強化學習綜述[J].計算機學報，2018，41（1）：1-27.
[9] 王鋼，李志鏗，黃敏，等.HVDC輸電系統換相失敗的故障合閘角影響機理[J].電力系統自動化，2010，34（4）：49-54，102.
[10] Sun Y Z，Peng L，Ma F，et al.Design a fuzzy controller to minimize the effect of HVDC commutation failure on power system[J].IEEE Transactions on Power Systems，2008，23（1）：100-107.
【通聯編輯：梁書】
