基于深度強化學習的孤島微電網故障區域判定

朱愉田，李華強

(四川大學電氣工程學院，四川 成都 610065)

1 引言

隨著電力負荷的急速增長，能源短缺和環境污染等問題的越來越嚴重，越來越多的國家和地區開始關注微電網的發展，微電網已成為電力系統發展的主流趨勢。孤島運行模式就是微電網與大電網斷開連接，微電網中的分布式電源單獨完成給負荷提供穩定可靠電力的工作。當孤島微電網中某一條線路發生故障時，會給下級使用設備或單位，帶來極大的安全隱患。孤島運行模式時產生的孤島效應會給微電網的運行和管理帶來的一些不利影響，沒有計劃的孤島模式不但會對用電用戶的生產生活帶來嚴重的危害，也會對電網運行的工作人員的人身安全帶來威脅。

常見的微電網故障包括內部故障和外部故障，分別發生在微電網內部和連接大電網與微電網的聯絡線上[1]。因此傳統方法以文獻[2]的研究內容為依據，利用特征余弦差分診斷微電網故障大致范圍。此次研究在傳統方法基礎上，引入深度強化學習方法，根據約束條件，預先提取孤島微電網的故障特征；基于深度強化學習方法，深度跟蹤電網故障信息；通過三端行波測距法，判定孤島微電網故障區域，通過該方法的跟蹤性能，優化傳統方法，為微電網的使用安全，提供可靠的技術支持。

2 基于深度強化學習的孤島微電網故障區域判定

2.1 提取孤島微電網的故障特征

傳統方法根據單個逆變型分布式電源的輸出特性，研究孤島微電網中，只含有一個逆變型分布式電源時的故障問題。此次研究在傳統方法的基礎上，對于含有PQ控制模式、VF控制模式的逆變型分布式電源，進行穩態響應特征提取。已知當孤島微電網發生故障時，微電網的序網絡圖結構，與PQ和VF控制模式的逆變型分布式電源的接入位置有關。當PQ和VF控制模式下的電源接于同一母線時，電網可能出現三相對稱故障，此時正序網絡中的故障點正序電壓相量Gk1=0，因為VF電源對輸出端電壓有支持作用，因此VF電源工作在恒壓區，PQ電源工作在恒功率區，此時存在約束條件：

(1)

式中：G1表示故障點的正序電壓相量；Gref表示電壓設定值；IPQ表示PQ電源的輸出正序電流；IoPQ表示PQ電源的極限輸出電流值；IVF表示VF電源的輸出正序電流；IoVF表示VF電源的極限輸出電流值；SPQ表示PQ電源的輸出復功率；Sref表示電源設定值[3]。當VF電源工作在恒電流區，PQ電源工作在恒功率區時，此時的約束條件為

(2)

式中：Smax表示電源極限容量。當兩種控制模式下的電源，均進入到恒流區內時，電源輸出同時達到最大電流限制，此時的約束條件為

(3)

式中：S2表示兩個電源的容量。求解上述三組約束條件，得到得到孤島微電網三相對稱故障響應特征[4]。

2.2 基于深度強化學習跟蹤故障信息

根據故障響應特征，利用深度強化學習跟蹤故障信息。深度強化學習將特征目標跟蹤任務，轉換為一個序列決策的問題，因此離線訓練卷積神經網絡，然后將目標的最終位置，作為當前追蹤目標的初始位置，利用卷積神經網絡預測一系列故障響應，通過移動代表目標狀態的矩形框，追蹤不斷變化的故障響應特征。但目標跟蹤具有特殊性，因此利用馬爾科夫決策過程，對跟蹤過程進行建模。假設一個馬爾科夫決策過程中，包括變化形式z∈Z、變化狀態q∈Q以及狀態轉移函數q′。在目標跟蹤過程中，狀態qt通過向量ut代表的區域塊pt跟蹤故障信息。當下一個分析數據出現時，根據目標的最終位置，得到一個適合網絡尺寸的判定區域塊pt，將pt為當前目標的初始狀態，輸入到卷積神經網絡中[5]。在第n個孤島微電網區域中，第t次迭代的區域塊被定義為如下形式

pt=φ(ut，n)

(4)

式中：φ表示預處理函數。通過上述公式實現對微電網數據狀態的跟蹤。然后跟蹤數據變化形式。在該過程中，數據變化形式包括四個方向的平移以及停止。因此以其變化形式為依據，當卷積神經網絡根據輸入的狀態qt預測變化形式zt時，產生一個新的狀態qt+1，而該狀態利用轉移函數獲得。因此重新定義狀態轉移函數，此時存在qt+1=hp(ut，zt)，表示當前數據狀態ut，通過相應變化形式zt，產生了新的故障位置區域，也就是qt+1。則這些故障響應特征的增量被定義為

(5)

式中：Δx(t)與Δy(t)表示新故障數據的位置坐標增量；w表示水平活動距離；h表示垂直活動距離；γ表示深度強化學習跟蹤參數。當zt停止動作時，結束對當前故障數據的跟蹤[6]。

2.3 三端行波測距法判定故障區域

當孤島微電網內部線路發生故障時，故障點F處的電壓發生突變，因此故障點向線路兩端傳輸暫態電流、電壓行波。因此依據電流行波原理，根據故障數據跟蹤結果，對微電網內部故障區域進行判斷。圖1為初始行波在母線處的折反射示意圖。

圖1 初始行波在母線處的折反射

圖中iin、ia、ib分別表示入射波、折射波及反射波；R1、R2分別表示入射波和折射波的阻抗值[7]。其中電流折射系數和反射系數，可以通過下列公式計算獲得

(6)

公式中：a與b分別表示所求的兩個系數。當孤島微電網發生內部故障時，故障處的電流行波可通過下列公式進行描述

(7)

根據上述兩組公式可知，母線處的接線方式，影響行波在母線處的折射和反射。因此行波測距根據波速恒定、折射、反射數據為依據，根據故障跟蹤結果判定電網故障區域。

圖2為三端行波測距法的判定示意圖[8]。

圖2 三端行波測距法故障區域判定

同樣利用F表示跟蹤得到的故障位置；L1和L2分別表示故障線路、非故障線路的直線距離。在L1母線端設置行波檢測裝置，設置該裝置為測量端A；在L1對端設置測量端B；同時L2母線端設置行波檢測裝置，為測量端C；r1、r2則表示故障點F到測量端A和B的直線距離[9]。假設行波傳輸速度σ恒定，則存在下列條件：

(8)

式中：t0表示故障發生好刻；t1、t2、t3分別表示故障電流行波，到達測量端A、B和C的初始時間；L′1、L′2分別表示故障線路和非故障線路的實際長度；r′1、r′2分別表示故障點到測量端A、B的實際距離。假設追蹤過程中，每條線路的參數均一致，因此假設線路的弧垂系數為μ，則根據式(8)得到

(9)

因此整合上述計算結果，得到故障點F到故障線路母線端的距離，計算結果為

(10)

利用上述計算過程，得到故障點到故障線路母線端的距離，根據該距離，確定孤島微電網故障節點所在的區域[10]。至此在深度強化學習的輔助下，實現孤島微電網故障區域判定。

3 仿真研究

3.1 深度強化學習效果分析

利用IEEE 39節點系統和BPA仿真數據，搭建一個仿真測試環境。在樣本數據仿真過程中，令34條支路發生三相短路故障，最終得到650個測試樣本。此次提出的故障區域判定方法，利用深度強化學習方法跟蹤電網故障響應特征，下圖3是深度強化學習應用下，對某一支路三相短路故障的網絡訓練結果。

圖3 深度強化學習網絡訓練效果

此次測試分別存儲200、400、600、800以及1000次的網絡訓練參數，然后將信息輸入到Q-Learning網絡環境中，計算Q值。根據圖中的測試結果可知，隨著訓練次數的不斷增加，Q值不斷趨近回報值曲線，所得的網絡訓練結果，與回報值曲線的變化趨勢保持一致。然后測試此次研究方法在故障區域判定過程中，獲得的端A、B、C的暫態電流行波信號，如下圖4所示。

圖4 測量端暫態電流行波信號瞬時頻率譜分析

根據圖4(a)可知，頻率突變發生在第14個采樣點處，因此第14個采樣點對應的時間，就是暫態電流行波初次到達測量端A的時間。根據圖4(b)可知，測量端B的頻率首次突變，發生在第33個采樣點處；根據圖4(c)可知，測量端C的頻率首次突變，發生在第69個采樣點處。因此第33個采樣點處、第69個采樣點處的時間，就是暫態電流行波初次到達測量端B、測量端C的時間。

3.2 故障區域判定效果測試

假設此次提出的故障區域判定方法為實驗組，兩種傳統判定方法為對照組，將精確度一次評估準則OPE作為衡量標準，評價不同方法下的故障區間判定精度，結果如下圖5所示。

圖5 基于整體性能的精確度曲線

根據圖中的曲線變化趨勢可知，文中方法的精確度曲線，無論在何種條件下，均處于領先位置。而兩個傳統方法的精確度曲線，面對整體性能時，其判定精確度雖然低于文中方法，但總體上均超過了0.7。

假設故障發生時間為0.2s，在 0.21s 時 SS 斷開，在此過程中對流過保護的電流變化情況和故障位置判定情況分析如圖6所示。

圖6 基于屬性的精確度曲線

根據圖6中的曲線走勢可知，當故障發生在 f1處時，隨著SS的動作，流過故障點所在線路保護的電流會出現兩次明顯的變化過程，且電流突變量絕對值達到定值。根據以上提出的判斷方法很容易確定故障發生在該線路上。

孤島檢測仿真時逆變器輸出電壓與電流波形關系圖和頻率變化圖如圖7所示。

圖7 孤島檢測仿真結果

由上圖可以看出，孤島現象在0.6秒時發生，2.4秒時逆變器停止為系統供電，反應時間少于標準規定的2 秒限值，孤島現象檢測成功；發生故障大電網掉電以后公共連接點的頻率變化明顯，在9 個周期時超出預先設定的閾值，過頻繼電器被觸發，孤島現象被檢出。

統計三種方法的總體故障區域判定精度，結果如表1所示。

表1 不同方法的故障區域判定精度統計

為了保證測試結果可知，共進行了10次測試。計算三個測試組的綜合判定精度，其中文中方法的判定精度為0.8026，傳統方法1和傳統方法2的綜合判定精度分別為0.4999和0.5065。統計文中方法與傳統方法之間的判定差異，其中文中方法比傳統方法1的判定精度高出了0.3027，比傳統方法2的判定精度高出了0.2961。根據上述測試可知，此次研究的故障區域判定方法，其判定結果更加準確。因此分析三個測試組，對故障區域的判定，結果如下表2所示。

表2 孤島微電網故障區域判定結果

隨機挑選5個測試組，分析三組方法的孤島微電網故障區域判定結果，其中文中方法的判定結果與故障區域一致；而傳統方法1和傳統方法2的5組測試中，分別有2組和3組判定結果，沒有定位到故障區域內。由此可見，在深度強化學習幫助下，此次研究的故障區域判定效果更佳。

4 結束語

此次研究在傳統故障區域判定方法的基礎上，新添加了深度強化學習方法，根據約束條件，預先提取孤島微電網的故障特征，基于深度強化學習深度跟蹤電網故障信息，通過三端行波測距法，判定孤島微電網故障區域，為孤島微電網故障區域判定，提供更加精準的數據。但此次提出的方法還存在不足之處，今后的研究工作中，可以利用一個定位算法預先定位故障節點，利用該節點預測故障范圍，為孤島微電網的使用，提供更加可靠的故障管理技術。