基于強(qiáng)化學(xué)習(xí)風(fēng)電并網(wǎng)策略下的韌性分析

中圖分類號：TM614;TM743 文獻(xiàn)標(biāo)識碼：A

Abstract：To explore the impact of wind power station grid-connection sites on the resilience of power networks，this paper introduces a new analytical framework for assessing the resilience of wind power network. By integrating the network's structural and functional models and applying relevant resilience assessment metrics，we propose a Q-Learning-based grid-connection strategy to identify the optimal grid-connection locations for wind power station. We validate this strategy using the IEEE 118 power grid model，which incorporates wind power grid-connection. Our research shows that the Q-Learning-based grid-connection strategy surpasses traditional heuristic methods and genetic algorithms in reducing operational costs and the risk of overload， highlighting the crucial role of strategic grid-connection in strengthening the network's resilience.

Keywords： complex network；resilience; Q -Learning algorithm;wind power grid connection

0 引言

近年來，隨著全球?qū)η鍧嵞茉吹男枨蟛粩嘣黾樱陔娏π袠I(yè)，風(fēng)力發(fā)電已經(jīng)成為了最具潛力的可再生能源之一，越來越多的國家將風(fēng)力發(fā)電納入到能源轉(zhuǎn)型和電力供應(yīng)的戰(zhàn)略規(guī)劃中[1]。然而，隨著風(fēng)力發(fā)電的并網(wǎng)，電網(wǎng)也面臨著新的挑戰(zhàn)和機(jī)遇，如何實(shí)現(xiàn)風(fēng)力發(fā)電機(jī)與傳統(tǒng)電力網(wǎng)絡(luò)的有效銜接，確保網(wǎng)絡(luò)的穩(wěn)定運(yùn)行成為了當(dāng)前研究的重要議題2]。

由于風(fēng)力發(fā)電具有波動性和間歇性，網(wǎng)絡(luò)在供電過程中可能會面臨能源供給不足或者間斷的情況，這就增加了級聯(lián)故障的風(fēng)險(xiǎn)，使得電力網(wǎng)絡(luò)的韌性評估變得更加復(fù)雜[3」。在現(xiàn)有研究中，ZhangH等[4]提出了一種預(yù)防性調(diào)度方法，該方法不僅考慮了常規(guī)發(fā)電機(jī)，還考慮了風(fēng)電，以充分利用風(fēng)電增強(qiáng)韌性的潛力。Liang Y^[5] 則專注于海上風(fēng)電場電力系統(tǒng)的最佳調(diào)度，以增強(qiáng)網(wǎng)絡(luò)的韌性。陳思諭等6通過研究電網(wǎng)輸電線路耦合強(qiáng)度來提高電力網(wǎng)絡(luò)的韌性。這些研究為電網(wǎng)韌性的增強(qiáng)提供了寶貴的見解，但它們主要集中在傳統(tǒng)電網(wǎng)或風(fēng)電調(diào)度策略上，對風(fēng)力發(fā)電機(jī)并網(wǎng)位置的韌性影響研究相對較少。

近期，強(qiáng)化學(xué)習(xí)技術(shù)在電力網(wǎng)絡(luò)研究中的應(yīng)用日益廣泛，通過分析大量的電力數(shù)據(jù)和歷史記錄，這使得電力公司能夠更好地預(yù)測故障、優(yōu)化能源分配和提高網(wǎng)絡(luò)韌性[7]。MemonZA等[8]通過強(qiáng)化學(xué)習(xí)技術(shù)構(gòu)建的模型來用于電力網(wǎng)絡(luò)不確定性量化。Li等[9]利用Q-Learning 尋找電力網(wǎng)絡(luò)在受到級聯(lián)故障后的最佳恢復(fù)策略，以便快速修復(fù)電力網(wǎng)絡(luò)并及時(shí)恢復(fù)供電能力。HosseiniMM等[10]利用深度強(qiáng)化學(xué)習(xí)開發(fā)了一種智能韌性控制器以便在突然停電后迅速恢復(fù)客戶的供電。然而隨著風(fēng)力發(fā)電機(jī)的并網(wǎng)規(guī)模越來越大，不少學(xué)者開始研究并網(wǎng)選址問題[1-12]。在可再生能源融合的背景下，電力網(wǎng)絡(luò)的韌性需要考慮可再生能源與傳統(tǒng)發(fā)電方式之間的協(xié)調(diào)與平衡。傳統(tǒng)方法在處理可再生能源融合時(shí)面臨網(wǎng)絡(luò)模型復(fù)雜、計(jì)算量大等挑戰(zhàn)難以克服。本文將強(qiáng)化學(xué)習(xí)引入到含可再生能源電網(wǎng)中，利用Q-Learning算法對風(fēng)電場的并網(wǎng)策略進(jìn)行研究，進(jìn)一步分析了不同并網(wǎng)策略下的網(wǎng)絡(luò)韌性問題。

風(fēng)力電網(wǎng)的韌性

1.1 韌性的定義

韌性電網(wǎng)的建設(shè)有助于電網(wǎng)調(diào)度人員了解電網(wǎng)運(yùn)行狀態(tài)，發(fā)揮電網(wǎng)內(nèi)部和與可再生能源的調(diào)節(jié)能力，減少風(fēng)力發(fā)電機(jī)的功率波動對電網(wǎng)的影響。因此本文將含風(fēng)力發(fā)電的電力網(wǎng)絡(luò)的韌性定義為抵御未來災(zāi)害以及在面對突發(fā)事件或故障時(shí)能夠快速恢復(fù)并保持穩(wěn)定運(yùn)行的能力。為了量化韌性，“韌性梯形”的概念逐漸被許多研究學(xué)者使用，通過韌性梯形來描述系統(tǒng)的性能和狀態(tài)轉(zhuǎn)換[13]，如圖1所示。

1.2 風(fēng)力電網(wǎng)韌性量化

1.2.1 韌性損失

當(dāng)網(wǎng)絡(luò)遭受破壞時(shí)，即在 t_d 到 時(shí)刻，為了衡量網(wǎng)絡(luò)韌性的變化，引人了韌性損失（ResilienceLoss）來量化了網(wǎng)絡(luò)中的損失面積[14]。韌性損失被廣泛應(yīng)用于評估網(wǎng)絡(luò)的韌性，通過測量不同性能曲線的損失面積，可以實(shí)現(xiàn)對網(wǎng)絡(luò)韌性的可視化，韌性量化曲線如圖2所示。

這種方法可以幫助我們更好地了解網(wǎng)絡(luò)在不同條件下的表現(xiàn)，并且有助于采取相應(yīng)的措施來提高網(wǎng)絡(luò)的韌性。其數(shù)學(xué)公式：

R_loss=1-R

其中， R 表示網(wǎng)絡(luò)的韌性， Q（t） 是關(guān)于網(wǎng)絡(luò)韌性曲線函數(shù)，是通過電網(wǎng)性能測量來決定的； t_I 和 t_L 分別為性能曲線的時(shí)間開始和結(jié)束時(shí)刻， 是關(guān)于 Ψ_t 和 Q（t） 的函數(shù)。 數(shù)值越大，則說明系統(tǒng)韌性損失越大。

1.2.2 韌性中心

由于性能曲線不同可能會有相同的損失面積，因此，我們考慮了一種新的韌性指標(biāo)，即韌性中心（Center of

Resilience）。韌性中心結(jié)合了故障階段的性能和在恢復(fù)階段的性能變化，其公式在數(shù)學(xué)上可以表述為：

其中， Q為故障時(shí)剩余性能對po的貢獻(xiàn)，pq.es 為僅考慮故障過程時(shí)的韌性中心，其數(shù)值越大則說明系統(tǒng)韌性越好; Q為恢復(fù)進(jìn)程對ρ的貢獻(xiàn);其中，Q=QwQ； 為僅考慮恢復(fù)過程時(shí)的韌性中心。

1.3 風(fēng)力電網(wǎng)性能指標(biāo)

含風(fēng)力發(fā)電的電力網(wǎng)絡(luò)韌性評估是一個重要的研究領(lǐng)域。在這方面，研究人員通常考慮多個指標(biāo)來評估電力網(wǎng)絡(luò)的性能，因此本文采用結(jié)構(gòu)指標(biāo)和功能指標(biāo)兩個重要的維度來衡量。

1.3.1 結(jié)構(gòu)指標(biāo)

結(jié)構(gòu)指標(biāo)主要關(guān)注電力網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)和傳輸效率。在電力網(wǎng)絡(luò)分析領(lǐng)域中，通常使用節(jié)點(diǎn)存活率（NodeSurvival Rate，NSR）來測量停電的大小[15]。節(jié)點(diǎn)存活率定義為在網(wǎng)絡(luò)結(jié)構(gòu)受損后，依然能夠維持正常運(yùn)作的節(jié)點(diǎn)占總節(jié)點(diǎn)的比例。其量化公式如下所示：

其中， N_n 表示初始狀態(tài)下電網(wǎng)節(jié)點(diǎn)的個數(shù)， 表示故障發(fā)生后電網(wǎng)的正常運(yùn)行的節(jié)點(diǎn)的個數(shù)。

1.3.2 功能指標(biāo)

功能指標(biāo)主要關(guān)注網(wǎng)絡(luò)的供電能力和可靠性。在區(qū)間直流潮流模型中，供電量可以準(zhǔn)確反映故障前后電力網(wǎng)絡(luò)的潮流變化，進(jìn)而評估電力網(wǎng)絡(luò)在部分節(jié)點(diǎn)被攻擊或損壞的情況下持續(xù)為用戶供電的能力。基于供電量的功能韌性指標(biāo)供電率 PS 其量化公式如下：

其中， 表示電力網(wǎng)絡(luò)穩(wěn)定運(yùn)行時(shí)節(jié)點(diǎn) i 的負(fù)荷， P_dⁱ 為發(fā)生故障后節(jié)點(diǎn) i 的負(fù)荷。

1.4 風(fēng)力電網(wǎng)的建模

1. 4.1 結(jié)構(gòu)模型

在結(jié)構(gòu)層面，建立純拓?fù)淠Ｐ鸵阅M含風(fēng)力發(fā)電的電力網(wǎng)絡(luò)結(jié)構(gòu)。在該模型中，含風(fēng)力發(fā)電的電力網(wǎng)絡(luò)的母線抽象為節(jié)點(diǎn)，輸電線路抽象為邊，用 G=（N，L） 表示，其中 N=[n₁，n₂，……，n_n] 表示網(wǎng)絡(luò)中所有節(jié)點(diǎn)的集合， L=[l₁，l₂，……，l_n] 表示網(wǎng)絡(luò)中所有連邊的集合。本文采用替換的方式實(shí)現(xiàn)風(fēng)電場并網(wǎng)，即將部分傳統(tǒng)發(fā)電機(jī)替換為含多臺風(fēng)力發(fā)電機(jī)的風(fēng)電場。

1.4. 2 功能模型

在功能層面，本文采用區(qū)間直流潮流模型對含風(fēng)力發(fā)電的電力網(wǎng)絡(luò)進(jìn)行仿真。由于風(fēng)力發(fā)電機(jī)的有功功率存在一定的波動性和間歇性，因此使用區(qū)間來表示能更好地反映風(fēng)力發(fā)電特點(diǎn)[16]。在電力網(wǎng)絡(luò)中，流量分布通常用功率流表示。當(dāng)功率流超過額定閾值時(shí)，線路將發(fā)生故障，并可能導(dǎo)致級聯(lián)故障。本文采用 IEEE118 網(wǎng)絡(luò)數(shù)據(jù)庫中默認(rèn)的線路最大功率流作為閾值。

2基于Q-Learning算法的風(fēng)力發(fā)電機(jī)并網(wǎng)策略

含風(fēng)力發(fā)電的電力網(wǎng)絡(luò)具有對環(huán)境友好、可持續(xù)性等優(yōu)勢，但由于其隨機(jī)性和波動性，使得網(wǎng)絡(luò)韌性的提高成為一個必要的問題，風(fēng)電場的并網(wǎng)位置對于網(wǎng)絡(luò)的韌性影響至關(guān)重要，選取合適的位置，可以大大提高網(wǎng)絡(luò)的韌性。Q-Learning是一種基于實(shí)踐經(jīng)驗(yàn)的強(qiáng)化學(xué)習(xí)方法，它能夠從多次決策中學(xué)習(xí)并優(yōu)化策略。在本文中，通過將Q-Learning 算法應(yīng)用到風(fēng)電場的并網(wǎng)位置決策中，提出了基于Q-Learning算法的風(fēng)電場并網(wǎng)策略。

在Q-Leaning中，我們需要先定義一個Q表，其中每一行表示一個狀態(tài)，每一列表示一個動作，而表格中的值則為執(zhí)行該動作后所得到的獎勵值。當(dāng)機(jī)器人遇到一個狀態(tài)時(shí)，它會隨機(jī)選擇一個動作進(jìn)行執(zhí)行，得到執(zhí)行后的獎勵值，并根據(jù)公式（6）更新Q表中相應(yīng)的數(shù)值。

Q（s_t，a_t）=（1-α）Q（s_t，a_t）+α{r_t（s_t，a_t）+γmax_aQ（s_t+1，a_t）}

其中， Q（s_t，a_t ）和 r_t（s_t，a_t） 分別為 t 時(shí)刻下狀態(tài)為 s_t 時(shí)，選擇動作 a_t 的 Q 值和獎勵值。 Q（s_t+1，a_t+1） 為 時(shí)刻下狀態(tài)為 s_t+1 ，選擇動作 a_t+1 時(shí)的 Q 值。 α 為學(xué)習(xí)率，決定了每次更新 Q 值時(shí)對新獎勵的重視程度， γ 為折扣因子，決定了智能體對未來獎勵的重視程度。隨著機(jī)器人不斷地與環(huán)境交互， Q 表中存儲的獎勵值也不斷發(fā)生變化，機(jī)器人逐漸能夠通過查閱 Q 表找到最優(yōu)風(fēng)電場并網(wǎng)策略。Q-Learning算法的框架圖如圖3所示。

具體來說，我們可以將電氣網(wǎng)絡(luò)看作一個狀態(tài)空間，風(fēng)電場可能并網(wǎng)的候選位置構(gòu)成了動作集合，采取動作后的網(wǎng)絡(luò)狀態(tài)的線路潮流值則作為獎勵函數(shù)。在這個狀態(tài)空間中， Q -Learning會不斷地迭代學(xué)習(xí)，并根據(jù)特征值更新每個動作執(zhí)行后的價(jià)值函數(shù)。通過反復(fù)進(jìn)行策略更新和決策選擇，最終能夠?qū)W習(xí)到最優(yōu)風(fēng)電場并網(wǎng)策略。Q -Learning算法的偽代碼如表1所示。

在不同的并網(wǎng)策略下，網(wǎng)絡(luò)的韌性也會表現(xiàn)出不同的特征。度和介數(shù)是用來評估網(wǎng)絡(luò)中節(jié)點(diǎn)重要性的指標(biāo)，節(jié)點(diǎn)的度是指與該節(jié)點(diǎn)直接相連的邊的數(shù)量，衡量節(jié)點(diǎn)在網(wǎng)絡(luò)中的連接程度，而節(jié)點(diǎn)介數(shù)定義為網(wǎng)絡(luò)中所有最短路徑中經(jīng)過該節(jié)點(diǎn)的路徑的數(shù)目占最短路徑數(shù)的比例，衡量節(jié)點(diǎn)在網(wǎng)絡(luò)中承擔(dān)信息傳遞的重要性。所以本文將基于 Q -Learning 算法的并網(wǎng)策略（Q-Learning-based Grid-Connection Strategy，QL-GCS）與3種啟發(fā)式以及基于遺傳算法的并網(wǎng)策略進(jìn)行比較：1）隨機(jī)并網(wǎng)策略（Random Grid-Connection Strategy，RGCS）;2）基于度的并網(wǎng)策略（Degree-based Grid-Connection Strategy，DGCS）;3）基于介數(shù)的并網(wǎng)策略（Betweenness-based Grid-Con-nection Strategy，BGCS）;4）基于遺傳算法的并網(wǎng)策略（Genetic Algorithm-based Grid-Connection Strategy，GA-GCS）。

3案例模擬

本文采用IEEE118電力網(wǎng)絡(luò)進(jìn)行試驗(yàn)，拓?fù)浣Y(jié)構(gòu)圖如圖4所示。首先，挖掘IEEE118電力網(wǎng)絡(luò)的節(jié)點(diǎn)和線路信息，共有118個節(jié)點(diǎn)和186條鏈路。其中網(wǎng)絡(luò)運(yùn)行時(shí)，我們會發(fā)現(xiàn)54臺發(fā)電機(jī)中，只有19臺發(fā)電機(jī)為網(wǎng)絡(luò)提供了電能，如圖中紅色節(jié)點(diǎn)所示；剩下的35臺發(fā)電機(jī)的供電量為零，如圖中藍(lán)色節(jié)點(diǎn)所示；剩余黃色節(jié)點(diǎn)為負(fù)荷節(jié)點(diǎn)和變壓器節(jié)點(diǎn)等其他節(jié)點(diǎn)。本文將剩下的35臺發(fā)電機(jī)抽取5臺換為含多臺風(fēng)力發(fā)電機(jī)的風(fēng)電場來模擬風(fēng)電并網(wǎng)。

3.1并網(wǎng)策略對電網(wǎng)潮流的影響

為了更加近似的模擬風(fēng)力發(fā)電機(jī)的不確定性，我們將試驗(yàn)數(shù)據(jù)設(shè)為風(fēng)電場的波動范圍為 [0，800MW] ，對風(fēng)力發(fā)電量進(jìn)行了200次采樣，從35個候選位置中選出五個位置來安裝風(fēng)電場，因此有324632種可能性。我們對每次采樣的網(wǎng)絡(luò)求得電網(wǎng)線路潮流和，并對 200次采樣的結(jié)果進(jìn)行累加后求均值以模擬風(fēng)力發(fā)電。那么會生成 324 632*200=64 926 400 個網(wǎng)絡(luò)樣本，工程極為龐大。本文采用Q-Learning算法對其進(jìn)行求解，使網(wǎng)絡(luò)運(yùn)行時(shí)線路潮流運(yùn)行成本較小，與其他幾種策略進(jìn)行對比。為了增強(qiáng)實(shí)驗(yàn)的科學(xué)性，我們將五座風(fēng)電場有功功率的200次采樣結(jié)果的均值以及采樣樣本的中位數(shù)的結(jié)果都進(jìn)行了對比，其中隨機(jī)并網(wǎng)策略為1000個隨機(jī)并網(wǎng)策略分別進(jìn)行200次采樣后的樣本均值結(jié)果和中位數(shù)結(jié)果進(jìn)行求和之后再平均的值。

結(jié)果如圖5所示，基于Q-Learning 算法的并網(wǎng)策略在線路潮流和方面相較其他并網(wǎng)策略表現(xiàn)最佳，無論是樣本均值還是中位數(shù)均達(dá)到最小值，而基于遺傳算法的并網(wǎng)策略次之;基于度和基于介數(shù)的并網(wǎng)策數(shù)值相近；隨機(jī)并網(wǎng)策略的線路潮流值最高，這增加了網(wǎng)絡(luò)線路的承壓，從而提高了網(wǎng)絡(luò)級聯(lián)故障的風(fēng)險(xiǎn)和運(yùn)行成本。基于Q-Learning算法的并網(wǎng)策略顯著降低了線路運(yùn)行成本和過載的可能性，從而增強(qiáng)了網(wǎng)絡(luò)的韌性。

3.2并網(wǎng)策略對電網(wǎng)韌性的影響

為進(jìn)一步研究不同并網(wǎng)策略對電網(wǎng)韌性的影響，我們對基于度、基于介數(shù)、基于遺傳算法以及基于Q-Learn-ing算法的并網(wǎng)策略，連同傳統(tǒng)的IEEE118網(wǎng)絡(luò)模型，進(jìn)行了一系列的模擬攻擊試驗(yàn)。這些試驗(yàn)設(shè)計(jì)了兩種攻擊模式：一種是隨機(jī)攻擊，用以模擬日常網(wǎng)絡(luò)故障的不可預(yù)測性;另一種則是基于度和基于介數(shù)的關(guān)鍵節(jié)點(diǎn)的蓄意攻擊，用以模擬惡意行為或極端情況下對電網(wǎng)的沖擊。

3.2.1 隨機(jī)攻擊

如圖6所示，我們發(fā)現(xiàn)，在隨機(jī)攻擊下，在相同的結(jié)構(gòu)下，傳統(tǒng)IEEE118網(wǎng)絡(luò)節(jié)點(diǎn)存活率下降最快，韌性損失也是最大的;其他4種并網(wǎng)策略均有效提高了網(wǎng)絡(luò)的抗干擾能力。由于4種網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)完全一樣，性能下降曲線相對集中，難以直觀區(qū)別，所以我們分別從結(jié)構(gòu)和功能層面分別計(jì)算每條曲線的韌性損失與韌性中心，以便進(jìn)一步比較，如表2所示。從表2中，我們發(fā)現(xiàn)采用基于Q-Learning 算法的并網(wǎng)策略相對于傳統(tǒng) IEEE118 網(wǎng)絡(luò)結(jié)構(gòu)層面韌性損失減少了將近 18% ;在功能層面，在風(fēng)力發(fā)電量相同的情況下，基于度、基于介數(shù)和基于遺傳算法的并網(wǎng)策略韌性損失相似;基于Q-Learning算法的并網(wǎng)策略的韌性中心幾乎是傳統(tǒng)網(wǎng)絡(luò)的兩倍，相比于基于度的并網(wǎng)策略、基于介數(shù)和基于遺傳算法的并網(wǎng)策略而言，網(wǎng)絡(luò)的整體韌性得到了顯著提升。

3.2.2 基于度的蓄意攻擊

從圖7我們可以看出，在面對基于度的蓄意攻擊時(shí)，我們發(fā)現(xiàn)，基于 Q -Learning算法的并網(wǎng)策略在面對蓄意攻擊時(shí)，不管是在結(jié)構(gòu)還是功能層面比其他3種并網(wǎng)策略的韌性都要好；在前期時(shí)4種網(wǎng)絡(luò)的節(jié)點(diǎn)存活率相同，然而傳統(tǒng)網(wǎng)絡(luò)的供電率略高于4種采用并網(wǎng)策略的電力網(wǎng)絡(luò)，通過研究級聯(lián)故障過程發(fā)現(xiàn)，由于風(fēng)電場的存在，級聯(lián)故障較早的波及到了風(fēng)電場所在的節(jié)點(diǎn)，使得網(wǎng)絡(luò)供電率下降速度較快，但后期網(wǎng)絡(luò)節(jié)點(diǎn)存活率明顯高于傳統(tǒng)網(wǎng)絡(luò)。因此，風(fēng)電場的加入雖然大大降低了網(wǎng)絡(luò)的運(yùn)行成本，但是對于電力網(wǎng)絡(luò)來說，風(fēng)險(xiǎn)也是隨之增加的，所以在電網(wǎng)運(yùn)行時(shí)保護(hù)風(fēng)力發(fā)電機(jī)不受波及是非常重要的，這也是我們接下來重點(diǎn)要做的工作。

結(jié)合圖7和表3我們可以看出，基于度、基于介數(shù)和基于遺傳算法的并網(wǎng)策略相對與傳統(tǒng)網(wǎng)絡(luò)，在提高網(wǎng)絡(luò)的韌性方面效果較差;基于介數(shù)的并網(wǎng)策略甚至跟傳統(tǒng) IEEE118網(wǎng)絡(luò)一樣，在第15次攻擊時(shí)網(wǎng)絡(luò)就崩潰了，在功能層面的韌性損失也是接近傳統(tǒng)網(wǎng)絡(luò)。在面對基于度的蓄意攻擊時(shí)，基于Q-Learning 算法的并網(wǎng)策略依舊能有較好的表現(xiàn)，可見合理的選擇并網(wǎng)策略是極其重要的。

3.2.3 基于介數(shù)的蓄意攻擊

結(jié)合圖8和表4我們可以看出，在面對基于介數(shù)的蓄意攻擊時(shí)，基于Q-Learning 算法的并網(wǎng)策略也明顯優(yōu)于其他3種并網(wǎng)策略；面對基于介數(shù)的蓄意攻擊時(shí)，相對于傳統(tǒng) IEEE118 網(wǎng)絡(luò)，網(wǎng)絡(luò)韌性損失甚至減少了約14% ，大大提高了網(wǎng)絡(luò)節(jié)點(diǎn)存活率;傳統(tǒng)網(wǎng)絡(luò)在攻擊13 次時(shí)網(wǎng)絡(luò)就已經(jīng)崩潰，而基于Q-Learning 算法的并網(wǎng)策略在第19 次時(shí)網(wǎng)絡(luò)才崩潰，結(jié)構(gòu)和功能的韌性損失都減少了 10% 以上。

4種結(jié)構(gòu)相同并網(wǎng)策略不同的電力網(wǎng)絡(luò)，只有基于Q-Learning 算法的并網(wǎng)策略在面對兩種蓄意攻擊都有很好的表現(xiàn)效果，同時(shí)基于Q-Learning算法的并網(wǎng)策略也是4種并網(wǎng)策略中網(wǎng)絡(luò)運(yùn)行成本最小的，線路損耗也最少，以最小的成本得到了非常可觀的韌性提高。

4結(jié)論

本文主要研究風(fēng)電場的并網(wǎng)位置對電力網(wǎng)絡(luò)韌性的影響，建立了一個新的分析框架來研究含風(fēng)力電網(wǎng)的韌性。通過Q-Learning 算法來找到風(fēng)電場最優(yōu)的并網(wǎng)位置，并與隨機(jī)、基于度、基于介數(shù)的并網(wǎng)策略以及遺傳算法進(jìn)行了綜合比較。我們深入分析了不同并網(wǎng)策略對網(wǎng)絡(luò)韌性的影響，以及在各種故障情況下網(wǎng)絡(luò)韌性的變化情況。研究發(fā)現(xiàn)采用基于Q-Learning 算法的并網(wǎng)策略不僅能夠減少網(wǎng)絡(luò)的運(yùn)行成本，而且顯著提升了網(wǎng)絡(luò)的韌性。

參考文獻(xiàn)：

[1]LIUK，CHEW，CHENG，etal.AplicationandanalysisofhdraulicwindowergenerationtechnologJ].EnergyStrategRevie，2023，48：101117.

[2]郭明健，高巖．基于復(fù)雜網(wǎng)絡(luò)理論的電力網(wǎng)絡(luò)抗毀性分析[J]．復(fù)雜系統(tǒng)與復(fù)雜性科學(xué)，2023，19（4）：1-6.GUOMJ，GAOYInvulnerabilitanalysisofpowernetworkbasedoncomplexnetworkJ.ComplexSystesandComplexityScience03，19（4）：1-6.

[3]PANISR，AMALRK.EvaluationofowergiderabiltindicesaoutingforindpoweruncertaintyJ]SustaiableEergyidsand Networks，2024，38：101354.

[4]ZHANGH，ZHAGSHENGH，etalBostigthepowergridesilenceunderyhoondisastersbyordatedsheduligofwindeeryand conventional generators[J]. Renewable Energy，2022，20o：303-319.

[5]LIANGYGXalptialesleceeantispatchoftitutipleoreindoideiuncertain typhoon parameters[J]. International Journal of Electrical Poweramp;.Energy Systems，2O23，153：109337.

[6]陳思諭，鄒艷麗，王瑞瑞，等．電網(wǎng)輸電線路耦合強(qiáng)度分配策略研究[J]．復(fù)雜系統(tǒng)與復(fù)雜性科學(xué)，2018，15（2）：45－53.CHENSY，ZOUYL，WANGRR，etal.OnthecoulingstrengthdistributionstrategyofpowertransmissonlinesJ].2018，5（2）：4553.

[7]MAYERJB，SZUCSB，etalProbabilisticodelingofuureetricityteswithgenewableeypeetraingachine learning[J].Applied Energy，2023，336：120801.

[8]MEMONZA，TRINCHEROR，MANFREDIP，etal.MachineLearningforthe UncertaintyQuantificationofPower NetworksJ].IEEELetters on Electromagnetic Compatibility Practice and Applications，202o，2（4）：138-141.

[9]LIQ，ZHAGX，GUOJ，etalIntegratingreiforementlearingandotimalpwerdispatchtoeancepowergridesileeEETransactions on Circuits and Systems II：Express Briefs，2021，69（3）：1402-1406.

[10]HOSSEIMAAAMResilentoeratioofdistriutiogidsusingepeforcementleaing]IEEETasactiosoIustrial Informatics，2021，18（3）：2100-2109.

[1]ALAVISALEKIAROOAalSiultaestialiteselectadgfiddepedthbridd/gsystemusingybridoptimizationmetodbasedonELECTRE：AcasestudyinIran[J]InterationalJournalofHydrogenEnergy204，5：970-983.

[12]CACEOGLUE，DIZHKOGUZE，etal.OfshorewindpowerplantsiteselectionusingAnalyticalHerarchyProcesfrrstTurkey[J].Ocean Engineering，2022，252：111178.

[13]UMUNKWEA，HUAH，KONOOUK，etalQuantitativeanalysisofowesytemsesilece：Standardzatioates，and challenges[J]. Renewable and Sustainable Energy Reviews，2O21，149：111252.

[14]AHMAGlntiiroesstdpoofolceineeringamp;.System Safety，2020，200：106977.

[15]JIANGJ，XIAY，XUStalAnsymmetricinterdependentnetwoksodelfoyberphsicalsstemsJ.Chaos：AInterdiscilayJournal of Nonlinear Science，2020，30（5）：053135.

[16]ZHANGCUQZOUBetalAcentralliittheorembasedmethodfodandacpowerflanalsisunderinteraluertatfenewable power generation[J]. IEEE Transactions on Sustainable Energy，2O23，14（1）：563-575.

（責(zé)任編輯 李進(jìn)）