計及大規模電動汽車接入的AGC功率動態分配深度交互教學優化算法

文蕓，周彬，杜振川，張孝順，余濤

(1. 國網南昌供電公司，南昌市330000；2.華南理工大學電力學院，廣州市 510640)

計及大規模電動汽車接入的AGC功率動態分配深度交互教學優化算法

文蕓1，周彬1，杜振川1，張孝順2，余濤2

(1. 國網南昌供電公司，南昌市330000；2.華南理工大學電力學院，廣州市 510640)

為提高區域電網自動發電控制(automatic generation control, AGC)的控制性能指標，利用接入電網的大規模電動汽車參與AGC。在滿足車主充電需求的前提下，建立了電動汽車的實時上下調節容量評估模型。在此基礎上，構建了電動汽車集群與傳統水電、火電機組的AGC功率分層分配框架。為滿足上層不同類型機組的快速經濟分配，提出了一種深度交互教學(deep interactive teaching-learning, DITL)優化算法進行求解，該算法在標準教學優化算法的基礎上，將單個班級擴展到多個班級，并采用小世界交互網絡構建不同教師/學生之間的交互網絡，從而提升算法的全局搜索及局部搜索能力。在電動汽車集群內部，則根據調節成本系數實現第二層不同局部控制中心的AGC功率分配，然后根據充電時間裕度排序實現不同電動汽車的底層AGC功率分配。海南電網仿真算例表明：該文所提的上層分配框架可有效實現電動汽車與傳統水火電機組的協調，DITL算法能有效提升AGC的動態控制性能，降低系統的調節成本。

深度交互教學；功率動態分配；電動汽車；自動發電控制(AGC)

0 引 言

為保證互聯區域電網的安全運行，自動發電控制[1](automatic generation control, AGC)一直承擔著區域電網頻率與聯絡線交換功率的理想值控制任務。一般而言，AGC可劃分為2個過程[2]：(1)基于實時采集的頻率偏差及聯絡線功率偏差，控制器根據設定的控制策略計算出總的功率指令；(2)功率分配器采用設計的算法將總功率指令分配到各個AGC機組。隨著風光等間歇式能源的大量接入，由于傳統燃煤AGC機組存在調節速度慢、調頻時延長等特點，當存在少量的燃氣及水電AGC調節容量時，系統就難以平衡隨機的功率擾動，導致較差的控制性能指標[3]。因此，需要從負荷側挖掘更多的調頻資源[4]，參與AGC控制，從而提高系統的動態控制性能。

近年來，伴隨著氣候環境變化的惡化，大部分國家已不斷積極推進電動汽車的普及應用。作為一個天然的儲能裝置，電動汽車的有序充放電可有效提高電力系統調峰調頻的控制優化效果，因此也吸引了國內外眾多學者對其進行深入的研究[5-7]。在滿足車主充電需求的前提下，文獻[8]提出了電動汽車參與電網一次調頻的分散式控制方法。文獻[9]和[10]均利用電動汽車的快速上下調特性，有效平抑了丹麥電網大規模接入風電的隨機功率擾動。此外，文獻[11]進一步考慮與熱泵熱水器的聯合調節作用，有效實現了對大規模風電場及光伏電站接入隨機功率擾動的快速平衡。然而，這些研究均沒有考慮電動汽車與傳統水電、火電AGC機組的聯合最優控制。

為此，本文搭建了同時考慮電動汽車和傳統水火電AGC機組的雙層動態功率分配模型。對于AGC動態功率分配問題，實際電網中常采用按相同可調容量比例固定分配的PROP方法[12]進行功率分配。為提高系統的動態調節性能及調節經濟性，筆者采用了一系列強化學習算法實現了AGC功率動態分配[12-15]，包括單智能體Q、Q(λ)、分層Q學習算法以及基于多智能體博弈論的相關均衡Q學習算法。然而，當對動作策略的控制精度要求提高時，就容易導致強化學習算法的維數災難，從而使算法無法滿足AGC功率動態分配的在線優化需求。另一方面，為實現AGC功率動態分配的分散優化，文獻[16]提出了虛擬發電部落的分配框架，并采用爬升時間一致性和成本一致性算法實現大規模區域電網的快速AGC功率動態分配，但一致性算法依賴于具體的數學模型，在大多數情況下只能獲得較為滿意的次優解，在優化問題數學形態復雜時甚至無法求解。

因此，本文提出一種全新的深度交互教學(deep interactive teaching-learning, DITL)優化算法，用于求解含大規模電動汽車接入的AGC功率動態分配。為測試所提算法的尋優性能及控制效果，利用海南電網算例進行仿真分析。

1 計及大規模電動汽車接入的AGC功率動態分配模型

1.1 功率動態分配框架

如圖1所示，在計及大規模電動汽車參與區域電網AGC后，其功率動態分配框架可劃分為3個層面。

(1)第一層功率動態分配：根據設計的算法，以追求動態控制性能及經濟性為目標，將PI控制器獲得的總功率分配到各個傳統水火電AGC機組及電動汽車集群。

(2)第二層功率動態分配：根據不同電動汽車局部控制中心的調節成本實現集群的內部功率分配，其中調節成本系數較低的局部控制中心優先分配，而局部控制中心的引入是為了減少集群控制中心的信息采集和降低控制難度。

(3)第三層功率動態分配：在局部控制中心內部，所有接入電動汽車根據充電時間裕度排序實現內部功率分配，其中，充電時間裕度較大的電動汽車優先分配，而充電時間裕度主要取決于充電功率、電池荷電狀態(state of charge, SOC)、接入時間及停留時間等。

圖1 AGC功率動態分配分層框架Fig.1 Multi-layer framework of generation command dispatch of AGC

1.2 電動汽車調節容量

從本質上來說，電動汽車相當于一個電池儲能裝置，在滿足車主充電需求的前提下，完全可利用電動汽車的接入時間參與電網AGC。每輛接入電網的電動汽車具有期望的SOC，正常不參與AGC控制的充電過程[17]可描述如下：

(1)

(2)

當電動汽車接入時，由于車主參與了電網AGC調節，就無法立即獲知自身的實際充電結束時間，只能上傳期望的SOC及期望離開時間給局部控制中心評估，并響應局部控制中心下發的調節功率指令。

為延長電動汽車電池壽命，本文暫不考慮電動汽車放電的AGC。如圖2所示，假設負荷擾動發生在時刻toff，這時電動汽車充電狀態為eSOCoff，eSOCe代表車主的期望充電狀態，則電動汽車在滿足以下條件時，即可參與AGC功率下調控制：

(3)

(4)

圖2 電動汽車參與AGC功率控制原理圖Fig.2 Power control principle of AGC with electric vehicle

因此，當有功率下調指令時，即可根據電動汽車的充電時間裕度來實現AGC功率的第三層動態分配，即充電時間裕度越大的電動汽車優先參與AGC下調控制，其中電動汽車的充電時間裕度為

(5)

另外，當電動汽車在滿足以下條件時，即可參與AGC功率上調控制：

(toff+Δtagc)

(6)

因此，當有功率上調指令時，也是根據電動汽車的充電時間裕度來實現AGC功率的第三層動態分配，即充電時間裕度越大的電動汽車優先參與AGC上調控制，其中電動汽車的充電時間裕度可描述如下：

(7)

需要說明的是，本文假設每個電動汽車局部控制中心就相當于一個代理商，代理商所管控的電動汽車參與AGC調節成本在同一時刻內都是一樣的，因此在局部控制中心內部，就只需按照充電時間裕度排序執行AGC功率分配即可。

為充分利用分散的私家充電樁，充電樁需具備與電動汽車局部控制中心通信交互與連續功率指令響應的能力，這必然會增加用戶的設備投資成本。然而，如果車主能在滿足充電需求的前提下，有效響應局部控制中心下達的功率指令來獲得額外的AGC調節收益，就可以刺激車主積極增加設備投資，滿足充電樁的通信交互和連續功率指令響應。因此，在未來“物聯網”背景下，本文提出的分層框架來實現分散的私家充電樁參與電網AGC調控是具有可行性的。

1.3 數學模型

本文主要是采用提出的算法求解圖1中的第一層AGC功率動態分配。由于傳統水火電AGC機組的存在，因此AGC的功率動態分配主要考慮2個目標，包括：(1)最小化所有傳統機組的爬升時間最大值；(2)最小化所有機組的調節成本。在采用不同目標的歸一化以及線性加權的多目標處理方法后，即可建立第一層的AGC功率動態分配數學模型[16]：

(8)

(9)

(10)

由于電動汽車在參與AGC時不受爬坡速率的限制，即在不同的功率指令時，其爬升時間都為0，因此式(10)的目標函數f中不含有電動汽車集群的爬升時間，而這一快速調節特征也是區分傳統火電機組與電動汽車參與AGC功率調節的最主要特征。

2 深度交互教學優化算法

2.1 優化算法原理框架

標準教學優化[18](teaching-learning-based optimization, TLBO)算法啟發于不同個體之間的教與學，主要包括教與學2個操作過程。在標準TLBO算法中，群體是由1個班級的多個學生和1個教師構成。通過教師不斷地教給學生新知識，學生之間的交互學習，最后使整個班級的知識水平顯著提高，其中知識水平最高的個體即為具有最高質量的最優解。

如圖3所示，在標準TLBO算法的基礎上，DITL將原來單個班級擴展到多個班級，并在不同教師或學生之間構造基于小世界理論的交互網絡，實現不同個體之間的深度交互學習，從而提高算法的全局搜索和局部搜索能力。

圖3 DITL算法原理框架圖Fig.3 Principle framework of DITL

2.2 小世界交互網絡

一般的遺傳算法(genetic algorithm, GA)、粒子群優化算法(particle swarm optimization, PSO)等群智能搜索算法均假設個體之間是完全的交互網絡，即每個個體都根據全局信息來尋優。然而，在現實社交網絡中，個體往往只跟相鄰個體存在交互網絡，而小世界交互網絡[19]恰好就是這種真實網絡的一種定義。因此，本文利用小世界理論來構造不同教師之間或學生之間的交互網絡。

在小世界交互網絡中，個體都會以一定的概率p隨機地與任意一個個體進行交互。其中，個體i與個體j交互的概率pij可隨迭代步數不斷改變[20]：

(11)

式中：k代表迭代步數；kmax為最大迭代步數；Cp為交互概率因子，0

2.3 教師/學生之間的教學更新模式

對于每個班級的教師來講，其主要目的就是將自己掌握的所有知識傳授給班里的學生，從而提高整個班級的平均知識水平，最后使學生的知識水平不斷逼近教師。因此，在每次迭代時，均把班級獲得最優解的個體選為教師，剩余的個體全部設為學生。其中，教師與學生之間的教學更新模式具體可描述如下：

(12)

(13)

TF=round[1+rand(0,1){2-1})

(14)

(15)

2.4 教師/學生之間的互相學習更新模式

在DITL算法中，每個個體都會與其交互網絡的若干個個體進行交互學習，以提高自身的知識水平。若其交互的個體知識水平更高(適應度函數更低)，個體則向其學習，具體可描述如下：

(16)

(17)

(18)

2.5 求解AGC功率動態分配流程

DITL求解AGC功率動態分配的具體流程可詳見圖4。

圖4 DITL算法求解流程圖Fig.4 Calculation flowchart of DITL

3 海南電網算例仿真

為測試DITL算法在求解AGC功率動態分配的尋優性能，本節還引入3種對比算法，包括PROP[12]、GA[21]和PSO[22]，其中所有算法均在海南電網算例進行測試，對比算法的種群規模和最大迭代步數均分別設為50和150。考慮到AGC的主要任務是快速地平衡負荷擾動，因此式(8)中爬升時間目標的權重μ1應設置為較大的值，本章節將μ1和μ2分別設為0.9和0.1。算例仿真均在CPU為英特爾i5-4210M、主頻2.6 GHz、內存8 GB的計算機運行計算。

3.1 仿真模型

本文將海南省GDP排名前10的市縣(海口、三亞、澄邁、儋州、瓊海、萬寧、文昌、東方、臨高、陵水)分別設一個電動汽車局部控制中心，以控制不同區域接入電動汽車的充電過程，具體規模按規劃數據設計，其中具體的接入車輛可用蒙特卡洛采樣進行模擬。表1給出了傳統水火電機組以及電動汽車集群的具體參數，其中Ts為二次調頻時延。

3.2 尋優性能分析

圖5給出了不同算法在總功率指令ΔP∑=480 MW下的尋優適應度函數收斂曲線，其中擾動發生在夏季典型日中午12:00，480 MW是為了模擬間歇性能源突然發生功率變化，剛好對應目前海南電網投運的風電場、光伏電站總裝機容量。從圖5中可以發現：在引入了小世界交互網絡以及多班級協同尋優后，可明顯提高DITL的全局尋優及局部尋優能力，在給出的3種對比算法中最優解質量最高，使系統調節的最大爬升時間及總調節成本控制在較小的值，如圖6所示。

圖5 不同算法收斂曲線對比Fig.5 Convergence comparison of different algorithms

圖6 DITL算法尋優目標收斂曲線Fig.6 Convergence of optimization objectives by DITL

3.3 在線優化分析

圖7給出了不同算法在隨機階躍功率擾動 (ΔPL=480 MW)下的在線優化曲線，其中擾動發生在夏季典型日中午12:04。從圖7中可以發現：相比沒有做過尋優處理的PROP工程方法，GA、PSO及DITL均能更好地跟蹤匹配功率擾動，提高系統的動態響應速度，其中DITL算法的機組總功率調節輸出最貼近負荷擾動。

圖7 不同算法的在線優化對比Fig.7 Comparison of online optimization obtained by different algorithms

圖8給出了DITL算法下不同機組的功率偏差調節曲線。從圖8中可發現：由于水電機組及電動汽車具有快速的調節特性，因此承擔了大部分的功率擾動；另外，由于響應速度的需求，燃煤機組和燃氣機組也承擔了部分功率擾動。這也說明了DITL算法能有效權衡最大爬升時間和總調節成本2個帶有沖突的目標。

1—燃煤1號；2—燃煤2號；3—燃煤3號；4—水電1號；5—水電2號；6—水電3號；7—燃氣1號；8—燃氣2號；9—電動汽車集群。

圖8 DITL算法下不同機組的功率偏差調節曲線
Fig.8 Power deviation regulation curves of different units obtained by DITL

從表2的不同算法下的AGC控制性能對比也可看出：由于DITL算法下的AGC調節動態響應速度最快，因此區域控制偏差(area control error, ACE)、頻率偏差均能控制到較小的值，控制性能指標CPS1、CPS2及CPS也均能較好地滿足控制要求，同時，累積的總調節成本也可明顯減少。

表2 海南電網在不同算法下的AGC性能指標對比表
Table 2 Comparison of AGC indices obtained by different algorithms in Hainan power grid

4 結 論

(1)首次在AGC功率動態分配過程中考慮了電動汽車與傳統水火電AGC機組的聯合調節，并在電動汽車集群內部功率分配過程中，提出了滿足車主充電需求的充電時間裕度分配方法。

(2)提出了一種全新的DITL算法，將標準TLBO算法的單個班級擴展到多班級聯合尋優，并在不同教師/學生之間構建了深度交互的小世界動態網絡，有效實現了全局搜索和局部搜索之間的權衡。

(3)海南電網算例表明：本文所提算法能有效滿足AGC功率動態分配的在線優化需求，在提高動態性能指標的同時，可有效降低系統的總調節費用。

[1]劉維烈.電力系統調頻與自動發電控制[M].北京：中國電力出版社，2006：137-138. LIU Weilie. Frequency control in power system and automatic generation control[M]. Beijing：China Electric Power Press，2006：137-138.

[2]余濤，王宇名，劉前進.互聯電網CPS調節指令動態最優分配Q-學習算法[J].中國電機工程學報，2010，30(7)：62-69. YU Tao, WANG Yuming, LIU Qianjin.Q-learning-based dynamic optimal allocation algorithm for CPS order of interconnected power grids[J]. Proceedings of CSEE，2010，30(7)：62-69.

[3]DOHERTY R, MULLANE A, NOLAN G, et al. An assessment of the impact of wind generation on system frequency control[J]. IEEE Transactions on Power Systems, 2010, 25(1): 452-460.

[4]XU Z, ?STERGAARD J, TOGEBY M. Demand as frequency controlled reserve[J]. IEEE Transactions on Power Systems, 2011, 26(3): 1062-1071.

[5]劉文霞, 趙天陽, 邱威,等. 規模化EV充電與風力/火電發電系統協調運行[J]. 電工技術學報, 2013, 28(5): 49-57. LIU Wenxia, ZHAO Tianyang, QIU Wei, et al. Coordinated operation of large scale electric vehicle charging with wind-thermal power system[J]. Transactions on China Electrotechnical Society, 2013, 28(5): 49-57.

[6]姚偉鋒, 趙俊華, 文福拴, 等. 集中充電模式下的電動汽車調頻策略[J]. 電力系統自動化, 2014, 38(9): 69-76. YAO Weifeng, ZHAO Junhua, WEN Fushuan, et al. Frequency regulation strategy for electric vehicles with centralized charging[J]. Automation of Electric Power Systems, 2014, 38(9): 69-76.

[7]張聰, 張祥文, 夏俊榮, 等. 電動汽車實時可調度容量評估方法研究[J]. 電力系統保護與控制, 2015, 43(22): 99-106. ZHANG Cong, ZHANG Xiangwen, XIA Junrong, et al. Research on estimation of electric vehicles real-time schedulable capacity[J]. Power System Protection and Control, 2015, 43(22): 99-106.

[8]LIU H, HU Z, SONG Y, et al. Decentralized vehicle-to-grid control for primary frequency regulation considering charging demands[J]. IEEE Transactions on Power Systems, 2013, 28(3): 3480-3489.

[9]PILLAI J R, BAK-JENSEN B. Integration of vehicle-to-grid in the western Danish power system[J]. IEEE Transactions on Sustainable Energy, 2011, 2(1): 12-19.

[10]HU W, SU C, CHEN Z, et al. Optimal operation of plug-in electric vehicles in power systems with high wind power penetrations[J]. IEEE Transactions on Sustainable Energy, 2013, 4(3): 577-585.

[11]MASUTA T, YOKOYAMA A. Supplementary load frequency control by use of a number of both electric vehicles and heat pump water heaters[J]. IEEE Transactions on Smart Grid, 2012, 3(3): 1253-1262.

[12]余濤，王宇名，甄衛國，等.基于多步回溯Q學習的自動發電控制指令動態優化分配算法[J].控制理論與應用，2011，28(1)：58-69. YU Tao，WANG Yuming，ZHEN Weiguo，et al.Multi-step backtrackQ-learning based dynamic optimal algorithm for auto generation control order dispatch[J].Control Theory & Applications，2011，28(1)：58-69.

[13]YU T，WANG Y M，YE W J，et.al.Stochastic optimal generation command dispatch based on improved hierarchical reinforcement learning approach[J].IET Generation，Transmission & Distribution，2011，5(8)：789-797.

[14]YU T, ZHANG X S, ZHOU B,et al. Hierarchical correlatedQ-learning for multi-layer optimal generation command dispatch[J]. International Journal of Electrical Power & Energy Systems, 2015(78): 1-12.

[15]張孝順, 余濤, 唐捷. 基于CEQ(λ)多智能體協同學習的互聯電網性能標準控制指令動態分配優化算法[J]. 電工技術學報, 2016, 31(8): 125-133. ZHANG Xiaoshun, YU Tao, TANG Jie. Dynamic optimal allocation algorithm for control performance standard order of interconnected power grids using synergetic learning of multi-agent CEQ(λ)[J]. Transactions on China Electrotechnical Society, 2016, 31(8): 125-133.

[16]張孝順，余濤.互聯電網AGC功率動態分配的虛擬發電部落協同一致性算法[J].中國電機工程學報，2015，35(15)：3750-3759. ZHANG Xiaoshun，YU Tao.Virtual generation tribe based collaborative consensus algorithm for dynamic generation dispatch of AGC in interconnected power grids[J].Proceedings of CSEE，2015，35(15)：3750-3759.

[17]GHOFRANI M，ARABALI A，ETEZADI-AMOLI M，et al.Smart scheduling and cost-benefit analysis of grid-enabled electric vehicles for wind power integration[J].IEEE Transactions on Smart Grid，2014，5(5)：2306-2313.

[18]RAO R V, SAVSANI V J, VAKHARIA D P. Teaching-learning-based optimization: A novel method for constrained mechanical design optimization problems[J]. Computer-Aided Design, 2011(43): 303-315.

[19]WATTS D J, STROGATZ S H. Collective dynamics of ‘small-world’ networks[J]. Nature, 1998, 393(6684):440- 442.

[20]黃剛, 李晉航, 賈艷. SWO:基于小世界效應的快速搜索算法[J]. 計算機科學, 2011, 38(7): 255-260. HUANG Gang, LI Jinhang, JIA Yan. SWO: A fast search algorithm based on small world effect[J]. Computer Science, 2011, 38(7): 255-260.

[21]IBA K. Reactive power optimization by genetic algorithm[J]. IEEE Transactions on Power Systems, 1994, 9(2): 685-692.

[22]CLERC M, KENNEDY J. The particle swarm: Explosion, stability, and convergence in a multidimensional complex space[J]. IEEE Transactions on Evolutionary Computation, 2002, 6(1): 58-73.

(編輯 張媛媛)

Deep Interactive Teaching-Learning Optimization Algorithm for Generation Command Dispatch of AGC with High-Penetration Electric Vehicles

WEN Yun1, ZHOU Bin1, DU Zhenchuan1, ZHANG Xiaoshun2, YU Tao2

(1. State Grid Nanchang Power Supply Company, Nanchang 330000, Jiangxi Province, China;2. College of Electric Power, South China University of Technology, Guangzhou 510640, China)

To improve the control standard performance of automatic generation control (AGC) in an area power grid, the massive plug-in electric vehicles are employed for participating in AGC. The evaluation model of real-time up/down regulation capacity of electric vehicle is constructed by satisfying the charging demand of the owners. Based on this, a multi-layer framework of generation command dispatch of AGC is presented for a coordinated regulation between a cluster of electric vehicles and conventional hydro, thermal units. In order to meet the rapid economic allocation of different types of upper units, this paper proposes a novel optimization algorithm of deep interactive teaching-learning (DITL), in which a single class of the standard teaching-learning-based optimization is extended to multiple classes, while the small world networks is adopted for constructing the interactive networks among different teachers/students, thus the global search ability and local search ability can be enhanced. In the cluster of electric vehicles, the second-layer generation command dispatch of AGC is executed based on the regulation cost coefficients of different local control center, then the bottom-layer generation command dispatch of AGC is achieved according to the charging time margin of each electric vehicle. The simulations of Hainan power grid indicate that the coordinated regulation between a cluster of electric vehicles and conventional hydro and thermal units can be effectively achieved by the proposed upper generation command dispatch, and DITL algorithm can efficiently improve the dynamic control performance of AGC and reduce the regulation cost of the system.

deep interactive teaching-learning; generation command dispatch; electric vehicle; automatic generation control (AGC)

國家重點基礎研究發展計劃項目(973計劃) (2013CB228205)；國家自然科學基金項目(51477055)

TM 71

A

1000-7229(2017)07-0106-08

10.3969/j.issn.1000-7229.2017.07.013

2017-03-04

文蕓(1979)，女，大學本科，高級工程師，主要從事電力系統優化與控制及繼電保護等方面的工作；

周彬(1990)，男，工程碩士，工程師，主要從事電力系統優化與控制及繼電保護等方面的工作；

杜振川(1989)，男，工學碩士，工程師，主要從事電力系統優化與控制及繼電保護等方面的工作；

張孝順(1990)，男，博士，研究方向為人工智能、機器學習及博弈論在電力系統優化與控制中的應用；

余濤(1974)，男，博士，教授，研究方向為人工智能、機器學習及博弈論在電力系統優化與控制中的應用。

Project supported by the National Basic Research Program of China (973 Program) (2013CB228205)； National Natural Science Foundation of China (51477055)