基于MADDPG和智能合約的微電網交易決策優化

謝昕怡，應黎明，田書圣，朱貴琪

(武漢大學電氣與自動化學院，武漢市 430072)

0 引 言

近年來，隨著一系列推動分布式能源、微電網發展政策的出臺，微電網市場快速增長。在此情況下，如何設計一種安全高效的微電網電能交易方法是近年來微電網改革的重點[1]。微電網電能交易一般采用第三方管理機構參與的集中式交易模式，但這種交易模式可能會出現以下問題：交易中心運行以及維護成本高、交易自由度低，微電網的有效運行難以得到保障；交易用戶與第三方管理機構信任度低；交易中心內用戶的隱私無法得到保障，交易信息不透明；交易中心始終存在數據丟失及數據被篡改的可能性[2]。

傳統集中式交易模式出現的一系列問題使得能有效降低市場交易管理和運營成本的分散交易模式受到了廣泛關注，并被應用于微電網市場研究中[3-5]。同時隨著“互聯網+”新業態的發展，學者們發現在電能交易中引入區塊鏈下的智能合約技術具有去中心化和防篡改的優勢，可降低電力市場運營成本、保證電能交易的安全性，并使電力市場交易過程更加透明[6-9]。大多數基于智能合約的研究都是對交易模型、框架結構與代碼設計等內容進行探討，而真正實現微電網市場交易，除了要以先進技術為支持外，還需要一種匹配的方法來開發靈活的市場機制、設計具體的合約內容[10-12]。文獻[10]將拉格朗日原理與維克瑞-克拉克-格羅夫斯規則應用到智能合約實時部分；文獻[11]以用戶與代理商收益最大為目標建立智能合約模型后，結合粒子群和遺傳算法對該智能合約模型進行了求解；為解決分布式電能交易匹配過程中存在的訂單沖突問題，文獻[12]提出了基于最大目標函數和信譽值的沖突解決機制。研究微電網市場交易機制的關鍵是市場中不同利益相關者的相互競爭行為，現有文獻多側重于智能合約下的市場機制問題，對于智能合約下多微電網市場中各市場主體間的交易決策、利益分配問題卻鮮有研究。

多微電網市場中的復雜決策問題常通過建立市場參與者的博弈模型進行求解[13-14]，為了在求解博弈模型時能夠從環境中提取有效信息，并結合環境信息和主體目標優化主體策略，可考慮將人工智能算法引入其中[15-17]。在眾多人工智能算法中，深度強化學習(deep reinforcement learning, DRL)將強化學習與深度學習結合，通過端到端學習實現從輸入數據到輸出決策的直接控制，成為了解決復雜決策問題的有力工具之一[15]。為在不同決策空間中解決采樣效率低、收斂速度慢等問題，一系列改進深度強化學習算法逐漸被提出，其中，深度確定性策略梯度(deep deterministic policy gradient, DDPG)算法[16]由確定性策略梯度算法改進而來，可以輸出連續動作，適用于復雜動作空間和連續動作空間，并保證了良好的收斂特性，在單一智能體環境中表現優異，但其收斂速度和精度會隨著智能體數量的增多而下降。在實際微電網市場環境中，由于涉及到的市場主體數量多且復雜，為了貼合微網系統的實際運營，為交易主體的博弈分析建立基礎，可考慮將多智能體理念引入微電網市場交易中，利用多智能體深度確定性策略梯度(multi-agent deep deterministic policy gradient, MADDPG)算法滿足微電網市場向分布化和層次化發展的需求[17]。

基于上述背景，本文針對多微電網市場交易問題，首先基于智能合約設計多微電網市場的去中心化交易機制，介紹具體的交易流程。然后在所設計交易機制的基礎上，將各智能體利益最大化這一復雜多目標優化問題的求解部署到微電網智能合約，同時將MADDPG算法引入到微電網去中心化市場交易中，通過算例分析驗證本文所提方法的實用性。

1 微電網市場中多智能體劃分及其建模

對于距離較近的微電網，部分微電網由于內部有間歇性能源或自身調控能力有限，其內部發電量在單位時間內不一定與自身負荷平衡，對外呈現一定的電量富余(稱為“多電微電網”)或缺額(稱為“少電微電網”)。少電微電網為保證自身負荷供電，需從多電微電網或配電網購電；多電微電網為追求自身收益最大化，會將富余電量出售給少電微電網或者配電網。因此可考慮在配網末端的微電網系統引入市場機制，令微電網之間、微電網與配電網之間均可進行電量交易?；谏鲜龇治觯晕⒕W系統內存在的不同利益追求作為參考并結合實際情況，可將微電網系統劃分為以下3類智能體：配電網、多電微電網、少電微電網，相應多智能體結構如圖1所示。

圖1 微電網市場的多智能體結構Fig.1 The multi-agent structure of the microgrid market

3類智能體交互行為有：配電網與兩類微電網直接進行交易，交易價格以配電網銷售電價與回購電價為準；微電網間交易以自身收益最大化為目標進行競價博弈，博弈達到均衡后確定交易雙方電能的交易量與價格，交易達成后通過配電網絡實現電能傳遞，交易雙方平均分攤配電網收取的過網費用。接下來構建兩類微電網的競價模型：

1)多電微電網。

多電微電網通過向少電微電網售電獲得收益，計算公式如下：

(1)

多電微電網向配電網售電所得收益為：

(2)

多電微電網因與少電微電網交易，應向配電網繳納的服務費為：

(3)

式中:sd為配電網收取的單位服務費。

多電微電網的富余電量主要來自風力發電、光伏發電此類間歇性能源發電，其發電成本為：

(4)

微電網實際發電量與廣播的富余電量存在偏差，且該偏差大于閾值A時記一次違規，微電網需根據自身違規行為支付一定費用。對于微電網日前電能交易，t時刻多電微電網j的違約成本計算參考每次交易日前一天交易的情況，計算公式為：

(5)

(6)

式中：fV為單位信譽值違約成本系數；Vj為多電微電網j交易日前一天的信譽值；hj和Hj分別為交易日前一天多電微電網j無違規行為交易次數與實際成交次數；Q′ej與Qej分別為多電微電網j交易日前一天實際發電量與上報的電量；|(Q′ej-Qej)/Qej|為其電量偏差程度。

2)少電微電網。

少電微電網需從多電微電網處購電滿足自身電量缺額，其收益計算公式如下：

(7)

少電微電網從配電網處購電所得收益如下：

(8)

考慮到少電微電網購買的缺額電量主要來自風光發電等新能源，政府可給予一定的購電補貼：

(9)

少電微電網因與多電微電網交易，應向配電網繳納的服務費為：

(10)

少電微電網違約成本計算與多電微電網類似：

(11)

(12)

式中：Vm為少電微電網m交易日前一天的信譽值；hm和Hm分別為交易日前一天少電微電網m無違規行為交易次數與實際成交次數；Q′em與Qem分別為少電微電網m實際使用電量與上報的電量；|(Q′em-Qem)/Qem|為其電量偏差程度。

多電微電網與少電微電網在競價過程中所申報電量與電價都需滿足一定范圍約束[19]。

2 微電網去中心化市場交易模型

在分布式電源滲透率較高的微網系統中，市場主體的供給與需求具有很強的隨機性與波動性，需借助靈活的交易機制維持供求關系的實時平衡。由于智能合約下的市場交易中買賣雙方通過程序算法執行合同以實現自治，且記錄交易過程以便追溯保證交易安全，能在一定程度上降低交易成本、提高交易效率、避免惡意行為對正常執行智能合約造成不利影響。本文提出以智能合約為技術支撐的微電網去中心化市場交易機制。按照智能合約簽訂與部署執行的時間順序，交易流程包括交易需求提交、確認、驗證與結算階段，對應的交易流程如圖2所示。

圖2 智能合約下的微電網交易流程Fig.2 The process of microgrid transaction under smart contract

2.1 交易需求提交階段

各市場主體在該階段主要發布供需信息，微電網確定好自身在市場開放周期內的狀態(電量缺額、電量盈余、電量平衡)后廣播市場需求信息，若申報電量為正表明該微電網為多電微電網，為負表明該微電網為少電微電網。各主體除了上報電量信息外，還需上報自身初始報價、可接受電價范圍。若多電微電網可接受電價下限低于少電微電網可接受電價上限，市場主體開始進行交易匹配。

2.2 交易確認階段

市場主體廣播自身信息并成功匹配后，以自身收益最大為目標建立競價模型，通過分布式優化實現競價均衡，在此過程中各主體可多次修改報價。在交易決策優化過程完成后，市場主體同時將確定好的交易細節寫入智能合約中，確定好合約內容后簽約達成交易。

考慮到智能合約下的市場交易屬于雙邊交易且信息公開，本文在交易確認階段將多買多賣的撮合交易規則以智能合約的形式記錄在區塊鏈中，具體執行過程如下：在多方主體競價的市場環境下，全節點根據報價由低到高的順序對多電微電網進行優先級排序，根據報價由高到低的順序對少電微電網進行優先級排序，首先撮合優先級最高的多電微電網和少電微電網間的交易，交易的成交價格為交易雙方報價的平均值，成交電量為雙方公示電量中的較小值；若第一輪撮合完成后買方需求電量未滿足或賣方可供應電量仍存在富余，在第二輪撮合中該交易方與優先級次高的市場成員進行交易，以此類推[20-21]；若全體微電網撮合交易完成后仍有微電網存在電量富余/缺額的情況，該微網自動與配電網簽訂相關合約。市場主體對每一輪撮合的結果都應作出適當的反應，調整自己的策略，優化下一次競標，促使自身收益最大化。

2.3 交易驗證與結算階段

合約簽訂完成后，智能電表會上傳交易雙方的電能傳輸信息，即雙方實際供用電情況，智能合約根據上傳的電能傳輸信息對市場主體履約情況進行驗證并進行微電網電能交易結算。若多電微電網供應的電量小于智能合約約定的電量，智能合約將退還未履約電量對應的代幣給少電微電網，并將剩余的代幣支付給多電微電網，同時更新多電微電網的信用值；若少電微電網使用的電量大于智能合約約定的電量，智能合約將合約內所有的代幣支付給多電微電網，并向少電微電網催收超出電量對應的代幣，同時更新少電微電網的信用值，在交易過程中根據信用值大小給予違規市場主體一定的懲罰。

在微電網市場競價智能合約中不可避免地會觸及一些細節問題，如市場智能合約的調度問題、用戶如果違約如何處理、競價博弈所采用的競價策略求解等，下文將基于MADDPG算法完成對微電網競價策略的求解。

3 基于MADDPG算法的微電網交易決策求解

傳統微網交易環境中信息不完全公開，市場主體需花費較大成本搜集信息，而上述智能合約下的微電網市場交易能為市場主體提供完全信息的博弈環境：市場主體在讀取相關信息后，以自身收益最大為目標進行電量/電價博弈并求解最終交易策略。MADDPG算法中各智能體制定自身策略時會考慮其他智能體的策略，可以很好地勝任完全信息環境下微電網市場主體交易決策優化問題。

3.1 馬爾科夫博弈模型

多智能體系統的深度強化學習常用馬爾科夫博弈來描述，本文將用多元組(N,S,A,T,R)構建微電網市場交易中的馬爾科夫博弈模型，其中N=J+M為多電微電網和少電微電網的總數；S={s1,s2,…,sN}為各智能體的觀察狀態空間；A={a1S,a2S,…,aNS}為各智能體的動作空間；T為狀態轉移函數，即給定智能體當前的狀態與聯合動作時，其下一狀態的概率分布；R={r1,r2,…,rN}為獎勵函數，即智能體在當前狀態時，采取聯合動作后在下一狀態所得到的獎勵。接下來對幾項關鍵元組進行詳述：

1)狀態空間。

對于多電微電網而言，其自身狀態包含當前時刻廣播的富余電量與電價；對于少電微電網而言，其自身狀態包含當前時刻廣播的缺額電量與電價；每一個智能體的狀態空間由自身狀態與其他智能體狀態組成，即聯合狀態空間。

2)動作空間。

通常情況下，微電網市場中智能體的動作空間是一個二維的連續空間，但由于本文假設微電網每個時刻申報的電量為定值，動作主要表現為交易雙方電能價格調整。依據各智能體初始限定的電能價格上下限，以步長為1在上一輪價格基礎上浮動，第k+1次博弈可選擇動作集合Ak+1={ak-1,ak,ak+1}，ak表示第k次博弈所選動作。根據當前聯合狀態和動作策略可確定聯合動作空間A={a1S,a2S,…,aNS}，其中a1S,a2S,…,aNS∈Ak+1分別為聯合狀態S下各交易主體所選動作。

3)獎勵函數。

微電網會對交易過程持續學習以優化各自效益函數，且為了防止微電網最終報價超出自身提交的可接受電價范圍，可在智能體超出范圍時給予懲罰，則多電微電網和少電微電網強化學習獎勵函數形式由收益與懲罰兩部分組成，分別如式(13)與(14)所示：

(13)

(14)

式中：hj(x)、hm(x)分別為多電微電網j與少電微電網m因電價策略超出設定范圍的懲罰函數。

3.2 面向多微電網市場的MADDPG算法

MADDPG算法是一種基于多智能體環境的深度強化學習算法，由于在網絡架構上采用了Actor-Critic的框架形式，每個智能體由需要全局信息的評論家(Critic)網絡和只需要局部觀測的動作家(Actor)網絡組成。每個智能體的Actor網絡的輸入包含環境中所有智能體的動作狀態信息，且由于采用集中訓練、分散執行的方式，能有效提高多智能體系統的穩定性。

(15)

式中：E表示總獎勵的期望值，由于每次狀態轉移都是隨機的，學習的目標是各智能體執行一系列動作來獲得盡可能多的平均獎勵值；θ為各智能體網絡參數集合；γ為獎勵折扣系數；ri為第i個智能體的獎勵。

不同網絡更新參數的方式不同，Critic當前網絡通過最小化每個智能體的損失函數來優化更新參數，損失函數計算公式如下：

(16)

(17)

Actor當前網絡通過神經網絡的梯度反向傳播來更新網絡參數，梯度計算公式如下：

(18)

Actor目標網絡和Critic目標網絡均采用軟更新方式更新網絡參數：

(19)

(20)

式中：τ為軟更新系數，且τ?1。

此外，與普通的監督學習算法不同，MADDPG算法訓練過程中的訓練樣本是通過不停地執行動作而動態生成的。為了解決訓練樣本間存在相關性、樣本概率分布不固定問題，MADDPG算法采用了經驗回放機制，即先把執行動作構造的訓練樣本存儲到經驗回放池中，在訓練網絡時每一回合從這個經驗回放池中均勻采集一個批次的數據作為訓練樣本，新舊樣本被采集的概率是相等的，經驗回放池大小及每一回合采集的批次大小分別稱為經驗回放池規模及采樣規模。由于MADDPG算法訓練過程是通過產生的狀態和對應的獎勵函數判斷訓練結果的好壞，其訓練和測試使用的是同一套環境。

4 應用算例

4.1 算例描述

本節對上述微電網交易決策優化過程進行仿真研究。假設某區域配電網中有4個臨近的微電網，彼此之間可以進行電力交易，同時又可分別與配電網進行電力交易，構成一個多微網系統，其相關參數如表1所示，微網1、2為多電微電網，微網3、4為少電微電網。交易周期為1 h，對于微電網日前電能交易，可將一天內每小時的微電網參數值以向量的形式輸入，為簡化計算，本文僅研究微電網日前市場中某時刻t的交易情況。

表1 微電網相關參數Table 1 Related parameters of the microgrid

MADDPG算法中采用三層全連接神經網絡結構，最大訓練回合數為4 000，網絡結構參數見表2。

表2 MADDPG 算法中的網絡結構參數Table 2 Parameters of network structure in MADDPG algorithm

4.2 仿真結果分析

4.2.1 不同場景下的微網群經濟性分析

為驗證本文設計的基于MADDPG與智能合約的微電網去中心化市場交易體系的實用性與經濟性，對4種場景下的微網群交易結果進行對比分析。

場景1：微電網直接與配電網進行交易；

場景2：微電網之間優先交易，但不采用智能合約下的MADDPG算法進行決策優化；

場景3：50%的微網供需量由微網間優先交易滿足，剩余供需量由微網與配網直接交易滿足，且采用智能合約下的MADDPG算法進行決策優化；

場景4：微網供需量均由微網間優先交易滿足，且采用智能合約下的MADDPG算法進行決策優化。

表3所示為不同場景下各微網制定的價格策略及收益情況。

由表3可知，場景1下各微網收益及整個微網市場收益偏低，這是因為配網的回購電價偏低、銷售電價偏高，若微網與配網直接進行交易會導致各微網收益普遍偏低。場景2相比場景1多電微電網收益顯著提升，少電微電網收益變化不大，這是因為本文所設微電網初始報價與配網銷售電價差別不大，但遠高于配網回購電價，若微電網之間優先交易，各微網間的成交電價均高于配網回購電價、接近于配網銷售電價，導致多電微電網收益遠高于場景1、少電微電網收益與場景1相差不大；場景2整個微網市場收益仍要高于場景1，這說明微網間優先交易可通過促進微網間電能消納提升微網市場的經濟性。由于深度強化學習過程中各微電網收益均受其他智能體策略影響，難以獨自提高自身收益，隨著博弈的進行，各微網會通過調整報價策略改變整個市場收益分配情況，場景3中各微網報價相較于場景2做了一些調整，經報價調整，少電微電網收益有所提高，但由于僅50%的微網供需量由微網間優先交易滿足，該場景下的整體微網市場收益高于場景1但低于場景2。場景4全部的微網供需量由微網間優先交易滿足，導致微網報價策略調整幅度大于場景3，從而使微網1、微網2與微網4收益顯著上升，但微網3因電量缺額量較大，不管在什么情況下總有一部分電量從配網處購入，微網3收益變化不大；此外，訓練過程中系統在平衡收益分配情況的同時也在提高整個微網市場收益，故場景4下微網市場總收益上升為-53.875元。

表3 不同場景下各微網制定的價格策略及收益Table 3 The price strategy and revenue of each microgrid in different scenarios

場景3、場景4強化學習過程中各市場主體的累計獎勵值變化曲線及整個市場的累計獎勵值變化曲線分別如圖3、4所示。通過對圖3、4分析可知，訓練初始階段算法對新環境探索不完全，多微電網系統尚未學習到最優的動作策略，故兩種場景下微網3和微網4的累計獎勵值明顯低于微網1和微網2的累計獎勵值，系統收益分配不均，且整個市場的累計獎勵值較低，并處于波動狀態。當訓練回合數增加到1 000次時，各微電網的累計獎勵值逐漸靠近，整個微電網市場的累計獎勵值逐漸上升，表明多微電網系統在不斷學習的過程中會積累一定經驗，導致交易主體在確定交易策略時能做出合理的決策。當訓練回合數增加到1 000次后，場景4中各微網及整個市場的累計獎勵值趨于平緩，且呈收斂趨勢，但場景3中存在一個較大的波動，當訓練回合數為1 500次后才整體趨于平緩，這是因為場景3中不同報價下微網間的交易量以及微網與配網的直接交易量總是在不斷變化，導致MADDPG算法對新環境進行探索時具有更強的隨機性，且受訓練過程超參數的影響，1 300回合處該隨機性體現地尤為明顯。兩種場景下累計獎勵值趨于平緩后仍存在一定波動，這是由于訓練過程中存在隨機噪聲，訓練時任何時刻都存在振蕩現象。此外，場景4各微網及整個市場趨于平緩后的累計獎勵值均大于場景3趨于平緩后的累計獎勵值，表明微網間優先交易的交易方式能有效提高各微網及整個微網市場的經濟性。

圖3 場景3中訓練累計獎勵值變化曲線Fig.3 The curve of training cumulative reward value in scenario 3

圖4 場景4中訓練累計獎勵值變化曲線Fig.4 The curve of training cumulative reward value in scenario 4

4.2.2 平均發電成本與信譽值對微網收益的影響

驗證了場景4所用方法的實用性與經濟性后，分析場景4下平均發電成本與信譽值對微電網收益的影響：以微網1為例，其他條件保持不變，分別改變微網1的平均發電成本及信譽值，得到訓練過程中微網1的平均累計獎勵值變化情況，如圖5所示。

從圖5中可以看出，隨著平均發電成本的增加，微網1的平均累計獎勵值呈下降趨勢，這表明由于平均發電成本增加后會使微電網發電成本增加，即使多微電網系統能通過學習訓練對各主體策略進行優化，還是會導致微電網的收益下降；隨著信譽值的增加，微網1的平均累計獎勵值呈上升趨勢，且上升幅度較大，這表明信譽值增加后微電網需要支付的違約成本降低，收益增加，多智能體深度強化學習過程無法通過優化微網報價策略完全改善微電網因信譽值下降導致收益受損的情況。

圖5 微網1平均累計獎勵值變化情況Fig.5 Changes in the average cumulative reward value of microgrid 1

4.2.3 MADDPG算法性能評估

DDPG算法中每個智能體僅能觀測到自身狀態與所執行的動作，而MADDPG算法學習過程中使用的是全局信息，采用DDPG算法對場景4下微電網智能體進行訓練后得到各市場主體的累計獎勵值變化曲線及整個市場的累計獎勵值變化曲線，如圖6所示。

圖6 DDPG算法下訓練累計獎勵值變化曲線Fig.6 The curve of training cumulative reward value under DDPG algorithm

從圖6可以看出隨著訓練次數的增多，多微電網系統的累計獎勵值呈上升趨勢，但對比圖4可以發現DDPG算法在訓練到1 500回合后累計獎勵值才開始趨于平穩，且訓練初始階段累計獎勵值波動性較大，訓練到3 500回合處累計獎勵值又開始下降。這是因為多微電網市場交易環境變化較大，若對每個微電網采用DDPG算法，在第i個微電網做出動作時由于其余微電網的動作未知，會導致第i個微電網獎勵值不穩定，且受采樣規模及經驗回放池規模大小的影響，即使各微網累計獎勵值在一段時間內趨于平穩，在訓練回合數到達一定值后，仍會出現訓練性能變差的可能性。與DDPG算法對比，MADDPG算法整體呈上升收斂趨勢，沒有明顯的波動變化趨勢，說明了MADDPG比DDPG算法具有更強的穩定性和更快的收斂性，DDPG算法在多智能體環境中容易出現由于無法獲取足夠信息導致訓練效果不好的問題。MADDPG算法得到的微電網市場平均累計獎勵值為-3 100.95，而DDPG算法得到的微電網市場平均累計獎勵值為-3 323.7，這說明采用MADDPG算法對智能合約下的微電網交易決策進行優化要比DDPG算法更能提高整個微網市場的收益。

5 結 論

本文提出了智能合約下的微電網去中心化交易機制，并將基于MADDPG算法的微電網競價模型應用到該機制的交易確認階段，通過市場主體電量/電價的動態博弈解決完全信息環境下微電網的交易決策優化問題，仿真結果表明：

1)基于MADDPG算法與智能合約的微電網去中心化市場交易體系可保證微電網市場主體合理的收益分配，在完全信息環境中通過反復探索與試錯有效提高微電網市場的整體收益。

2)微電網在市場交易過程中可通過改變風光平均發電成本、信譽值等調控手段，提高自身收益。

3)將MADDPG算法應用于微電網交易決策優化相對于DDPG算法具有更快的收斂速度與更高的學習效率。

本文側重于研究MADDPG算法在智能合約交易確認階段對微電網市場主體決策優化的實用性，后續可對智能合約環境下整套微電網去中心化交易流程中部署的相關機制進行改進。