適用于大規模充電場站的深度強化學習有序充電策略

陳 果，王秀麗，原晟淇，帥軒越，周 前

（1. 西安交通大學電氣工程學院，陜西省 西安市 710049；2. 國網江蘇省電力有限公司電力科學研究院，江蘇省 南京市 210036）

0 引言

電動汽車（electric vehicle，EV）具有減少溫室氣體排放、降低化石能源依賴性的天然優勢，有利于國家實現“雙碳”目標。同時，作為重要的需求響應資源，電動汽車還能為電力系統提供靈活性支撐［1］。如何對大規模電動汽車進行有序充電控制，是發揮其靈活性潛力的關鍵。

近年來，國內外學者對大規模電動汽車有序充電問題進行了大量的研究［2-6］。在現有研究中，廣泛使用的方法有交替方向乘子法［1］、拉格朗日松弛法［4］等分布式算法，以及整數規劃［2］、啟發式算法［3］、基于模型預測控制的方法［5-6］等。這些方法嘗試解決了各種場景下的電動汽車有序充電問題。例如，文獻［2］在考慮有序充電時還考慮了配電網的線路容量約束，通過求解兩個相繼的整數規劃問題實現特定負荷曲線。但是，這些方法在對電動汽車不確定性建模時，需要關于車輛隨機性的準確模型［2-4］或預測結果［5-6］。實際中，電動汽車不確定性與用戶行為特征息息相關，而后者是一個復雜問題［7］，這就導致車輛隨機性的準確模型難以建立并且準確的預測結果難以獲得，使得上述研究的實用性受到影響。

深度學習和強化學習的結合使得后者的能力得到極大擴展［8］。深度強化學習可以直接從環境中適應性地學習最佳策略，而無須顯式地對不確定性建模［9］。基于這一優勢，已有部分學者利用強化學習來研究電動汽車有序充電問題［10-12］?！?br>