基于Q-learning的插電式混合動力 汽車能量管理策略

田澤杰

（長安大學 汽車學院，陜西 西安 710064）

插電式混合動力汽車（Plug-in Hybrid Electric Vehicle, PHEV）結合了傳統內燃機汽車和純電動汽車的特點，在當前環境污染和電池技術的限制下成為了最具發展潛力的汽車。由于擁有多個能量源，所以PHEV能量管理策略的開發是影響整車動力性和經濟性的核心技術。目前解決能量管理問題的措施有基于規則的方法，如：基于確定性規則和基于模糊控制策略；基于模型優化的方法，如：動態規劃和龐特里亞金極值原理?；谀Ｐ蛢灮姆椒紤]了整個行駛工況，通過數值計算得到全局最優解，但不具備在線應用的可能，只能作為一種對比的手段。

隨著人工智能技術的發展，一些智能算法，如：人工神經網絡，強化學習等也得以應用于PHEV能量管理策略。強化學習可以不依賴于系統模型，通過智能體和環境的交互產生的獎勵信號自主探索和學習到最優策略。本文基于強化學習中具有代表性的Q-learning算法構建了PHEV的能量管理策略，結果表明，此策略可以在有限的步驟中自主學習，并逼近全局最優。

1 整車參數

本文所研究的PHEV為某款串聯結構的西安市公交車，整車由兩個輪邊驅動電機驅動。能量源由動力電池和一款天然氣發動機與汽車啟動發電一體式電機（Integrated Starter and Generator, ISG）電機集成的輔助動力單元（Auxiliary Power Unit, APU）構成。該款車型整備質量為13 500 kg，輪邊主減速器傳動比為13.9，電池容量180 Ah，電池包由168個電壓為3.2 V的電池串聯組成，迎風面積為8 m。其動力傳動結構如圖1所示。

圖1 PHEV動力傳動結構

1.1 驅動電機模型

驅動電機可以正轉產生驅動力也可以反轉進行制動能量回收。對電機進行仿真時，由實驗數據進行插值擬合電機效率和電機轉速、電機轉矩之間對應的關系。

式中，為電機效率；，為電機的轉矩和轉速。

1.2 APU單元模型

該APU單元與行駛車速不存在機械耦合關系，可以進行獨立控制。為簡化整車控制難度，首先計算發動機和ISG電機組合供能時的最優燃油消耗曲線，在仿真計算時，僅由功率便可以通過插值得到對應的燃油消耗率。

式中，()為燃油消耗率；(()為APU單元功率。

1.3 電池模型

本文采用包括開路電壓和內阻的等效電路模型對電池進行建模，由電池荷電狀態（State Of Charge, SOC）插值計算開路電壓和電池內阻，對應的SOC狀態轉移可通過下式計算：

式中，為開路電壓；為電池等效內阻；為電池容量；為電池功率。

1.4 需求功率模型

整車需求功率可通過車輛的縱向動力學模型計算，當不考慮坡道阻力時，需求功率為

式中，為需求功率；為滾動阻力功率；為空氣阻力功率；為加速阻力功率；為車輛質量；為重力加速度；為滾動阻力系數；為車速；為空氣阻力系數；為迎風面積；為車輛旋轉質量換算系數；為加速度。

2 基于Q-learning的能量管理策略

強化學習的核心就是指智能體產生動作和環境進行不斷的交互，并通過環境實時反饋給智能體的獎勵信號，讓智能體自主學習在一個環境中的不同狀態到行為的映射關系。如圖2所示，基于這個映射關系而產生的序列化決策可以最大化獎勵信號。

圖2 智能體與環境的交互圖

強化學習可分為基于表格的傳統算法，如Q-learning、Sarsa算法和基于神經網絡的深度強化學習算法，如深度Q網絡（Deep Q Network, DQN）、深度確定性策略梯度算法（Deep Deter- ministic Policy Gradient, DDPG）算法等。如圖2所示，一個標準的Q-learning算法包含智能體、環境、狀態、動作、獎勵、策略和狀態-動作值函數七個基本組成。

Q-learning的關鍵是建立一個狀態-動作價值表（,），存儲每一狀態下各動作的價值估計。不僅根據這個表來選擇動作，并且根據實時的環境反饋以及時序差分算法對該表進行值函數的迭代更新，以期讓智能體獲得一個最大化未來總獎勵期望的策略。Q-learning算法的更新公式如下：

式中，表示學習率，其值越大，算法收斂的速度越快，但是過大容易造成結果的震蕩；表示衰減系數，介于0到1之間，用于在當下獎勵和未來獎勵之間取得平衡，同時也保證了算法的收斂性；為當前狀態下的即時回報；（,）為用于映射當前動作到長期總獎勵的狀態-動作值函數。

本文基于Q-learning算法對插電式混合動力汽車能量管理策略進行求解，目的是降低車輛總能耗，提高PHEV汽車的經濟性。選取需求功率和電池SOC作為狀態變量，將發動機和ISG電機組成的APU單元提供的功率作為動作變量，則相應的電池應提供的功率為()=()-()，獎勵信號是與發動機實時燃油消耗率和當前電池SOC相關的函數。目標函數設定為帶有衰減的未來所有狀態的累計回報：

該插電式混合動力汽車能量管理的目標是達到最優的經濟性，因此，把SOC和發動機瞬時消耗作為即時的反饋，將獎勵信號設置如下：

通過獎勵信號設置，保證電池的荷電狀態在0.3到0.7之間，使智能體在規定邊界之內探索并使用更具有經濟性的動作。

圖3展示了使用Q-learning算法求解該問題的偽代碼，其中的episode為一次設定的循環工況。

圖3 Q-learning求解過程偽代碼

偽代碼中，衰減系數取0.9，學習率=1/。選擇動作時的-greedy策略如下：

式中，=1/，為一時變的概率，保證在學習初期盡可能多的探索動作，并在學習后期盡可能多的去利用學習到的表。

3 仿真結果

考慮該插電式混合動力汽車的情況，將17次連續的中國典型城市公交循環（Chinese Type City Bus Circle, CCBC）工況作為一個完整的循環，以達到充分利用混合動力汽車的“混動”的優勢。首先把狀態變量和動作變量離散，生成初始的表，并將每次循環初始SOC設定為0.7，基于狀態和表，根據貪婪策略在每一時間步選取動作，并及時更新表中對應的狀態-動作值函數。隨著表的不斷迭代，最終會趨于收斂，設定循環次數N=18 000次。

表1 Q-learning能量管理策略結果

當天然氣價格取3.7元/m，電價格為0.8 kWh時，圖4為每輪迭代下的循環總價格收斂情況。

圖4 總價格收斂過程

為驗證Q-learning算法在插電式混合動力汽車能量管理中的有效性，本文使用基于龐特里亞金極小值原理的方法來計算全局的最優解。從圖5中SOC下降的情況可以看出，兩種算法在初始SOC均為0.7的條件下，最終SOC都到達了SOC下限0.3。在總行程接近100 km的循環下，基于Q-learning算法的結果只比全局最優算法PMP貴1.57元，證明了基于Q-learning計算策略的有效性。并考慮到PMP算法對于協態變量的選取過于敏感，所以基于Q-learning得到的表策略有更強適用性與魯棒性。

圖5 Q-learning/PMP策略SOC下降圖

4 結論

本文針對一款串聯插電式混合動力汽車，設計一種基于Q-learning的能量管理策略。在連續17次CCBC工況下，相比于全局最優算法PMP，結果僅貴出1.57元，表明了基于Q-learning算法的有效性。