基于Q-learning的混合動力汽車能量管理策略

【摘" 要】隨著能源與環境問題的日益突出，對混合動力汽車進行研究具有重要的意義。作為一種多能源汽車，能量管理和分配策略是提高混合動力汽車燃油經濟性及降低排放的關鍵。混合動力汽車由內燃機和電池兩種不同的動力源驅動，對于給定的功率需求，如何分配兩種動力源的輸出功率，使得整個循環的耗油量達到最小是混合動力系統控制需要解決的問題。文章以Q學習全局優化算法為基礎，對整車能量進行分配，并獲得發動機和電機的最優轉矩，在保持電池荷電狀態平衡的同時，提高整車的燃油經濟性。使用MATLAB/Simulink并在NEDC循環工況下進行仿真分析，得到的結論為混合動力汽車的油耗為4.627L/km，相對于傳統小型汽車6.88L/100km，降幅為32.75%。

【關鍵詞】能量管理；Q-learning；混合動力汽車；燃油經濟性

中圖分類號：U469.72" " 文獻標識碼：A" " 文章編號：1003-8639（ 2024 ）08-0024-04

Energy Management Strategy of Hybrid Electric Vehicle Based on Q-learning

YOU jie

（Chongqing Jiao Tong University，Chongqing 400074）

【Abstract】With the increasing problems of energy and environment，it is of great significance to study hybrid electric vehicles. As a multi-energy vehicle，energy management and distribution strategy is the key to improve fuel economy and reduce emissions of hybrid electric vehicles. Hybrid electric vehicle is driven by two different power sources，internal combustion engine and battery. For a given power demand，how to allocate the output power of the two power sources to minimize the fuel consumption of the whole cycle is a problem that needs to be solved by the control of hybrid electric power system. Based on Q learning global optimization algorithm，this paper distributes the energy of the vehicle，obtains the optimal torque of the engine and motor，and improves the fuel economy of the vehicle while maintaining the balance of battery charging state. Under NEDC cycle condition，MATLAB/Simulink was used for simulation analysis. The results showed that fuel consumption of hybrid electric vehicle was 4.627L /km，which decreased by 32.75% compared with 6.88L/100km of traditional small cars.

【Key words】energy management；Q-learning；hybrid electric vehicles；fuel economy

1" 引言

隨著社會發展，人們對產品的要求越來越高。混合動力汽車體現出了燃油效率高、價格實惠、節能高效、綠色環保、續航里程長和充電設施完善的優勢，可以更好地滿足人們的要求，在眾多產品中脫穎而出，并在產品的技術研發過程中引起了廣泛關注。由多個動力源所組成的傳動系統可單獨或共同為混合動力汽車提供動力，而動力源中能量流的有效管理對整車性能的提升有著至關重要的作用。

首先，基于邏輯規則的控制策略是一種常見的控制策略，它通過設定一系列的門限值來控制混合動力汽車的能量管理。當滿足特定的條件時，系統會根據設定的門限值來執行相應的操作。模糊控制策略則是一種處理不確定性、非線性系統的有效方法，它通過將輸入的變量模糊化[1-3]，并根據模糊規則進行推理，最終輸出模糊決策結果。這種控制策略的優點在于能夠處理不確定性和非線性問題，因此得到了廣泛應用。神經網絡控制策略[4]則是利用人工神經網絡來對混合動力汽車進行能量管理，通過訓練神經網絡，使其能夠根據輸入的參數輸出最優的能量管理方案。

其次，瞬時優化控制策略[5]也被廣泛應用于混合動力汽車中。這種策略通過在每個時刻都優化混合動力系統的性能，以實現全局的最優性能。雖然這種策略能夠得到最優的控制性能，但是由于計算量大，控制復雜，因此在實際應用中存在一定的難度。

最后，全局最優控制策略也被用于混合動力汽車的能量管理。這種策略通過預知行駛循環來得到混合動力系統的最優性能。雖然這種策略能夠得到最優的性能，但是需要預知行駛循環[6-8]，因此在實際應用中存在一定的局限性。不過，對全局最優控制策略的仿真結果進行分析，可以為混合動力汽車的能量管理策略設計[9-10]提供有價值的參考。

綜上所述，這3種能量管理策略各有優缺點，在實際應用中需要根據具體情況選擇合適的策略，從而使混合動力汽車的性能得到顯著提升。本文采用Q學習算法對混合動力汽車的性能進行優化，并在MATLAB/Simulink建立前向仿真模型，模擬駕駛員的行為，將Q學習的優化結果嵌套入Simulink中進行仿真分析。

2" 并聯式混合動力汽車動力系統

2.1" 動力系統結構

單軸并聯式混合動力汽車動力結構如圖1所示。整車動力系統主要由車輪、傳動系、電機、離合器、發動機和電池組構成。單軸并聯式動力系統的特點是：電機和發動機都具有獨立提供動力驅動車輛行駛的能力，并且發動機可以像傳統汽車一樣通過傳動系統直接驅動車輛，或帶動電機向電池組充電。

分析圖1車輛結構，可以看出其結構與傳統的汽車結構大致相同，發動機通過傳動系統與驅動橋直接連接，減少了皮帶或齒輪的能量損耗，能量利用率得到提高；與傳統汽車相比，具有多種運行模式；電機提供動力進行輔助行駛，因而可以選擇功率較小的電機和發動機；采用與傳統車輛結構類似的車輛結構，可降低研發設計成本，提高利潤。

2.2" 工作模式

該車的兩套驅動系統都可以為車輛提供動力，既可以實現獨立工作，又可以實現共同工作，同時電機不僅可以作為驅動電動機使用，還可以當作發電機使用。由于發動機和電機在不同工況下的工作效率不同，為了發揮出該車的優點，應采用與行駛工況相適應的工作模式來適應不同的車輛運行工況，在滿足車輛動力性要求的前提下，提高燃油經濟性和降低排放，減少能源消耗。并聯式混合動力汽車工作模式根據車輛所行駛工況和能量分配管理策略可分為5種驅動模式，分別為：純電動模式、發動機驅動模式、行車充電模式、混合驅動模式、再生制動模式。

3" 并聯式混合動力系統數學模型

能量管理策略是混合動力汽車整車控制系統的重要問題之一，與整車系統的各個部件都有著密不可分的聯系，其中最主要的是動力源模型、傳動系統模型和整車縱向動力學模型。對動力系統主要部件進行建模，主要有試驗建模和理論建模兩種方式。試驗建模是摸清物理現象本質的一種有效手段，通過進行試驗采集數據的方法，測得系統的輸入變量與輸出變量之間的關系；理論建模想要得到表示該過程的各個變量之間的關系，就需要通過化學、物理等基本理論對某一過程機理進行深入研究和分析，從而推出其數學關系。采用ADVISOR仿真軟件中的試驗數據，在MATLAB平臺中分別對整車各個部件進行建模。

3.1" 發動機模型

通過進行發動機特性試驗并建立發動機模型，得到該試驗數據，表示出燃油消耗率、發動機轉速和發動機扭矩這三者之間的關系，即發動機燃油消耗數值模型fb（ωb，Te），如圖2所示。同時建立發動機穩態轉矩數值模型，如圖3所示。

3.2" 電機模型

在并聯式混合動力汽車的研究中，采用永磁同步電機作為驅動電機。電機模型為功率輸出的核心部分，它連接著動力源和車輪，負責將發動機的動能有效地傳遞給車輛，使其行駛，得出其電機功率，公式如下：

Pm=Tm nm/ηm" "Tmgt;0

Tm nm ηm" "Tmlt;0（1）

式中：Pm——電機功率，kW；Tm——電機轉矩，N·m；nm——電機轉速，r/min；ηm——電機效率，%。

通過電機性能測試獲得試驗數據，運用插值法得到電機的瞬時效率。電機效率模型如圖4所示。

通過電機模型的建立和試驗數據的驗證，可以更加準確地模擬該類型汽車的動力性能，為后續的優化設計和性能提升提供重要的理論依據。

3.3" 電池模型

電池作為電動汽車的能量源，其性能對整車性能有著至關重要的影響。通過一系列電池性能試驗，建立了電池的電動勢和內阻模型。

ESOC=E0+∑15EiSOCi（2）

RSOC=δ0（R0+∑16λiSOCi）（3）

式中：ESOC——當前狀態下的電動勢，V；RSOC——當前狀態下的內阻，Ω；R0——電池的內阻系數；E0——電池電動常數擬合系數，V；SOC——電池的荷電狀態；δ0——內阻隨電流變化的補償系數；λi——擬合系數；Ei——第i個電池的電動勢。

電池SOC計算過程為：

SOC（t+1）=SOC（t）-I（t）/Qbat（4）

I（t）=（5）

ΔSOC=-（6）

式中：I——電池電流，A；Qbat——電池容量，A·h；Pbat——電池功率，kW。

此外還可以通過電池的充放電試驗數據，結合電池容量和電池功率的關系，計算出電池的荷電狀態。

通過電池模型的建立，可以更準確地模擬電池的工作狀態，預測電池的能量輸出和儲能能力，為電動汽車的性能優化提供理論依據。

3.4" 整車縱向動力學模型

為了全面研究并聯式混合動力電動汽車性能，建立了整車縱向動力學模型。這個模型能夠描述車輛在行駛過程中的位置、速度、加速度等參數的變化關系。

式中：si、vi、mi、ai——第i輛車的位置、速度、質量和加速度；A——汽車迎風面積，m2；Fi——驅動力或制動力，N；CD——空氣阻力系數；μ——滾動阻力系數；g——重力加速度，m/s；θ——道路坡度，°。

3.5" 車輛系統參數

混合動力系統參數見表1。

4" Q-learning算法

Q-learning算法是一種基于迭代的強化學習算法，通過不斷更新狀態-動作值函數來逼近最優策略。具體算法流程可大致分為如下幾個步驟。

1）初始化狀態-動作值函數Q（s，a）為任意值。

2）動作策略：開始一個無限循環，在每一個循環中執行以下步驟。

①根據當前狀態s和探索率ε，以概率ε隨機選擇一個動作a，以概率1-ε選擇當前狀態下最優的Q值對應的動作。

②執行動作a，并觀察新的狀態s和獎勵r。

③更新狀態-動作值函數：

Q（s，a）←Q（s，a）+α[r+γminQ（s，a'）-Q（s，a）]（10）

式中：α——學習率；γ——折扣因子。

3）當算法收斂或達到預設的迭代次數時，結束循環。

4）根據最終的狀態-動作值函數Q（s，a），為每個狀態選擇最優的Q值對應的動作作為最優策略。通過不斷地迭代更新狀態-動作值函數，Q-learning算法可以逐漸逼近最優策略，并在新狀態下選擇最優的動作。這種方法在許多實際應用中都取得了良好的效果，其中在混合動力汽車中得到了很好的應用。Q學習能量策略流程如圖5所示。

5" 仿真結果分析

本文采用NEDC循環工況（圖6）作為仿真工況，它由4個ECE和1個EUDC組成。

為了驗證動態規劃全局優化能量管理策略，在MATLAB中采用M文件編寫動態規劃計算程序、狀態轉移函數以及瞬時代價函數。選取新歐洲標準循環工況（New European Driving Cycle，NEDC）進行仿真，然后再把優化出的轉矩結果嵌入Simulink模型中，進行仿真分析。在駕駛員模型內，使用傳統的PID控制來對車速進行跟隨，模擬駕駛員的行為，其輸入為目標車速與實際車速之差，其輸出為油門和制動踏板開度，進而控制發動機和電機的輸出轉矩。電機輸出轉矩曲線如圖7所示，發動機輸出轉矩曲線如圖8所示。

根據NEDC循環工況的試驗結果可以看出，基于Q-Learning的能量管理策略可以調節混合動力系統的輸出，使得混合動力汽車在實際運行工況時可以通過發動機和電機的輸出轉矩來滿足需求轉矩，讓目標工況與混合動力汽車的實際運行工況相符合。

圖9為發動機燃油消耗量在整個NEDC循環工況下的累計曲線圖，整體呈現階梯式增加，保持水平的部分為整車處在電動模式或者回饋制動模式。圖10為電池SOC變化曲線，可以看出整個循環工況下SOC波動范圍小，處于允許波動的范圍內，并基本維持在[0.5，0.6]之間，電池工作效率高。循環工況結束時，SOCend=0.54與初始值0.6較為接近，想要更一步接近初始值，需要加入代價函數。

6" 結束語

本文提出基于Q-Learning的混合動力汽車能量管理策略，采用Q-Learning算法離線優化出發動機，在Simulink仿真模型中導入電機最優轉矩表，然后建立離線仿真模型，將實際工況與模擬工況進行PID調節。從仿真結果可以看出，全局優化能量管理策略在基于Q學習的情況下，表現出良好的狀態，在NEDC循環工況下的油耗為0.42L，油耗為4.62L/100 km，相對于傳統燃油車具有更好的燃油經濟性。

參考文獻：

[1] Javier Solano Martínez a，Robert I. John b，Daniel Hissel a，et al. A survey-based type-2 fuzzy logic system for energy management in hybrid electrical vehicles[J]. Information Sciences，2012，190（3）：192-207.

[2] Schouten N J，Salman M A，Kheir N A. Energy management strategies for parallel hybrid vehicles using fuzzy logic[J]. Control Engineering Practice，2003，11（2）：171-177.

[3] Li S G，Sharkh S M，Walsh F C，et al. Energy and Battery Management of a Plug-In Series Hybrid Electric Vehicle Using Fuzzy Logic[J]. IEEE Transactions on Vehicular Technology，2011，60（8）：3571-3585.

[4] Zhu Dongbin，Wang Xiyang，Li Yanwen. Research Progress of Energy Management Strategy for Hybrid Electric Vehicles[J]. Machinery Design amp; Manufacture，2020（3）：293-296.

[5] 王鋒，冒曉建，卓斌. ISG并聯混合動力轎車最優轉矩分配策略[J]. 重慶大學學報（自然科學版），2008，31（5）：499-504.

[6] Liu J，Peng H. Modeling and control of a power-split hybrid vehicle[J]. IEEE transactions on control systems technology，2008，16（6）：1242-1251.

[7] Pérez L V，Bossio G R，Moitre D，et al. Optimization of power management in an hybrid electric vehicle using dynamic programming[J]. Mathematics and Computers in Simulation，2006，73（1）：244-254.

[8] Johannesson L，Asbogard M，Egardt B. Assessing the potential of predictive control for hybrid vehicle powertrains using stochastic dynamic programming[J]. IEEE Transactions on Intelligent Transportation Systems，2007，8（1）：71-83.

[9] Shams-Zahraei M，Kouzani A Z，Kutter S，et al. Integrated thermal and energy management of plug-in hybrid electric vehicles[J]. Journal of power sources，2012（216）：237-248.

[10] Liu J. Modeling Configuration and Control Optimization of Power-split Hybrid Vehicles[D]. USA：The University of Michigan，2007.

（編輯" 楊凱麟）