基于Q學習算法的再生制動能量回收控制策略*

馬什鵬 尹燕莉 張劉鋒 馬永娟 黃學江

（重慶交通大學機電與車輛工程學院）

目前，世界各大汽車企業都致力于開發電動汽車來實現節能減排，再生制動能量回收技術是電動汽車開發的關鍵技術之一[1-2]。再生制動研究的核心是在制動安全的前提下，合理分配機械摩擦制動力和電機制動力，即制動力分配控制策略[3-4]。為解決再生制動過程中制動力合理分配的問題，文章提出了基于Q學習算法的再生制動能量回收控制策略，以制動能量回收效率最大為優化目標，總需求制動力矩和車速為狀態變量，運用Q學習算法，獲得最優制動力分配系數，從而實現機械制動力和再生制動力的優化分配。

1 混合動力汽車模型

1.1 混合動力汽車結構參數

文章研究的混合動力汽車是一款前驅并聯型輕度混合動力轎車，其主要部件包括發動機、電動機和無級變速器等，整車的主要參數如下：整備質量m=915 kg，軸距L=2.365 m，質心高度hg=0.525 m，質心離前軸的距離a=0.935 m，輪胎半徑r=0.272 m，滾動阻力系數f=0.009，空氣阻力系數Cd=0.335，迎風面積A=2.0 m2，主減速比4.38。

1.2 車輪處的制動需求力矩

在制動過程中，汽車主要受滾動阻力、空氣阻力和車輪處制動力的作用。當制動踏板被踩下時，車輪處的制動需求力矩由制動器制動力矩和電機制動力矩來提供。

式中：Treq——車輪處的制動需求轉矩，N·m；

v——車速，km/h；

z——制動強度，是加速度a與g的比值。

1.3 再生制動力矩

再生制動過程中，電機處于發電狀態，再生制動力矩可以表示為：

式中：Tm——電機轉矩，N·m；

i0——主減速器速比；

icvt——變速器速比；

ηt——傳動效率。

2 基于Q學習算法的再生制動能量回收控制策略

2.1 制動力矩分配系數

文章引入了2個制動力分配系數，分別為前軸制動力矩比例系數和電機制動力矩比例系數。其中：前軸制動力矩比例系數為前軸制動力矩與總制動力矩的比值，電機制動力矩比例系數為電機制動力矩與前軸制動力矩的比值。

式中：Tf，Tr，Tre——前軸總的制動力矩、后軸總的制動力矩、電機制動力矩，N·m；

β——前軸制動力矩比例系數；

α——電機制動力矩比例系數。

2.2 目標函數和約束條件

以制動能量回收效率最大為優化目標，制定目標函數：

式中：Ts——制動時間，s；

n——電機轉速，r/min；

vt，v0——制動起始車速和制動終止車速，km/h。

制動過程中為了確保制動安全性，前軸制動力矩比例系數要受到ECE法規的限制，電機制動力矩主要受電機本身特性和電池最大充電功率影響，故優化過程中的約束條件為：

式中：Tm_max——電機的最大轉矩，N·m；

Pchg_max——電池最大充電功率，kW；

ηm——電機發電效率；

φf、φr——前軸、后軸的利用附著系數。

2.3 Q學習算法再生制動控制策略

Q學習算法是通過不斷的試錯學習經驗知識，從而實現狀態到動作的高維映射關系的自學習，通過不斷地改善其行為從而達到良好的控制效果，最后得到全局最優策略[5-6]。把Q學習算法應用到再生制動的制動力矩分配上，以制動能量回收效率最大為優化目標函數，車輪處制動需求制動力矩和車速為狀態，優化得到最優制動力矩分配系數。

圖1示出文章所提控制策略的總體框架。首先，根據車輛狀態獲得車輛的車速、制動強度以及電池的SOC值，運用公式（1）計算得到需求制動力矩；其次，通過Q學習算法優化得到的結果，插值得到車輛的最優制動力分配系數；最后，計算出目標電機轉矩Tm_tag和目標前后軸機械摩擦制動力矩Th_tag_i。

圖1 基于Q學習算法的再生制動控制策略框架圖

其中，Q學習算法具體優化步驟如下：

1）初始化Q學習算法參數，即探索率、學習率ζ和折扣因子γ，并設置迭代次數。

2）選擇車輪處需求制動轉矩Treq和車速v作為狀態變量，α和β作為動作變量。

3）考慮制動能量回收效率，構建回報函數公式（6）。

4）根據構建的回報函數，應用ε-greedy策略尋找最大Q(s,a)值對應的動作，計算當前狀態s和動作a的回報r和下一時刻狀態s’。

5）迭代循環優化。基于greedy策略選擇下一時刻動作a’，通過公式（8）更新當前狀態動作的Q(s,a)值。

6）迭代循環結束。將收斂后的Q(s,a)值對應的策略作為最優策略。

3 仿真與分析

利用MATLAB/Simulink仿真平臺，基于WLTP循環工況進行整車仿真。仿真工況如圖2所示，該循環工況共1 800 s，最高車速131.3 km/h，最大制動強度0.153。

圖2 WLTP循環工況

以車輪處需求制動力矩和車速作為狀態，通過Q學習算法優化得到整個循環工況的前軸制動力矩分配系數和電機制動力矩分配系數，結果如圖3和圖4所示。

圖3 電機制動力矩比例系數

圖4 前軸制動力矩比例系數

受整車比例閥控制前后制動器制動力為固定比例的影響，整個循環工況的電機制動力矩的比例系數和前軸制動力矩比例系數的變化趨勢大致相同。圖3電機制動力矩比例系數的最大值是1，此時是電機制動力矩等于前軸總的制動力矩，當車速一定時，隨著電機比例系數隨著需求轉矩的增加而降低，表明當制動需求較大時，為了保證制動安全，會增加摩擦制動力矩，以保證制動安全性。圖4為前軸制動力矩比例系數，其取值范圍為0.6～1，符合ECE法規對于前軸制動力分配比例的限制，保證了制動安全性。當制動需求較小時，前軸單獨提供制動力矩，前軸制動力矩比例系數為1；當制動需求轉矩較大時，前軸制動力矩比例系數小于1，此時前軸和后軸共同提供制動需求。

如圖5和圖6所示，循環工況300～600 s的階段里，電機的制動力矩較小，這是因為此階段速度和制動強度都較低，整車需求制動力較小。在循環工況1 500～1 800 s的階段里，電機制動力矩較之前階段偏小，這是由于此階段的速度較高，為了保證制動安全，減小電機制動力矩，增加機械摩擦制動力矩。

圖5 發動機轉矩

圖6 電機轉矩

圖7示出WLTP循環工況下，采用基于Q學習算法再生制動能量回收控制策略，電池SOC隨時間變化的情況，仿真循環初始時刻設定電池SOC為0.6。

圖7 SOC變化圖

從圖7中可以看出，當電池SOC值上升時，電機參與制動，回收能量；當SOC下降時，表示電機驅動消耗電能，整個循環工況電池SOC值維持在0.598～0.603范圍內。

表1示出文章所提控制策略和理想制動分配策略仿真結果的對比。由表2可以看出，基于Q學習算法控制策略的制動回收能量為1 845.6 kJ，總制動能量為3 212.2 kJ，整車能量消耗為7 048.9 kJ，制定能量回收效率為57.4%，有效制動能量回收效率為26.1%。其與理想制動力分配比例控制策略相比，能量回收效率提升了6.5%，有效制動能量回收效率提升了2.9%。

表1 兩種控制策略仿真結果對比

4 結論

文章在混合動力汽車建模的基礎上，在保證制動安全的前提下，以最大回收制動能量為目標，需求制動力矩和車速作為狀態變量，制動力矩分配系數作為動作變量，制定了基于Q學習算法的再生制動能量回收控制策略，解決了再生制動過程中的電液制動力矩分配的問題。該方法不依賴于模型，通過不斷的試錯學習，從學習經驗中改善自身性能，并且計算量小、運算速度較快。

最后基于MATLAB/Simulink仿真平臺，進行了整車仿真試驗。仿真試驗結果表明，與理想制動力分配策略制動回收效率50.9%相比，該策略制動能量回收效率提高了6.5%。后期還需要對該策略的制動過程中的制動穩定性和電液制動系統的動態協調控制進一步研究。