基于效率優化的混合動力車輛強化學習能量管理策略研究*

楊寧康，韓立金，2，劉 輝，2，張 欣

（1.北京理工大學機械與車輛學院，北京 100081；2.北京理工大學前沿技術研究院，濟南 250300；3.中國北方車輛研究所，北京 100072）

前言

效率作為機電復合傳動系統車輛的重要研究內容，可用于傳動系統的設計和能量管理策略的制定，建立一個通用的綜合傳動系統效率模型具有重要意義。Mashadi等［1］對THS的效率進行分析時，只涉及到了發動機和電機A、B的效率。Kim等［2］對一雙段式機電復合傳動車輛控制策略的研究建立在動力系統總效率的觀點上，但在計算時假定經過機械部分無功率損失，僅考慮了電機損失。清華大學朱元等［3］假設所有機械傳動效率都為100%且沒有齒輪沖擊等。北京理工大學闞振廣等［4］建立和研究了某車輛綜合傳功裝置直駛機械工況下的功率損失模型，但各部件功率損失模型較簡單。以上已有的傳動系統效率的研究各有缺陷，須建立普適且更加精確的效率模型。

作為混合動力車輛的重要研究領域，能量管理對于改善車輛性能、提升經濟性及動力性有重要作用。根據已有的研究，眾多能量管理方法大體劃分為兩類：基于規則和基于優化。基于規則的策略包括確定性規則［5］和模糊規則［6］。由于其方便實現的優點，基于規則的策略仍是目前工程實際中應用最廣泛的方法；但較差的適應性和不涉及最優化的問題約束了其性能。基于優化的策略包括全局優化，如動態規劃［7］、二次規劃［8］、粒子群優化［9］和極小值原理［10］；實時優化，如等效燃油消耗［11］、模型預測控制［12］。對于全局優化，雖可得出理論上的最優結果，但繁重的計算負擔和對工況完整知識的需求限制了其應用。對于實時優化，其局部優化的特性難以獲得滿意的結果，對實時性的高要求也為實際使用設置了阻礙。

目前，強化學習被逐漸引入到能量管理的研究，由于其良好的性能而得到迅速發展，并被視為未來的重要方向［13-14］。強化學習有兩個主要優點：（1）由于良好訓練的智能體根據獎勵的長期積累做出決策，單步貪婪的策略實際上也是長期最優；（2）強化學習不需要建立精準的控制系統的模型，只須學習與系統交互產生的經驗，從而避免了引入模型帶來的偏差。

傳統能量管理策略中僅以發動機燃油消耗作為經濟性指標，將傳動系統的效率取為定值，未考慮效率的動態特性，與真實車輛存在偏差。以綜合效率作為目標能更加全面地反映行駛時的實際情況，從而提升能量管理策略的性能。但綜合效率的計算涉及各個部件的模型，有眾多的變量和復雜的方程，該缺陷限制了效率作為優化目標的應用。如采用傳統方法制定策略，計算負擔重，優化問題求解困難，因此引入強化學習作為優化方法。在強化學習中，智能體與對象的交互產生經驗，通過學習經驗，從中得出最優控制策略，從而避免了求解復雜方程的困難。

本文中分析各關鍵部件的效率建模方法，并在此基礎上進一步完善效率影響因素，得到更加精確的效率模型。之后分析耦合機構的效率隨電功率分流系數的變化情況，進而建立綜合效率計算模型。然后以綜合效率最優作為目標，提出基于強化學習的能量管理策略，并進行仿真驗證。最后搭建試驗臺架，驗證了所提出的效率模型和能量管理策略。

1 混聯式混合動力系統方案

混聯式系統如圖1所示。該系統主要由發動機、電池組和傳動系統3部分組成。傳動系統包括功率耦合機構和前傳動。其中功率耦合機構由2個行星排、2個永磁同步電機A、B和1個定軸齒輪副組成。該傳動系統通過耦合機構可實現兩種動力輸出方式：EVT1模式（分速匯矩式）、EVT2模式（分速匯速式）。

圖1 混聯式系統

EVT1模式：離合器分離，制動器接合，主要用于車輛行駛速度較低、需求轉矩較大時。

EVT2模式：離合器接合，制動器分離，主要用于車輛行駛速度較高、需求轉矩較小時。

2 機電復合傳動系統關鍵部件效率模型研究

2.1 定軸齒輪效率模型

定軸齒輪的功率傳遞效率通常都較高，所以在使用定軸齒輪效率時常采用經驗值。為進一步提高計算精度，將采用理論計算的方法獲得齒輪嚙合效率。

目前定軸齒輪效率計算公式以蘇聯學者庫德略夫公式和日本學者兩角宗晴公式應用最為廣泛。庫氏公式精確性差，比較粗糙；兩角宗晴公式忽略了摩擦力對驅動力矩的影響。基于上述兩種方法，本文中考慮齒廓間摩擦力對驅動力矩的影響，采用更加精確的齒輪效率計算公式。在齒輪傳動過程中，滾動摩擦損失很小，一般忽略不計，只考慮滑動摩擦損失對效率的影響。外嚙合下齒輪效率的精確公式［15］為

式中：z1、z2為齒輪齒數；f為摩擦因數；α'為嚙合角；kε1、kε2和kε為 與ε1、ε2有 關 的 系 數 ，其 中ε1=αa2為兩齒輪的頂圓壓力角，其計算方法由節點位置決定，如表1所示。

表1 kε1、kε2和kε的計算式

2.2 行星機構效率模型

對于行星機構的效率，嚙合功率法使用較多，但須準確確定功率流的方向，在多行星排中使用極不方便，且難以保證精度。因此選擇相對功率法計算行星機構效率，計算效率時假設如下：

（1）只計算和相對運動有關的齒輪嚙合損失，與牽連運動有關的損失忽略不計；

（2）相對運動的齒輪嚙合損失與定軸齒輪傳動相同。

單行星排的效率損失等于它的相對功率Pr經一對外嚙合和一對內嚙合齒輪時的功率損失。若外嚙合效率為ηe，內嚙合效率為ηi，則相對運動效率ηr為

而相對功率Pr為

式中：Ts為太陽輪轉矩；ns為太陽輪轉速；nc為行星架轉速。取P為行星排輸入功率，則行星排效率ηc為

多行星排傳動效率損失等于各排相對功率損失之和，其效率為

式中：η'r、η″r為各行星排的相對運動效率，決定于行星排的嚙合次數和結構；β'、β″為各行星排的相對功率系數。

2.3 帶排損失計算

多片濕式離合器在分離狀態下可簡化為圖2所示的一對摩擦副。摩擦片與對偶鋼片之間充滿了冷卻潤滑油，摩擦片相對于對偶鋼片以角速度ω旋轉。忽略摩擦片上溝槽的影響，并假定對偶鋼片被固定。

圖2 分離狀態下摩擦副幾何模型

在潤滑油流量一定的情況下，相對轉速較低時，由于離心力較小，離合器摩擦片之間始終充滿潤滑油，因此帶排轉矩將隨轉速差的增大而不斷增大。當相對轉速升高時，離心力變大，潤滑油由于受到更大的離心力而不再充滿在整個摩擦片之間，即油膜半徑發生了變化。所以此時須引入等效油膜半徑進行計算，如圖3所示。

圖3 高速下油膜收縮模型

整個濕式多片離合器的帶排轉矩［16］為

式中：n為濕式離合器的摩擦副數；μ為冷卻潤滑油的動力黏度；ω為摩擦片相對于對偶鋼片的角速度；ho為摩擦片與對偶鋼片之間的分離間隙；Re為等效油膜半徑；Ri為摩擦副內徑。其中，等效油膜半徑Re可由式（8）計算求得。

式中：ρ為冷卻潤滑油密度；Q0為冷卻潤滑油流量。

另外，須考慮潤滑油黏度隨溫度的變化，參考Rost給出的基于50℃參考溫度下的黏溫特性方程［17］可得

式中：μ'為通過試驗擬合出的計算系數；μ40為參考溫度為40℃時的潤滑油動力黏度；T為潤滑油的實際工作溫度。

綜上，最終得到考慮溫度因素后的濕式離合器帶排功率損失數學模型為

2.4 動力電池組效率模型研究

本文中采用動力電池組的等效內阻模型進行效率特性分析。為簡化模型，只考慮SOC與電池開路電壓的關系及溫度與電池內阻的關系。通過恒電流充放電試驗，測量并記錄電池內阻隨溫度的變化數據，并通過最小二乘法曲線擬合可得到電池內阻與溫度的關系表達式。郭宏榆等［18］研究發現4階多項式可較精確地反映一般鋰電池單體放電內阻和溫度之間的關系：

由試驗結果，當鋰電池SOC在0.1～0.9范圍內且在特定溫度T0下時，開路端電壓U與SOC之間存在關系如圖4所示。

圖4 鋰電池單體SOC與開路電壓曲線

特定SOC所對應的開路電壓可由實驗數據插值得出。

分析電池等效電阻模型的充放電過程，可得鋰電池充放電效率關于溫度Tb、SOC和充放電功率Pele的關系式為

式中：ηdis為鋰電池放電效率；ηcha為鋰電池充電效率。

2.5 其他效率模型

除上述效率計算模型，發動機與電機的效率采用效率MAP圖插值獲得。軸承、密封、攪油和風阻損失所占的比例很小，可忽略不計。

3 機電復合傳動系統效率影響規律研究

3.1 耦合機構效率變化規律

耦合機構作為混聯傳動系統中重要的組成部分，其效率的變化對整個傳動系統有重大影響，在考慮整個傳動系統前，必須先研究耦合機構的效率。

耦合機構由行星機構和兩電機組成，在進行功率傳遞時，一部分功率經行星機構組成的機械路傳遞，另一部分經兩電機組成的電路傳遞，當兩條路線傳遞的功率不同時，最終的耦合機構效率也不同，所以研究其功率分流特性對耦合效率的計算和優化有重要意義。

首先，要得到不同拓撲結構下電功率分流系數的數學模型。按圖5所示，過程如下：

圖5 復合傳動系統結構圖

令βele=為電池功率比例系數，Pi為耦合機構輸入功率，Pele為電池組輸出功率；當Pele＞0時，電池組放電；Pele＜0時，電池組充電。同時取βA=為電機A功率分流系數，I=為速比。

EVT1模式下，功率流傳遞形式如圖6所示。

圖6 EVT1模式耦合機構功率流（分速匯矩式）

結合功率平衡方程：

式中：PA為電機A功率；PB為電機B功率；ηA為電機A效率；ηB為電機B效率。可得出耦合機構效率ηcoup的計算式為

式中ηM'為雙行星機構效率。

其變化規律如圖7所示。

圖7 EVT1模式耦合機構效率變化規律

從圖7中可以看出，耦合機構效率ηcoup關于電機A的功率分流系數βA呈明顯的非線性關系，且效率隨功率分流系數先增大后減小。當電機功率分流系數在零附近時，效率較高。同時，ηcoup還與電池功率比例系數βele有關，當βele=0、βA=0時，系統不存在電功率流的傳遞，此時耦合機構效率最高，為機械傳動效率。

EVT2模式下，功率流傳遞形式如圖8所示。

圖8 EVT2模式耦合機構功率流（分速匯速式）

結合功率平衡方程，ηcoup的計算式為

其變化規律如圖9所示。

圖9 EVT2模式耦合機構效率變化規律

顯然，與EVT1模式相比，EVT2模式下耦合機構效率ηcoup關于電機功率分流系數βA呈復雜的非線性關系。因每個電機功率分流系數對應兩個行星機構效率，所以，耦合機構效率在每個電池功率比例系數下也對應兩個效率值。且ηcoup關于βA呈先增后減的趨勢。當兩電機功率分流系數在零附近時，耦合機構效率能維持在高效區。

3.2 綜合效率模型

在耦合機構效率的基礎上，考慮到發動機、電池組、前傳動和主減速器的功率損失可得系統綜合功率傳遞效率ηz表達式為

式中：Pi、Po為耦合機構輸入、輸出效率；ηe發動機效率；ηF為前傳動效率；ηT為減速器效率。

4 基于效率優化的能量管理

4.1 能量管理策略的制定

在完成耦合機構效率變化規律的研究和系統綜合效率模型的建立后，以綜合效率最優為目標，進行能量管理策略的制定。

作為最基本的強化學習算法，Q學習因其有效性與簡潔性而被廣泛使用。在本文中，狀態變量S為

式中Pdem為需求功率，kW。

控制變量A為

式中：ne為發動機轉速，r/min；Te為發動機轉矩，N·m。

獎勵函數為

式中：ηz為系統綜合效率；λ＜0，ΔSOC=SOCSOCpre，用于限制電池組SOC的變化范圍。

Rt取為在單個時間步長t的獎勵，為估計長期收益，用回報Gt來表示t時刻后獎勵Rt的累計值，其遞推形式為

式中γ∈(0，1)為折扣因子。

策略b是從狀態到選擇每個動作的可能性的映射。將狀態值值函數vb(s)定義為從狀態s開始并且遵循策略b的期望回報，表示為

式中St為t時刻的狀態。

同時，動作值函數qb(s，a)也定義為從狀態s開始、采取動作a并且遵循策略b的期望回報：

式中At為t時刻的動作。

之后，其遞推形式也可以得出：

式中：st、st+1表示t及t+1時刻的某一特定狀態；at、at+1表示t及t+1時刻的某一特定動作。

將最優動作值函數q*(s，a)定義為在所有策略中的最大動作值函數，其遞推形式可以表述為

如果q*(s，a)已知，則最優策略b*可通過最大化q*(s，a)來獲得。

由于最優動作值函數的真實值難以獲得，采用q*(St，At)的估計值——Q(St，At)來代替。在包括Q學習的時序差分方法中，估計值Q(St，At)與更優估計值Rt+γQ(St+1，At+1)之間的差值用于更新Q(St，At)：

式中α為學習率。

在Q學習算法中，At+1按下式選擇：

因此，Q學習算法中Q(St，At)的更新公式［19］為

表2展示了Q學習算法的偽代碼，其中的一幕即為一個完整的循環工況。在多次嘗試比較性能后，學習率α與折扣因子γ分別取為0.9與0.95。控制步長為1 s。

表2 Q學習算法偽代碼

策略b是關于Q的ε-貪婪，如式（29）所示：

4.2 仿真結果

為證明所提出的能量管理策略的有效性，將其與基于規則的策略進行對比，并采用圖10所示的標準UDDS工況進行驗證。

圖10 測試工況

隨著工況的運行，每次更新時Q值的改變量也逐漸減小。圖11為每個完整工況下Q值的平均差異的變化。當平均差異小于1時，認為算法收斂，則在108次循環后，策略學習結束。

圖11 Q值的平均差異

圖12為兩種策略下SOC的變化軌跡，初始SOC為0.6。相比于基于規則的方法，所提出的策略不僅波動較小，而且能更好地維持結束時的SOC。圖13展示了整個工況中發動機與電池組之間的功率分配。可以看出，基于學習的策略中，發動機功率更加平穩、波動更小。

圖12 SOC軌跡

圖13 功率分配

圖14為兩種策略下的發動機工作點。顯然，相比于基于規則的方法，基于學習的策略中的工作點不僅更加集中，而且更多地位于低燃油消耗區中，從而實現更合理的分布。

表3為兩種策略的仿真結果，其中綜合效率是以傳動系統輸出的總能量除以柴油完全燃燒所釋放的能量計算而出。基于學習的策略相對于基于規則只消耗91.42%油耗，而綜合效率有較大提高。顯然，本文中提出的能量管理策略在實現較好的燃油經濟性的同時也能維持電池組的SOC。

表3 仿真結果

5 試驗驗證

為驗證耦合機構效率模型的正確性和所提出能量管理策略的有效性，搭建機電復合傳動試驗臺，其示意圖如圖15所示。由一臺渦輪增壓柴油發動機、兩臺永磁同步電機、一組動力電池組、電渦流測功機、慣量組、耦合機構傳動箱和相應的控制系統和數據采集系統等組成。

圖15 機電復合傳動系統試驗臺架示意圖

機電復合傳動系統試驗臺架實物圖如圖16所示，系統動力由渦輪增壓柴油發動機和兩個永磁同步電機通過耦合機構輸出，測功機用于模擬路面負載。耦合機構傳動軸上裝有轉速轉矩傳感器，用于實時測量傳動系統的轉速轉矩信息。動力電池與電機控制器之間裝有直流電流傳感器，用于實時測量電池充放電電流，從而估計電池SOC的變化狀態。其主要設備基本參數如表4所示。

表4 機電復合傳動臺架設備參數

圖16 機電復合傳動系統試驗臺架

首先進行耦合效率模型的試驗驗證。在EVT2模式下，根據發動機正常工作下的轉矩范圍，設定加速踏板行程分別為30%、35%、40%、45%、50%和55%，同時功率耦合機構輸出端加載To=180 N?m的負荷。各部件的輸出特性如圖17所示。

圖17 各部件輸出特性試驗結果

在得到以上試驗數據之后，可計算出耦合機構的試驗效率，結果如圖18所示。

圖18 耦合機構試驗效率曲線

根據上文所提出的耦合效率計算模型式（15），可計算出耦合機構效率的理論值，進而計算出理論值與試驗值的差值。同時將傳統效率計算方法作為對比，將定軸齒輪的效率取為定值0.98，采用普通的嚙合功率發計算行星機構的效率，并且采用經驗插值計算帶排損失，其結果如圖19所示。

圖19 耦合機構效率誤差變化曲線

由圖19可以看出，基于本文提出方法的耦合機構計算效率與試驗效率兩者誤差主要控制在0.015以內，而傳統的效率計算方法的誤差普遍在0.03以上。由表5可知，在采用新的效率計算方法后，效率的平均絕對誤差由0.038 9下降到0.010 1，而最大絕對誤差由0.052 2下降到0.017 9。證明了耦合機構效率數學模型的準確性和有效性。

表5 效率計算誤差

表6展示了所提出的能量管理策略仿真與試驗結果的偏差。各部件仿真模型精度與試驗臺架中實際特性存在差距，導致燃油經濟性的實際值與仿真值存在差異。在初始值相同的情況下，最終SOC接近，燃油消耗的偏差維持在10.04%，證明了所提出的能量管理策略的有效性。

表6 燃油消耗試驗結果

6 結論

本文中以一輛混聯式機電復合傳動車輛為研究對象，提出新的效率模型和基于效率最優的能量管理策略。

（1）建立了混聯式混合動力系統各個關鍵部件精確的效率模型。

（2）分析了電功率分流系數對耦合機構效率的影響規律，并建立了綜合效率的計算模型。

（3）提出了以系統效率最優為目標，基于強化學習的能量管理策略，并進行仿真。結果表明，相比于基于規則的方法，能大幅度改善燃油經濟性并更好地維持SOC的穩定。

（4）搭建了試驗臺架，驗證了所提出了效率計算模型的正確性以及能量管理策略的有效性。