基于ADHDP的插電式混合動力汽車能量管理策略

朱佳龍 周曉華 宗琳

摘 要：為降低插電式混合動力汽車（plug-in hybrid electric vehicle，PHEV）燃油消耗量與尾氣排放量，提出了一種基于執行依賴啟發式動態規劃（action dependent heuristic dynamic programming，ADHDP）的能量管理控制策略。針對整車驅動系統具有復雜非線性、不確定性的問題，采用3層BP神經網絡分別設計了ADHDP能量管理控制器的執行網絡和評價網絡，通過ADHDP神經網絡的學習和訓練過程，可最終獲取最優控制量。利用MATLAB/Simulink和ADVISOR平臺，在CYC_UDDS、CYC_NEDC及CYC_WVUSUB 3種循環工況下對ADHDP能量管理控制策略進行聯合仿真驗證，并與經典電輔助能量管理控制策略進行了對比和分析。結果表明：在保證汽車良好駕駛性能的情況下，ADHDP控制策略在3種循環工況下的整車百公里油耗分別下降了19.2%、15.0%和19.5%；尾氣HC、CO和NOx的排放量均大幅度降低；CYC_NEDC工況下的CO下降了47.5%。效果較為顯著，所設計的能量管理控制策略可有效提升整車的燃油經濟性和環保性。

關鍵詞：插電式混合動力汽車（PHEV）；執行依賴啟發式動態規劃（ADHDP）；能量管理策略；燃油經濟性

中圖分類號：U471.23；U469.79 DOI：10.16375/j.cnki.cn45-1395/t.2023.03.014

0 引言

隨著社會經濟的快速發展，石油、天然氣等能源消耗日益加快，積極推進能源利用、綠色環?？沙掷m發展成為當今世界的發展方向。插電式混合動力汽車（plug-in hybrid electric vehicle，PHEV）不僅可在城市道路采用電動模式實現綠色出行，減少污染物排放，而且還具有傳統燃油汽車的特點，當電量不足時可采用發動機驅動，有效避免了汽車能量不足、續航里程短暫等問題。如何協調電機驅動轉矩與發動機轉矩的分配，已成為PHEV能量管理策略研究的熱點之一?；谀：壿嫷哪芰抗芾聿呗院唵斡行?，魯棒性較強。文獻[1]針對純電動汽車電池耗電量過快、續航里程較短等問題，采用基于模糊控制的能量管理策略極大地提升了續航里程，有效減少了電池的耗電量。文獻[2]針對電輔助控制策略出現的發動機工作效率較低、電池過放與過沖等問題，提出一種新的轉矩分配策略，有效提高了發動機工作效率，延長了電池壽命。但基于規則的能量管理策略具有很大的局限性與主觀性，需要豐富的工程和專家經驗，很難實現能量管理全局最優。為實現能量管理的全局優化，基于動態規劃算法的能量管理策略相繼被提出。文獻[3]提出了Plug-In并聯式混合動力汽車的動態規劃優化能量管理策略，顯著提高了Plug-In并聯式混合動力汽車的燃油經濟性。文獻[4]為克服模糊邏輯需要先驗知識的固有缺陷，并精簡算法結構以減少程序代碼運行時間，提出了基于改進動態規劃算法的插電式四驅混合動力汽車能量管理策略，具有良好的控制效果，車速誤差明顯減小，燃油經濟性得到了有效提高。文獻[5]以燃油消耗量最小為目標，提出了采用動態規劃算法設計PHEV的能量管理策略，可將電池荷電狀態保持在設定范圍之內，且節油效果良好。然而，汽車在行駛過程中采用全局優化的能量管理策略過于依賴工況，且計算量較大，極易陷入“維數災”問題，因此，很難直接對汽車進行實時控制。

自適應動態規劃（adaptive dynamic programming，ADP）算法充分利用神經網絡的函數泛化能力和強化學習能力，能有效避免基于動態規劃算法的PHEV能量管理出現的“維數災”問題。文獻[6]針對燃料電池中氫氣能源消耗過多而無法保證續航里程的問題，提出基于執行依賴啟發式動態規劃（action dependent heuristic dynamic programming， ADHDP）算法的能源管理策略，有效實現了限制氫能源消耗過快的目標。文獻[7]針對汽車換擋次數頻繁的問題，提出了一種自適應能源控制策略以實現換擋控制和功率分割，采用枚舉方式設計了換擋命令，并采用ADHDP算法實現發動機與電機之間的功率分配，明顯提升了整車的燃油經濟性。整車燃油經濟性問題實質上是合理協調發動機與電機之間的轉矩分配問題。文獻[8]針對混合動力汽車油耗及排放量較大的問題，采用ADP算法設計能量管理控制器，有效降低了油耗量以及尾氣排放量。文獻[9]提出了一種基于ADHDP算法的并聯PHEV數據驅動能量管理方法，該方法在最優逼近和不確定駕駛條件下的適應性方面取得了較好的性能。PHEV驅動系統較為復雜，且干擾和不確定因素較多，是典型的非線性系統。故本文采用ADHDP算法設計其能量管理控制器，具有可不依賴于復雜被控對象數學模型、自適應能力強的優勢。以油耗量、尾氣排放量最低及電池荷電狀態（state of change，SOC）穩定為目標，對PHEV能量管理控制器進行設計，將所設計的能量管理控制策略在MATLAB/Simulink和ADVISOR平臺進行聯合仿真，并與經典電輔助控制策略進行分析對比，以驗證所提方法的可行性和有效性。

1 PHEV整車模型

單電機雙軸驅動并聯式PHEV通常采用轉矩耦合的動力耦合方式。PHEV驅動系統結構如圖1所示，驅動系統主要包括發動機、離合器、蓄電池、電機和傳動系統等[10]。該車型具有5種工作模式，分別是純電動驅動模式、純發動機驅動模式、混合驅動模式、再生制動模式以及無再生制動模式。

1）當車輛剛開始起動時，車速較慢，整車需求轉矩較小，蓄電池組SOC值較高，此時，車輛離合器斷開，發動機不工作，如圖1所示，能量由蓄電池組提供給電機，經轉矩耦合器后傳向變速器與減速箱直至車輪，車輛主要由電機提供全部驅動力驅動，車輛處于純電動驅動工作模式。

2）當車輛行駛一段時間后，車速加快，整車需求轉矩增大，蓄電池組SOC值偏低時，車輛離合器接合，發動機開始工作，驅動電機關閉，發動機單獨工作，車輛處于純發動機驅動工作模式。

3）當車輛處于加速或者爬坡狀態時，整車需求轉矩較大，此時，車輛離合器接合，發動機與電機同時工作，共同提供整車需求轉矩以驅動車輛行駛，車輛處于混合驅動工作模式。

4）當車輛處于制動且蓄電池組SOC處于最低限值狀態時，車輛離合器斷開，發動機與電機均不工作，制動產生的能量回收至蓄電池組中，以提高SOC值，增強了車輛續航能力，車輛處于再生制動工作模式。

5）當車輛蓄電池組SOC值達到最大限值，車輛有明顯制動需求時，整車不再回收能量，僅進行機械制動，即車輛處于無再生制動工作模式。

PHEV整車模型的重要部件及其仿真參數如表1所示。

2 基于ADHDP的能量管理策略

2.1 ADHDP算法

ADHDP算法結構由評價網絡和執行網絡構成。ADHDP算法的實質是通過求解Bellman方程得到最終的控制量u（[k]）。Bellman方程的數學表達式[11]如下：

J*[X（[k]）]=[minu（k）][{r[X（k），u（k）]+γ J*[X（k+1）]}.] （1）

式中：J *[X（[k]）]為k時刻的最優目標函數值；r[X（k），u（k）]為k時刻的懲罰函數；γ為折扣因子，是用于調節未來代價函數的權重。

ADHDP算法利用神經網絡強大的自適應與自學習能力求解最優控制律。啟發式動態規劃HDP（heuristic dynamic programming，HDP）算法中的模型網絡需要建立特定的系統數學模型，以便更新模型網絡的權值，再利用模型網絡預測下一時刻的狀態量，但同時該模型也引入了不確定的誤差量。而ADHDP則僅由執行網絡與評價網絡構成，整個算法的結構簡單且訓練快速和高效，不需要根據系統的復雜性建立特定的數學模型直接求解最優控制量，可減少不確定誤差對整個控制系統的干擾。

ADHDP算法的原理結構[12]如圖2所示。Z -1為延遲因子，狀態量X（k）經執行網絡計算后輸出控制量u（k），然后將狀態量X（k）與控制量u（k）作為評價網絡的輸入，經計算后輸出性能指標函數J（k）。由γ·J（k）、J（k-1）與U（k）三者之間的差值定義評價網絡誤差反饋量，從而進行評價網絡權值的調整與更新。類似地，將當前k時刻的性能指標函數作為執行網絡誤差反饋量以更新執行網絡的權值，并計算執行網絡的最優控制量u（k）。

2.2 ADHDP控制器設計

PHEV驅動系統是一個非線性時變系統[13]，動力源在運行過程中影響因素較多。以PHEV發動機為主要的動力源，應盡可能保證發動機工作在高效區域，并通過合理協調電機驅動，可有效降低油耗與排放量。本文采用ADHDP算法設計能量管理控制器并實現2個動力源轉矩的合理分配，以便于汽車運行在整體性能最優的工作模式上。基于ADHDP算法的能量管理策略如圖3所示。

ADHDP控制器為三輸入單輸出結構，且2個網絡均采用3層BP神經網絡進行設計。2個BP神經網絡隱含層和輸出層的神經元激活函數均分別采用求和函數和sigmoid函數，神經網絡的權值更新均采用梯度下降法。ADHDP控制器的3個輸入信號分別為：整車需求轉矩Treq與當前轉速下發動機最大效率輸出轉矩Teff的比值B、蓄電池組SOC值（Soc）以及整車需求速度Vr。ADHDP控制器的輸出為發動機輸出轉矩Te。整車需求轉矩Treq與發動機輸出轉矩Te之間的差值為電機的輸出轉矩Tm。

3 控制策略仿真與分析

利用MATLAB/Simulink平臺編寫ADHDP算法程序并建立控制器模塊，然后嵌套到ADVISOR汽車仿真軟件進行聯合仿真。選取CYC_ NEDC、CYC_UDDS以及CYC_WVUSUB 3種循環工況對ADHDP控制策略和經典電輔助策略進行仿真對比驗證。經反復調試可得到ADHDP的控制器參數如表2所示。所建立的ADVISOR整車仿真模型[15]如圖6所示。

3.1 整車車速跟蹤與蓄電池組SOC變化曲線分析

采用CYC_NEDC、CYC_UDDS與CYC_WV-USUB 3種循環工況對ADHDP控制策略進行仿真驗證。3種循環工況下ADHDP控制策略的傳動比曲線如圖7所示。

車輛在運行過程中的換擋不頻繁，換擋次數在合理的范圍內，可滿足駕駛舒適性的要求。

3種循環工況下ADHDP控制策略整車車速曲線如圖8所示。

整車實際車速與整車需求車速基本吻合，實際車速基本能跟隨需求車速，兩者間誤差較小，采用ADHDP算法設計的能量管理控制器可滿足整車行駛控制的基本要求。

3種循環工況下ADHDP和電輔助控制策略的蓄電池組SOC對比曲線如圖9所示。

由圖9可知，在CYC_NEDC循環工況下，經3個循環周期后，2種控制策略的蓄電池組SOC分別由初始值0.700下降至0.612和0.530（圖9（a））。在CYC_UDDS循環工況下，經3個循環周期后，2種控制策略的蓄電池組SOC分別由初始值0.700下降至0.614和0.553（圖9（b））。在CYC_WVUSUB循環工況下，經3個循環周期后，2種控制策略的蓄電池組SOC分別由初始值0.700下降至0.601和0.525（圖9（c））。在第一個循環周期內，整車主要由電機提供驅動力，電量消耗較大，SOC下降較快，ADHDP控制策略在3種循環工況下的蓄電池組SOC由初始值0.700下降至0.583、0.568、0.565，電輔助控制策略的蓄電池組SOC下降稍慢。在第二個循環周期內，發動機參與驅動，整車耗油有所增加，由于減速制動時可回收部分制動能量，SOC下降變得稍慢。ADHDP控制策略在3種循環工況下的蓄電池組SOC分別由0.583下降至0.554、由0.568下降至0.559、由0.565下降至0.545，在CYC_NEDC和CYC_UDDS循環工況下電輔助控制策略蓄電池組SOC下降速率比ADHDP稍快，而在CYC_WVUSUB循環工況下電輔助控制策略蓄電池組SOC下降速率比ADHDP慢。在第三個循環周期內，ADHDP控制策略在3種循環工況下的蓄電池組SOC分別由0.554下降為0.530、由0.559下降為0.553、由0.545下降至0.525。從整體上看，電輔助控制策略蓄電池組SOC變化與第二周期類似。由于整車在行駛過程中減速制動產生的可回收制動能量有限，2種控制策略蓄電池組SOC整體呈現下降趨勢，當車輛運行3個循環周期后，ADHDP控制策略的蓄電池組SOC維持在0.525以上浮動，保證了電池高效的充放電效率，增強了電池的續航能力。

3.2 整車燃油經濟性和排放性能對比分析

為進一步體現所設計ADHDP能量管理控制策略的優越性，將ADHDP控制策略和電輔助控制策略在CYC_NEDC、CYC_UDDS和CYC_WVUSUB循環工況下3個循環周期的百公里燃油消耗量與尾氣排放量進行對比分析，2種控制策略的整車燃油消耗量和排放量如表3所示。

由表3可知，電輔助控制策略在3種循環工況下的整車百公里燃油消耗量分別為7.8、8.0和8.7 L，而ADHDP控制策略在3種循環工況下的整車百公里燃油消耗量分別為6.3、6.8和7.0 L。與電輔助控制策略相比，ADHDP控制策略的車輛百公里燃油消耗量分別降低了19.2%、15.0%和19.5%。從3種循環工況的排放性能看，與電輔助控制策略相比，ADHDP控制策略的尾氣有害物HC、CO和NOx排放量明顯減少。ADHDP控制策略在CYC_NEDC循環工況下的尾氣有害物HC、CO和NOx分別下降了6.5%、47.5%和9.6%；CYC_UDDS循環工況下的尾氣有害物HC、CO和NOx分別下降了12.0%、33.3%和22.0%；CYC_WVUSUB循環工況下的尾氣有害物HC、CO和NOx分別下降了14.2%、31.6%和24.6%。因此，與電輔助控制策略相比，ADHDP控制策略在3種循環工況下的燃油消耗量和尾氣排放量均明顯減少，表明了所設計的能量管理策略的經濟性和有效性。

3.3 發動機工作點對比分析

為進一步說明所設計ADHDP能量管理控制策略的有效性，將2種能量管理控制策略在CYC_NEDC循環工況下的發動機工作點分布情況進行對比與分析。2種能量管理控制策略在CYC_NEDC循環工況下的發動機工作點分布如圖10所示。

由圖10（a）可知，電輔助控制策略在低、中、高轉矩區域均分布有發動機工作點，但大部分分布在高轉矩臨界區域和低轉矩區域，而轉矩高效區域分布較少。經計算，電輔助控制策略的發動機平均工作效率為24.86%。由圖10（b）可知，ADHDP控制策略的發動機工作點大部分集中分布在中、高轉矩區域內，且有一部分發動機工作點集中分布在轉矩高效區域，而低轉矩、中高轉矩區域的發動機工作點分布較為均勻。經計算，ADHDP控制策略的發動機平均工作效率為26.45%，與電輔助控制策略相比，提高了6.4%。ADHDP控制策略可更好地保證發動機工作在高效區域。

4 結論

考慮到PHEV能量管理系統存在非線性、復雜性、強干擾性和不確定因素的影響，以整車需求轉矩Treq與當前轉速下發動機最大效率輸出轉矩Teff的比值、蓄電池組SOC以及整車需求速度Vr為控制器的輸入信號，以發動機輸出轉矩為輸出的控制量，采用3層BP神經網絡設計了一種三輸入單輸出的ADHDP能量管理控制器。在CYC_UDDS、CYC_NEDC和CYC_WVUSUB循環工況下對ADHDP能量管理控制策略和電輔助控制策略進行了仿真對比驗證。對CYC_NEDC循環工況的ADHDP傳動比、ADHDP整車車速、2種策略的蓄電池組SOC和發動機工作點分布情況進行了詳細分析，并詳細對比和分析了2種能量管理控制策略在3種循環工況下的燃油消耗量與尾氣排放量。結果表明，ADHDP能量管理控制策略利用其強大的非線性逼近能力和自學習能力，可較好地實現發動機和電機之間的轉矩協調分配，提升了燃油利用率，降低了尾氣排放量，在一定程度上保證了整車需求轉矩的合理需求，實現了能量管理系統效率最大化的控制目標。由于本文只在仿真軟件中進行仿真驗證，缺乏一定工程實踐性，今后可考慮在HIL實驗平臺進一步驗證控制策略的可行性和有效性。

參考文獻

[1] 王琦，劉勝永，鄭致飛. 基于模糊控制的純電動汽車能量管理策略研究[J].廣西科技大學學報，2021，32（2）：83-88，106.

[2] 孫家文，劉勝永，王建超，等. 基于轉矩分配的混合動力汽車控制策略的優化研究[J].廣西科技大學學報，2017，28（1）：29-34.

[3] 崔納新，步剛，吳劍，等. Plug-In并聯式混合動力汽車實時優化能量管理策略[J].電工技術學報，2011，26（11）：155-160.

[4] 錢立軍，邱利宏，辛付龍，等. 插電式四驅混合動力汽車能量管理控制策略及其優化[J].農業工程學報，2015，31（13）：68-76.

[5] 任崇嶺，劉慧軍. 基于動態規劃插電式并聯混合動力汽車能量管理控制策略的研究[J].合肥工業大學學報（自然科學版），2021，44（9）：1157-1164.

[6] FU Z C，CHEN Q H，ZHANG L Y，et al. Research on ADHDP energy management strategy for fuel cell hybrid power system[J].International Journal of Hydrogen Energy，2021，46（57）：29432-29442.

[7] LI G Q，GORGES D. Ecological adaptive cruise control and energy management strategy for hybrid electric vehicles based on heuristic dynamic programming[J].IEEE Transactions on Intelligent Transportion Systems，2019，20（9）：3526-3535.

[8] WANG Y Q，JIAO X H. Dual heuristic dynamic programming based energy management control for hybrid electric vehicles[J]. Energies，2022，15（9）：1-19.

[9] KONG Y， XU N， LIU Q， et al. A data-driven energy management method for parallel PHEVs based on action dependent heuristic dynamic programming（ADHDP）model[J]. Energy，2023，265：126306.

[10] 谷貴志，趙咪，樊然然. 基于模糊控制的PHEV轉矩協調控制策略研究[J].農業裝備與車輛工程，2021，59（3）：103-107.

[11] 袁君，章云，張桂東，等. 基于自適應動態規劃的能量管理系統研究綜述[J].廣東工業大學學報，2022，39（5）：21-28.

[12] 馮小峰，劉明波. 基于執行依賴啟發式動態規劃的緊急電壓控制[J].華南理工大學學報（自然科學版），2014，42（4）：19-25，58.

[13] 武小蘭，白志峰，史小輝，等. PHEV模糊能量管理策略優化設計[J].系統仿真學報，2018，30（1）：242-248.

[14] 杜常清，甘雯雯，張佩. 基于動態規劃不同優化目標的HEV轉矩分配策略對比研究[J].計算機應用研究，2017，34（5）：1308-1310，1336.

[15] 曾小華，宮維鈞. ADVISOR 2002電動汽車仿真與再開發應用[M].2版.北京：機械工業出版社，2017.

Energy management strategy of plug-in hybrid electric vehicle

based on ADHDP

ZHU Jialong1， ZHOU Xiaohua*1， 2， ZONG Lin1

（1.School of Automation， Guangxi University of Science and Technology， Liuzhou 545616， China;

2. Guangxi Key Laboratory of Automobile Component and Vehicle Technology（Guangxi University of Science and Technology）， Liuzhou 545616， China）

Abstract： Taking the plug-in hybrid electric vehicle （PHEV） as the research object， in order to reduce fuel consumption and exhaust emissions， an energy management control strategy based on action dependent heuristic dynamic programming （ADHDP） is proposed. In view of the problem that the whole vehicle drive system has complex nonlinearity and uncertainty， the three-layer BP neural network is used to design the action network and critic network of the ADHDP energy management controller， and the optimal control quantity can be finally obtained through the learning and training process of the ADHDP neural network. Using MATLAB/Simulink and ADVISOR platform， the ADHDP energy management control strategy is jointly simulated and verified under three cyclic conditions， namely CYC_UDDS， CYC_NEDC and CYC_WVUSUB， and compared with the classical electric auxiliary energy management control strategy. The results show that the ADHDP control strategy under three cycle conditions with good driving performance can reduce the fuel consumption per 100 km of the whole vehicle by 19.2%， 15.0% and 19.5% respectively. The exhaust emissions of HC， CO and NOx can be reduced significantly， and the CO in CYC_NEDC condition can be reduced by 47.5%， which is a significant effect. The designed energy management control strategy can effectively improve the fuel economy and environmental protection of the whole vehicle.

Key words： plug-in hybrid electric vehicle （PHEV）; action dependent heuristic dynamic programming （ADHDP）; energy management strategy; fuel economy

（責任編輯：羅小芬）