基于智能體理論的橫向互聯空氣懸架控制研究*

李仲興，管曉星，江 洪

（1.江蘇大學汽車與交通工程學院，鎮江 212013； 2.江蘇大學機械工程學院，鎮江 212013）

前言

空氣懸架以空氣彈簧作為彈性元件，因其優良的性能在車輛領域得到了廣泛的運用。互聯空氣懸架作為空氣懸架的衍生結構，由Higginbotham于1961年提出［1］。Friendrich等建立了互聯空氣懸架數學模型并通過臺架試驗驗證其準確性［2］；Dvais通過試驗得出重型貨車通過增大縱向互聯管路內徑能夠有效減小車軸對底盤施加的動載荷，并提出懸架力相關度系數分析和T-test試驗兩種關于懸架動載荷分配的分析與評價體系，進一步論證了縱向互聯結構的均載作用［3-4］；崔振建立橫向互聯空氣懸架整車模型并搭建整車臺架研究系統靜動態特性［5］；錢寬對不同互聯形式下懸架的振動特性和整車性能進行了仿真與試驗研究［6］；琚龍玉提出了仿天棚互聯狀態控制策略，研究表明該策略在提升懸架隔振和消扭能力的同時保證了車輛的操縱穩定性［7］。

在現代控制系統中，人們對邏輯問題和決策問題越來越重視，因此對具有自治性和學習性的智能體技術的研究日益增多。慎思型智能體的代表BDI（belief-desire-intention）是一種較為成熟的模型，學術界普遍認為該模型是一種方便靈活、能夠有效適應復雜動態環境的智能體結構［8］。Bratman在對理性與意圖兩者之間的關系進行哲學分析后提出了BDI模型［9］。Rao和 Georgeff提出了一個形式化理論和抽象BDI解釋器，將BDI模型引入軟件智能體［10］。傳統的BDI模型存在一定的局限性，例如不存在內部的學習結構、不能處理不確定性下的決策等。因此，國內外學者結合研究需求，適當增加或者修改相應的概念，得到合適的BDI模型用于自身研究。Farias建立了模糊感知的BDI模型解決信息不完全環境下的決策問題［11］。Dominguez等利用BDI智能體系統解決無人機在空中移動的人機協作問題［12］。劉岳鵬基于BDI模型對空中仿真系統的管制員進行建模，提出并設計了管制員學習行為［13］。

從目前的研究情況來看，學者們對互聯空氣懸架的研究多集中在特性研究方面，對互聯空氣懸架的控制研究較少。為更加充分發揮橫向互聯空氣懸架的優勢，將智能體技術引入其互聯控制研究中。本文中首先建立橫向互聯空氣懸架整車模型并通過試驗驗證其準確性。在此基礎上構建橫向互聯空氣懸架互聯狀態控制智能體系統，其中具有自學習能力的仿天棚互聯狀態控制智能體是該系統的關鍵組成部分，它以仿天棚互聯狀態控制策略中關鍵參數滯回區間為控制對象，輸出適合于當前環境狀態的最優滯回區間，能夠提高仿天棚互聯狀態控制策略對行車過程中動態環境的適應能力，充分發揮該策略的控制效果，使車輛在行駛過程中獲得良好的整車綜合性能。

1 橫向互聯空氣懸架整車7自由度模型及試驗驗證

1.1 整車動力學模型

根據研究需求，對四輪車輛物理結構進行適當簡化，建立包括車身垂向、側傾、俯仰運動和4個車輪垂向振動的整車7自由度模型，簡化后的橫向互聯空氣懸架整車振動模型如圖1所示。

圖1 橫向互聯空氣懸架整車模型

圖中：Mb為車身質量；Zcg為簧上質量質心的垂向位移；Mt為輪胎質量；Zti（i＝1，2，3，4）為 4個簧下質量質心的垂向位移；lf，lr分別為前、后軸到質心的距離；Kt為輪胎剛度；qi（i＝1，2，3，4）為路面施加于 4個簧下質量的垂向激勵；Ir為車身繞側傾軸線（X軸）的轉動慣量；θ為車身側傾角，以車身右傾為正；Ip為車身繞俯仰軸線（Y軸）的轉動慣量；φ為車身俯仰角，以車身前傾為正；Bf為前軸輪距；Br為后軸輪距。

其動力學方程為

其中

式中：Fi（i＝1，2，3，4分別對應前左、前右、后左、后右4個懸架位置）為4個懸架空氣彈簧與減振器的合力；pa為大氣壓力；Aei（i＝1，2，3，4）為 4個空氣彈簧有效承載面積；c為減振器阻尼；fdi（i＝1，2，3，4）為4個懸架動行程。

1.2 橫向互聯空氣彈簧模型

將空氣彈簧視為開口絕熱系統，其氣體運動方程為

式中：const為常數；pi（i＝1，2，3，4）為 4個空氣彈簧內氣體壓力；Vi（i＝1，2，3，4）為 4個空氣彈簧氣室容積；mi（i＝1，2，3，4）為 4個空氣彈簧中的氣體質量；κ為絕熱指數，對于空氣，其值為1.4。

考慮互聯管路的節流效應，將互聯管路的節流效應等效為節流孔，其質量流量可表示為

式中：pup為上游氣體壓力；pdn為下游氣體壓力；Tup為上游氣體溫度；At為有效通流面積。

考慮互聯管路沿程損失與時滯效應，互聯管路不同位置處氣體質量流量隨時間變化的函數可表示為

式中：L為管路長度；pdn為管路末端氣壓；Tdn為管路末端溫度；c為聲速；Rt為連接管路內壁阻力系數；R為氣體常數，對于空氣，R＝287 N·m／（kg·K）。

1.3 仿真分析

在MATLAB／Simulink環境下建立7自由度橫向互聯空氣懸架整車仿真模型，對車輛前左車輪施加階躍激勵，加速度響應如圖2所示。對車輛施加側向加速度，車身側傾角變化如圖3所示。

從圖2可以看出，橫向互聯空氣懸架能夠更快衰減簧上質量加速度，提高行駛平順性。從圖3可以看出，轉彎時空氣懸架互聯會降低車輛的操縱穩定性。因此進行互聯控制研究有其必要性。

1.4 模型驗證

圖2 前左簧上質量加速度響應

圖3 車身側傾角隨側向加速度的變化

為驗證所建立的模型的準確性，基于MTS-320 4通道液壓伺服激振試驗臺，搭建橫向互聯空氣懸架整車試驗臺架，如圖4所示。對車輛前左輪施加振幅為15 mm的正弦掃頻激勵，激振頻率為0.75～7.25 Hz，每秒提升0.025 Hz，并將試驗結果與仿真結果進行對比，如圖5所示。

圖4 橫向互聯空氣懸架整車試驗平臺

對四輪施加激勵，模擬車輛以70 km／h的車速行駛于路面不平度系數為256×10-6m3的道路，試驗時間為300 s，并將試驗結果與仿真結果進行對比，如表1和表2所示。

由圖5和表1、表2可知，仿真結果與試驗結果吻合度較高，證明所建立模型準確可靠，可在此模型的基礎上進行互聯狀態控制智能體系統的研究。

圖5 前左簧上質量加速度均方根值隨激勵頻率的變化

表1 非互聯狀態下簧上質量加速度均方根值

表2 互聯狀態下簧上質量加速度均方根值

2 基于BDI模型的仿天棚互聯狀態控制智能體系統構建

2.1 仿天棚互聯狀態控制策略原理及實現

橫向互聯空氣懸架是在傳統空氣懸架的基礎上，利用互聯管路將同軸左右兩個空氣彈簧連通，實現左右空氣彈簧中氣體自由交換的一種懸架形式。橫向互聯空氣懸架能提升車輛隔振、消扭能力，改善輪胎接地性，提升行駛平順性，但是在高速轉向時會加劇車身的側傾，因此需要制定合理的互聯狀態控制策略，通過互聯管路中電磁閥對互聯狀態進行控制，保證車輛的綜合性能。

文獻［7］中提出了仿天棚互聯狀態控制策略，該策略原理為：當簧上質量側傾方向與其受到的總彈性回復力偶矩方向一致時互聯狀態開啟，從而減小簧上質量側傾運動的推力矩；當簧上質量側傾方向與其受到的總彈性回復力偶矩方向相反時互聯狀態關閉，從而增大簧上質量側傾運動的阻力矩。該策略監測參數為簧上質量側傾角θ和簧下質量側傾角θt，其中θt的定義為同軸左右簧下質量質心連線與水平面所呈夾角，如圖6所示。

圖6 仿天棚互聯狀態控制原理示意圖

應用于互聯狀態僅有“開”、“閉”兩種選擇的橫向互聯空氣懸架時，仿天棚互聯狀態控制規則退化為

式中：kroll＝krollmax，代表互聯狀態“關閉”；kroll＝krollmin，代表互聯狀態“開啟”。

在仿真模型中，互聯狀態的開閉是通過改變互聯管路的有效面積At來實現的。式（6）仿天棚控制規則在模型中變形為

式中：At-1為上一時刻的互聯管路有效通流面積；δmin為滯回區間下邊界；δmax為滯回區間上邊界。

滯回區間對車輛行駛時的綜合性能有著顯著的影響，針對不同的行駛工況設置不同滯回區間，能夠充分發揮仿天棚互聯狀態控制策略的優勢。

2.2 橫向互聯空氣懸架互聯狀態控制智能體系統結構

基于智能體理論建立仿天棚互聯狀態控制智能體系統，包括仿天棚互聯狀態控制智能體、傳感器信息采集模塊和互聯狀態控制模塊，如圖7所示。

圖7 互聯狀態控制智能體系統

信念表示智能體對于環境的認知。仿天棚互聯狀態智能體感知環境狀態信息，經過信念產生器生成行駛平順性評價指標和操縱穩定性評價指標，以這兩項評價指標作為自身信念并存入信念庫中。

愿望表示智能體希望自身達到或者保持的狀態。仿天棚互聯狀態控制智能體根據行駛平順性指標和操縱穩定性指標建立綜合評價指標，其愿望即為使車輛在行駛中達到更好的綜合性能。

強化學習是智能體從環境狀態到行為映射的學習，以使數值回報達到最大［14］。采用強化學習機制的智能體自身帶有確定的動作集，感知環境狀態，根據動作選擇機制執行一個動作并做出評價，如圖8所示。經過大量訓練，最終能得到一套狀態—動作映射關系。仿天棚互聯狀態控制智能體的學習問題可最終歸結為“探索 利用”（exploration-exploitation）問題。一方面，仿天棚互聯狀態控制智能體根據強化學習算法在動作集中選擇目前為止回報最高的動作，稱之為利用；另一方面，這個目前為止回報最高的動作不一定是最優動作，還需選擇可能回報更高的動作，稱之為探索。其關鍵是保持探索和利用的平衡，在有限的選擇中使得仿天棚互聯狀態控制智能體的收益最大化。

意圖表示智能體在愿望中選取的當前最需要或最適合完成的一個，即智能體下一時刻執行的動作。對于仿天棚互聯狀態智能體而言，其意圖由學習模塊和愿望模塊共同決定。

2.3 橫向互聯空氣懸架互聯狀態控制智能體系統的實現

圖8 強化學習

在實際建模過程中，仿天棚互聯狀態控制智能體從傳感器信息采集模塊中感知環境狀態信息至信念產生器，包括 4個簧下質量加速度 ati（i＝1，2，3，4）、車速 v、車身側傾角 θ、車身側向加速度 ays、車身前左簧上質量3個方向加速度ax，ay，az。智能體通過車速v、路面不平度Gq（n0）和車身側向加速度ays對車輛所處環境進行辨識，其中路面不平度Gq（n0）可以由簧下質量加速度信息和車速信息處理后獲得［15］。由于以上為連續變量，需將其進行離散化，綜合考慮計算量與劃分精度等，v離散化為F（F＝9）種狀態，ays離散化為 G（G＝4）種狀態，Gq（n0）離散化為H（H＝8）種狀態，由此建立行駛平順性信念矩陣RCbel、操縱穩定性信念矩陣HSbel和綜合評價指標矩陣Zdes。

參考 GB／T4971—2009《汽車平順性試驗方法》，選取車身前左簧上質量x，y，z 3個方向的總加權加速度均方根值aw作為行駛平順性評價指標：

式中 axw，ayw，azw分別為 x，y，z方向加權加速度均方根值。

考慮實際行車過程中的可實施性，選取側傾因子R作為操縱穩定性評價指標［16］：

式中：m為總質量；mb為簧上質量；B為輪距；hR為側傾中心的高度；hs為車身質心到側傾中心的距離；ays為車身側向加速度；θ為車身側傾角。

信念產生器感知環境狀態信息生成新的行駛平順性信念aw_new和新的操縱穩定性信念Rnew，并進行信念修正：

式中：aw_i為修正后的行駛平順性信念；aw_i-1為RCbel矩陣中相應環境狀態下的行駛平順性信念；Ri為修正后的操縱穩定性信念；Ri-1為HSbel矩陣中相應環境狀態下的操縱穩定性信念；p為信念修正的權重系數，p∈［0，1］。

智能體將修正后的信念儲存至信念庫RCbel矩陣和HSbel矩陣對應坐標下，該坐標由當前車速、側向加速度和路面不平度所處狀態f，g和h決定。

愿望產生器利用信念庫中的信念進行推理行為，將信念矩陣中同一環境狀態坐標下的行駛平順性信念和操縱穩定性信念進行歸一化，消除行駛平順性信念和操縱穩定性信念之間的量綱影響，隨后建立綜合評價指標并存入Zdes矩陣中作為強化學習的回報：

式中：J為綜合評價指標；JRC為歸一化后的行駛平順性信念；JHS為歸一化后的操縱穩定性信念；ω為權重系數，ω∈［0，1］。

湯普森抽樣算法是Thompson于1933年提出的基于貝葉斯主義后驗可信區間的隨機算法，又稱隨機概率配對算法［17-18］。與UCB算法、MOSS算法相比，湯普森抽樣算法具有更好的經驗效果，模擬試驗中其后悔最低［19］。仿天棚互聯狀態控制智能體需要在實際行車過程中進行在線學習，因此選擇學習過程穩健的湯普森抽樣算法作為其強化學習算法。

經典湯普森采樣算法中假設回報為均勻分布，但在實際問題中，回報的分布不盡相同，若直接采用服從均勻分布的回報則具有一定的局限性。利用仿天棚互聯狀態控制智能體仿真模型，觀察在不同環境狀態下智能體信念庫中行駛平順性評價指標aw和操縱穩定性評價指標R所服從的概率分布，部分仿真結果如圖9～圖11所示。圖9為C級路面直線行駛時評價指標分布隨速度變化曲線，圖10為50 km／h直線行駛時評價指標分布隨路面等級變化曲線，圖11為B級路面50 km／h行駛時評價指標分布隨側向加速度變化曲線。

圖9 評價指標分布隨速度變化

圖10 評價指標分布隨路面等級變化

圖11 評價指標分布隨側向加速度變化

由圖9～圖11可知，隨著車速、路面和側向加速度的變化，評價指標基本服從高斯分布，因此仿天棚互聯狀態控制智能體最終采用高斯-湯普森抽樣算法。

采用高斯湯普森抽樣算法的仿天棚互聯狀態控制智能體抽樣過程如圖12所示。該算法利用智能體感知的離散化環境狀態信息，將當前車速、路面、側向加速度坐標下全部滯回區間進行抽樣，選擇其中回報最高的滯回區間輸出至意圖庫作為本次執行的動作。最后由意圖庫輸出至互聯狀態控制模塊，改變互聯狀態控制模塊中的仿天棚互聯狀態控制策略的滯回區間。

圖12 仿天棚互聯狀態控制智能體抽樣過程

3 仿天棚互聯狀態控制智能體系統控制效果分析

3.1 單一行駛工況下系統控制效果

設計單一行駛工況如表3所示。考慮到計算量與計算精度，仿真時間設為 100 s，仿真步長為0.001 s。

表3 行駛工況

為保證仿真曲線清晰，圖13～圖20展示前20 s變化情況。其中，“平順性改善率”的計算方法為“（非互聯狀態下的aw值-智能體控制下的aw值）／（非互聯狀態下的aw值-互聯狀態下的 aw值）”；“操穩性改善率”的計算方法為“（互聯狀態下的R值-智能體控制下的R值）／（互聯狀態下的R值-非互聯狀態下的R值）”。

圖13 行駛工況1下評價指標的變化

圖14 行駛工況2下評價指標的變化

圖15 行駛工況3下評價指標的變化

圖16 行駛工況4下評價指標的變化

從圖中可以看出，互聯狀態控制智能體系統在不同行駛工況的表現有所不同。當車輛為直線行駛時，智能體控制下車輛行駛平順性優于非互聯狀態下，在行駛工況1和行駛工況6時，行駛平順性甚至接近互聯狀態，且操縱穩定性絕大多數工況下接近甚至優于非互聯狀態。當車輛為轉向行駛時，智能體系統控制下車輛犧牲部分行駛平順性來獲得更好的操縱穩定性，且隨著側向加速度的增大，行駛平順性的犧牲也相應增加，車輛性能接近非互聯懸架車輛，提高車輛行駛安全性。

圖17 行駛工況5下評價指標的變化

圖18 行駛工況6下評價指標的變化

圖19 行駛工況7下評價指標的變化

3.2 混合行駛工況下系統控制效果

圖20 行駛工況8下評價指標的變化

為進一步驗證橫向互聯空氣懸架互聯狀態控制智能體系統的控制效果，在混合行駛工況下進行仿真，對比智能體系統控制下與互聯狀態、非互聯狀態下車輛的性能指標，圖21所示為混合工況。

圖21 混合工況示意圖

根據表4和表5可知，在混合工況下，與傳統的非互聯空氣懸架相比，智能體控制下的橫向互聯空氣懸架的平順性改善了54.9%；與互聯空氣懸架相比，智能體控制下的橫向互聯空氣懸架的操穩性改善了85.2%。結果表明：仿天棚互聯狀態控制智能體系統能夠權衡車輛的行駛平順性和操縱穩定性，在保證行駛平順性的同時，獲得良好的操縱穩定性。

表4 混合工況下平順性評價指標a w值

表5 混合工況下操縱穩定性評價指標R值

4 結論

基于智能體理論，設計了橫向互聯空氣懸架互聯狀態控制智能體系統。該系統能夠通過感知外界環境信息動態調整仿天棚互聯狀態控制策略中的滯回區間。

通過在混合工況下仿真，驗證了橫向互聯空氣懸架互聯狀態控制智能體系統的控制效果。與傳統非互聯懸架車輛相比，該系統控制下的車輛前左簧上質量加權加速度均方根值降低了54.9%；與互聯懸架車輛相比，車輛側傾因子降低了85.2%，車輛在行駛過程中的綜合性能得到了保證。

下一步考慮基于智能體理論對橫向互聯空氣懸架其他可控部件進行智能體系統建模，并通過協同控制策略進一步建立橫向互聯空氣懸架多智能體系統。