基于模糊收斂和模仿強化學習的自動駕駛橫向控制方法

【摘要】針對自動駕駛車輛各橫向控制因素存在強耦合性，依賴理想模型的控制方法難以實現完全解耦且難以從仿真環境遷移到實際車輛，以及強化學習方法在自動駕駛橫向控制中收斂速度慢的問題，利用模糊推理器和模仿強化學習在車輛橫向控制中的共性，以模糊推理器作為模仿強化學習初始化條件，并進行學習過程指導，從而實現強化學習過程的快速收斂。利用MATLAB/Carla仿真以及實車試驗對該控制方法進行了驗證，結果表明，該方法在不依賴理想數學模型、不對模糊推理器進行深度優化的基礎上，實現了模仿強化學習迭代次數的大幅減少，在500次的全路徑迭代過程中完成了更優的車輛橫向控制，在仿真和現實環境中均可獲得很好的控制效果。

主題詞：自動駕駛 橫向控制 模仿學習 強化學習 模糊推理

中圖分類號：U471.1 " 文獻標志碼：A " DOI： 10.19620/j.cnki.1000-3703.20230009

A Lateral Control Method of Autonomous Driving Based on Fuzzy Convergence and Imitative Reinforcement Learning

Zheng Chuan， Du Yu， Liu Zijian

（Beijing Key Laboratory of Information Service Engineering， Beijing Union University， Beijing 100101）

【Abstract】In view of the strong coupling of each control factor in the lateral control of autonomous vehicles， it is difficult for the control method relying on the ideal model to completely decouple and migrate from the simulation environment to the actual vehicle， and the problem that the convergence speed of the reinforcement learning method in the lateral control of autonomous vehicles is not ideal， the fuzzy inference machine and the similarity of the simulation reinforcement learning in the lateral control factors of vehicles are used to combine the two. A fuzzy inference machine is used as the initialization condition for simulated reinforcement learning， and provide guidance for the learning process， thus achieving rapid convergence of the learning process. The MATLAB/Carla simulation and vehicle test are applied to verify the control method. The results show that the method can significantly reduce the number of simulation reinforcement learning iterations， achieve better vehicle lateral control performance in 500 full path iterations， and achieve good control effect in both simulation and real environment on the basis of not relying on the ideal mathematical model and not having to carry out in-depth optimization of the fuzzy inference device.

Key words： Autonomous driving， Lateral control， Imitative learning， Reinforcement learning， Fuzzy inference

【引用格式】 鄭川， 杜煜， 劉子健. 基于模糊收斂和模仿強化學習的自動駕駛橫向控制方法[J]. 汽車技術， 2024（7）： 29-36.

ZHENG C， DU Y， LIU Z J. A Lateral Control Method of Autonomous Driving Based on Fuzzy Convergence and Imitative Reinforcement Learning[J]. Automobile Technology， 2024（7）： 29-36.

1 前言

為確保自動駕駛車輛在路徑規劃[1]的基礎上實現精準、安全與穩定的橫向控制，研究人員根據自動駕駛汽車的橫向運動模型[2-4]提出了多種橫向控制方法。文獻[5]基于合適的預瞄距離，采用純跟蹤（Pure Pursuit）算法對斯坦利（Stanley）算法進行改進，提出了一種新的融合控制算法。文獻[6]提出了一種基于無模型自適應控制的無人駕駛汽車橫向控制方案。文獻[7]、文獻[8]設計了基于強化學習的無人駕駛車輛橫向控制策略。文獻[9]將模型預測控制（Model Predictive Control，MPC）算法和車輛動力學模型相結合并通過仿真驗證了MPC算法在車輛橫向控制上的準確性和可行性。文獻[10]在車輛動力學模型的基礎上設計了有前饋補償的線性二次型調節器（Linear Quadratic Regulator，LQR）算法。文獻[11]對基于MPC的智能駕駛汽車橫向運動控制進行了研究及仿真驗證。然而，這些方法均對模型進行了理想化的假設，如在車輛動力學模型中忽略了車輛橫向偏差在距離偏差和方向偏差上的非耦合關系。另外，深度強化學習的方法需要進行基于大量樣本的訓練，對于以MPC為代表的控制算法，其精度較高的模型往往具有較高的計算代價，難以保證實時性[7]。由于各控制因素之間具有強耦合性，只考慮部分控制因素并不能實現車輛的精確控制。

建立自動駕駛汽車橫向控制模型時，模糊推理[12]與強化學習[13-17]的方法有其內在的共性。模糊推理器需尋求輸入前件和輸出后件語義化并滿足特定映射條件。實際上，無模型的強化學習方法在確立其狀態空間和行為空間過程中，也在尋求從一個狀態到另一個狀態的可能性，并利用這種可能性得到最優映射關系。

基于以上分析，本文提出基于模糊推理和模仿強化學習的橫向控制方法（A lateral control method based on Fuzzy Inference and Reinforcement Learning，FIRL），在初始的自動駕駛汽車模糊推理器（橫向控制收斂）基礎上進行強化學習迭代，并在學習過程中以模糊推理器作為強化學習的隨機因素，“指導”車輛的學習過程，以大幅減少學習過程中強化學習的迭代次數。

2 模糊推理器設計

圖1所示為基于軌跡點的車輛運動模型。其中，x-y為車輛坐標系，y軸正方向為車輛前進方向，TH為軌跡點的航向（軌跡點的切線方向），與y軸所成夾角φ為方向偏差（Heading），D為軌跡點與車輛坐標系原點的橫向偏差（Devation）。

從圖1中可以看出，車輛沿軌跡行駛時，橫向偏差和方向偏差越小，與軌跡的重合度就越高。當車輛由模糊推理器進行橫向控制時，在前件的模糊集合中，如果橫向偏差和方向偏差處于某個狀態，轉向盤將對應一個合適的轉角。輸入這2個變量時，最終通過模糊規則輸出轉向盤轉角實現車輛的橫向控制。

以車輛橫向偏差和方向偏差作為模糊推理器的輸入前件，以轉向盤的目標轉角（Steering）作為輸出后件，在部分專家經驗指導下生成模糊邏輯規則，初步建立一個基于部分專家規則庫的模糊推理系統（Fuzzy Inference System，FIS），該系統框架如圖2所示。

2.1 前、后件的語義劃分

車輛定位點與軌跡點的橫向偏差的語義設置為偏左很遠（LDFar）、偏左較遠（LDNear）、偏左較小（DZero）、偏右較遠（RDNear）、偏右很遠（RDFar）；車輛行駛方向與軌跡點切線方向的方向偏差的語義設置為偏左很多（LHFar）、偏左較多（LHNear）、偏左較小（HZero）、偏右較多（RHNear）、偏右很多（RHFar）；車輛轉向盤的目標轉角的語義設置為向左轉角很大（LSBig）、向左轉角較大（LSSmall）、轉角較小（SZero）、向右轉角較大（RSSmall）、向右轉角很大（RSBig）。

2.2 隸屬度函數的選取

本文以設計的模糊推理系統作為強化學習的初始解和學習過程的隨機因素來源。對整個模糊推理系統的設計要求無需過于嚴格，只要保證在車輛全路徑跟蹤時滿足收斂條件即可。對前件和后件統一采用三角隸屬度函數表述：

[fx，a，b，c=0， " " " " " x≤ax-ab-a， alt;x≤bc-xc-b， "blt;x≤c0， " " " " " xgt;c] " " " " " " " " （1）

式中：x為自變量，a為控制函數開始增加的點，b為控制函數達到最大值1的點，c為控制函數開始減少的點。

2.3 專家規則庫的映射

通過部分專家經驗建立的25條專家規則如表1所示，將其映射到規則矩陣（RuleMatrix），其中每一行代表一條規則，前2列分別是車輛定位點與軌跡點的橫向偏差D和車輛行駛方向與軌跡點切線方向的方向偏差H（夾角φ）的數值映射，第3列是車輛轉向盤轉角S的數值映射，第4列是該規則的權重，是前件D和H的邏輯運算關系“與”邏輯。采用重心法（Centroid）進行解模糊，最終得到目標轉角輸出，將該解作為后續強化學習的一個初始解和收斂條件。

3 無模型強化學習器設計

3.1 強化學習因素

根據智能體的狀態、行為與回報等因素設計強化學習過程，在如圖1所示的車輛橫向控制模型中，將車輛視為智能體，在一段已知的軌跡中要求其以最小的橫向偏差和方向偏差進行尋跡行駛。以已知軌跡點的狀態集合（坐標點和點的方向）作為狀態空間：

[Sn=px0，y0，hx0，y0，···，pxn，yn，hxn，yn] " （2）

式中：Si（i=0，1，2，…，n）為目標軌跡點的狀態集合，p（xi，yi）為軌跡點坐標，h（xi，yi）為軌跡點的方向，n為軌跡點數量。

模糊推理器的前、后件輸出結果映射為：

FSn（h，D）→FAn（s） " " " " " " " " " " " " " " （3）

式中：FSn（h，D）為輸入前件，FAn（s）為輸出后件，h為方向偏差，s為狀態集合子集。

將模糊推理作為獎勵函數（γ因子）設為強化學習的隨機因素，貪婪策略作為θ因子設為強化學習的隨機因素，車輛的轉向盤轉角集合作為行為空間：

[An=RAn（Sn）θ+FAn（s）γ] " " " " " " " " "（4）

式中：RAn（Sn）為貪婪法則因子下的行為空間，FAn（s）為模糊推理器的輸出行為空間，γ=1-θ為強化學習的隨機因子。

根據車輛橫向偏差和方向偏差設定智能體車輛在當前軌跡狀態下的回報。車輛在不斷試錯學習的迭代過程中，最終利用貪婪法實現在誤差范圍內的尋跡行駛。

3.2 強化學習方法選擇

對于自動駕駛車輛，橫向控制系統設計時需要考慮如何在盡量少的學習環節中實現最佳橫向控制，在同等或者更優的強化學習效果條件下，學習的次數越少，強化學習的收斂越快，在整個操作層面上就越接近實現最優控制。在一些強化學習的方法中：蒙特卡洛（Monre Carlo，MC）方法在完整的軌跡上進行學習，但是學習效率低、收斂速度慢；時序差分（Temporal Difference，TD）法利用樣本值估計值函數，屬于有方差的學習方法；動態規劃（Dynamic Programming，DP）方法無偏差，也無樣本估計的方差。如需在建立的模型上針對狀態轉移概率、回報以及折扣因子進行適當的模型解析，通過與理想軌跡和模糊控制初始解相結合的方式求解，在基于無模型強化學習的方法中，Q學習（Q-learning）較為理想，其將問題歸納到馬爾可夫決策過程（Markov Decision Process，MDP），利用貝爾曼方程實現模型的求解[18-19]。

3.3 自動駕駛車輛橫向控制的馬爾可夫決策過程

在基于專家經驗的模糊推理器上，將車輛控制模型抽象化，根據橫向偏差和方向偏差劃分車輛狀態，形成駕駛環境（狀態空間）Sn。根據車輛的轉角輸出對其進行劃分，形成智能體（行為空間）An。在Q學習中，對于四元組的MDP，M=lt;S，A，R，γgt;，其中M代表一個馬爾可夫決策，S為狀態空間，A為行動空間，R為即時回報，γ為強化學習的隨機因子，即回報因子。在回報函數確定的情況下，利用貝爾曼方程對其建立的MDP進行求解，經策略迭代，可得到所有狀態下的最優策略和最優動作。

3.3.1 回報函數設計

根據車輛偏離已知軌跡預設點的橫向偏差和方向偏差，設計回報函數為：

[R=1fac1|Δd| + fac2|Δh|] " " " " " " " " " " " （5）

式中：fac1為距離偏差影響因子，fac2為方向偏差影響因子，Δd為即時橫向偏差，Δh為即時方向偏差。

3.3.2 最優策略求解

在狀態空間、行為空間和回報函數確定后，用行為回報最大的值更新原有的值。值迭代算法為：

[Qs，a=Qs，a+α{r+βqmax-Q（s，a）}] " " " （6）

式中：Q（s′，a′）為下一狀態的Q值，q′max為下一狀態下所有行為Q值的最大值，Q（s，a）為當前狀態的Q值，α、β為迭代因子，r′為下一狀態的回報。

以基于部分專家規則庫的模糊推理器對應的模糊解作為強化學習的初始解，進行針對該模糊推理器的強化學習，在此基礎上進行數值迭代，找到每個狀態對應的最優解。算法設計流程如圖3所示。

3.4 模糊推理器作為智能體的模仿學習

在模糊推理器及強化學習狀態、行為、回報因素的設計中，模糊推理器實現了橫向偏差和方向偏差到轉向盤轉角的映射。Q-learning以橫向偏差和方向偏差作為Q值迭代的回報因素，在某個特定的軌跡狀態中，模糊推理器輸出的行為與強化學習在隨機或者貪婪迭代過程中選擇的行為空間子集一致，因此可以將模糊推理器作為一個單獨的智能體加入到該Q-learning中，通過有限次迭代可以得出基于初步設計的模糊推理器的Q-learning結果。該結果基于模糊推理器的先驗經驗（部分專家經驗庫），將模糊推理器的控制結果作為強化學習的初始解，實際上是基于部分專家經驗庫指導的Q-learning模仿學習過程，后續強化學習基于此結果進行，以大幅減少學習所需的迭代次數。

3.5 模糊推理器指導車輛行為選擇

在強化學習過程中無指導地選擇隨機動作無疑會增加車輛學習的負擔，在車輛對已知軌跡尋跡的探索中，很多錯誤的動作在無指導的情況下都會被選擇并進行試錯學習。模糊推理器在車輛學習的過程中為車輛提供先驗經驗，并根據車輛的實時學習狀態給予車輛隨機選取動作進行試錯學習的機會。通過模糊推理器的行為指導，將再次減少學習迭代次數。

4 仿真測試與結果分析

本文在MATLAB[20]中搭建并仿真實現模糊推理器，在Carla[21]仿真環境中實現模糊推理器的強化學習。

4.1 模糊推理器搭建與仿真

通過MATLAB實現第2節中所設計的模糊推理器，以距離偏差和方向偏差作為輸入前件，如圖4所示，以轉向盤轉角作為輸出后件，如圖5所示。通過部分專家經驗以及解模糊函數實現前、后件映射，結果如圖6所示。

圖6仿真結果表明，距離偏差為-33.5 cm、方向偏差為-117°時，轉向盤輸出轉角為263°。前件輸入范圍內的距離偏差和方向偏差均可映射到轉向盤轉角輸出。通過Python編程可實現第2節中的模糊控制器。

4.2 基于模糊推理器和強化學習的車輛橫向控制仿真

Carla基于虛幻引擎（Unreal Engine）進行模擬，并使用OpenDRIVE標準定義道路和城市環境。通過使用Python和C++處理的應用程序編程接口（Application Programming Interface，API）授予對模擬的控制權。仿真環境界面如圖7所示。該仿真環境擁有強大的物理引擎，可模擬車輛的機械特性，真實地模擬現實世界。

利用Carla的內置地圖，在虛幻引擎中運行并搭建如圖8所示的自動駕駛汽車運行環境。在地圖環境中選擇環島場景構成的S彎道，道路是由單向雙車道組成，環島場景被分割為4個部分，自動駕駛車輛從第1入口進入環島并從第3出口駛出環島，在地圖中顯示出利用A*算法規劃獲得的車輛行駛的路徑點，并通過Python API構建具備物理特性的自動駕駛車輛。

該場景下的目標軌跡具備入彎道和出彎道的特點，采用軌跡跟蹤時真實軌跡與目標軌跡的重合度來考查模糊推理器和模糊推理的無模型自適應強化學習在自動駕駛車輛橫向控制上的性能優劣。

為了與本文提出的FIRL進行對比，利用純跟蹤算法[22]、斯坦利算法[5]、第2節中構建的模糊推理器以及第3節中構建的Q-learning（經過500次迭代）進行控制效果對比分析。其中，在Carla仿真環境中采用Python編程可實現單純的Q-learning對車輛的控制。各方法在全路徑的軌跡跟蹤中獲取軌跡跟蹤重合度、橫向偏差、方向偏差如圖9所示，其中X、Y分別為地圖橫、縱坐標。

由圖9a可知：單純的強化學習方法在500次迭代學習后，車輛并不能完成全軌跡跟蹤，仍然需要更多的學習次數進行迭代；采用FIRL時在500次迭代后已經能夠很好地進行全路徑的軌跡跟蹤，說明FIRL能夠大幅縮短學習過程。

從圖9b中可以看出：斯坦利和純跟蹤方法均能實現較好的橫向控制，進而實現車輛的軌跡跟蹤，并且斯坦利算法性能更為優越；FIRL相比較這2種控制方法性能均有所提升，軌跡跟蹤的重合度更高。在該仿真中，FIRL僅通過500次的全路徑迭代學習即可超越斯坦利算法實現車輛控制。

由圖9c可知，模糊控制算法實現了全路徑軌跡跟蹤的收斂，但是在控制過程中，特別是在進入彎道和出彎道時方向偏差出現了大幅振蕩。

將模糊控制、純跟蹤、斯坦利以及FIRL進行500次迭代學習（FIRL-500），軌跡跟蹤結果如表2、表3所示。

由表2、表3可知，相較于模糊控制、純跟蹤、斯坦利算法，FIRL-500使車輛在整個路徑的軌跡跟蹤過程中控制軌跡偏離的效果和運行的平滑度得到了提升。

5 實車驗證

5.1 自動駕駛車輛平臺

強化學習結果實車遷移平臺使用如圖10所示的北京聯合大學“京龍”號無人駕駛車，該平臺基于長城VV6的基礎車輛底盤進行線控改制，使其具備線控制動、線控轉向、線控油門、線控擋位的功能，并增加組合導航、32線激光雷達、毫米波雷達、攝像頭等傳感器，通過CAN總線和用戶數據報協議（User Datagram Protocol，UDP）的通信方式實現自動駕駛系統與各線控執行層的通信控制與反饋。

5.2 環島場景的控制方法遷移

車輛加裝組合導航設備對某環島區域地圖進行高精度采集，并繪制可行駛道路的軌跡（道路中心線或車道中心線）。環島場景對自動駕駛橫向控制的要求很高，該場景涉及入彎道、出彎道與彎道行駛等具體場景，如圖11所示。車輛從第4出口進入環島，從第2出口駛出環島。在仿真場景中構建相同的環島場景，如圖12所示。

5.3 仿真車輛與實際車輛關鍵參數標定

Carla仿真環境擁有精確的車輛體積和真實的核心物理特性，基于虛幻引擎4（Unreal Engine 4）的框架，開啟物理特性后，能夠很好地模擬車輛在現實環境中的駕駛特性，如車輪摩擦、懸架、質心和車輛起動速度等。本文的控制方法首先在模擬環境中學習得到最優控制結果，在仿真學習過程中需要對仿真場景和真實車輛進行基礎設定，標定的關鍵參數如表4所示。

車輛一致性標定步驟如下：

a. 最大速度參數設定。將車輛最高速度參數設定為真實場景下的環島最高限速。實際車輛在環島場景下，其縱向控制由PID算法對油門的驅動加上速度反饋閉環控制實現，能夠實現速度控制精度在±1%范圍內。在車輛基礎物理特性一致的情況下，仿真車輛與實際車輛具有相似的速度特性。

b. 加、減速特性。仿真車輛和實際車輛均可通過發送加、減速指令對車輛實施加速和減速控制，可忽略整車質量、道路摩擦力的影響，在保證加、減速度范圍一致的情況下確保車輛縱向控制的一致性。

c. 轉向特性。FIRL對仿真車輛和實際車輛的一致性要求較高，直接決定了橫向控制的一致性。在仿真環境中，車輛的轉向不是通過控制轉向盤轉角實現的，而是直接將車輪轉角的范圍映射到[-1，1]范圍內。對實際車輛的轉向控制通過控制轉向盤轉角實現。然而，實際車輪轉角與轉向盤轉角并非線性關系，如圖13所示。

由圖13可知，設轉向盤轉角為Φ時，車輪轉角為β，前軸橫向行程為d，轉向節長度為L，行程d與車輪轉角的關系為：

β=arcsin（d/L） " " " " " " " " " " " " " " "（7）

前軸橫向行程l與轉向盤轉角Φ的關系為：

l=Φ·Φmax/Lmax " " " " " " " " " " " " " " "（8）

式中：Φmax為轉向盤最大轉角，Lmax為車輛在執行最大轉向盤轉角時的前軸最大橫向行程。

可得轉向盤轉角Φ與車輪轉角β的關系為：

[β=arcsin（Lmax·dΦmax·Φ）] " " " " " " " " " " " " " （9）

通過與仿真車輛的轉向映射進行對比，最終將轉向盤轉角映射到[-1，1]的范圍內，與仿真車輛保持一致。

按照前文在仿真環境中搭建FIRL的方法對車輛進行訓練學習，并將最終的學習數據應用于實車橫向控制，實現環島場景下自動駕駛車輛的橫向控制，車輛平順地通過了環島，表明算法具有良好的控制效果，實車運行可視化界面如圖14所示。

6 結束語

本文提出了基于模糊推理和模仿強化學習的橫向控制方法（FIRL），以模糊推理器作為模仿強化學習的初始解和過程“指導”進行自動駕駛汽車橫向控制，并進行了仿真測試驗證以及實車試驗。通過對模糊控制、純跟蹤、斯坦利、無模仿學習的Q-learning方法以及進行500次迭代學習的FIRL在自動駕駛車輛橫向控制方面的控制效果進行對比，得出如下結論：

a. 在無需準確數學模型的前提下，僅通過對系統的輸入、輸出數據進行系統性分析即可實現車輛橫向控制。

b. 通過模仿強化學習的方式對該模型進行優化，基于模糊推理器的自動駕駛汽車橫向控制模型可實現更優的橫向控制性能。

c. 利用模糊推理器的結果作為強化學習初始解，可大幅縮短學習迭代的過程，同時提高自動駕駛車輛軌跡跟蹤的能力。

d. 不依賴理想數學模型、不需要設計復雜的模糊推理器和使用復雜的強化學習方法可實現自動駕駛汽車橫向控制。

e. FIRL可以在真實環境中實現自動駕駛汽車的軌跡跟蹤，證明了其在真實駕駛場景中的有效性。

參 考 文 獻

[1] 李梓欣， 李軍. 自動駕駛汽車路徑規劃算法研究[J]. 汽車工程師， 2021（8）： 11-14.

LI Z X， LI J. Research on Path Planning Algorithm for Autonomous Vehicles[J]. Automotive Engineer， 2021（8）： 11-14.

[2] 狄桓宇， 張亞輝， 王博， 等. 自動駕駛橫向控制模型及方法研究綜述[J]. 重慶理工大學學報（自然科學）， 2021， 35（7）： 71-81.

DI H Y， ZHANG Y H， WANG B， et al. Review on the " " Method and Model of Intelligent Vehicle Lateral Control[J]. Journal of Chongqing University of Technology （Natural " " Science）， 2021， 35（7）： 71-81.

[3] YANAKIEV D， KANELLAKOPOULOS I. Longitudinal " "Control of Automated CHVs with Significant Actuator Delays[J]. IEEE Transactions on Vehicular Technology， 2001， 50（5）： 1289-1297.

[4] XIA Y Q， PU F， LI S F， et al. Lateral Path Tracking Control of Autonomous Land Vehicle Based on ADRC and " " " " " "Differential Flatness[J]. IEEE Transactions on Industrial Electronics， 2016， 63（5）： 3091-3099.

[5] 王鑫， 凌銘， 饒啟鵬， 等. 基于改進Stanley算法的無人車路徑跟蹤融合算法研究[J]. 汽車技術， 2022（7）： 25-31.

WANG X， LING M， RAO Q P， et al. Research on Fusion " "Algorithm of Unmanned Vehicle Path Tracking Based on " Improved Stanley Algorithm[J]. Automobile Technology， 2022（7）： 25-31.

[6] 田濤濤， 侯忠生， 劉世達， 等. 基于無模型自適應控制的無人駕駛汽車橫向控制方法[J]. 自動化學報， 2017， 43（11）： 1931-1940.

TIAN T T， HOU Z S， LIU S D， et al. Model-Free Adaptive Control Based Lateral Control of Self-Driving Car[J]. Acta Automatica Sinica， 2017， 43（11）： 1931-1940.

[7] 潘峰. 基于駕駛員行為特性的無人駕駛汽車控制方法研究[D]. 北京： 北京化工大學， 2021.

PAN F. Research on the Control Method of Autonomous " " Vehicle Based on the Characteristics of Human Drivers[D]. Beijing： Beijing University of Chemical Technology， 2021.

[8] 羅瑞. 基于強化學習的無人駕駛車輛橫向控制[D]. 北京： 華北電力大學， 2020.

LUO R. Horizontal Control of Driverless Vehicles Based on Reinforcement Learning[D]. Beijing： North China Electric Power University， 2020.

[9] 邢斯琦， 馮凱， 薛玲玲. 基于模型預測的自動駕駛橫向控制算法研究[J]. 汽車實用技術， 2021， 46（15）： 45-47+50.

XING S Q， FENG K， XUE L L. Research on Lateral Control Algorithm of Automatic Driving Based on Model Prediction[J]. Automotive Practical Technology， 2021， 46（15）： 45-47+50.

[10] 武金龍， 謝凡， 尤麗剛， 等. 自動駕駛攪拌車橫向控制設計及試驗研究[J]. 智能計算機與應用， 2021， 11（9）： 184-188.

WU J L， XIE F， YOU L G， et al. Horizontal Control Design and Experimental Research of Automatic Driving Mixer[J]. Intelligent Computer and Application， 2021， 11（9）： 184-188.

[11] 張效宇， 程昆朋， 趙祥磊. 基于MPC的智能駕駛汽車橫向運動控制研究[C]// 2018中國汽車工程學會年會論文集. 上海： 機械工業出版社， 2018： 85-90.

ZHANG X Y， CHENG K M， ZHAO X L. Research on " " " "Lateral Motion Control of Intelligent Driving Vehicles Based on MPC[C]// Proceedings of the 2018 Annual " " "Meeting of the Society of Automotive Engineers of China. Shanghai： China Machine Press， 2018： 85-90.

[12] 曹艷玲， 張琦. 自適應神經模糊推理的四輪轉向車輛轉向控制研究[J]. 機械設計與制造， 2021（3）： 224-228+233.

CAO Y L， ZHENG Q. Research on Steering Control of Four-Wheel Steering Vehicle Based on Adaptive Neuro Fuzzy Inference[J]. Mechanical Design and Manufacturing， 2021（3）： 224-228+233.

[13] VALLON C， ERCAN Z， CARVALHO A， et al. A Machine Learning Approach for Personalized Autonomous Lane Change Initiation and Control[C]// 2017 IEEE Intelligent Vehicles Symposium （IV）. USA： IEEE， 2017： 1590-1595.

[14] SUTTON R S. Learning to Predict by the Methods of nbsp; " Temporal Differences[J]. Machine Learning， 1988， 3（1）： 9-44.

[15] 李遠哲， 胡紀濱. 強化學習在無人車領域的應用與展望[J]. 信息與控制， 2022， 51（2）： 129-141.

LI Y Z， HU J B. Application and Prospect of Reinforcement Learning in the Field of Unmanned Vehicles[J].Information and Control， 2022， 51（2）： 129-141.

[16] 鄒偉， 鬲玲， 劉昱杓. 強化學習[M]. 北京： 清華大學出版社， 2020.

ZOU W， GE L， LIU Y S. Reinforcement Learning[M]. " " Beijing： Tsinghua University Press， 2020.

[17] SUTTON R S， BARTO A G， et al. Reinforcement Learning： An Introduction[M]. Cambridge： MIT Press， 2018．

[18] GAO Z， SUN T， XIAO H， et al. Decision-Making Method for Vehicle Longitudinal Automatic Driving Based on " " " Reinforcement Q-Learning[J]. International Journal of " " " "Advanced Robotic Systems， 2019， 16（3）： 141-172.

[19] WATKINS C J C H， DAYAN P. Q-Learning[J]. Machine Learning， 1992， 8（3/4）： 279-292.

[20] 張森， 張正亮. MATLAB仿真技術與實例應用教程[M]. 北京： 機械工業出版社， 2004.

ZHANG S， ZHANG Z L. MATLAB Simulation Technology and Example Application Tutorial[M]. Beijing： China " " "Machine Press， 2004.

[21] DOSOVITSKIY A， ROS G， CODEVILLA F， et al. CARLA： An Open Urban Driving Simulator[EB/OL]. （2017-11-10）[2023-01-30]. https：//arxiv.org/abs/1711.03938.

[22] 段建民， 夏天， 宋志雪. 基于聯合仿真的智能車路徑跟蹤控制研究[J]. 計算機仿真， 2017， 34（6）： 129-134+151.

DUAN J M， XIA T， SONG Z X. Research on Intelligent " Vehicle Path Tracking Control Based on Joint Simulation[J]. Computer Simulation， 2017， 34（6）： 129-134+151.

（責任編輯 斛 畔）

修改稿收到日期為2023年1月30日。