基于深度強化學習的無信號交叉口車輛協同控制算法

蔣明智，吳天昊，張 琳

（北京郵電大學，人工智能學院，北京 100876）

0 引言

智慧城市的一個重要標志是城市交通智能化和汽車網聯化，實現網聯汽車在無信號交叉口高效智能地協同通行已成為當今國內外的研究熱點。同時，以車車通信(Vehicle-to-Vehicle，V2V)、車路通信(Vehicle-to-Infrastructure，V2I)為基礎發展起來的車路協同系統使得多車協同控制成為可能[1-2]。

目前，無信號交叉口車輛協同控制方案主要分為傳統數學模型和人工智能強化習方法兩大類。前者主要包含基于協商調度[3-5]、基于規劃[6-7]、基于模型預測[8]和安全場論[9-10]等方法，這類方法對車輛通過交叉口場景的軌跡、時間和次序進行建模求解，來獲取車輛通過交叉口的控制策略。但是隨著交叉口車流量的增加，基于傳統數學模型方案所需的計算量往往呈指數級上升，因此這類方案不適用于較高車流量的交通場景[11]。深度強化學習(Deep Reinforcement Learning，DRL)以其獨特的決策能力可以獲得更好的控制策略[12-13]，常用 的RL 算 法 有DQN（Deep Q Network）、PPO（Proximal Policy Optimization）和DDPG（Deep Deterministic Policy Gradient）等。Kai 等[14]采用DQN將交叉口導航問題建模為多任務學習問題；Shu等[15]提出了一個遷移-RL 框架，來提高自動駕駛車輛在無信號交叉口的控制性能和學習效率；Guan等[16]提出了一種基于模型加速的PPO 算法，解決了集中式控制方案中計算效率低的問題。目前大部分基于DRL的控制方案還主要局限于單車智能或者固定車輛數目的交叉口場景，在多車協同和適應動態高車流量的真實交叉口場景方面的研究還比較少。此外，無信號交叉口沖突點之間會形成多組交織環，交織環中的車輛會阻礙其他方向的車輛進入或駛出交織環，當交通流量較大時，交織環內的車輛可能會由于相互影響而無法正常駛出，而入口車流又不斷駛入，則會造成交叉口嚴重的堵塞現象，稱為“死鎖”現象。“死鎖”現象不僅嚴重影響通行效率，而且會增大交叉口車輛碰撞風險[17]，對協同控制算法的性能帶來了較大的挑戰。

Wu 等[18]提出了多智能體協同深度確定性策略梯度算法(Cooperative Multiagent Deep Deterministic Policy Gradient，CoMADDPG)，在雙向單車道無轉向的無信號交叉口場景實現了動態交通流場景下多車協同通過沖突區域。但是該算法存在值函數網絡過早收斂的問題，導致多車協同控制精度較低且無法應對交叉口的“死鎖”現象，當面臨較大交通流量或復雜交叉口時，會出現碰撞情況。此外，該算法只是從安全性角度對多車協同駕駛進行優化，在車輛行駛綜合性能方面表現不足。

本文基于DRL針對動態車流量的復雜無信號交叉口場景研究多車協同控制算法，其主要貢獻點如下：

（1）提出了一種基于強化學習的漸進式價值期望估計的多智能體協同控制(Progressive Valueexpectation Estimation Multi -agent Cooperative Control，PVE-MCC)算法，該算法設計了漸進式價值期望估計策略，實現值函數網絡的漸進式學習，并結合泛化優勢估計算法[19]，提高模型訓練的穩定性和策略收斂精度。

（2）從安全性、通行效率和舒適度三個方面設計了多目標獎勵函數引導策略優化，實現在提高車輛安全性的同時，兼顧交通效率和乘客舒適感。

（3）針對交叉口易出現的“死鎖”現象設計了啟發式安全干預策略和“死鎖”的檢測-破解策略，通過鏈表環形檢測算法實現對“死鎖”的檢測和破解，進一步提高車輛行駛的安全性。

（4）搭建了雙向六車道無信號交叉口仿真實驗平臺，從算法收斂穩定性、綜合控制性能和協同控制精度三個方面，驗證了本文所提算法的有效性，并開源了該平臺和算法代碼。

1 強化學習方法建模

1.1 問題描述

假設交叉口場景內所有車輛均為智能網聯汽車，所有車輛之間均可通信且無時延和干擾，車輛通過交叉口時，具有明確的駕駛意圖(如直行、左轉或右轉)。本文以車輛狀態信息作為狀態輸入，加速度作為動作輸出，引入DRL 實現車輛在無信號交叉口的協同控制策略。DRL 算法一般用于求解馬爾可夫（Markov）決策過程，而求解該過程要求隨機過程具有Markov 性，即系統下一時刻的狀態只取決于當前時刻的系統特性，與之前任何時刻無關。在交叉口車輛的協同控制過程中，t時刻的交通狀態是交通參與者狀態的集合，狀態信息包括加速度、位置、速度、車道等，可以發現，狀態st由t-1 時刻車輛的動作所決定，而與之前的任何時刻的動作無關，因此，可以認為交叉口車輛的協同控制過程具備Markov 性。車輛在t時刻的縱向控制可以表示為：

式中：st表示t時刻交叉口的車輛狀態；at表示決策模型在st下的決策加速度表示預訓練的決策模型，該決策模型可以根據當前時刻的交叉口車輛狀態，對駕駛行為做出決策；pt+1表示t+1時刻車輛與交叉口的距離；vt+1表示下一時刻的速度；T表示控制周期。

本文設定典型的雙向六車道無信號交叉口作為實驗場景，在交叉口場景中，車輛具有直行、左轉、右轉三種駕駛軌跡，忽略超車和換道行為[20]，車輛保持固定軌跡通過交叉路口，并采用車輛縱向動力學線性模型來描述車輛的動力學特性[21]。無信號交叉口場景及車輛運動示意圖如圖1所示。

圖1 無信號交叉口場景及車輛運動示意圖

考慮到交叉口場景中交通狀態空間大，車輛的加速度控制屬于連續動作空間，而且要實現多車協同控制，本文在DDPG 算法的基礎上設計了PVE-MCC 算法進行求解。PVE-MCC 算法采用actor-critic 雙網絡結構，并引入目標網絡解決模型更新時的波動性問題。算法中包含的四個網絡分別為動作網絡π、目標動作網絡π′、值函數網絡Q和目標值函數網絡Q′。此外，該算法挑選固定數量的車輛作為決策參考車輛，使值函數網絡進行價值評估時，除了考慮自身的動作，還結合決策參考車輛的動作對協同性進行評估，來達到多車協同控制的目的。假設訓練樣本來自策略β，該算法的目標函數為：

式中：ω和ω′分別為值函數網絡Q和目標值函數網絡Q′的參數；θ為動作網絡π的參數；ct=[a′1,a′2,…,a′N]表示t時刻N輛決策參考車輛的動作集；γ為折扣因子；rt為t時刻環境的即時獎勵。

1.2 狀態空間和動作設計

本文采用虛擬車道映射的方法，將有沖突關系的兩個車道以沖突點為結點進行旋轉投影，映射為一條虛擬車道，在虛擬車道上將不同車道的車輛構建前后車關系，通過實現虛擬車道上的車輛保持合理間距來避免沖突點處的橫向碰撞問題，即將二維的碰撞問題簡化為一維碰撞問題求解。令目標車輛i的信息集合Ii=[pi,vi,ai,li]，pi、vi、ai、li分別為位置、速度、加速度和車道；狀態空間為為車輛i在虛擬車道上最鄰近的N輛車的狀態信息；為車輛i在虛擬車道上最鄰近的N輛車的動作集。決策車輛的動作為加速度ai，，am和aM分別為加速度的最大值和最小值。

1.3 多目標獎勵函數設計

動作網絡π的終極目標是使得期望累計回報最大，期望累計回報為：

式中：Gt為累計回報；rt+k為t+k時刻的即時獎勵，因此，獎勵函數的設計直接決定了動作網絡的收斂方向。

本文從安全性、交通效率和舒適性三個方面設計了多目標獎勵函數。

(1)安全性

安全性是車輛行駛最重要的考慮因素，目標車輛與其在虛擬車道中最鄰近車輛的預計碰撞時間(Time to Collision，TTC)和相隔距離Sd被作為安全性的評估因素。安全性問題的獎勵函數表示為：

式中：pi(t)和vi(t)分別是目標車輛i的位置和速度和分別是其最鄰近車輛的位置和速度；rTTC(t)和分別是在時間和空間維度上的獎勵函數；dthr和tthr分別為判定是否安全行駛的距離和時間閾值，當低于這個閾值時，認為行駛狀態有碰撞風險，則獎勵函數生效，對策略模型的決策進行懲罰，否則安全性獎勵函數不生效，使模型更注重其他優化目標的學習；α為非線性伸縮因子。

(2)交通效率

當所有車輛都能以最大速度通過交叉口時，交通通行效率最高，本文以車輛的歸一化速度作為車輛效率的獎勵因素，以rE(t)作為效率的獎勵函數，表示為：

式中：vM和vm分別是交叉口的最大和最小限速。

(3)舒適性

加速度變化率(jerk)對人體駕駛舒適度有直接的影響，常被用于作為駕駛舒適度的衡量指標，本文對舒適度的獎勵函數rjerk(t)定義為：

式中：3 600是將數值區間歸一化到[0,1]，本文設置的車輛控制周期是0.1 s，加速度最大最小值分別是-3 m/s2和3 m/s2，jerk(t)2最大值為3600。

(4)多目標獎勵函數

當目標車輛發生碰撞或者駛出交叉口時，本文采用常量作為獎勵值，將安全性、效率和舒適度獎勵函數匯總后的多目標獎勵函數表示為：

式中：φe和φj分別是交通效率和舒適性獎勵對應的權重系數。

1.4 動作網絡和值函數網絡設計

算法由動作網絡Actor 和值函數網絡critic 組成，actor網絡根據狀態對車輛做出動作決策，critic網絡結合狀態信息和決策參考車輛的動作集對actor 做出的動作進行Q值評估。st狀態空間為長度28的一維數組，由目標車輛和6輛決策參考車輛的狀態信息組成；ct為長度為6的一維數組，表示決策參考車輛的動作。采用全連接神經網絡層提取特征，并對每層數據進行歸一化處理，Relu 作為激活函數，詳細網絡結構見圖2。

圖2 神經網絡結構

2 漸進式價值期望估計的多智能體協同控制算法

2.1 泛化價值期望估計

值函數網絡critic 利用時序差分法(Temporal Difference，TD-error)根據當前時刻價值和下一時刻價值估計得到目標價值。TD-error是蒙特卡洛法和動態規劃法的結合，但是這種方法在值函數網絡學習欠佳時，會存在較大的價值估計偏差，容易導致模型學習波動大、學習緩慢和陷入局部最優解。而泛化優勢估計(Generalized Advantage Estimation，GAE)算法可以有效地平衡值網絡函數估計目標價值帶來的偏差和方差[18]，PVE-MCC 算法結合GAE進行改進可提升訓練的穩定性。

定義動作集[at,ct]的優勢價值估計為rt+γQω′(st+1,at+1,ct+1)-Qω(st,at,ct)，可以發現，是一個γ-just的估計函數，接下來考慮多步價值估計的情況，用表示n步的優勢函數估計：

2.2 漸進式價值期望估計策略

在Actor-Critic 雙網絡結構中，動作網絡的目標是最大化價值期望，而值函數網絡的目標是最小化價值期望誤差，其中折扣因子γ表示下一時刻價值期望相對于當前時刻的權重，γ值越大，表示越重視長期得到的回報，γ越小，則越重視短期的回報。

當訓練前期值函數網絡還沒收斂時，如果γ值設置過大，容易造成TD-error 不穩定，使值函數網絡訓練波動，因此，此時γ值設置不應過大，應該加強真實環境獎勵值的引導，即先關注短期回報。但是當值函數網絡學習到一定程度時，應該逐步加大γ值，增強對長期期望的學習。這種先易后難的學習思想與人類的學習習慣也是一致的，這樣更有益于模型收斂精度。基于這種思想，本文通過動態調整折扣因子，實現對價值期望的漸進式估計，表示如下：

式中：γM為最大折扣因子；eposide為訓練幕數；δ1和δ2為調整參數；當eposide=0 時，γ0=tanh(δ1/δ2)×γM。從公式可以看出，折扣因子γ隨訓練批次eposide的增大而非線性增大，eposide越大，增長越緩慢。γ值越大，表示越關注長期期望，對策略收斂精度要求也更高，模型學習也更緩慢，為了減小波動，此時γ不能增長過快。

2.3 策略更新

PVE-MCC 算法采用off-policy 的訓練策略，將動作策略與環境交互產生的樣本存入經驗池中，每次優化時從經驗池中隨機抽取一部分樣本進行策略優化，這樣既提高了樣本的利用率，同時可以減少一些不穩定性。目標網絡更新方面，采用滑動平均的方法更新目標網絡，降低目標網絡參數的更新速率，使值函數網絡模型在一定程度上減少波動，令計算更穩定。為了解決確定性策略探索不夠充分的問題，采用了o -greedy 的探索方法，通過為確定的行動增加噪聲來增加模型的探索能力。

綜上，PVE-MCC算法偽代碼見圖3所示的算法。

圖3 PVE-MCC算法偽代碼

2.4 安全干預策略

動作網絡π的策略由神經網絡參數通過梯度更新逐步優化而來，因此不能保證決策動作的絕對安全，本文采用了基于運動學的停車距離算法來計算緊急制動所需的最小安全距離dsafe，當車輛i與前車距離低于dsafe時，用最小加速度強制制動，表示如下：

式中：RT為反應時間；vi、vi-1表示本車和前車速度；vm表示最低時速；am為最小加速度；dfront表示與前車距離。

2.5 “死鎖”檢測-破解策略

本文提出一種基于鏈表環形檢測算法的“死鎖”檢測-破解策略來提前降低碰撞風險。首先以雙向單車道直行交叉口場景為例，描述“死鎖”的形成、檢測和破解過程，該策略流程示意圖如圖4所示。

圖4 沖突點“死鎖”現象檢測-破解流程圖

流程具體細節如下：

(1)具有沖突關系的車輛以沖突點為旋轉中心，映射到沖突車道中形成虛擬車，與沖突車道中的實體車呈現前后車關系，形成虛擬車道。

(2)根據鏈表檢測成環的思想，將虛擬車道采用鏈表表示，車輛為結點，從任一結點向前查詢有限步，如果能回到起始結點，則表明這部分車輛形成“死鎖”環，如圖4 中的步驟2：V2車通過S1、S2、S3、S4檢測后，又回到V2，此時，V1、V2、V3和V4車輛就形成“死鎖”環。

(3)當交叉口車流量達到一定程度時，車車間形成“死鎖”環很普遍，所以本文只對環中車車平均間隔不足以保證安全通過交叉口時或破解成本較低時，進行死鎖環破解，破解方法為找到環中間隔最小的兩輛車，強制改變相對位置。

假設“死鎖”中的車輛數目為m，環中車車間隔為S=[S1,S2,…,Sm]，當min(S)

式中：dmin為最小間隔；dmean為平均間隔和為間隔最小的前后車加速度輸出；考慮對舒適度的影響，此處采用增量法對加速度進行改變，al為每次調節的加速度增量。

3 仿真驗證

為了驗證所提算法在無信號交叉口場景的協同控制性能，本文基于python3.5 開發了雙向六車道無信號交叉口仿真實驗平臺，設定車輛進入交叉口的時間服從泊松分布，且交通流量大小可控。該平臺簡化了交通環境和車輛物理模型，采用縱向車輛動力學線性模型來描述車輛的動力學特性，該平臺具有運行效率高、靈活性強、輕量級、易于部署等特點，適合用于驗證多車縱向協作性能。本文將此部分實驗涉及的仿真平臺和PVE-MCC算法源碼，以及相關訓練和測試數據文件開源到github 平臺，具體地址鏈接為：https：//github.com/Mingtzge/PVE-MCC_for_unsignalized_intersection。

本文以適用動態車流無信號交叉口場景的CoMADDPG 算法[14]作為對比方案，設計了三個實驗驗證本文所提PVE-MCC算法的性能：

（1）實驗一驗證算法的收斂性和穩定性，從訓練過程中獎勵值上升曲線、碰撞率和損失Loss 曲線的變化情況三個方面進行體現和說明。

（2）實驗二驗證綜合控制性能，針對不同級別的車流量，將所提算法從安全性、交通效率和駕駛舒適性方面進行對比。

（3）實驗三在更高車流量場景和更復雜無信號交叉口場景中對比兩個方案的協同控制性能，以驗證所提算法的協同控制精度。

其中，實驗一和實驗二為了避免更換交叉口場景帶來的算法通用性的影響，將PVE-MCC 算法應用到CoMADDPG 算法一致的交叉口場景中進行實驗對比，該場景為雙向單車道無轉向的無信號交叉口。第三個實驗場景為雙向六車道帶直行、左轉、右轉的無信號交叉口。

3.1 實驗設置

實驗模仿了真實道路的交通流場景，每個車道的車進入交叉口的時間序列Tseq=[t1,t2,…,tn]，每個車道的Tseq隨機生成，且服從泊松分布，為了保證車輛進入交叉口時不發生追尾情況，限制了同一車道前后車到達間隔時間不低于。Tseq的生成方式表示為：

式中：FR為交通流量(車輛數目/車道/h)；R為服從(0,1)正態分布的隨機變量。可以通過改變FR獲得不同交通流量的車輛到達時間序列，實現對不同交通流場景的測試目的。測試時，在不同大小交通流量的場景下對本文所提算法進行了長時間測試，每個場景測試時長為1 h。訓練時，通過預生成長時間的時間序列，實現不間斷的在線訓練。無信號交叉口場景相關參數見表1 仿真環境參數部分。計算機環境：訓練和測試均采用單GPU 進行計算，GPU 型號為NVIDIA TITAN XP，GPU 內存為12 G，CPU 型號為E5-2620 v4，主頻2.10 GHz。

表1 算法和環境參數

續表1

3.2 實驗結果和分析

對于實驗一，圖5展示的是不同算法的神經網絡模型在訓練過程中每一幕（連續訓練6 000 步為一幕）交叉口碰撞率的變化情況，圖6 展示了環境平均獎勵值隨訓練過程的變化情況，圖7 和圖8 展示的是Actor 和Critic 網絡的Loss 曲線的變化情況，圖6、7、8中陰影為波動范圍，實線為移動平均，本實驗訓練時長為75 h。從碰撞率的變化情況看，PVE-MCC和CoMADDPG算法在訓練前期都具有收斂跡象，但是后者在收斂后仍然處于波動狀態，陷入了局部最優解，而前者則可以保持穩定的性能。從圖6 可以看出，CoMADDPG 算法似乎收斂速度更快，但是當算法收斂后，獎勵值便過早停止增長了，而PVE-MCC 算法可以保持穩定增長，并最終保持在了一個更高的數值。同樣地，從圖7和圖8也可以看出，CoMADDPG算法的critic和actor網絡的Loss 曲線過早地停止下降，說明此時神經網絡參數已經無法優化到更優的策略。出現這種現象的主要原因還是Critic 網絡無法保持長期精細的學習，而Actor 網絡的Loss 來自critic 網絡的輸出，后者的性能對前者有決定性的影響。而PVE-MCC 算法則這對這一缺點進行了針對性的改進和設計，首先采用GAE 算法對價值估計偏差進行彌補，減少網絡的波動性，再通過PVE 策略由短期估計到長期估計漸進式地改變Critic 網絡的價值期望目標，使其具有持續學習的能力。從實驗結果看，PVE-MCC 算法達到了預期的目的，相對于CoMADDPG 算法，在收斂性和穩定性方面具有更優的性能。

圖5 交叉口碰撞率隨訓練過程的變化

圖6 平均獎勵值隨訓練過程的變化

圖7 Actor網絡Loss曲線隨訓練過程的變化

圖8 Critic網絡Loss曲線隨訓練過程的變化

對于實驗二，以車輛的平均通行延遲時間作為通行效率指標；以每輛車的加速度變化率絕對值之和表示該車的舒適度，該數值越低表示駕駛舒適度越好，最終以所有車舒適度的平均值作為總體舒適度的評價指標；采用安全通過率作為安全性指標；不同的交叉口吞吐量表示不同的交通流量大小。本實驗具體數據統計在表2，從數據上看，CoMADDPG 算法在交通流量大于一定數值時，提前出現了碰撞，說明本文所提PVE-MCC 算法在安全性方面性能更優，且可以適應更高車流量的交叉口場景。在通行效率和舒適度方面，圖9比較了兩種算法中車輛平均通過交叉口所延遲的時間，該值為平均通行時間與最快通過時間的差值。最快通過時間是車輛從進入交叉口開始，以最大加速度通過的時間，從圖9 中可以看出，PVE-MC 算法的通行效率明顯優于對比算法，與最快通過時間只有較小的差距。圖10統計了不同交通流量大小下車輛舒適度的平均值，可以看出，PVE-MCC算法的駕駛舒適度優于對比算法，交通流量越大，差異越明顯。

圖9 通行效率對比

圖10 舒適性對比

表2 PVE-MCC與CoMADDPG算法性能對比

對于實驗三，為了驗證本文所提算法的協同控制精度，將PVE-MCC 算法應用到了更高車流密度和更復雜的雙向六車道帶轉向的無信號交叉口場景，具體數據見表3。從數據可以看出，即使在較高車流量和更復雜的交叉口場景中，本文所提算法在綜合控制性能方面依然可以保持較好的性能，說明PVE-MCC算法具有良好的協同控制精度。

表3 雙向六車道無信號交叉口場景PVE-MCC算法性能

此外，對多目標優化獎勵函數而言，不同優化目標的權重配置對于深度強化學習算法的訓練以及最終的性能有直接的影響。針對效率獎勵值權重和舒適度獎勵值權重的設置，本文對[0.5,1.0,2.0,3.0,5.0,7.0 ]6 組參數兩兩組合進行了36 組實驗，其中效率獎勵值權重設為2.0，舒適度勵值權重設為3.0，篩選出相對最優的權重組合。

4 結論

本文基于深度強化學習針對城市道路無信號交叉口提出了一種漸進式價值期望估計的多智能體協同控制算法PVE-MCC。PVE-MCC 算法設計了泛化優勢估計和漸進式價值期望估計策略，在減少值函數網絡的波動時，將價值期望由短期到長期漸進式地過渡，使其可以保持持續性的學習能力，避免了過早地陷入局部最優解，使算法策略在穩定性和收斂精度方面均得到了有效地提升。在算法綜合控制性能驗證方面，PVE-MCC 算法設計了安全性、效率和舒適度多目標優化獎勵函數和基于啟發式規則的安全干預策略，提高了算法綜合控制性能。此外，本文設計開發了雙向六車道無信號交叉口仿真平臺，在該平臺測試了PVEMCC算法應對更高車流密度和更復雜的交叉口場景的能力，實驗結果展示該算法在各個實驗指標均能表現出較好的性能，說明了該算法具有良好的協同控制精度。仿真平臺和算法代碼已開源。未來的研究將在本研究的基礎上對算法的實用性和通用性做進一步探討。