基于深度強化學習的城市交通信號控制綜述

徐東偉，周 磊，王 達，丁加麗，魏臣臣

（浙江工業大學，a.網絡空間安全研究院,b.信息工程學院，杭州 310000）

0 引言

近年來，隨著我國車輛保有量的急劇增加，交通擁堵已成為全國大中小城市普遍存在的交通問題，帶來的負面問題也愈加嚴重。因此，交通擁堵問題的緩解刻不容緩[1]。交叉口是道路交通網絡的關鍵節點和主要瓶頸，因此交叉口信號智能控制在緩解交通擁堵方面起著至關重要的作用。

隨著計算機技術和數據處理技術的進步，交通系統正逐步朝著智能化方向發展。人工智能技術的發展使得以最少的人為行為干預控制交通系統成為可能。基于自適應控制方法的交通信號控制系統是目前廣泛應用的信號控制系統，相比于固定配時系統，自適應交通信號控制系統提高了交通燈控制的的靈活性以及道路運行效率，但它難以應對大規模交通路網的交通信號協調控制[2]。

自Mikami[3]于1994 年首次將強化學習(Reinforcement learning，RL)用于交通信號控制優化以來，強化學習在區域交通信號控制系統中的應用越來越廣泛[4,5]。但由于傳統的強化學習方法適用于狀態離散化的模型，因此，將強化學習方法直接應用于交通信號控制系統會導致計算復雜度過高。隨后，由深度學習與強化學習結合的深度強化學習（Deep Reinforcement Learning，DRL）[6]方法的誕生，使得城市交通信號控制技術進一步邁入智能時代。

本文將介紹深度強化學習在城市交通信號控制中的研究與應用，并討論基于深度強化學習的交通信號控制系統面臨的挑戰和有待解決的問題。

論文后續部分安排如下：第1部分簡述主要的深度強化學習方法的基本理論，并介紹交通仿真環境；第2部分介紹深度強化學習方法在單交叉口交通信號控制領域的應用，并根據策略學習方法的不同進行分類和討論；第3部分介紹深度強化學習的多交叉口信號控制協同優化，并對不同方法進行對比，分析優缺點，簡要介紹目前用于交通信號控制仿真實驗的路網環境和數據來源；第4部分討論交通信號控制未來的研究方向和挑戰。隨著深度強化學習在智能交通系統控制中的廣泛應用[2]，希望本篇綜述能為研究深度強化學習在交通中的應用提供參考。

1 概述

深度強化學習模型結合了深度神經網絡和強化學習，適合處理高維數據和連續狀態的科學問題。下面首先介紹強化學習的理論背景，然后介紹主流的深度學習模型。

1.1 強化學習

在強化學習中，智能體執行特定的動作并不一定能得到特定的狀態，通常將執行動作后轉到某個狀態的概率建模為一個狀態轉化模型。在真實的環境轉化過程中，環境轉移到下一個狀態的概率與之前多個環境狀態有關。為了簡化環境狀態轉化模型，在強化學習中假設轉化到下一個狀態的概率只與上一個狀態有關，即假設狀態轉化具有馬爾可夫性，因此強化學習模型大多由馬爾科夫決策過程(Markov Decision Process, MDP)建模。MDP 模型按照情節逐步計算，每個情節的終止點為終止時間T[7]或終止狀態sT[8]。

由于MDP 中利用貝爾曼方程求解狀態值函數，即利用上一次迭代周期內的狀態值更新當前迭代周期內狀態的狀態值，因此通常利用動態規劃(Dynamic Programing，DP)[9]思想求解強化學習模型。在智能體狀態轉移概率和獎勵函數未知的情況下，通常會使用蒙特卡洛(Monte Carlo，MC)[10]思想求解強化學習問題，即智能體通過采樣多個完整經驗的情景近似估計狀態值函數。然而當環境中沒有完整的狀態序列，即智能體無法采樣完整的經驗情景時，MC 就無法求解強化學習問題。時間差分(Temporal Difference，TD)[11]方法是MC思想與DP 思想的結合，它采用單步更新的方式，從采樣的不完整經驗中學習值函數，不需要采樣完整的經驗樣本。TD方法與MC方法相比提高了模型的靈活性和學習能力，因此目前絕大多數（基于值和基于策略梯度的）強化學習乃至深度強化學習算法都以TD方法為基礎。

對于基于值的強化學習模型，每次迭代更新狀態值函數，值函數將狀態動作對映射為值。Q學習(Q Learning)[12]與SARSA[13]均為根據TD 思想提出的基于值的強化學習算法。Q 學習是一種離線的方法，通過最大化動作的Q 值來更新智能體的策略，而SARSA 是一種在線方法，根據Q 函數得到的策略更新智能體的行為。

對于基于策略梯度的強化學習模型，在每次迭代后采用策略梯度更新策略。最簡單的策略梯度算法是蒙特卡洛策略梯度算法，將MC思想融入基于策略梯度的強化學習模型，利用MC方法計算狀態值函數，近似替代策略梯度的價值函數。蒙特卡洛策略梯度方法基于完整的經驗更新值函數參數，導致模型的學習效率較低。Degris[14]提出行動者-評判者(Actor-Critic，AC)方法，將基于值的算法與基于策略梯度的算法結合，并采用TD 思想實現Actor 策略函數的參數更新，使算法參數更新變為單步更新。行動者基于概率選擇動作，評判者基于行動者的行為評估行為得分，然后行動者根據評判者的評分修改選擇行為的概率。由于基于策略梯度的方法不需要搜索連續空間以及在表格中儲存相應的值，所以對于高維數據問題，基于策略梯度的方法通常優于基于值的方法[15]。

1.2 深度強化學習

在交通信號控制的實際場景中，其任務具有高維狀態空間和連續動作空間特征，傳統的強化學習方法無法計算所有狀態的值函數和策略函數。隨著深度學習在監督學習領域應用的成功，基于深度學習的函數擬合器可以實現有效的函數逼近，訓練好的神經網絡可以實現最優策略和價值函數的學習。下面將介紹目前應用于交通信號控制的主流深度強化學習方法。

1.2.1 基于值的深度強化學習模型

由于基于值的強化學習算法將Q 值存儲在表格中學習Q 函數，且在網絡復雜和狀態空間維數較高時傳統強化學習方法難以計算，因此通過深度神經網絡逼近Q 函數。Mnih[16]等人首次提出將深度神經網絡與Q 學習結合的方法，即深度Q 網絡，使用CNN近似計算環境的Q值。此外，針對傳統強化學習方法的不穩定和偏差現象，Mnih[17]等人提出使用目標網絡和經驗回放穩定深度Q 網絡的學習過程。其中，經驗回放可以去除觀測值之間的相關性并實現數據的隨機采樣、目標網絡的周期性更新，能夠減少每次采取動作后得到的Q 值與目標值之間的相關性。

盡管深度Q 網絡（Dee Q Network, DQN)中利用了經驗回放和目標網絡，但仍無法克服DQN 的弱點——Q 學習容易過估計動作Q 值的問題。因此，Van[15]等人提出雙重深度Q 網絡(Double Deep Q Network, DDQN)，將動作選擇和值函數估計解耦，在計算實際Q 值時，動作選擇由評估網絡完成，值函數估計由目標網絡完成，有效提高了模型的穩定性。由于均勻采樣容易導致出現次數少但價值高的經驗得不到高效利用而降低學習效果，Schaul[18]等人提出一種優先處理重要操作的方法——優先經驗回放，通過應用具有比例優先級或排名優先級的樣本，具有高TD 誤差的樣本在概率排名上高于其他樣本，并根據分配的概率對經驗進行抽樣，這種方法在提升效果的同時還可以加快學習速度。此外，Wang[19]等人提出決斗深度Q 網絡(Dueling Deep Q Network, Dueling DQN)，將DQN 中直接估算Q 值改為估算狀態值函數S和依賴于狀態的行為優勢函數A，這種方法在每次網絡更新時，可以將狀態下的所有動作的Q值更新。

1.2.2 基于策略梯度的深度強化學習模型

由于AC 的行為選擇取決于評判者的值，導致AC 方法難以收斂，因此Lillicrap[20]將AC 方法與DQN 結合，提出深度確定性策略梯度算法(Deep Deterministic Policy Gradient, DDPG)，該方法使用非線性函數近似表示值函數，使得函數能夠穩定收斂，解決了Q 函數更新的發散問題，同時使用經驗回放機制批處理學習，從而使訓練過程更加穩定。在DDPG 的基礎上，基于AC 方法的面向連續動作空間的DRL方法還有雙延遲深度確定性策略梯度算法(Twin Delayed Deep Deterministic Policy Gradient，TD3)[21]，通過延遲智能體更新和添加噪聲的方式提高算法穩定性。此外，針對AC 方法難以收斂的問題，Mnih[22]提出A3C(Asynchronous advantage Actor-critic) 方法，與DQN 采用經驗池降低數據間的相關性不同，A3C 采用異步的方法降低數據間的相關性。通過創建多個并行的子線程，讓多個擁有子結構的智能體在并行的子線程中更新主結構的參數，降低數據間的相關性，加快收斂。但由于A3C 中各個智能體異步獨立更新，會導致難以達到最優全局策略，A2C (Advantage actor-critic) 通過構建多個并行的同步子線程，在每輪訓練中，全局網絡會將子線程更新的梯度進行匯總并求平均，得到一個統一的梯度從而更新主網絡的參數。

1.3 多智能體強化學習模型

多智能體強化學習(Multi-Agent Reinforcement Learning,MARL)系統遵循馬爾可夫博弈（隨機博弈）。在馬爾可夫博弈中，所有智能體根據當前的環境狀態同時選擇各自要執行的動作，這些被選擇的動作構成的聯合動作會影響環境狀態的轉移和更新，并且會影響智能體獲得的獎勵。多智能體的馬爾可夫博弈過程如圖1所示。

圖1 多智能體的馬爾可夫博弈過程

由于多智能體的學習和控制過程更加復雜，智能體之間存在的關系通常分為三類：競爭關系、半競爭半合作關系和完全合作關系，差異體現在算法的獎勵函數中[23]。智能體具有半競爭半合作關系的系統通常使用混合獎勵函數，在平衡貪婪和協作的重要性后學習最佳策略組合。具有完全競爭關系的智能體通常只優化智能體自身的控制策略。而具有完全合作關系的智能體在策略學習過程中考慮其他智能體影響的方式可以分為：無需協作、隱式協作和顯式協作。無需協作方式假設最優聯合動作唯一，因此不需要協作，但這種方式只在特定的場景下有效。分散Q 學習(Distributed Q-learning)[24]是一種無需協作的學習方法，在智能體學習的過程中不需要知道其他智能體的動作。隱式協作通過學習其他智能體的策略達到最優聯合動作。顯式協作在協商選擇動作時需要通信，并逐步完善通信機制，在訓練結束后根據通信機制做出決策。

在隱式協作方式中，為了得到最優策略，每個智能體需要考慮其他智能體的動作和狀態，得到聯合動作值函數，通常只適用于小規模的多智能體問題。平均場論(Mean Field Theory, MFT)[25]是一種隱式協作的多智能體強化學習模型。MFT 假設所有智能體是同構的，動作空間相同且動作空間是離散的，將智能體與其鄰居智能體之間的相互作用簡化為兩個智能體之間的相互作用。算法將值函數轉化為只包含鄰居之間相互作用的形式，對聯合動作做了簡化，但仍然使用全局狀態信息。通過與平均場論結合，提出了MF-Q 算法和MF-AC 算法[25]，用以改進針對多智能體的Q 學習和AC 方法。基于平均場論的多智能體強化學習方法主要解決隨著智能體數量的增加、智能體動作維度過高導致計算復雜度增大的問題，方法主要思想是將智能體的動作空間降維為二維動作空間。

1.4 基于深度強化學習的交通信號控制問題

在基于深度強化學習的交通信號控制中，路網中的交通信號通常由一個智能體獨立控制或多個智能體協同控制，智能體表示交通信號燈，環境通常表示路網中帶有交通信號燈的交叉口，狀態st表示t時刻的環境信息，如車輛位置、車輛速度、車輛隊列長度等；智能體決定采取下一時刻的動作使得獎勵最大化，獎勵通常表示車輛平均等待時間或隊列長度等。在決策過程中，智能體會結合輸入的狀態、獎勵做出相應的動作。下面介紹基于深度強化學習的交通信號控制方法在狀態、動作和獎勵方面的設定。

1.4.1 狀態

智能體根據定量表示的環境狀態決定采取的動作。由于方法結構的不同，基于深度強化學習的交通信號控制使用了許多種不同的狀態表示。大部分作者將交叉口分割為固定長度的網格，通過每個網格中的布爾值確定該位置是否存在車輛，這種網絡化的表示形式實現了交通狀態編碼的離散化，可以獲得高分辨率的真實交叉口信息[26-28]。一些工作通過交叉口當前的快照獲得車輛的速度、加速度以及交通燈的信號相位等信息[8,29,30]，如Garg[31]將圖像作為狀態輸入神經網絡計算預定義動作的概率分布。還有一類廣泛使用的狀態定義方法是將交叉口各個車道的特定信息的平均值或總值作為特征組成一個狀態向量，這些特定信息包括交叉口第一輛車的累計等候時間、交叉口一定距離內的車輛總數、車輛的隊列長度以及信號燈的相位持續時間等[32,33]。還有一些研究將左轉車占比作為狀態信息[26]。

對于多交叉口交通信號控制問題，狀態定義還包括附近交叉口信息，如交通燈信號相位、車輛數量以及平均隊列長度等[34,35]。

1.4.2 動作

智能體在獲得當前環境狀態后，會從動作集中選擇要采取的動作并觀察動作帶來的獎勵及新的環境狀態。當智能體選擇改變相位的動作時，為保證交通安全，會執行黃燈過渡階段[27]。對交通信號控制的智能體有不同類型的動作定義：（1）設置當前相位持續時間[36]；（2）設置當前相位持續時間與預定義的相位總周期持續時間的比率[37]；（3）在預定義的交通信號循環相序中，由當前相位改變到下一相位[38,39]；（4）在預定義的相位中選擇需要更改的相位[32,40-42]。由于大多數單交叉口交通信號控制問題中，動作集合通常為離散的，如保持當前相位或選擇其他相位，因此，基于策略的深度強化學習方法較少應用于單交叉口信號控制中。

1.4.3 獎勵

在強化學習中，車輛等待時間、累計延遲和隊列長度是最常見的獎勵定義。等待時間為車輛靜止或速度小于某個閾值的時間[43,44]，累計延遲為連續的綠燈之間的總延誤差值[8,45]，隊列長度為每個車道的累計隊列長度[2,46]。此外，為同時強調交通擁堵和行程延遲，有些作者將等待時間與權衡系數相乘后與隊列長度相加[32,33]。在多交叉口問題中，通常會設置全局獎勵和局部獎勵，局部獎勵反映每個交叉口的交通狀況，提高每個智能體的穩定性；而全局獎勵使得智能體協作以學習整個路網的最優策略。在智能體的學習過程中，首先通過局部獎勵關注局部任務，然后利用學習到的局部信息優化全局策略。Lin[5]等人將交叉口的凈流出量作為全局獎勵，交叉口東西方向和南北方向隊列長度差值的絕對值的相反數作為局部獎勵，系統最終的獎勵函數為局部獎勵和全局獎勵與系數相乘后相加的混合函數，即系統中智能體的關系為半競爭半合作關系。

1.5 交通信號控制仿真環境

由于多數交通信號控制系統使用仿真環境進行實驗驗證，因此本小節主要介紹用于交通信號控制的城市交通仿真軟件。目前，基于仿真環境的城市交通信號控制研究中，使用的交通數據可以分為自主設定的交通數據和真實交通數據，如Natafgi 等人[47]利用黎巴嫩的真實交通數據在仿真軟件中進行交通信號自適應控制實驗。

目前的城市交通仿真環境主要有SUMO（Simulation Urban Mobility）[48]、Paramics[49]、VISSIM[50]、CityFlow[51]和MATLAB[52]等。其中，SUMO是最受歡迎的開源交通仿真軟件，能夠允許用戶根據自己的目的設置和修改仿真環境，且可以通過Python 中的流量控制接口（TraCI）庫與SUMO交互，同時設置和修改仿真環境。在2015 年SUMO 被首次使用后，此軟件成為該領域最常用的軟件；Paramics 于1992 年開發至今，其仿真環境中的路網建模和編程接口都較為完善和成熟；VISSIM由德國PTV 公司開發，可與西門子、飛利浦等多家公司的設備兼容；CityFlow作為近幾年新的交通模擬軟件，與SUMO 相比速度更快，已經被越來越多的研究學者使用，有望成為下一個主流的交通仿真軟件。它是一種新的開源仿真軟件，可以基于合成數據或真實數據進行多智能體交通信號控制仿真；MATLAB 使用頻率較低，主要功能為數據分析計算，在交通信號控制仿真的實際應用中，通常與VISSIM 集成實現仿真。目前研究中使用的交通仿真軟件多數為開源交通仿真軟件。

交通系統是一個涉及車輛、道路和交通環境的復雜系統，含有許多不確定的因素。利用交通仿真工具，不僅可以將復雜交通信號控制問題具體場景化，而且可以在仿真環境中反復進行低成本實驗。由于當前交通信號控制大多在仿真環境中進行，而智能交通信號控制DRL 模型的研究工作是為了推動智能交通信號控制的實際應用，因此基于真實路網構建仿真環境路網是后續研究工作的必然發展方向。

2 基于深度強化學習的單交叉口信號控制優化

目前用于交通信號控制系統的深度強化學習方法大致可分為兩類：（1）基于值函數的方法，有深度Q 網絡[39]、雙重深度Q 網絡[15]、決斗深度Q 網絡[19]、雙重決斗深度Q 網絡(Double Dueling Deep Q Network)[29]、具有優先經驗回放的深度Q 網絡(Prioritized Experience Replay)[18]等；（2）基于策略梯度的方法有：優勢行動者-評論者(Actor-Critic,A2C/A3C)[22]等。

近年來，強化學習與深度學習相結合的深度強化學習方法在交通信號控制領域應用越來越廣泛，并且取得了令人滿意的結果。單交叉口交通信號控制主要由單個智能體進行訓練和執行，基于值和基于策略的方法都可以很好地滿足需要。還有許多學者從改進深度學習模型的輸入或深度強化方法、考慮車輛異質性、考慮路網關鍵點等方面入手，優化用于交通信號控制的深度強化學習模型。基于深度強化學習的單交叉口信號控制系統方法匯總于表1。

表1 基于深度強化學習的單交叉口信號控制系統方法

2.1 改進深度強化學習方法

為了解決DQN 容易高估Q 值的問題，Liang[29]等人提出將雙DQN 與決斗DQN 結合的方法——雙重決斗DQN，以增強模型的穩定性，其中，使用CNN 分別作為Q 值函數逼近器和目標網絡。與其他大多數方法不同的是，作者將動作集定義為如何更新交叉口每個相位的持續時間。此外，作者使用優先經驗回放提高有意義的經驗采樣率，與DQN 方法相比，明顯減少了車輛在高峰時期的平均等待時間，并提高了模型的可收斂性。這也是首次將決斗網絡、目標網絡、雙Q 網絡和優先經驗回放結合到一個框架中來處理交通信號控制問題，為面向強化學習的交通信號控制系統提供新的思路，但雙DQN和決斗DQN在提高模型學習效果的同時也會使得模型的訓練過程不穩定。

Mousavi[8]等人分別提出基于值的交通信號控制方法和基于策略梯度的交通信號控制方法。其特點在于，將交叉口的截圖直接作為狀態輸入CNN 獲得車輛位置和隊列長度，且仿真結果優于淺層神經網絡和固定時間的交通信號控制方法。實驗驗證了這種方法在模擬環境中的可行性，并且在智能體訓練和應用過程中沒有出現不穩定性問題。但是模擬環境與實際物理場景可能不同，由于這種方法應用交通模擬器采集的車輛位置圖像和隊列長度以找到信號的最優控制策略，因此現實環境中干擾物較多的情況下如何保證識別準確率也需要考慮。

Wan[26]等人將動作和狀態同時作為神經網絡的輸入估算Q 值并輸出某一個動作，根據智能體的兩個動作執行時間間隔確定動態折扣因子，時間間隔越長，則折扣因子越小，即時間間隔越久的動作對當前值函數的影響越小。在與DQN 等方法的對比實驗中發現，將動作作為輸入添加到神經網絡中，訓練結束后只需要輸出一個動作的值可以使DQN 的訓練難度降低。但是DQN 框架只能在離散動作空間中使用，因此嘗試在連續動作空間應用該方法處理交通信號控制問題更具有現實意義。

2.2 自編碼器結合深度強化學習方法

Gender[55]等人根據交通環境中的具體信息（車輛位置、速度等信息），將狀態表示為類圖，使用離散交通狀態編碼，在DQN 中使用卷積神經網絡（Convolutional Neural Network, CNN）估算離散動作的Q 值。但是Q-learning 方法中使用貪婪策略雖然可以快速讓Q 值向可能的優化目標靠攏，但容易導致過度估計。Q 值過度估計會使策略產生震蕩，使得模型策略陷入局部最優，導致最終得到的算法模型有很大的偏差，因此Li[4]等人通過將DQN 中的值函數逼近器由傳統的DNN 更改為堆棧自編碼器（SAE）。這些方法主要著重于不同深度學習模型在強化學習中的應用。

2.3 模式模糊推理結合深度強化學習方法

一些方法通過改變交叉口輸入或利用模糊推理定義車輛優先級實現單交叉口交通信號控制的優化。如Kumar[53]等人首先根據車輛種類將道路運行模式分為三類：公平模式、優先模式和緊急模式，通過模糊邏輯推理確定道路當前運行模式，并根據車輛類型分配相應車道的綠燈時間。其次，智能體的動作集合為選擇維持當前動作或切換動作集合中的下一相位，綠燈持續時長則由道路運行模式決定。

該方法與改進的深度強化學習方法有很大不同，通過考慮車輛的異質性（例如優先安排應急車輛通過）最小化等待時間，與其他幾種基于模糊推理、神經網絡或只基于優先級的方法比較，在減少CO2排放和平均等待時間上有積極效果。但模糊推理需要大量內存，在智能體數目較多時會損失精度。

2.4 關鍵節點挖掘結合深度強化學習方法

Xu[27]等人認為路網中的關鍵節點對緩解交通擁堵起著至關重要的作用，關鍵節點被識別為如果發生故障將導致道路網絡交通效率大幅降低的節點，因此優化關鍵節點的信號控制具有重要意義。文中將交通信號控制系統分為兩個階段，分別為路網關鍵節點發現階段與信號控制策略學習階段。路網關鍵節點發現階段，通過地圖匹配方法實現路網區域劃分，并將路網劃分為三分圖，然后根據三分圖對每個交叉口的重要性進行排序，實現路網關鍵節點被發現；在發現路網關鍵節點后利用基于深度回歸Q 網絡（Deep Recurrent Q Network，DRQN）的交通信號策略學習實現對關鍵節點的控制，在DRQN 中值函數逼近器為LSTM，在每個情節中利用ε-貪婪策略選擇一個動作。

較大規模的交通路網更容易導致交通擁堵，要解決這一問題就需要更多的智能體或輸入的狀態空間維數增加，這會導致智能體學習效率降低。該方法通過對關鍵節點進行優化控制提高大規模路網交通效率，且仿真結果略優于基于DQN 的交通信號控制方法。但實驗中缺乏流量峰值時的對比實驗，當路網處于流量峰值時，在路網中選取的關鍵節點的數量和規則也需要考慮。

2.5 魯棒性增強結合深度強化學習方法

Tan[54]等人將雙DQN 作為交通信號控制策略學習方法，狀態定義為當前信號相位、隊列長度和道路中車輛的平均速度。圖2 給出了深度強化學習循環過程[54]，為進一步提高交通信號控制系統的魯棒性，將噪聲信息添加到狀態集的隊列長度中，而其他狀態則不受影響并通過多層神經網絡進行對抗訓練，提高模型的抗噪能力。

圖2 深度強化學習循環過程[54]

由于深度強化學習交通信號控制在實際應用時，模型的魯棒性和安全性是最關鍵的問題，因此通過在模型訓練過程中添加適當噪聲模擬現實世界中狀態信息獲取不準確的情況，以有效提高模型的魯棒性。在實驗中證明經過對抗訓練的智能體在不同噪聲場景下具有更好的表現，這為深度強化學習交通信號控制系統從模擬環境走向現實環境提供了可行方案。

2.6 部分可觀測車輛結合深度強化學習方法

目前大多數研究都是在環境為完全可觀測環境的假設上進行的，Zhang[28]等人通過設置部分車輛為不可觀測車輛，利用DQN、優先經驗存放和目標網絡實現在部分可觀測環境中改善交通信號控制。方法的特點是由于部分車輛可檢測，因此論文選擇交叉口中更具體的信息作為狀態，如可檢測到的車輛數量、當前相位、最近車輛的距離、當前相位持續時間和當前時刻。其中，將當前時刻作為狀態輸入是為了模擬現實生活中的交通模式。將模型分為訓練階段和執行階段，將訓練階段訓練好的模型應用于未知的執行階段的環境。設置車輛檢測率從0%到100%進行改變，分別觀測交通信號控制的結果，通過訓練階段與執行階段的不同檢測率設置，檢驗模型性能。實驗結果表明，模型的遷移性較好，具有一定的實際意義。

這是一種在部分檢測場景下優化交通控制問題的新方法，追求以更低的檢測率來實現較優的交通流量控制。這種方法考慮到了稀疏、中等和密集三種車流量的情況，雖然在稀疏車流和密集車流情況下優化結果大有不同，但依然能提供良好的整體優化方案。此外，在密集車流量情形下，相比于其他完全可觀測的場景，該方法中能被檢測到的車輛通行時間縮短，但總體的車輛等待時間還有待進一步優化。

3 基于深度強化學習的多交叉口信號控制協同優化

近年來，多交叉口交通信號控制越來越成為人們的研究熱點。本節通過對多交叉口交通信號控制方法和技術進行對比，將基于深度強化學習的多交叉口信號控制系統方法匯總于表2。

表2 基于深度強化學習的多交叉口信號控制系統方法

續表2

3.1 智能體中心化結合深度強化學習方法

Arel[56]等人利用路網中的中心化的Q 學習網絡控制多交叉口。中心智能體接收其鄰近智能體的流量信息學習價值函數，并且設置了中心智能體的獎勵函數與多智能體的平均獎勵函數優化中心智能體的策略。中心智能體的鄰近智能體采用最長隊列優先（LQF）的方式實現信號控制，中心智能體通過將Q 學習結合前饋神經網絡實現Q 值估計。

該方法通過中心智能體和鄰近智能體之間不同的控制方式，并由鄰近智能體向中心智能體提供本地交通數據信息從而與中心智能體進行協作控制。實驗結果清楚地證明了基于多智能體RL 的控制優于LQF 控制的孤立單交叉口控制。同時這也是一種分布式的控制方式，因此具有良好的可擴展性，可較好地應用到規模較大的路網中。

3.2 復雜狀態表示結合深度強化學習方法

Rasheed[57]等人通過考慮相鄰智能體的動作，以多智能體協作的方式學習最佳聯合動作，且通過每個智能體的Q 值相加后得到全局Q 值。此外，為使環境更接近真實情況，實驗中考慮暴雨天氣對交通狀況的影響，將暴雨程度作為狀態輸入DQN中實現交通信號控制。

一些強化學習交通信號控制方法容易受到維數災難的困擾，環境的表示和動作空間可能是高維和復雜的，這會使得模型訓練難以收斂。因此Rasheed[57]等人研究了在高流量和高干擾的交通網絡場景下進一步解決維數災難的應用，與基本模型相比，該模型在仿真中能夠獲得較高獎勵，并在真實交通路網下進行了實驗驗證。

3.3 改進深度強化學習方法

由于DQN 自身收斂效果差的缺點，Gong[58]等人將雙重決斗DQN應用于多交叉口交通信號控制中。將智能體動作空間中的部分動作設置凍結期，處于凍結期的動作無法被選中，以提高模型的穩定性。Kim[59]等人也將雙重決斗DQN 與優先經驗回放應用于多交叉口交通信號控制優化，將時刻、溫度等作為特征預測交叉口下一時刻的流量，并將預測值和智能體的動作輸入NoisyNet，實現強化學習智能體的探索過程。相較于基于ε-貪婪的探索方法，NoisyNet更加適用于高維動作空間。針對多交叉口交通信號控制，利用分布式強化學習的思想，每個智能體在更新Q 值網絡時考慮其相鄰智能體上一時刻的Q值，通過多智能體協作獲得全局最優值。將雙重決斗DQN作為多交叉口信號控制的方法能夠解決模型的過估計問題，但由于算法對數據和環境的要求較高，模型訓練難度較高，因此模型的遷移性較低。

Chu[32]等人根據IDQN[65]提出多智能體A2C(MA2C)，在非完全觀測的條件下，將每個智能體的相鄰智能體的最新策略與智能體當前狀態一同輸入DNN 網絡中，并且將距離較遠的智能體的信息按比例縮放，提高算法的穩定性和可收斂性。文中使用混合獎勵函數，智能體之間的關系為半競爭半合作關系。其中全局獎勵為所有智能體即時獎勵之和。將全局獎勵與提出的空間折扣因子相乘后，再與時間折扣因子相乘得到反饋給每個智能體的折扣全局獎勵，最終每個智能體的混合獎勵為反饋的折扣全局獎勵與鄰居智能體折扣后的值函數相加之和。實驗結果顯示該方法在平均獎勵和隊列長度以及路網中的車輛吞吐量上均優于無協作的IA2C 和貪婪算法。當路網規模擴大時，基于分散訓練的多智能體模型的訓練效率會降低，因此可擴展性較差。

3.4 圖卷積神經網絡方法

Li[44]等人在訓練時考慮到全局狀態實現協作，將其他智能體的相位信息以布爾值形式存放在離散表格中，并將其輸入值函數逼近器中實現信息共享，每個智能體通過DQN 學習策略。但智能體單獨訓練的方式可能會導致模型難以穩定收斂。由于DQN 中常用的狀態信息學習模塊通常基于CNN，而CNN 對于拓撲結構的信息處理能力較差，因此Nishi[41]等人使用圖卷積神經網絡（GCN）直接提取路網幾何特征，并以分布式方式控制交叉口交通信號，使用N 步神經擬合Q 迭代（NFQI）批處理收集的數據從而更新Q值。

與其他一些多交叉口控制方式不同，這種方法不是直接與其他智能體進行通信，而是通過所提出的方法學習控制策略且每個交通信號燈由單獨學習的策略控制。GCN 能夠根據遠距離道路之間的交通關系自動提取特征，且這種方法擁有兩倍于基于強化學習方法的學習效率，更快地找到最優策略。在與基于CNN的深度強化學習方法對比實驗中，基于GCN的深度強化學習方法略有提升，但模型中智能體屬于完全競爭型，降低了網絡的穩定性。

3.5 獨立雙Q學習方法

Wang[61]等人提出一種基于協作的獨立雙Q 學習（Co-DQN）方法。Co-DQN 采用置信上限法則（UCB）進行智能體的動作探索行為。在多智能體學習過程中，為保證模型收斂和降低復雜度，作者應用基于平均場論的多智能體強化學習模型，減少動作空間維度，提出了獨立雙Q 學習方法。在提出的獨立雙Q 學習方法的基礎上，每個智能體的獎勵函數由智能體自身和其相鄰智能體的加權獎勵函數之和代替，相鄰智能體之間共享狀態信息，得到的Co-DQN模型提高了訓練過程的穩定性。

該方法與MA2C、IQL 等較為先進的方法相比具有更高的獎勵，且該方法的獎勵比較穩定。但置信上限法則的收斂速度較慢，對高度復雜問題的解決能力有限，不適用于大規模路網中的智能體訓練。

3.6 中心訓練結合分散執行框架方法

Li[30]等人將多智能體深度確定性策略梯度（MADDPG）算法應用于多交叉口交通信號控制的優化。在MADDPG 算法中，智能體利用中心訓練-分散執行(Centralized Training Decentralized Execution, CTDE)框架，同時訓練需要全局信息的Critic 網絡和只需要局部信息的Actor 網絡，并使用Critic 網絡對Actor 網絡進行參數更新，執行時Actor網絡只了解局部信息也能獲得近似的全局最優策略。每個智能體根據其他智能體的全局信息訓練學習策略，并根據其他智能體的預估策略調整局部策略。由于每個智能體有單獨的獎勵函數，因此MADDPG 算法可應用于存在完全合作、完全競爭和半競爭半合作關系的任務中。與基于DDPG的仿真結果相比，基于MADDPG 的算法可將收斂性提高，且平均車輛等待時間明顯降低。

Wu[62]等人在MADDPG 的基礎上提出MARDDPG，與MADDPG 的不同之處在于，MARDDPG在Critic 網絡和Actor 網絡中添加了循環神經網絡（LSTM）提高模型在非完全觀測環境下的穩定性。此外，為了提高算法的訓練效率和收斂速度，將參數共享機制融入Critic 網絡。為了更加符合實際情況，將多交叉口中的車輛設置不同優先級，如公交車比私家車具有更高的優先級，并進一步考慮行人的影響。MARDDPG 的仿真結果相比MADDPG有所提高。

基于MADDPG 的方法與基于MARDDPG 的方法都采用AC 網絡實現，但Critic 網絡的輸入空間會隨著道路網絡規模的擴大而線性增加，導致模型難以收斂，可以通過考慮相鄰模型的信息提高模型的可收斂性。

3.7 信息交換結合深度強化學習方法

在智能體協作過程中，通過相鄰交叉口獲得的信息維度較低且時滯較嚴重，導致智能體之間通信的魯棒性降低。為解決這一問題，Xie[33]等人提出了一種基于信息交換的方法來解決交通信號控制問題，即用非即時信息代替即時信息，使用上一時刻的觀測信息代替當前時刻的觀測信息。提出的模型可分為三部分：信息抽象塊、信息交換塊和DQN。其中，信息抽象塊將局部智能體上一時刻的信息通過神經網絡學習后得到的較低維通信協議傳送給其他智能體，且所有智能體之間共享信息抽象塊的參數。信息交換塊根據智能體之間影響的重要性和智能體對其他智能體的敏感性自動學習通信協議參數、分配權重。Q網絡塊根據信息交換塊輸入的影響系數和其他輸入信息輸出Q值。為緩解局部可觀測問題，文中假設將交叉口之間信息和當前局部觀測信息整合后作為完全可觀測狀態。

圖3 給出了實驗結果中的車輛平均隊列長度和車輛平均延遲時間對比圖[33]，與MA2C和IQL等方法相比，該方法可獲得最低的平均隊列長度和平均延遲。智能體間共享參數能夠提升算法的訓練效率，但這種方法只適用于較為簡單的路網，對具有不同動作空間的交叉口適用性較差。

圖3 三種算法的車輛平均隊列長度和車輛平均延遲時間對比[33]

3.8 元學習器結合深度強化學習方法

Zang[63]等人將基于值的元學習方法[65]應用于交通信號控制中，元學習過程可分為訓練過程和測試過程，目的是訓練一種通用的元學習器，訓練好的模型可以適應不同種類和數量的交叉口。通過兩個模塊交替更新參數實現：個體適應模塊和全局適應模塊，其中個體適應模塊每個時刻逐步優化參數，全局適應模塊通過批采樣任務同步更新，并最終將最優的全局適應模塊的參數傳遞給個體適應模塊。其中，個體適應模塊的參數學習方法為FRAP++，FRAP++是作者基于FRAP 方法[67]改進后的方法，將相位表示由求和改為求均值后提高了模型的遷移能力。

這種方法提高了模型的遷移性，訓練好的元學習器可以適應新的交叉口，通過轉移先前學習的知識提高交通信號控制中深度強化學習的學習效率。

3.9 歸納動態圖強化學習方法

Devailly 等人[60]基于歸納圖強化學習(Inductive Graph Reinforcement Learning，IG-RL)將交叉口中的對象（車道、信號燈以及車輛）建模為拓撲結構圖中的節點，對象之間的物理連接關系建模為拓撲結構圖中的邊，由節點和邊構成動態拓撲圖，采用GCN在相同類別的節點間、同交叉口中的對象間共享參數。其中，拓撲結構圖中的節點表示交通信號控制器的狀態（當前相位、連接關系），連接節點表示交叉口入口車道與出口車道的連接關系（與拓撲結構圖中節點的當前相位有關），車道節點表示車道狀態，車輛節點表示車輛狀態。通過分布式RL 訓練模型，訓練過程中，在多種路網拓撲結構、交叉口拓撲結構、交通車輛分布的環境中收集經驗，并通過學習到的經驗更新共享參數。通過包含多樣性路網拓撲結構的訓練集限制相鄰交叉口的影響，提高訓練過程的穩定性和模型的可擴展性。將在多種路網拓撲結構中訓練好的模型應用于測試路網，根據模型在測試路網中的表現評估模型的可遷移性。作者設計了豐富的實驗，在IG-RL 中分別只考慮車輛級別信息和車道級別信息，驗證了基于車輛級別信息訓練模型的泛化能力更好，可遷移性更高，模型在正常流量和高峰流量情況下能獲得更好的控制效果。

由于在真實交通環境中進行交通信號控制的研究較難實現，目前絕大多數基于深度強化學習的交通信號控制研究都是在仿真環境中完成的。前面介紹了目前常用的仿真軟件，仿真軟件可根據不同環境和參數實現不同場景下的仿真。目前大多數仿真實驗都是通過在仿真軟件中構建單個或多個網格路網實現多交叉口或單交叉口的交通信號實驗[29,41,56,61]，許多工作中分別將真實的路網結構和基于仿真軟件構建的網格路網作為實驗路網[30,57,65]。如Chu[32]等人將Monaco 市的真實路網作為實驗路網，同時構建了一個5*5的網格路網作為實驗路網。

還有一些研究不僅使用真實路網，還根據一些公開的交通數據設置相應的模擬參數，使得仿真情況更接近實際場景。如Gong[58]等人使用佛羅里達州Orlando 市Seminole 縣的真實路網作為實驗路網，并根據Seminole 縣提供的真實信號控制時序作為對比方法，從Orlando 市區交通研究（Orlando Urban Area Transportation Study，OUATS）中獲取了2009 年Orlando 市Seminole 縣相應路網的日常OD 矩陣，并依此規劃車輛軌跡。Zang[63]等人使用通過監控捕捉的杭州和濟南地區的部分十字路口車輛信息，以及美國Atlanta 和Los Angeles 通過沿街攝像機捕捉的車輛完整軌跡分別作為試驗數據集，進行模型的可遷移性對比。文中使用的路網和數據集均是通過美國ITS DataHub 網站的公開真實數據集，ITS DataHub 中的數據集包括連接車信息、自動車輛數據、車輛軌跡現場測試數據以及天氣數據等。表3 總結了基于強化學習的交通信號控制仿真實驗路網及數據。

表3 基于強化學習的交通信號控制仿真數據及路網

DRL 算法需要依靠大量的數據集，通過不斷的探索尋找最優交通信號控制策略。訓練完成后的智能體遷移性較差，在不同的交通流分布下表現出不同的性能。但是仿真實驗的車流量、車軌跡的分布等大多由作者設定，因此智能體訓練時的車流量要符合真實的交通流量分布。但是，不同模態（工作日和周末、高峰和平峰等）的車流分布往往會有很大差別，這種情況會給交通信號控制的DRL模型訓練和通用性造成困難。

4 總結與展望

本文針對基于深度強化學習的交通信號控制方法做了全面的調查，并按照單智能體（單個交叉口信號控制）和多智能體（多個交叉口協同控制區域交通流量）兩部分進行總結，且列舉了可用于交通信號控制實驗的模擬環境。下面對未來的研究方向進行探討。

4.1 狀態空間、獎勵機制

正如前面所述，基于深度強化學習的交通信號控制使用許多種不同的狀態表示，較多的狀態具有大規模的狀態空間，而強化學習作為一種不斷試錯去學習最優策略的算法，會導致學習效率的下降。學習效率的下降同樣也會帶來交通信號控制中交通擁堵的出現。最新的研究[42,68]表明，簡易的狀態空間和大規模復雜的狀態空間訓練得到的智能體性能相近，但是簡單的狀態能節約計算成本并提高學習效率。因此建議應用簡單的狀態作為智能體的輸入，提高交通信號控制智能體學習效率。

獎勵作為強化學習的重要環節，因此不同的獎勵機制會影響運行結果。現有文獻通常使用一種替代獎勵，該獎勵可以在行動后有效測量，例如平均等待時間、平均隊列長度、平均速度、車輛吞吐量等均可作為智能體的獎勵激勵智能體學習最優策略。由于不同獎勵設置的出現，獎勵中多個因素的權重設定也成為困擾。因此，研究人員需要尋找最能確切反映智能體學習目標的因素，以更高效的方式控制交叉口交通流量。

4.2 算法復雜度

為了提高模型的性能，一些基于值的深度強化學習方法通過優化策略學習過程防止模型過估計動作的Q 值。一部分工作[41]將用于值函數逼近的深度學習方法由CNN 替換為GCN 提高交通信號控制系統的性能；還有一部分工作[58]引入3DQN等先進方法。雖然這些方法能夠提高模型性能，但同樣也增加了算法的復雜度和模型的收斂難度。過高的算法復雜度與傳統的信號控制理念嚴重相違背，因此在追求模型高性能的同時要兼顧算法復雜度。

4.3 安全性

深度強化學習在交通信號控制應用中表現出了卓越的性能，但由于其模型內部的黑盒性質以及不可解釋性，導致人們無法完全信任模型作出的決策。尤其是使用智能交通信號燈控制交叉口車輛流通時，對決策結果一味的信任可能會導致交通嚴重堵塞。因此深度強化學習系統真正應用到實際之前，探究深度強化學習系統的魯棒性十分重要。安全性對于實際應用是至關重要的，基于深度強化學習的多交叉口交通信號控制系統若受到攻擊，對城市交通的影響難以想像。因此，針對深度強化學習的安全漏洞[70]研究可以推動研究人員找到抵御對抗性干擾的方法提高模型的魯棒性，這能夠在很大程度上提高交通控制系統的安全性，加快深度強化學習在交通信號控制中的實際應用。

4.4 模型魯棒性

由于目前絕大多數交通信號控制研究都是在仿真環境中完成的，使用的交通數據和交通路網通常是由人為設定的數據仿真生成，缺少真實性，訓練好的模型應用到實際問題中的效果難以保證。因此，如何提高模型的魯棒性同樣是深度強化學習交通信號控制系統最關鍵的問題。雖然面向強化學習的元學習方法[63]和Devailly 等人[60]利用GCN 建立動態關系被應用在交通信號控制中，通過提高算法對新的交通場景的適應能力，從而提高模型的遷移性。未來可以通過大量的真實數據集，包括環境中交叉口附近的車輛、人群以及建筑物等信息構造一個更加逼真的交通環境。此外，還可以通過考慮人群軌跡等信息等進一步優化交通信號控制系統。這是從模擬環境到現實世界轉換的關鍵。

4.5 公平性

在實際設計交通信號控制系統時，公平性是非常重要的。由于當前大部分的深度強化學習交通信號控制方法是一種在線的自適應控制方式，即當前相位持續時間結束時才能確定下一相位，這會導致駕駛員不知道要在交叉口等待多長時間。然而在實際場景中，這種特性會導致實際應用過程無法展示紅燈倒計時時間，并且擁有紅燈倒計時裝置的路口同樣有助于減少啟動延遲。這或許也是能夠略微減少車輛等待時間的有效方法之一，值得研究人員深入考慮。

4.6 混合驅動思想

傳統的信號控制方法將交通信號控制作為一個優化問題，交通模型可以通過最大壓力控制器來減少路網中干線交通網絡的隊列長度，但在現實世界中交通狀況容易受到眾多因素干擾且這些因素很難在交通模型中進行描述。而強化學習算法可以描述有效的狀態信息，但有學者意識到單純的強化學習算法并不是最好的，因其存在一些問題：（1）采樣效率低：模型訓練中需要從經驗回放池采樣幾萬甚至更多的樣本進行訓練，計算成本巨大。（2）激勵函數：強化學習總是需要一個獎勵函數。設定的獎勵函數必須準確地與實現的目標相同，但是獎勵函數的定義也是關鍵性問題。獎勵過于豐厚或匱乏都會影響智能體學習最優策略。（3）泛化能力差：DRL 有可能會過度適應訓練環境，導致該模型在其他環境中遷移性較差。因此在交通信號控制方法的改進中，將強化學習算法與傳統交通信號控制算法結合或許是一種有效的改進思路。

綜上所述，當前通過DRL 解決交通擁堵問題的研究大部分依托于模擬交通數據和仿真交通網絡。但我們不能局限于在仿真環境中帶來的實驗效果，在未來研究中，可以嵌入混合交通流、緊急車輛優先等管理思想增強決策實用性；深入分析DRL 學習參數對性能的影響，提高決策的可靠性；利用真實的交通流數據、在實際交通路網中進行實驗，最終達到提高區域車輛通行效率，推動DRL在智能交通控制中的發展和實際應用。