深度學習在城市交通流預測中的實踐研究

尹邵龍　趙亞楠

摘 要： 短時交通流狀態預測對于實現城市智能交通系統至關重要。在過去，很多神經網絡模型被提出來用以預測交通流，但是效果并不是很顯著。究其原因，是因為大多數都是利用淺層模型在學習，淺層模型由于容易陷入局部極值而且不能模擬更復雜的數學運算，所以并不適合于模擬現實的交通狀況。深度學習作為機器學習的新興學科，在語音與圖像處理方面取得了顯著的成效，它能夠非監督地從數據中學習出有效的特征用以預測，故在此利用深度學習進行建模用以城市主干道交通流預測。實驗表明，模型取得了不錯的交通流預測效果。

關鍵詞： 深度學習； 交通流預測； 神經網絡； 機器學習

中圖分類號： TN915.5?34； TP183 文獻標識碼： A 文章編號： 1004?373X（2015）15?0158?05

Practice and research on deep learning applied in urban traffic flow prediction

YIN Shaolong， ZHAO Yanan

（North China Institute of Computer Technology， Beijing 100086， China）

Abstract： Short?term traffic flow state prediction plays an important role in realizing urban intelligent transportation system. Many neural network models have been proposed to predict traffic flow in the past， and the effects are unsatisfied. The reason for this is that most models learning uses shallow model. Since shallow model is liable to sink into local extremum and unable to simulate more complicated arithmetical operation， it is not suitable for simulating actual traffic condition. As a new branch of machine learning， deep learning has made great success in the field of voice and image processing. It can learn valid features for prediction from data sets in an unsupervised way. Deep learning is applied to prediction urban main road traffic flow by modeling. The experimental results show that this method has achieved better traffic flow prediction effect.

Keywords： deep learning； traffic flow prediction； neural network； machine learning

0 引 言

隨著社會的快速發展和機動車數量的急劇增加，城市交通日益趨向于擁堵，交通事故與空氣污染也進一步加劇。在我國，北京、上海這樣的大城市在中心市區的平均車速在高峰時期不足20 km/h，交通擁堵又進一步導致了能耗加劇與環境污染。研究結果表明[1]，當車速由40 km/h降低至10 km/h時，能量損耗量會增長1倍，環境污染量會增加3倍以上。北京市汽車排放的氮氧化物、一氧化碳對環境分別占到46%和63%。所以，智能交通系統（Intelligent Transportation Systems，ITS）成為解決城市擁堵問題的關鍵途徑。智能交通系統有效地利用當前先進的硬件和軟件，對交通進行有效的綜合管理。短時交通流狀態預測（Short?term Traffic State Forecasting）作為智能交通系統的核心技術，它利用現有數據對交通流狀況進行預測，進而幫助出行者進行路徑規劃，實現交通流誘導，從而緩解了交通擁擠，減少了環境污染。人們針對交通流預測，提出過不同的預測模型；但是由于城市交通流時間與空間上的復雜性，給預測結果的準確率帶來了挑戰。

深度學習作為機器學習的新興學科，一經提出便受到了廣泛的關注，像Google、微軟、百度，都在研究與利用深度學習。它被成功地應用到了分類任務、自然語言處理、降維、圖像識別等等方面。深度學習通過利用多層體系架構來有效地、非監督地提取出底層數據的潛在的典型特征，進而提供給高層進行分類與回歸。交通流本身就是一個復雜的過程，深度學習架構能夠幫助我們無先驗知識卻能有效地學習與抓住其中內在的復雜特征，進而有效地進行交通流預測。

本文提出了一個基于深度學習的交通流預測模型，通過訓練并加以實現。實驗結果表明，這種方法在交通流預測當中取得了不錯的準確率。

1 背景介紹

1.1 交通流預測

交通流預測一直都被認為是實現城市智能交通系統（ITS）的關鍵技術問題。它利用以往歷史數據對未來某段時間內交通流量進行預測。預測時段一般為5～30 min。

令[Xti]表示第[i]個交通道路在第[t]時間的交通流量，那么給定一個觀察得到的交通流序列，[i=1，2，…，m；][t=1，2，…，T，]那么交通流預測即是根據這以往的交通流序列對于某條道路[{T+Δt}]時間段進行預測。其中[Δt]可以進行調節。

交通流預測模型一般包括兩步，即特征學習與模型學習。特征學習即非監督學習，通過訓練可以得到代表以往歷史交通時間序列的一個特征代表模型[h。]經過特征訓練后，以往的交通流序列[X]即可通過[h]轉化為另外的一個特征空間[Y，]即[h（x）→Y；]模型學習即監督式學習，給定一組特征[Y]與目標任務[Z]的配對組[{（Y1，Z1），][（Y2，Z2），…，（Yn， Zn）}]學習預測模型[Zn+1=g（Y），]通過最小化目標損耗函數[L，]得到預測模型的適合的參數[W：]

[L（Z；W）=Z-g（Y）2] （1）

盡管預測模型之間互有差別，但是目標損耗函數大多數都是一樣的。以往的預測模型可以分為三類[2]：

（1） 基于以往歷史數據的時間序列法。自回歸整合滑動平均模型[3]（ARIMA）就是通過找到交通流隨時間變化的模式，從而實現預測。相似的還有子集ARIMA[4]，表達變量ARIMA（ARIMAX）[5]，向量自回歸移動平均（ARMA）和基于時間與空間的ARIMA[6]，還有季節性的ARIMA（SARIMA）[7]，卡爾曼濾波方法[8]等。

（2） 基于概率圖模型的方法。通過概率圖的方法對交通流進行建模與預測，常見的方法有：貝葉斯網絡[9]，馬爾可夫鏈，馬爾可夫隨機場（MRFs），模糊邏輯[10]等。

（3） 非參數統計方法。由于這種方法能夠很有效地模擬交通流不確定、復雜性和非線性等特點，所以它比其他方法取得的效果更好。例如神經網絡（NNs），支持向量回歸（SVR），局部加權學習（LWL），k?NN[11]方法，支持向量機（SVR）[12]，隨機微分方程[13]等。

總體說來，隨著智能交通的發展，很多預測模型都被提出來了。但是，很難說某個具體的方法在所有交通流領域強于另外一個方法。因為這些方法大多數都是基于某些特定的數據進行建模的，并且預測結果也依賴于采集數據的準確性。然而神經網絡（NN）由于能夠有效利用歷史數據與數據之間的關系，所以能夠獲得更好的健壯性與預測結果。可是現有的神經網絡大多數都是基于淺層體系架構，當建立多層架構時，基于梯度下降的方法就不能有效地進行參數調節。深度學習作為一種新興的神經網絡，它解決了傳統NN的訓練問題，獲得了比傳統神經網絡更好的實驗效果。所以利用深度信念網絡（DBN）可以對交通流模型進行預測與改進。

1.2 深度信念網絡

深度信念網絡（DBN）作為深度學習模型中最常見的一種模型，它是通過一系列的RBM堆積而成。每一層的RBM都只有一個隱藏層，每一層的輸出作為下一層的輸入。Hinton等人提出了一種可以快速的每次逐層訓練DBN的方法[14]，即每次訓練一層。

RBM即限制玻爾茲曼機，它是馬爾可夫隨機場（MRFs）的一個特例。若一個二分圖，每層節點互相之間沒有連接，一層是可視層（visible），另外一層是隱藏層（hidden），且假設所有節點都是隨機的、二值分布的，二層之間通過對稱矩陣進行連接，并且概率分布滿足玻爾茲曼分布，那么這就是RBM。可視層對應于輸入，因為它們的狀態已經被觀察得到；隱藏層對應于特征探測，它們的聯合組態能量方程[（v，h）]為：

[E（v，h）=-i∈vnbivi-j∈hnajhj-i，jnvihjwij] （2）

式中：[vi]和[hj]是輸入[i]和特征[j；][bi]和[aj]分別是他們的偏移量；[wij]為它們之間的權重矩陣。因為隱藏層之間是相互條件獨立的，即：

[P（hv）=jP（hj|v）] （3）

那么當[v]或者[h]給定時，便可以計算出它們的條件概率分布：

[P（hj=1v）=11+exp（-i=1nwijvi-aj）P（vi=1h）=11+exp（-j=1nwijhi-bi）] （4）

那么當給定一組訓練集[{Vcc∈{1，2，…，C}}]時，其目標就是最大化這個模型的對數似然函數：

[c=1Clog p（Vc）=c=1Clogge-E（Vc，g）uge-E（U，g）] （5）

一般都是通過梯度下降法求得參數[wij，][bi]和[aj，]但這里可以用吉布斯采樣法近似求得，即可視層[V]根據指定的規則采樣出隱藏層[H，]然后再反過來采樣出可視層[V，]這個過程可以重復很多次。經過多次的迭代，模型會忘記它的初始起點，這樣就可以從它們的平衡分布中進行采樣。最終，函數期望利用對比分歧（CD）方法在有限次內便可以得到近似值。把[N+1]次采樣的算法標記為CD?[N。]實踐中，一般用CD?1就可以得到合適的值。那么就可以得到權值[wij]的更新規則：

[Δwij=εω（Edatavihj-Emodvihj）] （6）

式中：[εω]為學習速率；[Edata]是根據初始模型分布當可視層輸入的時候，隱藏層的期望輸出；[Emod]是通過CD算法估計出來的期望輸出。同理，[bi]和[aj]的更新規則與[wij]相類似。

[Δbi=εb（Edatavi-Emodvi）]

[Δbj=εb（Edatahj-Emodhj）] （7）

1.3 高斯?伯努利GBRBM

在普通的限制玻爾茲曼機（RBM）中，可視層的輸入限制為0或1，這樣對于模擬現實中像交通流這樣的連續值是很不方便的。于是，可以通過高斯?伯努利GBRBM[15]來模擬真實數據。它通過加入高斯噪音的連續值來模擬真實的數據，進而替代了普通RBM的二進制的可視層輸入，其能量函數改為：

[E（v，h）=i=1V（vi-bvi）22σ2i-j=1Hahjhj-i=1Vj=1Hviσihjwij] （8）

式中：[vi]表示可視層第[i]個真實值；[σ]是高斯函數的標準方差。通過方程就能讓可視層表達獲得某個特定連續值的優先權，根據能量方程[16]，得到它們的條件概率分布為：

[p（vih）=N（bi+σij=1nhjwij，σ2i）p（hjv）=sigm（i=1nviwij+aj）] （9）

它的訓練調參過程與普通的RBM沒什么區別，都可以利用CD過程對參數進行調節。

2 體系架構

在此，建立了深度架構，底層是由GBRBM與RBM組成的DBN的架構，用于非監督的特征學習；頂層加入了一個回歸層用作預測，當然頂層也可以替換為支持向量機（SVM）。建立的模型如圖1所示。

圖1 單條道路預測的深度體系架構

在DBN預訓練以后，頂層再通過有標簽的數據進行BP算法去做參數調整。這種方法要強于以往傳統神經網絡直接用BP算法做梯度下降調整，直觀的原因為：DBN預訓練后的參數已經接近于訓練好，那么再做BP算法，只需要在已知參數里面進行一個局部的搜索，無論訓練與收斂速度都快很多。此模型的訓練步驟如下：

（1） 把交通流數據進行歸一化到[0，1]之間，那么輸入向量[X]便可以表示為：

[X={xtit∈T，i∈N}]

式中：[Xti]表示為第[i]條道路在第[t]時間的歸一化后的數據。初始化訓練次數、學習速率。

（2） 把向量[X]作為輸入，通過CD過程訓練第一層的GBRBM。

（3） 把GBRBM的輸出作為上層的RBM的輸入，訓練RBM。

（4） 把RBM的輸出作為上層的RBM的輸入，訓練RBM。

（5） 重復執行第（4）步直到執行完給定的層數。

（6） 最后一個RBM的輸出作為頂層回歸層的輸入，隨機初始化其參數。

（7） 通過監督式BP方法微調這個架構的參數。

最后通過訓練得出的模型就可以作為預測模型，當給定一組輸入向量后，便得到對應道路的預測輸出。

3 實驗及結果分析

3.1 實驗數據描述

實驗使用的交通流數據來源于英國官方交通流數據中心。數據集提供了每隔15 min的交通平均路途消耗時間、速度與交通流量，并且數據覆蓋了英格蘭地區的高速公路與A級道路（即城市主干道）。實驗選取了英格蘭的紐卡斯爾市與森德蘭市之間的5條主要城市道路AL1065，AL1596，AL566，AL543，LM69。選取其中2014年9月份的數據，共有30天數據。其中前29天的數據用以訓練模型，后1天的數據用以測試。

3.2 性能指標

兩個最常見的性能指標參數為：絕對平均誤差（MAE）和相對平均誤差（MRE），定義如下：

[MAE=1ni=1nZi-ZiMRE=1ni=1nZi-ZiZi] （10）

式中：[Zi]為實際的交通流數值；[Zi]為預測值。在這里選擇了MAE與MRE作為衡量標準。

3.3 架構實現

在深度體系架構中，需要決定其輸入層的大小，隱藏層的層數，隱藏層每一層的節點個數。在此選擇AL1065，AL1596，AL566，AL543，LM69中前兩個時間段的交通流量作為輸入，即共10個輸入，道路LM69作為其預測輸出。其中隱藏層分別為淺層的結構{10，10，4}與深層的結構{10，12，10，8，6，4}，通過訓練以后對道路LM69第30天做預測的結果如圖2所示。

圖2 單條道路不同深度預測的結果

圖2中橫坐標表示的為第[i]個15 min，縱坐標表示交通流量。從圖可以看出深層結構預測的結果更加接近于真實值。

3.4 結果對比與分析

實驗程序在Windows 7上開發完成，硬件條件為 Intel? CoreTM i7?4710MQ，4 GB內存，顯卡NVIDIA Geforce 840 MHz。每次運算時間基本在30 min以上，大多數1 h內能完成。

實驗中對DBN的BP過程調優次數epochs做了調整測試，結果發現大于某個數量時，DBN預測結果對于次數調整并沒有大的影響。這也印證了DBN在預訓練階段參數的調整已經近乎較優的判斷。

為了衡量深度架構的性能，同時也采用傳統的MLP神經網絡做了BP算法訓練進行預測，并做了對比；結果發現，當訓練層數增加時，BP算法的預測結果準確性反而降低了。這也說明傳統的BP算法并不適應于深度架構。實驗中MLP采用的是{4，4，5}淺層架構。

從圖3可以看出，DBN架構相對于傳統的MLP神經網絡來說，無論在交通流的最高峰時期還是最低交通流量時，所預測得到的結果都更加準確。

MLP與DBN的性能指標對比如表1所示。

表1 性能指標對比

[＼&MAE＼&MRE＼&DBN shallow＼&14.83＼&0.281＼&DBN deep＼&14.80＼&0.279＼&MLP ＼&20.93＼&0.752＼&]

圖3 DBN與MLP對比的結果

從以上數據可以看出，深度學習架構隨著層次越深相對平均誤差也越少，并且相對于傳統的MLP網絡有大幅度的預測準確性提升。

4 總 結

本文第一次將深度學習架構應用于城市主干道的交通流預測中。相對于城市的高速公路，城市主干道交通具有更大的不確定性與多變性。進而給預測帶來的挑戰也更大。同時，模型也成功地通過深度學習發現了交通道路之間潛在的特征，如時間、空間上等的非線性關系。

在此首先建立了深度體系架構，通過逐層非監督式的預訓練挖掘潛在特征，并利用回歸層實現全局微調參數，進一步優化了預測結果。然后，對比了DBN與MLP，實驗表明，DBN所獲得的準確率要大大強于MLP模型。

本文提出的模型仍可以進一步改善，如頂層換為SVM等其他預測模型，模型的應用場景可以推廣到整個城市的交通流預測等。

參考文獻

[1] 邵春福，熊志華，姚智勝.道路網短時交通需求預測理論、方法與應用[M].北京：清華大學出版社，2011.

[2] HUANG Wenhao， SONG Guojie， XIE Kunqing. Deep architecture for traffic flow prediction： deep belief networks with multitask learning [J]. IEEE Transactions on Intelligent Transportation Systems， 2014， 15（5）： 2191?2201.

[3] AHMED S A， COOK A R. Analysis of freeway traffic time?series data by using Box?Jenkins techniques [J]. Transportation Research Record， 1979， 722： 214?221.

[4] LEE S， FAMBRO D B. Application of subset autoregressive integrated moving average model for short?term freeway traffic volume forecasting [J]. Transportation Research Record， 1999，1678： 179?188.

[5] WILLIAMS B M. Multivariate vehicular traffic flow prediction?evaluation of ARIMAX modeling [J]. Transportation Research Record， 2001， 1776： 194?200.

[6] KAMARIANAKIS Y， PRASTACOS P. Forecasting traffic flow conditions in an urban network?comparison of multivariate and univariate approaches [J]. Transportation Research Record， 2003， 1857： 74?84.

[7] WILLIAMS B M， HOEL L A. Modeling and forecasting vehicular traffic flow as a seasonal ARIMA process： Theoretical basis and empirical results [J]. Journal of Transportation Engineering， 2003， 129（6）： 664?672.

[8] YANG F， YIN Z Z， LIU H， et al. Online recursive algorithm for short?term traffic prediction [J]. Transportation Research Record， 2004， 1879： 1?5.

[9] SUN Shiliang， ZHANG Changshui， YU Guoqiang. A Bayesian network approach to traffic flow forecasting [J]. IEEE Transactions on Intelligent Transportation Systems， 2006， 7（1）： 124?132.

[10] ZARGARI S A， SIABIL S Z， ALAVI A H， et al. A computational intelligence?based approach for short?term traffic flow prediction [J]. Expert Systems， 2012， 29（2）： 124?132.

[11] DAVIS G A， NIHAN N L. Nonparametric regression and short?term freeway traffic forecasting [J]. Journal of Transportation Engineering， 1991， 117（2）： 178?188.

[12] JEONG Y S， BYON Y J， MENDONCA C N， EASA S M. Supervised weighting?online learning algorithm for short?term traffic flow prediction [J]. IEEE Transactions on Intelligent Transportation Systems， 2013， 14（4）： 1700?1707.

[13] TAHMASBI R， HASHEMI S M. Modeling and forecasting the urban volume using stochastic differential equations [J]. IEEE Transactions on Intelligent Transportation Systems， 2014， 15（1）： 250?259.

[14] HINTON G E， OSINDERO S， THE Y W. A fast learning algorithm for deep belief nets [J]. Neural Computation， 2006， 18（7）： 1527?1554.

[15] SALAKHUTDINOV R， HINTON G. Using deep belief nets to learn covariance kernels for Gaussian processes [J]. Advances in Neural Information Processing Systems， 2008， 20（1）： 1249?1256.

[16] HINTON G E， SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks [J]. Science， 2006， 313（5786）： 504?507.