基于LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)的停車需求預測研究

□ 靳 猷

(北京公聯(lián)交通樞紐建設(shè)管理有限公司，北京 100000)

目前，國內(nèi)外關(guān)于停車需求預測的研究較多。大致可分為統(tǒng)計分析與機器學習[4]。張雷通過引入時間序列模型，基于停車場的車輛出入數(shù)據(jù)，對其進行了實時預測[5]，Cheng等人針對典型停車到達和離開規(guī)律分布，利用馬爾科夫生死過程建立停車需求預測模型[4]。隨著機器學習領(lǐng)域的發(fā)展，一些神經(jīng)網(wǎng)絡(luò)模型也被應用到了需求預測中，并獲得了較好的應用。高健夫等人利用BP神經(jīng)網(wǎng)絡(luò)進行泊位預測，得到較好的停車需求預測模型[6]。但由于BP神經(jīng)網(wǎng)絡(luò)模型本身存在全局性差，易陷入局部最優(yōu)等缺陷，而為避免出現(xiàn)梯度消失的問題，1997 年Hochreiter和Schmidhuber提出了長短期記憶網(wǎng)絡(luò)(Long-term and Short-term Memory Network,LSTM)[7]，解決了一般的 RNN 存在的長期依賴問題，裘瑞清利用BP神經(jīng)網(wǎng)絡(luò)和LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)實現(xiàn)泊位需求的短時預測，結(jié)果表明LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)的預測效果明顯優(yōu)于BP神經(jīng)網(wǎng)絡(luò)[8]。LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)目前已被廣泛應用于社會各個領(lǐng)域，如電力行業(yè)、物流庫存量等。徐堯強等人用電量和溫度、風速、相對濕度、降水之間的動力學因果關(guān)系為研究對象，建立長短時記憶網(wǎng)絡(luò)模型，并將建立的模型應用在市用電量預測中，驗證了 LSTM 神經(jīng)網(wǎng)絡(luò)模型在城市用電量預測中的實用性[9]；王淵明以電商行業(yè)的歷史銷售數(shù)據(jù)為研究對象，構(gòu)建LSTM 神經(jīng)網(wǎng)絡(luò)模型對其進行預測，并對照了BP神經(jīng)網(wǎng)絡(luò)預測結(jié)果，發(fā)現(xiàn)LSTM的誤差結(jié)果明顯低于BP神經(jīng)網(wǎng)絡(luò)[10]。但基于神經(jīng)網(wǎng)絡(luò)需要大量的停車標簽數(shù)據(jù)的現(xiàn)實情況，目前普遍缺乏公開的停車數(shù)據(jù)，導致LSTM 神經(jīng)網(wǎng)絡(luò)仍未被廣泛應用于停車需求預測研究中。

本文主要針對停車場的停車需求問題，利用LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)算法進行預測，首先對算法進行簡要介紹和分析，構(gòu)建泊位需求預測模型，以北京市宋家莊停車場為實驗對象進行停車需求預測。

1 LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)介紹

基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)包括輸入層、隱含層和輸出層，通過激活函數(shù)控制輸出，層與層之間通過權(quán)值連，步驟如下。

步驟1：網(wǎng)絡(luò)初始化。根據(jù)系統(tǒng)給定的序列(x,y)確定網(wǎng)絡(luò)輸入層節(jié)點數(shù)I、隱藏層節(jié)點數(shù)J，輸出層節(jié)點數(shù)K，初始化輸入層、隱含層和輸出層之間的鏈接權(quán)重wij和wjk，初始化隱含層偏置a和輸出層偏置b，給定學習率和激活函數(shù)。

步驟2：計算隱含層輸出。

(1)

其中，f為激活函數(shù)，如sigmoid，如式(2)所示。

(2)

步驟3：計算輸出層，如式(3)所示。

其中，hj表示各消費支出項目與產(chǎn)業(yè)結(jié)構(gòu)的和諧度，wj表示各消費項目所占權(quán)重，通常用各項消費支出在總消費支出中所占比重來表示。

(3)

步驟4：誤差計算，如式(4)所示。

ek=Ok-Yk,k=1,2,…,K#

(4)

步驟5：利用梯度下降法更新權(quán)值和偏置，以減小誤差。

RNN與一般神經(jīng)網(wǎng)絡(luò)的區(qū)別在于其存在神經(jīng)元反饋連接，這種形式的連接使得網(wǎng)絡(luò)能夠以一種激勵的形式存儲最近時間段的輸入數(shù)據(jù)信息(短時記憶)，即循環(huán)神經(jīng)網(wǎng)絡(luò)在t時刻的輸入完成與輸出的映射且參考了t之前所有輸入數(shù)據(jù)對網(wǎng)絡(luò)的影響，形成了反饋網(wǎng)絡(luò)結(jié)構(gòu)。但RNN在訓練過程中可能發(fā)生的梯度消失現(xiàn)象，致使RNN只能短期記憶，由此LSTM網(wǎng)絡(luò)被提出。LSTM與RNN的區(qū)別在于細胞的結(jié)構(gòu)和運算，LSTM中細胞由輸入門、遺忘門和輸出門組成，其核心概念在于細胞狀態(tài)與“門”結(jié)構(gòu)。遺忘門決定了上一時刻(t-1)的單元狀態(tài)ct-1對當前時刻(t)ct的影響程度，計算公式如式(5)所示。

fc=σ(Wf·[ht-1,xt]+bf)#

(5)

其中，ft為遺忘門狀態(tài)結(jié)算結(jié)果，Wf為遺忘門的權(quán)重矩陣，bf為遺忘門的偏置，σ為激活函數(shù)。

輸入門決定當前時刻網(wǎng)絡(luò)的輸入xt對單元狀態(tài)ct的影響程度，計算公式如式(6)。其中，bi為遺忘門的偏置，it為輸入門狀態(tài)結(jié)算結(jié)果，Wi為輸入門的權(quán)重矩陣。

it=σ(Wi·[ht-1,xt]+bi)#

(6)

當前時刻輸入的單元狀態(tài)根據(jù)前一時刻的輸出和當前時刻的輸入確定，計算公式如式(7)。

(7)

輸出門控制單元狀態(tài)ct對當前輸出值ht的影響程度，計算公式如(8)所示。

ot=σ(Wo·[ht-1,xt]+bo)#

(8)

其中,ot為輸出門狀態(tài)結(jié)算結(jié)果，ht=ot·tanh(ct)，Wo為輸出門的權(quán)重矩陣。

由此完成LSTM的正向傳播過程。

2 停車需求預測的 LSTM 模型構(gòu)建

數(shù)據(jù)預處理。

本文使用的數(shù)據(jù)來源于北京公聯(lián)樞紐建設(shè)管理有限公司負責管理運營的宋家莊樞紐停車場2019年10月1日至2019年12月31日共92天的車輛出入記錄，通過對數(shù)據(jù)進行預處理，獲得了宋家莊樞紐停車場2019年10月1日至2019年12月31日共92天時間間隔為1小時的泊位需求值，具體的泊位需求變化如圖1所示。

圖1 10-12月時間間隔為1小時的停車需求

如圖1所示，工作日和雙休日的停車需求數(shù)量基本趨于穩(wěn)定，且具有一定規(guī)律，工作日停車需求普遍高于雙休日，其中10月1號至10月7號為法定節(jié)假日，故停車需求數(shù)量較少，符合實際情況。

3 結(jié)果分析

3.1 模型構(gòu)建和參數(shù)設(shè)置

本文的預測過程使用所有數(shù)據(jù)中前90%共82天的數(shù)據(jù)作為訓練集，后10%用于測試。LSTM回歸網(wǎng)絡(luò)由1個輸入層、1個隱藏層(200個隱含單元)、1個輸出層組成。在網(wǎng)絡(luò)訓練中，采用“adam”算法加速網(wǎng)絡(luò)收斂[11]，并進行 250 輪訓練。其中，網(wǎng)絡(luò)中的狀態(tài)激活函數(shù)選取的是雙曲正切函數(shù)(tanh)，門激活函數(shù)選取的是simoid，損失函數(shù)選取均方誤差(RMSE)。同時，為防止梯度爆炸，將梯度閾值設(shè)置為 1，并指定初始學習率 0.005，在 125 輪訓練后通過乘以因子 0.2 來降低學習率。

3.2 誤差結(jié)果分析

預測過程中，將響應指定為將值移位了一個時間步的訓練序列。也就是說，在輸入序列的每個時間步后，LSTM 網(wǎng)絡(luò)都學習預測下一個時間步的值。初始化網(wǎng)絡(luò)狀態(tài)后，對訓練數(shù)據(jù)進行預測。接下來，使用訓練響應的最后一個時間步進行第一次預測，即完成預測過程。

訓練過程如圖2所示，隨著迭代次數(shù)的增加，均方誤差(RMSE)和損失逐漸減小并收斂，當?shù)螖?shù)達到50，RMSE和損失趨于平穩(wěn)。

圖2 LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)訓練過程

預測結(jié)果如圖3所示，利用LSTM神經(jīng)網(wǎng)絡(luò)訓練得到的模型對10月-12月92天后10%的數(shù)據(jù)進行預測，通過對比停車需求預測值和觀測值，發(fā)現(xiàn)均方誤差RMSE為22.605，誤差較小，但是如圖4所示，預測值與觀測值存在一定誤差，且未體現(xiàn)工作日和雙休日的停車需求數(shù)量變化特征。

圖3 LSTM神經(jīng)網(wǎng)絡(luò)預測結(jié)果圖

圖4 觀測值與預測值對比圖

為對預測結(jié)果進行更細致的分析，從全部數(shù)據(jù)中的后10%中隨機提取工作日一天，周末一天進行神經(jīng)網(wǎng)絡(luò)模型測試，得到的結(jié)果如下。

對比圖5和圖6，任意工作日的預測結(jié)果明顯優(yōu)于任意周末的預測結(jié)果(RMSE=18.4763<32.9507)，這是由于普通工作日泊位需求變化較為穩(wěn)定，且工作日數(shù)量較多，訓練樣本大，因此，得到的預測結(jié)果誤差較小。

圖5 任意工作日預測結(jié)果圖

圖6 任意周末預測結(jié)果

前文中，LSTM神經(jīng)網(wǎng)絡(luò)預測過程所使用的是停車需求預測值，若可以獲取預測之前的時間步的實際值，則可以使用觀測值而不是預測值更新網(wǎng)絡(luò)狀態(tài)，因此，為進一步分析LSTM神經(jīng)網(wǎng)絡(luò)預測結(jié)果，本文對兩種預測結(jié)果進行了對比，如圖4、7所示。

通過對比可知，使用觀測值更新網(wǎng)絡(luò)狀態(tài)的誤差明顯低于使用預測值更新網(wǎng)絡(luò)的結(jié)果(均方誤差RMSE=5.8534遠遠小于22,605)，預測更加準確，且體現(xiàn)出了工作日和雙休日的停車需求數(shù)量變化特征，說明相比于使用預測值更新狀態(tài)的預測結(jié)果，使用觀測值更新網(wǎng)絡(luò)進行預測具有一定的優(yōu)越性。

4 結(jié)論

停車需求預測對于緩解停車矛盾具有重要意義，當面對突發(fā)交通狀況時可以幫助停車管理者更好地管理車位和道路交通。本文基于LSTM 循環(huán)神經(jīng)網(wǎng)絡(luò)，以公聯(lián)樞紐宋家莊停車場3個月的車輛出入數(shù)據(jù)為研究對象，其中停車需求數(shù)據(jù)以小時為單位時間間隔，建立了停車需求預測模型，測試數(shù)據(jù)與實際數(shù)據(jù)的對比表明預測結(jié)果較為精確，能夠較好地反映該停車場的車位使用情況與停車需求特性。

但該預測方法仍存在一定缺點，實驗訓練數(shù)據(jù)不足會導致某些特殊情況的預測情況并不十分理想(如周末)，此外，由于神經(jīng)網(wǎng)絡(luò)本身缺少理論支持，參數(shù)需要由經(jīng)驗決定，需要進行較長時間訓練才能得到理想模型。