基于改進(jìn)在線極限學(xué)習(xí)機(jī)的短時(shí)交通流預(yù)測模型研究*

周伯榮，程偉國，許鎮(zhèn)義，溫秀蘭

(1.南京工程學(xué)院自動(dòng)化學(xué)院,江蘇 南京 211100；2 南京交通職業(yè)技術(shù)學(xué)院汽車工程學(xué)院,江蘇 南京 211100；3.合肥綜合性國家科學(xué)中心人工智能研究院,安徽 合肥 230088；4.中國科學(xué)技術(shù)大學(xué)信息科學(xué)技術(shù)學(xué)院,安徽 合肥 230026)

1 引言

隨著智能傳感技術(shù)、大數(shù)據(jù)、云計(jì)算和人工智能技術(shù)的快速發(fā)展，智能交通系統(tǒng)ITS(Intelligent Transport System)在我國城市道路交通管理中得到廣泛應(yīng)用。2019年印發(fā)的《交通強(qiáng)國建設(shè)綱要》明確提出要大力發(fā)展智慧交通，推動(dòng)大數(shù)據(jù)、互聯(lián)網(wǎng)、人工智能、區(qū)塊鏈和超級(jí)計(jì)算等新技術(shù)與交通行業(yè)深度融合[1]。交通流信息預(yù)測作為ITS進(jìn)行交通疏導(dǎo)管理的重要基礎(chǔ)，通過對獲取的實(shí)時(shí)、完整、全路況道路交通信息進(jìn)行分析和預(yù)測，可以有效反映城市路網(wǎng)的運(yùn)行狀態(tài)，為城市交通管理規(guī)劃提供可靠的數(shù)據(jù)支持和科學(xué)的決策依據(jù)[2]。因此，針對短時(shí)交通流預(yù)測是智能交通領(lǐng)域的重要研究方向。

目前，國內(nèi)外相關(guān)學(xué)者針對短時(shí)交通流預(yù)測問題提出了各種預(yù)測模型和方法，按方法類型特點(diǎn)主要分為基于數(shù)理統(tǒng)計(jì)理論模型的預(yù)測方法、基于數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)模型預(yù)測方法和基于微觀交通仿真的預(yù)測方法。基于數(shù)理統(tǒng)計(jì)理論模型的預(yù)測方法是一種參數(shù)化方法，主要利用歷史交通流統(tǒng)計(jì)數(shù)據(jù)擬合出含參數(shù)的數(shù)理統(tǒng)計(jì)模型，此類方法主要有時(shí)間序列模型[3,4]、灰色理論預(yù)測模型[5]和卡爾曼濾波預(yù)測模型[6,7]等。該類方法依賴于模型參數(shù)的假設(shè)檢驗(yàn)，難以刻畫交通流非線性動(dòng)態(tài)演變過程。基于數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)模型預(yù)測方法是一種非參數(shù)化方法，無需進(jìn)行模型假設(shè)檢驗(yàn)，利用歷史交通觀測數(shù)據(jù)構(gòu)建相應(yīng)的機(jī)器學(xué)習(xí)預(yù)測模型來擬合交通流的動(dòng)態(tài)演變過程。此類方法主要有支持向量回歸預(yù)測模型[8,9]、神經(jīng)網(wǎng)絡(luò)預(yù)測模型[10,11]和深度學(xué)習(xí)預(yù)測模型[12 -14]等。支持向量回歸模型依賴于參數(shù)選擇和核函數(shù)選取，限制了其對復(fù)雜交通流的模型表示能力;神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)預(yù)測模型存在模型過擬合問題，并依賴于大量交通數(shù)據(jù)樣本，網(wǎng)絡(luò)訓(xùn)練時(shí)間長、計(jì)算資源消耗量大，無法實(shí)現(xiàn)交通流預(yù)測模型的在線動(dòng)態(tài)更新。基于微觀交通仿真的方法采用計(jì)算機(jī)搭建微觀交通仿真環(huán)境模擬實(shí)際道路的交通狀況，進(jìn)而實(shí)現(xiàn)交通流預(yù)測[15]，但其計(jì)算復(fù)雜度高，難以模擬大規(guī)模路網(wǎng)交通系統(tǒng)，預(yù)測實(shí)時(shí)性差。

現(xiàn)有的研究大都集中在不改變歷史觀測數(shù)據(jù)集的情況下構(gòu)建交通流預(yù)測模型，由于交通流量數(shù)據(jù)是實(shí)時(shí)更新的增量流數(shù)據(jù)，每次更新歷史數(shù)據(jù)集時(shí)都需要重新構(gòu)建預(yù)測模型，需要消耗大量計(jì)算資源和運(yùn)行時(shí)間。本文旨在構(gòu)建一種簡單快速的交通流預(yù)測模型，在有效縮短模型構(gòu)建時(shí)間、滿足預(yù)測實(shí)時(shí)性的基礎(chǔ)上，利用實(shí)時(shí)交通流數(shù)據(jù)動(dòng)態(tài)更新交通流預(yù)測模型。極限學(xué)習(xí)機(jī)ELM(Extreme Learning Machine)因其具有簡單的平層網(wǎng)絡(luò)結(jié)構(gòu)、可以快速增量建模的特點(diǎn)，成功應(yīng)用于各種分類和回歸任務(wù)中[16,17]。因此，本文提出一種基于改進(jìn)在線順序極限學(xué)習(xí)機(jī)的交通流預(yù)測模型IOS-ELM(Improved Online Sequential ELM)，通過構(gòu)建新增數(shù)據(jù)的增強(qiáng)特征映射關(guān)系，生成交通流動(dòng)態(tài)更新特征表示空間，實(shí)現(xiàn)短時(shí)交通流預(yù)測模型的動(dòng)態(tài)更新。

2 相關(guān)基礎(chǔ)知識(shí)

2.1 極限學(xué)習(xí)機(jī)模型

ELM是一種單隱藏層前饋網(wǎng)絡(luò)SLFN(Single-hidden Layer Feed-forward Network)學(xué)習(xí)算法[18]，包括輸入層、單隱藏層和輸出層。圖1給出了一個(gè)包含k個(gè)隱藏層節(jié)點(diǎn)的ELM模型實(shí)例，其中，W=[w1,w2,…,wk]和B=[b1,b2,…,bk]分別是輸入層到隱藏層的權(quán)重矩陣和偏置向量，β是隱藏層到輸出層的權(quán)重,X和Y為輸入和輸出矩陣。

Figure 1 Structure of extreme learning machine圖1 極限學(xué)習(xí)機(jī)結(jié)構(gòu)

ELM的學(xué)習(xí)過程描述為在大小為N的訓(xùn)練數(shù)據(jù)集上通過最小化經(jīng)驗(yàn)誤差來訓(xùn)練一個(gè)具有隨機(jī)隱藏層節(jié)點(diǎn)的單隱藏層前饋神經(jīng)網(wǎng)絡(luò)。給定的任意一條訓(xùn)練樣本(xi,yi)，其中xi∈Rn，yi∈Rm,則對于一個(gè)具有k個(gè)隱藏層節(jié)點(diǎn)的ELM模型的輸入和輸出之間的映射關(guān)系可由式(1)表示:

i=1,2,…,N

(1)

其中，βj∈Rm是隱藏層到輸出層權(quán)重，gj(·)和g(;)是隱藏層的非線性激活函數(shù)。

進(jìn)一步地，式(1)可以寫成矩陣形式，如式(2)所示：

Hβ=Y

(2)

其中，

其中，g(·)是非線性激活函數(shù)。

ELM的學(xué)習(xí)算法是基于最小化經(jīng)驗(yàn)誤差進(jìn)行訓(xùn)練，往往存在過擬合問題，導(dǎo)致泛化能力不強(qiáng)。通常在優(yōu)化問題中額外增加結(jié)構(gòu)化風(fēng)險(xiǎn)，該目標(biāo)優(yōu)化問題可表示為式(3)所示：

(3)

由于是隨機(jī)化輸入層到隱藏層權(quán)重和偏置(wi,bi)，并在整個(gè)學(xué)習(xí)過程中保持不變，ELM的訓(xùn)練過程實(shí)質(zhì)上是結(jié)合廣義逆矩陣直接求解隱藏層到輸出層的權(quán)重β，其求解如式(4)所示：

β=H+Y=(HTH+I/C)-1HT

(4)

其中，H+是隱藏層矩陣H的偽逆矩陣;I是單位矩陣;C是正則化常數(shù),用于避免HTH出現(xiàn)奇異矩陣，提高ELM穩(wěn)定性。由于ELM是一種結(jié)構(gòu)相對簡單的模型，在實(shí)際任務(wù)場景中需要針對應(yīng)用問題特點(diǎn)，對模型進(jìn)行優(yōu)化和改進(jìn)。

2.2 基于增量學(xué)習(xí)的極限學(xué)習(xí)機(jī)

有關(guān)增量學(xué)習(xí)ELM的研究主要包括基于模型結(jié)構(gòu)增量的ELM[19]和基于數(shù)據(jù)增量的ELM,即OS-ELM(Online Sequential Extreme Learning Machine)[20]。基于模型結(jié)構(gòu)增量的ELM通過在SLFN中新增隱藏節(jié)點(diǎn)對網(wǎng)絡(luò)進(jìn)行更新，以克服ELM初始設(shè)置隱藏層節(jié)點(diǎn)數(shù)不足導(dǎo)致模型數(shù)據(jù)表示能力不足的問題。每次更新前后的網(wǎng)絡(luò)變化可表示為式(5)所示：

fn(x)=fn-1(x)+βngn(x)

(5)

其中，fn是更新后網(wǎng)絡(luò)模型，fn-1是更新前網(wǎng)絡(luò)模型，gn(·)是新增隱藏層節(jié)點(diǎn)的非線性激活函數(shù)。為了提高更新后的網(wǎng)絡(luò)性能，需要在原有網(wǎng)絡(luò)模型基礎(chǔ)上進(jìn)一步減小網(wǎng)絡(luò)誤差，則新增隱藏層節(jié)點(diǎn)權(quán)重可表示為式(6)所示：

(6)

其中，en-1表示新增節(jié)點(diǎn)前的模型誤差。

基于模型結(jié)構(gòu)增量的ELM通過新增隱藏層節(jié)點(diǎn)修改網(wǎng)絡(luò)結(jié)構(gòu)來實(shí)現(xiàn)ELM模型的自動(dòng)構(gòu)建,其需要固定的數(shù)據(jù)集，適用于離線學(xué)習(xí)的有監(jiān)督學(xué)習(xí)任務(wù)。

基于數(shù)據(jù)增量的OS-ELM通過數(shù)據(jù)變化來遞推順序更新隱藏層權(quán)重，以適應(yīng)訓(xùn)練數(shù)據(jù)不斷更新的場景。與經(jīng)典ELM一樣，OS-ELM在初始化時(shí)設(shè)置隱藏層節(jié)點(diǎn)數(shù)，并利用遞歸最小二乘順序更新隱藏層權(quán)重，如式(7)所示:

(7)

其中，Mk用于保存中間計(jì)算結(jié)果，hk+1是新增數(shù)據(jù)在隱藏層的輸出，yk+1是新增數(shù)據(jù)標(biāo)簽。OS-ELM可以根據(jù)新增數(shù)據(jù)逐條或逐塊更新模型，以適應(yīng)不同應(yīng)用場景中數(shù)據(jù)的變化。

3 基于改進(jìn)在線順序極限學(xué)習(xí)機(jī)的交通流預(yù)測模型IOS-ELM

為了提高OS-ELM對短時(shí)交通流的預(yù)測性能，本文在基礎(chǔ)ELM網(wǎng)絡(luò)中引入自編碼器AE(Auto-Encoder)和循環(huán)遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)RNN(Recurrent Neural Network)，提出了一種基于改進(jìn)在線順序極限學(xué)習(xí)機(jī)交通流預(yù)測模型(IOS-ELM)，如圖2所示，將整體數(shù)據(jù)進(jìn)行分塊后送入在線順序極限學(xué)習(xí)機(jī)，Xi是第i塊數(shù)據(jù),Yi是數(shù)據(jù)塊Xi的預(yù)測輸出。該模型結(jié)構(gòu)主要包括以下3個(gè)部分：

(1)遞歸極限學(xué)習(xí)RELM(Recurrent Extreme Learning Machine)網(wǎng)絡(luò)結(jié)構(gòu)單元用于提取短時(shí)交通流的時(shí)序變化特征；

(2)ELM用于學(xué)習(xí)RELM輸入層權(quán)重RELM-IW(Recurrent Extreme Learning Machine Input Weight)和隱藏層權(quán)重RELM-HW(Recurrent Extreme Learning Machine Hidden Weight)；

(3)同時(shí)在ELM中附加自編碼器單元ELM-AE(Extreme Learning Machine AutoEncoder),用于學(xué)習(xí)ELM的輸入層到隱藏層權(quán)重和偏置參數(shù),以替代隨機(jī)初始化操作。

Figure 2 Structure of IOS-ELM 圖2 IOS-ELM結(jié)構(gòu)

IOS-ELM學(xué)習(xí)過程包含初始化階段和在線順序?qū)W習(xí)階段。在初始化階段，常規(guī)的ELM模型使用部分訓(xùn)練集N0離線訓(xùn)練ELM，其輸出權(quán)重計(jì)算如式(8)所示:

(8)

為使得ELM完全利用增量數(shù)據(jù)在線學(xué)習(xí)，本文在其初始化階段不使用任何訓(xùn)練數(shù)據(jù)，則式(8)改寫為式(9)所示:

β0=0，P0=(I/C)-1

(9)

對于RELM單元，其初始隱藏層到輸出層權(quán)重β0和P0按式(9)進(jìn)行初始化，隱藏層權(quán)重H0根據(jù)隨機(jī)高斯分布初始化。對于輸入層和隱藏層權(quán)重也采取同樣的操作。

(10)

(11)

(12)

(13)

對權(quán)重Hk+1的更新計(jì)算方式如式(14)所示：

(14)

最后，對IOS-ELM的輸出層權(quán)重βk+1的更新計(jì)算方式如式(15)所示：

βk+1=βk+Pk+1(Hk+1)T(Yk+1-Hk+1βk),

Pk+1=

Pk-Pk(Hk+1)T(I+Hk+1Pk(Hk+1)T)-1Hk+1Pk

(15)

對于ELM-AE單元，通過將目標(biāo)預(yù)測輸出設(shè)置為與輸入相同，即令Y=X，則輸入層到隱藏層的權(quán)重矩陣W′=[w1,w2,…,wk]和偏置向量B′=[b1,b2,…,bk]隨機(jī)初始化滿足式(16)：

W′TW′=I,

B′TB′=1

(16)

隱藏層到輸出層的權(quán)重β的計(jì)算方式與ELM相同，如式(17)所示：

β′=H+Y=H+X=(HTH+I/C)-1HT

(17)

并將β′作為ELM-AE單元輸入權(quán)重向量,以替代隨機(jī)初始化操作,如式(18)所示：

W=β′，

B=0

(18)

4 實(shí)驗(yàn)與結(jié)果分析

4.1 長沙市交通流數(shù)據(jù)集

本文選取長沙市芙蓉區(qū)遠(yuǎn)大一路局部路段車流量作為IOS-ELM的評估數(shù)據(jù)集，研究路段如圖3所示。路段車流量由車道環(huán)行線圈檢測器實(shí)時(shí)采集，采樣時(shí)間間隔為5 min，并將采集的數(shù)據(jù)存入歷史數(shù)據(jù)集中。收集的歷史數(shù)據(jù)為2013年9月17日～2013年10月6日共20天的交通流數(shù)據(jù)。圖4展示了工作日和周末的日車流量變化，可以看出每日車流量基本呈現(xiàn)雙峰分布(早高峰和晚高峰)，日車流具有相似的變化模式。

在實(shí)驗(yàn)中，本文設(shè)置IOS-ELM的輸入向量維度為100時(shí)間步長(500 min)，輸出向量維度為1個(gè)時(shí)間步長，即給定歷史500 min交通流觀測數(shù)據(jù)預(yù)測未來5 min的交通流變化。采用零均值標(biāo)準(zhǔn)化方法對原始數(shù)據(jù)進(jìn)行預(yù)處理，模型的預(yù)測性能評價(jià)指標(biāo)采用標(biāo)準(zhǔn)均方根誤差NRMSE(Normalized Root Mean Square Error)和平均絕對百分比誤差MAPE(Mean Absolute Percentage Error)，其計(jì)算方式如式(19)和式(20)所示：

(19)

(20)

Figure 4 Daily changes of traffic flow on different working days圖4 不同工作日車流量日變化

4.2 對比實(shí)驗(yàn)

本文實(shí)驗(yàn)在一臺(tái)高性能服務(wù)器上進(jìn)行，其具體實(shí)驗(yàn)環(huán)境參數(shù)配置如表1所示。

為了驗(yàn)證本文IOS-ELM模型的性能，與以下基準(zhǔn)方法預(yù)測模型進(jìn)行比較。

(1)SVR(Support Vector Regression)支持向量回歸預(yù)測模型，適用于小樣本的在線實(shí)時(shí)預(yù)測。

Table 1 Experiment environment表1 實(shí)驗(yàn)環(huán)境配置

(2)多層感知機(jī)MLP(Multilayer Perceptron)是一種典型的前饋神經(jīng)網(wǎng)絡(luò)模型，其能學(xué)習(xí)任意非線性函數(shù)映射。因此,本文提取時(shí)間上臨近的100個(gè)時(shí)刻觀測序列作為MLP模型的輸入特征。

(3)ELM是一種單隱藏層前饋網(wǎng)絡(luò)學(xué)習(xí)模型，具有可以快速增量建模的特點(diǎn)，已成功應(yīng)用于各種分類和回歸任務(wù)中[22]。

(4)OS-ELM是一種基于ELM的在線學(xué)習(xí)模型，適用于時(shí)間序列預(yù)測任務(wù)。

圖5給出了SVR、MLP、ELM、OS-ELM和IOS-ELM在遠(yuǎn)大一路路段交通流預(yù)測結(jié)果與實(shí)際交通流量對比；圖6給出了不同模型在2013年10月4日～10月6日國慶期間的預(yù)測結(jié)果與實(shí)際交通流量的對比。從圖5和圖6中可以看出,IOS-ELM可以較好地跟蹤目標(biāo)路段短時(shí)交通流量的變化。

Figure 5 Comparison of daily traffic flow prediction圖5 日車流量預(yù)測對比

Figure 6 Traffic flow prediction on 2013/10/4～2013/10/6圖6 2013年10月4日～10月6日交通流預(yù)測結(jié)果

表2給出了不同模型的具體預(yù)測性能指標(biāo)對比，從對比結(jié)果可以看出，本文設(shè)計(jì)的IOS-ELM模型在NRMSE和MAPE性能指標(biāo)上均超過了其他基準(zhǔn)預(yù)測模型(SVR、MLP、ELM和OS-ELM)的。雖然IOS-ELM在預(yù)測耗時(shí)上劣于OS-ELM和SVR，但是其在NRMSE和MAPE性能指標(biāo)上均有明顯提升，同時(shí)確保了一定的實(shí)時(shí)性。同時(shí),MLP模型需要大量訓(xùn)練耗時(shí)，在小樣本上也無法取得較好的預(yù)測精度，其預(yù)測性能在所有模型中表現(xiàn)最差。

Table 2 Comparison of prediction performance of different models表2 不同模型預(yù)測性能對比

5 結(jié)束語

為了實(shí)現(xiàn)城市短時(shí)交通流的實(shí)時(shí)準(zhǔn)確預(yù)測，本文基于極限學(xué)習(xí)機(jī)相關(guān)理論提出了一種基于改進(jìn)在線極限學(xué)習(xí)機(jī)的城市路段短時(shí)交通流預(yù)測模型，通過引入自編碼器權(quán)重學(xué)習(xí)機(jī)制來取代輸入層和隱藏層的隨機(jī)初始化權(quán)重，并利用循環(huán)遞歸神經(jīng)網(wǎng)絡(luò)單元學(xué)習(xí)隱藏節(jié)點(diǎn)特征的時(shí)序依賴性。最后在長沙的實(shí)際道路交通數(shù)據(jù)集上評估本文所設(shè)計(jì)的IOS-ELM模型，與SVR、ANN、ELM和OS-ELM等模型相比，IOS-ELM模型的NRMSE和MAPE最小，同時(shí)預(yù)測耗時(shí)也較小，可以保證一定的實(shí)時(shí)性，滿足城市道路交通流的實(shí)時(shí)準(zhǔn)確預(yù)測需求。