基于強(qiáng)化學(xué)習(xí)算法原則的出行選擇行為建模與仿真

趙思萌

(中鐵第六勘察設(shè)計(jì)院集團(tuán)有限公司，天津 300308)*

為了有效減緩高峰時(shí)段交通擁堵，一方面是改善交通基礎(chǔ)設(shè)施，另一方面就是調(diào)控交通出行量 .調(diào)控交通出行量主要是調(diào)整出行者的出行時(shí)間和出行方式，即出行者避開(kāi)高峰時(shí)段，采用公共交通方式出行，達(dá)到減少道路交通出行量的目的[1].

研究出行者出行時(shí)間選擇和出行方式選擇的文獻(xiàn)較多，大多基于期望效用理論和離散選擇模型[2-3].在一定時(shí)期內(nèi)，出行時(shí)間選擇和出行方式選擇可以看作是一個(gè)動(dòng)態(tài)學(xué)習(xí)和選擇的過(guò)程，研究者往往注重行為決策和模型建立，而缺少對(duì)客觀選擇行為的軌跡模擬[4-5].本文基于強(qiáng)化學(xué)習(xí)算法原則，結(jié)合出行者出行行為選擇的認(rèn)知更新過(guò)程，構(gòu)建了出行時(shí)間和出行方式聯(lián)合選擇的微觀認(rèn)知模型，并通過(guò)仿真的方法模擬出行者群體出行選擇行為的變化規(guī)律，從而為交通管理等政策的制定和評(píng)估提供方法支撐，達(dá)到高峰時(shí)段減緩交通擁堵的目的 .

1 微觀仿真方法

本文提出的研究方法主要包括兩個(gè)部分：出行者個(gè)體和仿真系統(tǒng).

1.1 出行者個(gè)體

在微觀仿真方法中，通過(guò)對(duì)每個(gè)出行者的學(xué)習(xí)、適應(yīng)以及行為決策過(guò)程進(jìn)行建模，來(lái)描述出行者出行選擇行為的過(guò)程，即將出行者作為一個(gè)智能體，通過(guò)積累經(jīng)驗(yàn)和接受環(huán)境的變化對(duì)行為選擇進(jìn)行調(diào)整，這種方法通常可以拓展到多維的行為選擇，如出行時(shí)間、出行方式、出行路徑和目的地等[3].本文只研究了出行時(shí)間和出行方式的聯(lián)合選擇，更全面深入的研究將在后續(xù)中繼續(xù)深入.

1.2 仿真系統(tǒng)

在完成單個(gè)出行者的行為建模后，將這些出行者輸入到仿真環(huán)境中，給予出行者一定的屬性，模擬出行者在實(shí)際交通狀況變化下的學(xué)習(xí)、適應(yīng)和決策過(guò)程，進(jìn)而得到不同交通狀況條件下的出行行為決策結(jié)果 .本文采用MATLAB編碼實(shí)現(xiàn)出行者出行選擇行為的仿真 .

2 模型建立

2.1 強(qiáng)化學(xué)習(xí)原理的引入

強(qiáng)化學(xué)習(xí)算法的基本原理是：如果智能體的某一行為使得環(huán)境對(duì)智能體回饋了正的獎(jiǎng)賞(reward)，則智能體以后采取這個(gè)行為的趨勢(shì)會(huì)加強(qiáng)[5-6]，其基本模型如圖1所示 .

智能體與環(huán)境交互式，會(huì)遵循以下順序事件[6]：

(1)智能體感知當(dāng)前環(huán)境狀態(tài)；

(2)智能體結(jié)合環(huán)境和當(dāng)前狀態(tài)，采取行為a；

(3)智能體執(zhí)行a后，環(huán)境返回獎(jiǎng)賞r；

(4)智能體更新自身狀態(tài)值 .

本文將出行者選擇出行時(shí)間所得到的節(jié)省時(shí)間和選擇出行方式的節(jié)省的交通費(fèi)用作為獎(jiǎng)賞，同時(shí)引入學(xué)習(xí)因子和折扣因子，對(duì)出行者的認(rèn)知過(guò)程進(jìn)行建模 .出行者的出行選擇行為一般分為兩部分：一部分是認(rèn)知更新和搜索，另一部分是決策選擇[6]，原理圖如圖2 .

2.2 行為定義

假定出行者的每個(gè)選擇都是基于先前經(jīng)驗(yàn)積累才做出的，因此，定義一次出行方式選擇或出行時(shí)間選擇為一次行為[8]，用a表示，定義為：

a=(x,r,n,w)

(1)

式中：x表示一次行為的屬性，本文指選擇一個(gè)時(shí)間點(diǎn)出行或出行方式后的旅行時(shí)間及交通費(fèi)用；r表示經(jīng)過(guò)該事件后獲得的獎(jiǎng)賞(reward)；n表示該事件發(fā)生過(guò)的次數(shù)；w表示出行者對(duì)該事件的認(rèn)知重要度 .

2.3 微觀認(rèn)知模型

2.3.1 出行方式微觀認(rèn)知模型

首先，建立出行方式的微觀認(rèn)知模型，模型中主要考慮的因素是出行方式的旅行時(shí)間和交通費(fèi)用，用wi表示出行者記憶中對(duì)第i種出行方式的認(rèn)知程度，定義為：

wi=θi·βi(i=1,…,m)

(2)

式中：θi表示該種出行方式在記憶中的重要程度；βi表示該出行方式在記憶中的衰減程度 .

當(dāng)出行者選擇某種出行方式后的實(shí)際情況與出行者期望效果越相近時(shí)，則會(huì)對(duì)該出行方式的記憶程度加深，即環(huán)境給予的回饋值更大；反之，則會(huì)對(duì)該出行方式的記憶程度降低[9].記憶程度θi定義為：

(3)

結(jié)合出行者以往對(duì)出行方式的選擇情況，每一種出行方式會(huì)在出行者的記憶中形成優(yōu)先級(jí)，優(yōu)先等級(jí)不同的出行方式在出行者記憶中衰減的程度也不同，記憶衰減程度用βi表示，定義為：

(4)

式中：ranki表示第i種出行方式在所有出行方式中的優(yōu)先級(jí)；γ為記憶衰減率(折扣因子)，取值為[0,1] .

2.3.2 出行時(shí)間微觀認(rèn)知模型

與出行方式選擇的微觀認(rèn)知模型構(gòu)建相似，出行時(shí)間選擇的微觀認(rèn)知模型中僅考慮旅行時(shí)間作為影響出行者對(duì)出行時(shí)間選項(xiàng)的因素，用wj同樣構(gòu)建為：

wj=δj·φj(j=1,2,…,n)

(5)

式中：δj表示第j個(gè)出行時(shí)間點(diǎn)在記憶中的重要程度；φj表示第j個(gè)出行時(shí)間點(diǎn)在記憶中的衰減程度.

對(duì)出行時(shí)間點(diǎn)的記憶重要程度δj定義為：

(6)

同樣，出行者對(duì)不同的出行時(shí)間點(diǎn)會(huì)形成不同的優(yōu)先級(jí)，優(yōu)先等級(jí)不同的出行時(shí)間點(diǎn)在出行者記憶中衰減的程度也不同，記憶衰減程度用φj表示，定義為：

(7)

式中：rankj表示第j個(gè)出行時(shí)間點(diǎn)在所有出行時(shí)間點(diǎn)的優(yōu)先級(jí)；χ為記憶衰減率(折扣因子)，取值為[0,1] .

2.4 離散選擇模型

2.4.1 Logit模型

在出行者通過(guò)經(jīng)驗(yàn)積累后，會(huì)在記憶形成幾個(gè)適宜的出行時(shí)間點(diǎn)或是出行方式，最后通過(guò)決策選擇出對(duì)自己效用最大的，本文采用多項(xiàng)Logit模型來(lái)描述出行者的選擇行為 .Logit模型通常用于計(jì)算個(gè)體在若干個(gè)可選方案中選擇其一的概率，尤其是對(duì)一些影響選擇決策且不能直接觀測(cè)到的因素，可運(yùn)用Logit模型進(jìn)行分析，Logit模型的一般形式為：

(8)

最終計(jì)算考慮認(rèn)知度下的加權(quán)選擇概率如式(9)所示：

Pi′=Pi·wi′

(9)

2.4.2 效用函數(shù)的確定

(1) 出行方式效用函數(shù)

在第i種出行方式的選擇上，其中以所選出行方式的旅行時(shí)間和出行交通費(fèi)用作為考慮因素，建立第i種出行方式的效用函數(shù)Vi如下：

Vi=βT·Ti+βC·cosTi

(10)

式中：Ti為第i種出行方式的旅行時(shí)間；cosTi為所選出行方式的出行交通費(fèi)用；βT和βC為模型待標(biāo)定參數(shù) .

(2) 出行時(shí)間效用函數(shù)

在出行時(shí)間的選擇上，考慮了旅行時(shí)間和準(zhǔn)時(shí)到達(dá)這兩個(gè)因素，定義效用函數(shù)Vt為：

(11)

SAE(t,Tt,PAT)=max[(PAT-Tt-t),0]

(12)

SAL(t,Tt,PAT)=max[(Tt+t-PAT),0]

(13)

式中,PAT表示偏好出行時(shí)間 .

(3)本文采用調(diào)查問(wèn)卷發(fā)放的方式收集數(shù)據(jù)，每份問(wèn)卷分別設(shè)置2個(gè)出行時(shí)間選擇場(chǎng)景和出行方式選擇場(chǎng)景，由參與調(diào)研的人員完成，并記錄每個(gè)參與調(diào)研者的基本出行信息 .其中兩個(gè)場(chǎng)景示例如表1、2所示.

表1 出行時(shí)間選擇示例

表2 出行方式選擇示例

問(wèn)卷選擇在蜀漢路東地鐵站、公交站以及附近小汽車停車場(chǎng)發(fā)放，最終共收回452份有效問(wèn)卷，數(shù)據(jù)統(tǒng)計(jì)分析如表3所示，可以看出參與調(diào)查者以中青年為主，出行目的主要為上班群體，且上班旅行時(shí)間主要分布在10～30 min .

表3 調(diào)研數(shù)據(jù)統(tǒng)計(jì)

(4)模型參數(shù)標(biāo)定

模型參數(shù)標(biāo)定借助NLOGIT 5.0軟件，標(biāo)定結(jié)果見(jiàn)表4、5所示，由Pseudo-R2可以看出模型擬合度較好，t值表明待估計(jì)參數(shù)均顯著[10]，且符號(hào)與預(yù)期一致 .

表4 出行方式選擇模型參數(shù)標(biāo)定結(jié)果

表5 出行時(shí)間選擇模型參數(shù)標(biāo)定結(jié)果

為了驗(yàn)證模型的精度，進(jìn)一步收集了97份樣本數(shù)據(jù) .通過(guò)對(duì)比實(shí)際出行時(shí)間、出行方式選擇和模型預(yù)測(cè)值，得到出行時(shí)間選擇模型整體預(yù)測(cè)精度為86.4%，出行方式選擇模型整體預(yù)測(cè)精度90.1% .同時(shí)，采用ROC(receiver operating characteristic curve)曲線說(shuō)明模型的局部預(yù)測(cè)精度，如圖3所示，可以看出兩種模型的局部預(yù)測(cè)精度都較好，且出行方式選擇模型的局部預(yù)測(cè)精度略好于出行時(shí)間選擇模型[11].

3 仿真

本案例選取成都市的一段路程，線路如圖4所示，以蜀漢路東區(qū)域?yàn)橥ㄇ谌藛T的起點(diǎn)，以騾馬市地鐵站區(qū)域?yàn)槟康牡兀黄渲型ㄇ谌藛T有三種出行方可供選擇，分別是小汽車、公交車(341路)和地鐵(2號(hào)線換乘1號(hào)線) .

3.1 仿真流程圖

本案例仿真流程圖如圖5所示 .

3.2 案例說(shuō)明

(1)本案例研究早高峰的交通狀況，研究時(shí)段為7∶00～9∶00，將其以10 min為間隔分成12個(gè)時(shí)間區(qū)段，即11個(gè)出行時(shí)間點(diǎn)；

(3) 仿真參數(shù)設(shè)置如表6所示.

表6 仿真參數(shù)

3.3 仿真結(jié)果

通過(guò)仿真主要得到了兩個(gè)結(jié)果：其一是出行者根據(jù)上班時(shí)間所做出的出行時(shí)間選擇分布；另一個(gè)是在小汽車交通費(fèi)用變化下的交通方式的轉(zhuǎn)變 .

3.3.1 出行者出行方式選擇分析

在出行方式的選擇分析中，主要研究了在不同小汽車出行成本下出行者選擇小汽車、地鐵和公交出行的變化規(guī)律 .如圖6所示，隨著小汽車出行成本的增加，選擇小汽車出行者逐漸減少，并且當(dāng)小汽車出行成本達(dá)到15元以上時(shí)，小汽車出行者減少的趨勢(shì)有所減緩，而公交和地鐵出行明顯呈上升趨勢(shì)；其次，可以發(fā)現(xiàn)當(dāng)小汽車出行成本設(shè)定為15元時(shí)，對(duì)小汽車出行者的限制效果最佳.

3.3.2 出行者出行時(shí)間選擇分析

(1) 出行方式平均旅行時(shí)間

針對(duì)出行時(shí)間選擇分布，本節(jié)首先對(duì)三種出行方式不同出行時(shí)間點(diǎn)的平均旅行時(shí)間進(jìn)行了統(tǒng)計(jì) .圖7所示為小汽車出行成本為15元時(shí)的三種交通方式的平均旅行時(shí)間，可以看出：小汽車和公交受到道路通行能力的影響，出行時(shí)間呈現(xiàn)高峰現(xiàn)象；而地鐵為軌道運(yùn)行，運(yùn)行時(shí)間較為平穩(wěn) .

(2) 出行者出行時(shí)間選擇對(duì)比分析

圖8、圖9分別給出了小汽車出行成本為0元時(shí)和15元時(shí)的出行時(shí)間選擇分布圖 .對(duì)比發(fā)現(xiàn)：小汽車出行成本為0元時(shí)，9∶00上班的人群選擇8∶40和8∶50出行較為集中，通過(guò)旅行時(shí)間判斷為選擇小汽車作為出行方式；而當(dāng)小汽車出行成本為15元時(shí)，9∶00上班的人群選擇8∶40和8∶50出行的次數(shù)明顯減少，選擇其他時(shí)間點(diǎn)出行的次數(shù)稍有增加，整體出行時(shí)間分布向均勻化轉(zhuǎn)變，進(jìn)一步緩解局部時(shí)間段的擁堵?tīng)顩r .

對(duì)于SP調(diào)研數(shù)據(jù)，在小汽車出行成本為15元的條件下，僅有13%的調(diào)研者選擇了小汽車出行 .而對(duì)于仿真結(jié)果，當(dāng)小汽車成本為0元時(shí)，汽車出行方式占了近60%，而當(dāng)成本為15元時(shí)，汽車出行下降至8%，可以看出仿真結(jié)果與SP調(diào)研數(shù)據(jù)顯示的出行行為偏好一致，但模擬精度還存在一定的偏差，可能是模型參數(shù)標(biāo)定的誤差所致.在后續(xù)研究中，應(yīng)進(jìn)一步完善場(chǎng)景實(shí)驗(yàn)和屬性水平設(shè)計(jì)，提升模型參數(shù)標(biāo)定的精確度 .

4 結(jié)論

仿真結(jié)果表明：

(1)隨著小汽車出行成本的增加，部分小汽車出行者逐漸選擇公共交通出行，并且當(dāng)出行成本增加到15元以上時(shí)，出行方式選擇變化趨于平緩；

(2) 出行者的出行時(shí)間選擇分布趨于均勻化，進(jìn)而減緩局部時(shí)間段的擁堵?tīng)顩r .

本文的研究成果可以為減緩高峰時(shí)段交通擁堵以及制定和評(píng)估交通管理等政策提供方法支撐.