速度異常的橫穿馬路行人檢測算法

許燁豪，毛 琳，楊大偉(大連民族大學 機電工程學院，遼寧 大連 116605)

橫穿馬路的行人運動速度太快、太慢或者突變都可能影響駕駛者的判斷，從而導(dǎo)致交通事故。車載輔助系統(tǒng)應(yīng)能夠在交通路口為駕駛者提供異常行人的速度預(yù)判信息。文獻[1-2]通過對不同紅綠燈情形進行建模分析并實際采集某路段的交通視頻，分析紅綠燈與行人穿越馬路的方式對行人安全性的影響，這種方法主要研究交通環(huán)境與行人安全的關(guān)系，受實際環(huán)境的影響較大。文獻[3]同樣以分析交通環(huán)境為主，主要研究夜間情況下交通信號燈的控制方案與行人車輛碰撞沖突的關(guān)系，通過實地采集交通數(shù)據(jù)，研究能保證行人安全和車輛正常通行的交通信號配時方案。文獻[4]將關(guān)注點集中在人的頭部，通過判斷頭部姿態(tài)預(yù)測行人可能的運動方向，將運動方向會與車輛發(fā)生沖突的行人判定為危險行人。但文獻[3-4]對采集圖像的分辨率要求較高，無法用于一般的車載攝像頭。文獻[5]建立了一個行人運動和橫穿馬路的神經(jīng)網(wǎng)絡(luò)模型，利用行人的運動軌跡來計算行人的碰撞概率，這種方法主要是分析行人的運動軌跡和趨勢與車行方向的關(guān)系，缺點在于危險判斷的范圍距離車頭過近且判斷方式過于單一，不能很好地適用于復(fù)雜環(huán)境。文獻[6]提出一種基于模糊判決的行人碰撞分析方法，通過采集行人步進方向、速度、車速以及車和行人的相對距離四種要素，采用模糊推理法進行危險程度的計算。文獻[7]提出一種動態(tài)骨架行人行為識別算法，根據(jù)預(yù)先設(shè)計的異常動作找出特定行人目標，而文獻[8]提出一種針對街道上低頭使用手機行人姿態(tài)的辨識算法，這兩種方法計算量較大。

本文所提算法依靠單目攝像機，利用行人運動特性的跟蹤學習檢測(Tracking Learning Detection,TLD)快速檢測算法和自適應(yīng)融合顏色和梯度方向特征的粒子濾波跟蹤算法來提取目標行人信息，以行人運動速度為判決依據(jù)，尋找行人目標中的異常行人，有效發(fā)現(xiàn)對交通安全造成威脅的目標，一方面為駕駛者和車載輔助系統(tǒng)提供早期路況預(yù)警，另一方面為后續(xù)行人風險分析與行人意圖分析提供必要參考依據(jù)。

1 速度異常行人檢測算法

在人車混行的交通路口，行人的速度往往決定了發(fā)生意外的概率。過快的速度會使駕駛者來不及反應(yīng)，而過慢速度的行人可能包含老人等弱勢群體，在橫向穿越馬路過程中，也更加值得駕駛?cè)藛T注意。

給定車前行人可能的運動速度上下確界為VMAX和VMIN，正常行走的行人速度滿足v0∈[1.1,1.4] m·s-1，設(shè)α為異常速度參數(shù)，v為待測量行人的實際行走速度，且v,v0∈[VMIN,VMAX]，若

?v,|v-v0|>α

(1)

成立，則該行人為速度異常行人，以下稱為異常行人。

異常行人檢測算法邏輯框圖如圖1，本文通過行人運動特性的TLD快速檢測算法[9]、自適應(yīng)融合顏色和梯度方向特征的粒子濾波跟蹤算法[10]來獲取圖像坐標系下的行人信息，經(jīng)逆透視映射[11]得到世界坐標系下行人實際運動速度，利用速度異常行人辨識對異常行人做出檢測框標識。

圖1 異常行人檢測邏輯框圖

1.1 行人軌跡提取

1.1.1 行人檢測

行人運動特性的TLD快速檢測算法，通過窗口掃描方法在圖像坐標系中對行人目標進行搜索，經(jīng)由

fB(g)=maxz∈Z(g)β·Φ(g,z)

(2)

計算全部搜索框得分，確定行人檢測目標位置結(jié)果。式中：fB(·)為目標得分；β是模型的參數(shù)向量；Φ(g,z)是模型的特征向量；z是目標配置參數(shù)。Φ(g,z)是特征金字塔中任意窗口所對應(yīng)的HOG特征和部件變形特征構(gòu)成的特征向量。該公式所得結(jié)果即為行人位置坐標，x、y分別為行人在圖像坐標系中的橫坐標和縱坐標。

1.1.2 粒子濾波跟蹤

該算法采用空間核函數(shù)加權(quán)顏色直方圖和梯度方向直方圖來對特征進行描述，經(jīng)融合實現(xiàn)對目標的建模和跟蹤，改善單一特征信息導(dǎo)致的跟蹤精度低和魯棒性差的問題。

設(shè)從初始時刻到t時刻，離散動態(tài)系統(tǒng)的狀態(tài)序列為Xt={X1,…,Xt}，觀測序列為zt={z1,…,zt}。系統(tǒng)的狀態(tài)轉(zhuǎn)移模型和觀測模型分別為

Xt=G(Xt-1,qt)，zt=H(Xt,st)。

(3)

式中：G為狀態(tài)轉(zhuǎn)移方程；qt為過程噪聲；H是測量方程；st為系統(tǒng)的測量噪聲。

將行人坐標(x,y)代入式(3)作為粒子濾波算法的初值，得到下一幀的行人坐標位置。

(4)

成立。當μ足夠小時，可以認定粒子跟蹤濾波器所得行人位置能夠近似估計行人運動軌跡。

1.2 異常行人辨識

1.2.1 俯視行人位置變換

俯視變換的目的是針對單目攝像機，利用基于消失點的魯棒逆透視映射變換，獲得二維世界坐標系下(不含Z軸高度信息)的行人軌跡位置，逆透視映射示意圖如圖2。圖2(b)中線段AB和CD為實際行車視角在俯視角下的邊界線，線段AC為車頭所在位置。坐標轉(zhuǎn)換公式為

(5)

(6)

式中：(U,V)為行人在攝像機圖片中的像素坐標；(M,N)是圖片的長和寬；(rx,ry)是行人在俯下的實際坐標；(Cx,Cy,Cz)是攝像機在世界坐標系中的位置；αU和αV是攝像機在水平和垂直方向上的孔徑角；θ是攝像機相對于水平方向的傾斜角。經(jīng)計算可得，圖2(a)中行人i和j在俯視角下的實際位置(rxi,ryi)和(rxj,ryj)。

(a)實際行車角度

(b)俯視角下的車前環(huán)境

1.2.2 行人速度計算

設(shè)Fk和Fk+1分別為視頻第k幀和第k+1幀時的行人位置矩陣。

Fk={(rx1k,ry1k)，(rx2k,ry2k)，…，(rxfk,ryfk)}；

(7)

Fk+1={(rx1k+1,ry1k+1)，(rx2k+1,ry2k+1)，…，

(rxfk+1,ryfk+1)}。

(8)

式中，(rxik,ryik)和(rxik+1,ryik+1)分別為行人i在視頻第k幀和第k+1幀的實際坐標位置。則行人i的運動估計速度為

vik+1=(rxik+1-rxik)/t。

(9)

式中：vik+1為第k+1幀時行人i的運動估計速度；rxik和rxik+1分別為第k幀和第k+1幀時的x軸橫坐標，；T為相鄰幀間的時間間隔。

1.2.3 速度異常行人檢測

設(shè)異常行人的速度異常程度為VAD(Velocity Anomalous Degree)，用來描述該行人的速度與普通行人速度的差異程度，且VAD∈[-1,1]，負值表示慢速異常，正值表示快速異常。VAD數(shù)值越接近0說明行人速度偏離正常值越小，此時行人與正常行人速度差異不大，危險性較小；相反，則說明當前行人的速度偏差較大，危險性也較大，更加值得關(guān)注。

根據(jù)運動速度的不同將異常行人分為慢速異常行人和快速異常行人。其中，慢速異常行人和快速異常行人均滿足式(1)，vv0為快速異常。則速度異常程度計算公式為

(10)

式中：v為異常行人速度；v0為普通行人速度；VSP為慢速異常系數(shù)；VFP為快速異常系數(shù)。

2 仿真測試

本文采用單目攝像機，仿真環(huán)境為Windows10和MATLAB 2014b。仿真所用參數(shù)v0=1.25，α=0.3，VFP=3.75，VSP=1.25，VMIN=1，VMAX=5。僅對視頻中的異常行人用實線檢測框進行標識說明。

慢速異常行人的橫穿馬路仿真場景如圖3：(a)在第46幀時，行人B被判定為慢速異常行人，此時運動速度估計值0.83 m·s-1，VAD為-0.33；(b)為仿真視頻第54幀，從這一幀開始行人A的速度穩(wěn)定在 0.92 m·s-1，對應(yīng)的VAD為-0.26，將行人A判定為慢速異常行人；(c)為視頻第93幀，行人B速度估計值0.76 m·s-1，且VAD為-0.39，為慢速異常行人。在這3個場景的視頻中可以看出，慢速異常行人穿越馬路的速度明顯低于正常行人，極容易滯留在街道路口，對駕駛員的注意提醒可以幫助區(qū)分行人是否完全通過馬路。

(a) (b) (c)

快速異常行人橫穿路口的仿真場景如圖4：(a)在第51幀時，行人B的速度估計值為1.81 m·s-1，對應(yīng)的VAD為0.15，表現(xiàn)為快速異常行人；(b)快速異常發(fā)生在第84幀，行人A的速度估計值為1.88 m·s-1，VAD值為0.17，行人A為快速異常行人；(c)在第32幀時，行人B的速度估計值為2.11 m·s-1，VAD為0.23，行人B為快速異常行人。快速異常行人是對多車并行通過能力的挑戰(zhàn)，駕駛員應(yīng)格外注意這些突然加速的過街行人，以防危險發(fā)生。

(a) (b) (c)

混合異常行人仿真場景如圖5，場景中包含有多個快速異常或慢速異常的行人：(a)中，一前一后兩人，一快一慢同向而行，從駕駛者角度觀察，當兩人重疊遮擋后，快速行人對于車輛駕駛者來說危險程度較高，特別值得提早關(guān)注；(b)和(c)場景，行人快慢相向而行，對于可能滯留在街道上的行人來說，發(fā)生危險的可能性也更大。

(a) (b) (c)

由于行人檢測和跟蹤算法可能會給出錯誤的行人坐標而導(dǎo)致該異常行人檢測算法的判定結(jié)果出錯，在經(jīng)過測試1 500幀行人視頻后，該異常行人算法對道路上異常行人的正確判定概率為69.5%。

3 結(jié) 語

為了保護交通路口的行人安全，本文應(yīng)用單目攝像機，提出一種速度異常的橫穿馬路行人檢測方法，實現(xiàn)對特定行人的標識。通過異常行人目標的檢測與辨識，將匆忙趕路的行人、關(guān)注手機的行人和弱勢群體等行人納入異常行人目標進行重點關(guān)注，可以實現(xiàn)對行人的早期防護。該算法結(jié)合檢測與跟蹤技術(shù)，利用逆透視映射方法有效地估計出路面行人的運動速度，對運動速度過快或過慢的異常行人目標進行標識，為行人風險分析與意圖估計計算出必要先驗信息。經(jīng)仿真驗證，本算

法能夠較準確地計算出視頻中行人的運動速度，辨別出多個橫穿馬路行人中的異常目標，為駕駛者提供輔助預(yù)判信息，也為自主駕駛車輛提供避障和軌跡規(guī)劃等應(yīng)用提供依據(jù)。

參考文獻：

[1] 聶瑞紅, 程建川. 基于交通沖突技術(shù)的行人安全分析與改善[J]. 交通信息與安全，2012 (3): 105-109.

[2] 裴玉龍, 程坦. 城市道路平面信號交叉口行人安全分析[J]. 交通信息與安全，2009 (3): 105-107.

[3] 劉麗華, 李小江, 許偉強, 等. 一種夜間行人過街安全提示系統(tǒng)設(shè)計[J]. 河南城建學院學報. 2015 (6): 37-40.

[4] SCHULZ A, STIEFELHAGEN R. Video-based pedestrian head pose estimation for risk assessment[C]. International IEEE Conference on Intelligent Transportation Systems, 2012: 1771-1776.

[5] PARK S, CHOI B, KIM B, et al. Collision risk assessment for pedestrians′ safety : Neural network with interacting multiple model apporach[C]. Proceedings of SICE Annual Conference, 2010: 2897-2900.

[6] HARIYONO J, KURNIANGGORO L, WAHYONO, et al. Analysis of pedestrian collision risk using fuzzy inference model[C]. International Conference on Control, Automation and Systems, 2016: 696-700.

[7] LIU J, WANG G, DUAN L Y, et al. Skeleton-based human action recognition with global context-aware attention LSTM networks[J]. IEEE Transactions on Image Processing, 2018, 27(4): 1586-1599.

[8] RANGESH A, ESHED O, YUEN K, et al. Pedestrians and their phones - Detecting phone-based activities of pedestrians for autonomous vehicles[C]. 19th IEEE International Conference on Intelligent Transportation Systems, 2016: 1882-1887.

[9] 楊大偉, 郭超, 呂伊鵬, 等. 利用行人運動特性的TLD快速檢測算法[J]. 大連民族大學學報. 2017, 19(1): 36-39.

[10] 魏天舒, 尹麗菊, 高明亮, 等. 一種自適應(yīng)融合顏色和梯度方向特征的粒子濾波跟蹤算法[J]. 山東理工大學學報(自然科學版). 2017(2): 17-21.

[11] ZHANG D M, FANG B, YANG W B, et al. Robust inverse perspective mapping based on vanishing point[C]. IEEE International Conference on Security, Pattern Analysis and Cybernetics, 2014: 458-463.