面向無(wú)人車安全的行人姿態(tài)估計(jì)

朱常杰 冉浩祥 何大鵬 重慶交通大學(xué)

1 介紹

無(wú)人車技術(shù)成為近年交通行業(yè)研究熱點(diǎn)，目前無(wú)人車技術(shù)的研究分為2 種思路：一種是以單車為智能體，解決單車對(duì)環(huán)境的感知；另一種是車路協(xié)同為主的無(wú)人車技術(shù)。這兩種無(wú)人車技術(shù)都將行人檢測(cè)作為智能汽車外部環(huán)境感知中的核心技術(shù)之一。當(dāng)前行人檢測(cè)主要通過(guò)計(jì)算機(jī)視覺(jué)技術(shù)來(lái)判斷圖像或者視頻序列中是否存在行人并給予定位，但這類方法只能夠檢測(cè)到行人的2D 位置，而無(wú)法判斷識(shí)別行人3D 姿態(tài)，其應(yīng)用受到一些限制。

在無(wú)人駕駛技術(shù)領(lǐng)域，如能實(shí)時(shí)檢測(cè)到行人3D 姿態(tài)，并對(duì)人體姿態(tài)信息進(jìn)行快速判斷識(shí)別(如行人打車、揮手等典型動(dòng)作、交警指揮動(dòng)作等)，則能有效提升無(wú)人駕駛汽車的智能化水平。

針對(duì)這一需求，本文采用一種面向無(wú)人駕駛的交通行人姿態(tài)檢測(cè)和估計(jì)方法，該方法利用人體多種參數(shù)信息，采用卷積神經(jīng)網(wǎng)絡(luò)(CNN)和人體形狀模型(SMPL)從圖像中自動(dòng)估計(jì)人體3D 姿態(tài)，主動(dòng)識(shí)別人體行為狀態(tài)。利用分層式優(yōu)化實(shí)時(shí)計(jì)算求解行人的3D 姿態(tài)，能夠無(wú)人車對(duì)行人姿態(tài)判斷的準(zhǔn)確性、實(shí)時(shí)性要求，有力保證無(wú)人車行駛安全。

2 相關(guān)工作

2.1 訓(xùn)練數(shù)據(jù)集的準(zhǔn)備

關(guān)于人體姿態(tài)估計(jì)的研究目前主要側(cè)重于人體肢體動(dòng)作研究與人體朝向研究?jī)深悺Ｆ渲校梭w肢體動(dòng)作研究側(cè)重于動(dòng)作分析，通過(guò)獲得人體四肢的關(guān)節(jié)點(diǎn)的信息并利用DCNN 網(wǎng)絡(luò)學(xué)習(xí)人體部位的條件概率分布及其在空間的分布關(guān)系。但此方法對(duì)圖片清晰度要求較高，且由關(guān)節(jié)點(diǎn)信息訓(xùn)練得到關(guān)于人體朝向的信息較為困難。在實(shí)際的行車過(guò)程中，由于路況等原因，車輛的抖動(dòng)是無(wú)法避免的，且高速行進(jìn)中的車輛需要針對(duì)遠(yuǎn)處的行人提前做出預(yù)判，則由攝像頭獲得的圖像質(zhì)量并不高，行人在圖片中尺寸較小。故對(duì)行人的預(yù)測(cè)則需要主要由人體的朝向進(jìn)行預(yù)測(cè)。針對(duì)上述情況，本文聚焦于人體朝向研究，將大量低分辨率的人體姿態(tài)灰度圖片作為數(shù)據(jù)集進(jìn)行訓(xùn)練預(yù)測(cè)。

當(dāng)行人在朝著一個(gè)方向移動(dòng)時(shí)，根據(jù)其身體的姿勢(shì)與轉(zhuǎn)向我們往往能判斷他的下一步行動(dòng)意圖。對(duì)于人的姿態(tài)識(shí)別估計(jì)，本文將人的朝向分為8 個(gè)方向，每個(gè)方向范圍為45 度，從而將人的姿態(tài)問(wèn)題變成一個(gè)分類問(wèn)題。這樣能較為準(zhǔn)確的預(yù)測(cè)行人的行動(dòng)方向。

圖1 8 種不同行人姿態(tài)

如上圖所示，將人體正面朝向從0 度到360 度以45 度為間隔分為8 類，代表了人體的8 種行走特征，并以0—7 的標(biāo)簽對(duì)應(yīng)。本文使用20000 張人體姿態(tài)灰度圖片，根據(jù)圖片中人體的姿態(tài)朝向，將人體分至對(duì)應(yīng)的8 個(gè)文件夾，同一文件夾的圖片具有統(tǒng)一的特征并對(duì)應(yīng)同一標(biāo)簽值。最后編寫Matlab 腳本文件，將各個(gè)圖片的路徑與標(biāo)簽值讀入excel 中，以便CNN 網(wǎng)絡(luò)根據(jù)路徑與標(biāo)簽值進(jìn)行訓(xùn)練。

3 卷積神經(jīng)網(wǎng)絡(luò)

本文利用CNN 對(duì)行人方向進(jìn)行分類，圖1 顯示了8 種不同的行人身體朝向。首先將數(shù)據(jù)集進(jìn)行分類，進(jìn)行監(jiān)督學(xué)習(xí)，然后將其將其分為訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集。然后將訓(xùn)練數(shù)據(jù)規(guī)范化為一樣的大小、進(jìn)行歸一化，最后將其送入卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。然后對(duì)測(cè)試數(shù)據(jù)集進(jìn)行同樣的操作，送入訓(xùn)練好的分類器中，系統(tǒng)框圖如圖2 所示。

圖2 CNN 系統(tǒng)框圖

CNN 是一個(gè)層次化的結(jié)構(gòu)，每一層都有輸入向量和輸出向量。除去輸入層之外，結(jié)構(gòu)中主要有卷積層、池化層、dropout 層、全連接層和SoftMax 層。

卷積層中卷積操作就是一個(gè)濾波的過(guò)程，每一個(gè)卷積核都可以提取一定的特征。假設(shè)輸入圖像維度為濾波器維度為卷積步長(zhǎng)為s，padding 大小為p，那么輸出維度可以計(jì)算為：

池化層通過(guò)降低空間分辨率對(duì)輸入向量進(jìn)行采樣。我們采用的是最大池化，即取局部接受域中值最大的點(diǎn)。表示大小為的池化結(jié)果，其中包含對(duì)應(yīng)區(qū)域的最大值。

為了消除梯度消失的情況，我們采用的是Relu 函數(shù)，其表達(dá)式為：

為了解決里神經(jīng)網(wǎng)絡(luò)存在的訓(xùn)練時(shí)間長(zhǎng)和過(guò)擬合問(wèn)題，我們引進(jìn)了dropout。Dropout 就是在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的時(shí)候，按照一定的比例丟棄一些神經(jīng)元來(lái)進(jìn)行訓(xùn)練。

我們參考Raza 設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)計(jì)的CNN 結(jié)構(gòu)如圖3 所示。輸入層圖像尺寸為64×64×1，1 表示圖像為單通道圖像，從RGB 三通道中隨機(jī)選擇一個(gè)通道。

圖3 CNN 分層結(jié)構(gòu)

我們一共使用了5 個(gè)卷積層，其卷積核大小如下：C1 到C5 的卷積核尺寸分別為11×11,9×9,7×7,5×5,3×3。卷積層C1 到C5 的步長(zhǎng)均為1。我們采用的是最大池化操作。池化層中P1是3×3 的池化操作，而P2 到P4 使用2×2 的池化操作。

為了避免過(guò)擬合，在全連接層之前應(yīng)用dropout 層D。層R1 和R2 使用ReLU 變換來(lái)引入線性映射的非線性。最后應(yīng)用SoftMax層進(jìn)行預(yù)測(cè)。

4 結(jié)果和討論

由于設(shè)備不足以支撐如此大的計(jì)算量，我們到網(wǎng)上租用了GPU云平臺(tái)來(lái)訓(xùn)練模型。其配置為酷睿i5，顯卡為TITAN XP，顯存大小為12G，內(nèi)存也為12G。我們對(duì)數(shù)據(jù)集進(jìn)行小批量的訓(xùn)練，每批為256。學(xué)習(xí)率選擇為8e-5,L2 正則化參數(shù)和dropout 參數(shù)分別為4e-4、0.9。我們所選的epoch 為50，在訓(xùn)練過(guò)程中，模型在40 個(gè)epoch 已經(jīng)收斂了。

表1 混淆矩陣