融合臉部紅外信息與深度信息的駕駛員路怒表情識(shí)別方法

劉鵬++劉峰

摘要：駕駛員“路怒癥”是影響安全駕駛的一個(gè)重要因素，近年來(lái)得到了廣泛關(guān)注。在情感識(shí)別領(lǐng)域，可通過(guò)駕駛員表情識(shí)別其情感。融合臉部紅外信息和深度信息（InfraredD），提出一種駕駛員路怒表情識(shí)別方法，對(duì)駕駛員“路怒癥”進(jìn)行識(shí)別。實(shí)驗(yàn)結(jié)果表明，基于PCANet的方法可以提高駕駛員路怒表情識(shí)別的準(zhǔn)確率，從而更有效地預(yù)防交通事故發(fā)生。

關(guān)鍵詞：路怒癥；表情識(shí)別；PCANet；InfraredD

DOIDOI：10.11907/rjdk.171634

中圖分類號(hào)：TP317.4

文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：16727800（2017）010019804

0引言

“路怒癥”的定義為：“路怒”是形容在交通阻塞情況下開(kāi)車壓力與挫折所導(dǎo)致的憤怒情緒，“路怒癥”發(fā)作者會(huì)襲擊他人汽車，有時(shí)無(wú)辜的同車乘客也會(huì)遭殃。近年來(lái)，由“路怒癥”引起的交通事故呈顯著上升趨勢(shì)。交通管理局?jǐn)?shù)據(jù)顯示，2015年以來(lái)全國(guó)查處的由“路怒癥”引起的違法行為達(dá)1 733萬(wàn)起，同比上升了2.8%，可見(jiàn)“路怒癥”已經(jīng)成為影響安全駕駛的一個(gè)重要因素。因此，研究“路怒癥”并提出有效應(yīng)對(duì)措施，對(duì)于預(yù)防交通事故發(fā)生具有重要意義。

1駕駛員路怒癥研究現(xiàn)狀

目前，針對(duì)“路怒癥”的文獻(xiàn)研究有：韓振[1]指出只有養(yǎng)成良好的出行習(xí)慣才能從根本上消除“路怒癥”，駕車時(shí)需要注意“不要將不良情緒帶上車，開(kāi)車前調(diào)節(jié)好情緒，營(yíng)造舒適的車內(nèi)環(huán)境”；王浩穎[2]提出“首先要有包容心，允許別人犯錯(cuò)，然后要學(xué)會(huì)調(diào)節(jié)不良情緒，可以采用一些解壓的小方法，如聽(tīng)一首放松的音樂(lè)、做一下深呼吸等。其次，養(yǎng)成良好的開(kāi)車習(xí)慣，如在駕駛過(guò)程中時(shí)常打開(kāi)窗戶透透氣，在情緒不好的情況下不要駕駛車輛等”；騫憲忠、鄭建中[3]認(rèn)為可以根據(jù)“路怒癥”的癥狀輕重情況，通過(guò)心理調(diào)節(jié)和藥物治療控制駕駛員路怒癥，對(duì)于患有重度“路怒癥”的駕駛員發(fā)作時(shí)需要及時(shí)就醫(yī)用藥；金金[4]把“路怒”行為看作是一種對(duì)社會(huì)公共秩序的挑釁，主張通過(guò)自我約束和社會(huì)約束兩種手段解決駕駛員“路怒”行為。可見(jiàn)目前的這些措施主要集中在個(gè)人和社會(huì)層面，而要提高個(gè)人素質(zhì)和整個(gè)社會(huì)氛圍也將是一個(gè)漫長(zhǎng)過(guò)程。

由以上分析可知，針對(duì)路怒癥的研究主要集中在兩個(gè)方面：①研究駕駛員路怒癥與安全駕駛之間的關(guān)系；②研究如何從政策、法規(guī)等規(guī)章制度上預(yù)防和消除駕駛員路怒癥。而針對(duì)駕駛員路怒癥的自動(dòng)識(shí)別研究還未見(jiàn)報(bào)道。但是在情感計(jì)算領(lǐng)域，表情識(shí)別是一個(gè)非常熱門(mén)的話題，本文考慮到駕駛員的特殊環(huán)境，提出一種基于PCANet融合臉部InfraredD圖像的駕駛員路怒表情識(shí)別方法。首先，使用駕駛員臉部的紅外圖像和深度圖像對(duì)應(yīng)的表情（非路怒表情和路怒表情）訓(xùn)練PCANet過(guò)濾器；之后，通過(guò)訓(xùn)練得到的過(guò)濾器提取臉部紅外圖像和深度圖像的表情特征，再進(jìn)行哈希編碼并提取直方圖特征；最后，通過(guò)提取的特征訓(xùn)練得到SVM，進(jìn)行駕駛員路怒表情和非路怒表情識(shí)別。該方法可以識(shí)別駕駛員路怒癥，從而可以在駕駛員出現(xiàn)路怒現(xiàn)象時(shí)，及時(shí)進(jìn)行提醒（可以是一句安慰的話或者播放一段愉快的音樂(lè)），防止因駕駛員的過(guò)激行為造成交通事故。

2駕駛員路怒表情識(shí)別方法

本文的駕駛員路怒表情識(shí)別是通過(guò)將臉部的紅外圖像和深度圖像進(jìn)行融合。如圖1所示，具體步驟為：①同時(shí)把臉部紅外圖像和臉部深度圖像作為PCANet第一層濾波器（特征向量矩陣w1＼-l）的訓(xùn)練樣本，訓(xùn)練得到w＼+1＼-l，將訓(xùn)練樣本去除均值后乘以w＼+1＼-l得到PCANet第一層的輸出；②將輸出的特征矩陣作為PCANet第二層濾波器的訓(xùn)練樣本，訓(xùn)練得到w＼+2＼-l，將第一層的輸出乘以w＼+2＼-l得到PCANet第二層的輸出；③將第二層的特征矩陣進(jìn)行哈希編碼；④將臉部紅外圖像和深度圖像編碼后的矩陣對(duì)應(yīng)加和；⑤將加和后的每個(gè)編碼矩陣通過(guò)滑動(dòng)口提取直方圖特征，并且將其串接在一起組成表情識(shí)別特征；⑥通過(guò)支持向量機(jī)（SVM）進(jìn)行分類。

圖1駕駛員路怒表情特征提取模型

其中，N個(gè)訓(xùn)練樣本表示為{IR＼-i，Depth＼-i}＼+N＼-＼{i=1＼}，每個(gè)樣本的patch數(shù)目為2m×n，每個(gè)patch的大小為k1×k2。

基于PCANet的臉部InfraredD圖像特征提取具體如下：

（1）融合InfraredD圖像的PCANet第一層。對(duì)于輸入圖片{IR＼-i，Depth＼-i}＼+N＼-＼{i=1＼}（臉部紅外圖像和深度圖像作為一個(gè)樣本），滑動(dòng)窗采用k1×k2大小的patch，patch之間的交集設(shè)為overlap（相當(dāng)于步長(zhǎng)，該階段步長(zhǎng)一般選1），如圖2所示。輸入圖片{IR＼-i，Depth＼-i}的patch向量為：xIi，1，xIi，2，xIi，3，…，xIi，mn∈Rk1k2和xDi，1，xDi，2，xDi，3，…，xDi，mn∈Rk1k2，為了方便計(jì)算，用矩陣Xi表示：Xi=＼[xIi，1，xIi，2，xIi，3，…，xIi，mn，xDi，1，xDi，2，xDi，3，…，xDi，mn＼]，然后由式（1）（以一張圖片的所有patch為例，而紅外和深度兩張圖片要除以2mn）求協(xié)方差矩陣Convi。

Convi=（X＼+Ti-avg＼+T）（Xi-avg）/2mni=1，2，3，…，N（1）

其中，avg為所有patch向量的每一維均值。

然后由式（2）對(duì)協(xié)方差矩陣加和（ConvSum）：

ConSum=∑Ni=1ConvI（2）

并除以N，得到所有樣本協(xié)方差的均值（Conv）：

Conv=ConvSumN（3）

對(duì)其求特征值和特征向量（eigvals，sigVects）：

eigvals，eigVects=eig（Conv）（4）endprint

然后取特征值大的前L＼-1個(gè)特征向量組成w＼+1＼-l（根據(jù)實(shí)驗(yàn)結(jié)果選取適當(dāng)?shù)奶卣飨蛄繑?shù)量）：

w1l=eigVects＼[0：L1＼]（5）

最后由式（6）得到PCANet第一層的輸出：

{IRLi，Depthli}={{Ii，1，Ii，2，Ii，3，…，Ii，mn}×w1l，

{Di，1，Di，2，Di，3，…，Di，mn，}×w1l}

i=1，2，3…，Nl=1，2，3，…，L1（6）

其中Ii，j和Di，j是去除均值的patch向量，L1為特征向量的數(shù)量（決定PCANet第一層的輸出）。

（2）融合InfraredD圖像的PCANet第二層。將PCANet第一層的輸出作為第二層的輸入，按照式（1）中的方法得到w2l，最后求得第二層的輸出為：{OIRlki，ODepthlki}（i=1，2，3，…，N；l=1，2，3，…，L1；k=1，2，3，…，L2）。

（3）融合InfraredD圖像的PCANet輸出層：哈希編碼和直方圖處理。哈希編碼過(guò)程，按照式（7），將紅外圖像和深度圖像PCANet第二層的輸出圖像對(duì)應(yīng)相加，然后經(jīng)過(guò)哈希編碼生成哈希矩陣，并將其相加，產(chǎn)生L1個(gè)哈希矩陣：

Tli=∑L2k=12k-1（H（OIRlki）+H（ODepthlk＼-i））

i=1，2，3，…，N；l=1，2，3，…，L1（7）

其中H（·）是哈希函數(shù)，而輸出的每個(gè)像素是在范圍[0，2L2-1]中的整數(shù)。

對(duì)哈希矩陣提取直方圖特征：將每一個(gè)哈希圖像通過(guò)滑動(dòng)窗口，對(duì)產(chǎn)生的每個(gè)patch統(tǒng)計(jì)直方圖然后拼接在一起，之后將所有哈希圖像的直方圖特征拼接在一起組成最終的特征向量，如式（8）所示：

f＼-i=＼[Bhist（Tli），…，Bhist（TL1i）＼]Ti=1，2，3，…，N（8）

3實(shí)驗(yàn)結(jié)果與分析

3.1數(shù)據(jù)庫(kù)及實(shí)驗(yàn)設(shè)置

受駕駛員駕駛條件的限制，一般選用紅外圖像作為信息的輸入，考慮到深度圖像對(duì)光照變化不敏感，能反映出臉部深度信息，故本文駕駛員表情數(shù)據(jù)庫(kù)采集的是臉部紅外圖像和臉部深度圖像。設(shè)備依靠kinect選取駕駛員，跟蹤其臉部并提取紅外圖像和深度圖像信息，并建立對(duì)應(yīng)的數(shù)據(jù)庫(kù)（紅外圖像和深度圖像分別為1 200張）。之后將駕駛員表情分為兩組：一組為路怒表情，一組為非路怒表情。實(shí)驗(yàn)在Intercore，3.4GHz CPU和4G RAM的計(jì)算機(jī)上進(jìn)行。

將本文方法（I+DPCANet）與3種方法進(jìn)行了比較：基于PCANet臉部紅外圖像的駕駛員路怒表情識(shí)別方法（IPCANet）、基于PCANet臉部深度圖像的駕駛員路怒表情識(shí)別方法（DPCANet）、基于PCANet臉部紅外圖像和臉部深度圖像單獨(dú)訓(xùn)練PCANet濾波器的駕駛員路怒表情識(shí)別方法（IDPCANet）。其中，基于PCANet臉部紅外圖像的駕駛員路怒表情識(shí)別方法僅使用紅外圖像訓(xùn)練PCANet濾波器；基于PCANet的臉部深度圖像的駕駛員路怒表情識(shí)別方法僅使用深度圖像訓(xùn)練PCANet濾波器；基于PCANet的臉部紅外圖像和臉部深度圖像單獨(dú)訓(xùn)練PCANet濾波器的駕駛員路怒表情識(shí)別方法采用臉部紅外和臉部深度圖像單獨(dú)訓(xùn)練PCANet濾波器，之后用于各自圖像的卷積。

3.2參數(shù)設(shè)置

patch大小選擇：通過(guò)固定其它參數(shù)，選擇不同大小的patch進(jìn)行實(shí)驗(yàn)，圖3顯示不同patch對(duì)于分類結(jié)果的影響，而且7×7大小的patch能提供更好的性能。因此，選擇7×7作為訓(xùn)練PCANet濾波器的大小。

L1和L2選擇：由圖4可知選擇不同輸出個(gè)數(shù)對(duì)于分類結(jié)果的影響。第一層和第二層的輸出個(gè)數(shù)選為8，8具有更好的性能。因此，第一層的輸出數(shù)量和第二層的輸出數(shù)量都為8。

圖3patch大小對(duì)分類準(zhǔn)確率的影響

圖4L1和L2對(duì)分類準(zhǔn)確率的影響

求直方圖時(shí)滑動(dòng)窗大小和重疊率的選擇：由圖5、圖6可知，這兩個(gè)參數(shù)對(duì)實(shí)驗(yàn)結(jié)果的影響不是很大，分別選擇：10×10和0。

圖5求直方圖時(shí)滑動(dòng)窗大小對(duì)分類準(zhǔn)確率的影響

圖6求直方圖時(shí)滑動(dòng)窗重疊率對(duì)分類準(zhǔn)確率的影響

3.3SVM分類器參數(shù)選擇

對(duì)臉部紅外圖像和臉部深度圖像提取完特征后，進(jìn)行臉部表情的識(shí)別，本文選用的分類器是libSVM，其中采用了兩種人臉表情：駕駛員非路怒表情和駕駛員路怒表情。

LIBSVM使用的一般步驟為：①按照LIBSVM軟件包要求的格式準(zhǔn)備數(shù)據(jù)集； ②對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單的縮放操作；③首先考慮選用RBF 核函數(shù)；④采用交叉驗(yàn)證選擇最佳參數(shù)C與g （懲罰系數(shù)和核函數(shù)中的gamma函數(shù)設(shè)置）；⑤采用最佳參數(shù)C與g 對(duì)整個(gè)訓(xùn)練集進(jìn)行訓(xùn)練，獲取支持向量機(jī)模型；⑥利用獲取的模型進(jìn)行測(cè)試與預(yù)測(cè)。

在實(shí)驗(yàn)中，選擇的SVM設(shè)置類型為CSVC，使用交叉驗(yàn)證計(jì)算各種參數(shù)搭配的分類精度，以便得到解決問(wèn)題的最佳參數(shù)搭配。C和g是 SVM 中的重要參數(shù)，針對(duì)選定的訓(xùn)練集，選用7折交叉驗(yàn)證選取最佳的C和g參數(shù)搭配，以訓(xùn)練分類模型。

3.4性能比較

白天和夜間紅外圖像和深度圖像變化不大，可以一同進(jìn)行性能比較。表1顯示了對(duì)測(cè)試集中路怒表情（road rage）和非路怒表情（else）進(jìn)行識(shí)別的比較結(jié)果。顯然，I+DPCANet方法準(zhǔn)確率最高，其次是IDPCANet 方法。圖7顯示對(duì)路怒表情（road rage）和非路怒表情（else）識(shí)別的詳細(xì)比較結(jié)果，可見(jiàn)4種方法普遍對(duì)路怒表情的識(shí)別準(zhǔn)確率會(huì)低一些。

4結(jié)語(yǔ)

本文基于PCANet提出了一種融合臉部紅外和深度圖像的駕駛員路怒表情識(shí)別方法。首先使用駕駛員

臉部的紅外圖像和深度圖像對(duì)應(yīng)的表情（非路怒表情和路怒表情）訓(xùn)練PCANet過(guò)濾器；之后，通過(guò)訓(xùn)練得到的過(guò)濾器提取臉部紅外圖像和深度圖像的表情特征，再進(jìn)行哈希編碼并提取直方圖特征；最后，通過(guò)提取的特征訓(xùn)練得到SVM，進(jìn)行駕駛員非路怒表情和路怒表情的識(shí)別。實(shí)驗(yàn)結(jié)果表明，本文提出的方法能夠更有效地識(shí)別駕駛員路怒表情，從而判斷路怒癥，以防止因駕駛員的過(guò)激行為造成交通事故。

參考文獻(xiàn)參考文獻(xiàn)：

[1]韓振.遠(yuǎn)離“路怒癥”[J].家庭科技，2015（6）：3839.

[2]王浩穎.路怒癥：怒從何來(lái)[J].婚姻與家庭：社會(huì)紀(jì)實(shí)，2015（7）：2426.

[3]騫憲忠，鄭建中.生理心理社會(huì)醫(yī)學(xué)模式視角下的路怒癥剖析[J].中國(guó)社會(huì)醫(yī)學(xué)雜志，2011（4）：269271.

[4]金金.交通文明行“路怒”需約束[J].青春期健康，2015（12）：2426.

責(zé)任編輯（責(zé)任編輯：黃健）endprint