疲勞駕駛面部表情識別算法

收稿日期：2007-11-10；修回日期：2008-03-06

基金項目：國家自然科學(xué)基金資助項目（50374079）; 國家“973”計劃資助項目（2002cb12203）

作者簡介：楊秋芬（1973-），女，湖南永州人，副教授，博士研究生，主要研究方向為計算機視覺、人臉識別(yqf5569@sohu.com)；桂衛(wèi)華（1951-），教授，博導(dǎo)，主要研究方向為智能控制、自動化；周書仁（1975-），男，講師，博士研究生，主要研究方向為人工智能、模式識別、圖像處理*

（中南大學(xué) 信息科學(xué)與工程學(xué)院，長沙 410083）

摘 要：針對疲勞駕駛的六種表情，提出幾何規(guī)范化結(jié)合Gabor濾波提取表情特征，使用支持向量機對疲勞駕駛的面部表情分類識別的系統(tǒng)。首先對視頻圖像預(yù)處理進行幾何規(guī)范化，利用二維Gabor核函數(shù)構(gòu)造最優(yōu)濾波器48個，獲取48個面部表情特征點，最后利用支持向量機進行面部表情分類識別。實驗結(jié)果表明徑向基函數(shù)的SVM性能最好。

關(guān)鍵詞：表情識別；加博濾波； 核函數(shù)； 支持向量機

中圖分類號：TP391.41

文獻標志碼：A

文章編號：1001-3695(2008)10-3039-03

Facial expression recognition algorithm for fatigue driving

YANG Qiu-fen， GUI Wei-hua，ZHOU Shu-ren

(College of Information Science Engineering， Central South University， Changsha 410083， China)

Abstract:This paper proposed an expression recognition system based on geometry standardization， Gabor wavelet filter and support vector machine (SVM) according to six face expression of fatigue driving. The system ensured the geometry standardization of video.Then it constituted forty-eight optimization filters according to 2D-Gabor kernel functions to acquire forty-eight expressional feature point inside the latency rectangle region. It was applied to recognizing facial expression using SVM. Experimental results demonstrate that RBF the radial basis function(RBF) SVM has better performance than other SVMs on human facial expression recognition， and prove that the algorithm is efficient and feasible.

Key words：facial recognition; Gabor filter；kernel functions; support vector machine

根據(jù)英國汽車協(xié)會統(tǒng)計，英國車禍的死亡事故中，有10%是因司機疲勞駕駛引起的。同時有資料表明，高速公路發(fā)生的交通事故中，有50%以上是由于長時間疲勞駕駛或所見目標單調(diào)使司機注意力不集中，甚至打瞌睡等造成的。統(tǒng)計表明，在出現(xiàn)這些現(xiàn)象的同時，司機的面部表情也將發(fā)生明顯變化[1，2]。

目前面部表情的分類方法很多。Lyons等人[3]利用主分量分析和線性判別分析在JAFFE(Japanese female facial expression)表情庫上得到了很好的結(jié)果(正確率達到92%); Padgett等人[4]使用反向傳播算法訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)在Ekman人臉表情庫[5]上能夠達到86%的正確率;Pantic等人[6]使用專家系統(tǒng)方法在265張雙視角的人臉表情圖片上的正確率達到了91%;Otsuka等人[7]采用隱馬爾可夫模型的方法也達到了比較好的結(jié)果(本文中并沒有提到此方法的正確率)。

最近，支持向量機被成功地用于人臉圖像處理的各個方面，如人臉檢測[8]、人臉的姿態(tài)估計[9]和人臉識別[10]等，取得了優(yōu)于傳統(tǒng)模式識別方法的性能。本文受其啟發(fā)，先對攝像機拍攝到的疲勞駕駛視頻圖像進行幾何規(guī)范化，使用48個Gabor濾波抽取48個最優(yōu)特征點來構(gòu)造表情特征向量，最后用支持向量機分類器對駕駛員面部表情進行訓(xùn)練、識別。

1 視頻圖像的預(yù)處理

視頻圖像的預(yù)處理包括視頻圖像子區(qū)域的分割以及視頻圖像的歸一化處理。前者指從視頻圖像中分割出與人臉最相關(guān)的子區(qū)域；后者包括圖像的灰度均衡和尺度歸一。圖像預(yù)處理的好壞直接影響視頻圖像特征提取的效果和計算量。

疲勞駕駛視頻圖像的幾何規(guī)范化處理首先對人臉作水平積分投影，利用投影曲線各極小值之間存在的位置關(guān)系，建立判斷規(guī)則，確定人臉的眼睛、嘴、鼻孔和眉毛的水平位置以及各器官之間的垂直距離；再根據(jù)人臉的眼睛、嘴的水平位置和垂直距離確定出眼區(qū)、嘴區(qū)，將這些區(qū)域分割出來組成特征三角形生成面部處理區(qū)域；最后進行特征提取。

幾何規(guī)范化處理方法在文獻[11]中進行了詳細的論述。區(qū)域的水平積分投影曲線函數(shù)PH(y)表示為PH(y)=1/（x2-x1）∑x2x1I(x，y)，y∈(y1，y2)（1）

圖1為水平投影曲線函數(shù)得到的人臉灰度水平積分投影。對于正面人臉圖像，以兩眼的中央和嘴部中央構(gòu)成如圖2（a）所示的等腰三角形及矩形區(qū)域；對于側(cè)面分左側(cè)和右側(cè)，分別以左、右眼的中央和嘴及左、右耳部中央構(gòu)成如圖2（b）所示的右側(cè)直角三角形及矩形區(qū)域。

2 Gabor濾波的特征抽取

二維Gabor小波變換是在時頻域進行信號分析處理的重要工具，其變換系數(shù)有著良好的視覺特性和生物學(xué)背景，因此被廣泛應(yīng)用于圖像處理、模式識別等領(lǐng)域。

接下來對圖2的幾何規(guī)范化圖進行二維Gabor小波變換，以獲取駕駛員面部區(qū)域的表情特征。二維Gabor小波核函數(shù)為ψj(k，x)=k²j/σ² exp(-k²j×x²/（2σ²）)×

[exp(k²j×x)-exp(-σ²/2)](2)其中：k²j確保不同頻率帶寬的濾波器有著大致相同的能量；exp(-σ²/2)是為了抵消圖像的直流分，使濾波器對全局照明不敏感，其優(yōu)點是允許描述空間頻率結(jié)構(gòu)的同時，保持空間關(guān)系的信息。kj=kv cos u

kv sin u， kv=2-（v+2）/2π，u=μ π/8（3）其中：kj對不同的取值邊構(gòu)成了不同的小波。本文中取四個大小方向的變化：

kj=2-（v+2）/2π(v=1，2，3，4)六個方向:0-6/8π(μ=1，2，…，6)，間隔π/8;σ為濾波器的長度，取σ=π，設(shè)為1倍頻率。輸入圖像I(x，y)和小波作卷積，得g(kj，x)=∫∫I(x，y)j(k，x)dxdy(4)其中:g(kj，x)為幅度。這樣Gabor濾波器的個數(shù)為48，組成一組代表目標特征的最優(yōu)濾波器。這些濾波器構(gòu)成小波子空間，將圖像向這個小波子空間投影求出小波的系數(shù)，提取均值和方差以此來代表駕駛員面部表情圖像的統(tǒng)計特征。圖3為48個特征點分布。

3 支持向量機分類器的構(gòu)造

SVM是在統(tǒng)計學(xué)習(xí)理論的基礎(chǔ)上發(fā)展出的一種新的模式識別方法，在解決小樣本、非線性機高維模式識別問題中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應(yīng)用到函數(shù)擬合等其他機器學(xué)習(xí)問題中[3]。

設(shè)有線性可分樣本集(ｘi，ｙi)（ｉ=1，…，ｎ），ｘ∈Ｒn，ｙ∈{+1，-1}是類別標號。N維空間的線性判別函數(shù)一般形式為ｇ(ｘ)=ω×x+ｂ，分類面方程為 ω×x+ｂ=0的劃分。該分類面就是最優(yōu)超平面，而距離該最優(yōu)超平面最近的異類向量就是所謂的支持向量(support vector)。支持向量與超平面之間的距離最大(即邊緣最大化)；一組支持向量可以惟一地確定一個超平面。尋找超平面的問題就轉(zhuǎn)換為求解以下二次規(guī)劃問題：(w)=1/2(ω×ω)(5)約束條件為不等式：

yi[(ω×x)+b]≥1；i=1，2，…，n(6)

線性條件下式(9)的最優(yōu)解為下面Lagrange函數(shù)的鞍點：L(ω，α，b)=1/2‖ω‖-∑li=1αi{yi(ω×x)+b-1}(7)此時最優(yōu)超平面是訓(xùn)練集合中向量的線性組合：ω=∑li=1αiyixi(8)

使式(10)成立的向量就是在ω的展開式中具有非零系數(shù)αi的支持向量。該二次規(guī)劃問題的分類平面為f(x)=sgn(∑iαiyixi×x+b)(9)

對線性不可分的情況，SVM引入松弛變量和懲罰因子，使目標函數(shù)變?yōu)楠ИЕ?ω，ξ)=1/2(ω×ω)+C(∑Niξi)(10)

支持向量機實現(xiàn)的是如下思想：通過事先選擇好的非線性映射將輸入向量x映射到一個高維特征間Z，在這個空間構(gòu)造最優(yōu)分類超平面。ＳＶＭ的分類函數(shù)在形式上類似神經(jīng)網(wǎng)絡(luò)，輸出是中間節(jié)點的線性組合，每個中間節(jié)點對應(yīng)一個支持向量。向量之間只進行點積運算，采用核函數(shù)(kernal function)，就可以避免在高維特征空間進行復(fù)雜的運算，不同的核函數(shù)將形成不同的算法(即不同的支持向量機)。目前，主要的核函數(shù)有：a)多項式核函數(shù)k(x，xj)=[(x×xi)+1]d，得到ｄ階多項式分類器。b)徑向基函數(shù)(RBF)k(x，y)=exp[-‖x-y‖²/σ²]，所得分類器與傳統(tǒng)RBF的區(qū)別是這里每個基函數(shù)中心對應(yīng)一個支持向量，它們及輸出權(quán)值都是由算法自動確定的。c)Sigmoid核函數(shù) k(x，xi)=tan h(v(x×xi)+c)。

人類對于面部表情的分析可以追溯到20世紀。Ekman等人[13]根據(jù)面部肌肉的分布和運動規(guī)律提出了六種基本的面部表情：高興happy 、驚奇surprise 、悲哀sad、憤怒angry、恐懼fear、 厭惡disgust ，如圖4所示。

在駕駛員駕駛的過程中，幾種表情出現(xiàn)的概率并不是對等的，如悲哀sad、憤怒angry，在這種情緒下的駕駛員開車的情況并不多見，多數(shù)情況下，是前面所示的中性臉。因此疲勞駕駛的面部表情也包括高興happy 、驚奇surprise 、中性、憤怒angry、恐懼fear、 厭惡disgust六種。

在研究過程中筆者利用支持向量機的Rowley[14]算法訓(xùn)練算法，對其三個核函數(shù)進行比較研究。

4 實驗結(jié)果與分析

實驗中考慮六種表情（包含中性臉），即中性、高興、憤怒、害怕、驚嚇和厭惡。人臉表情數(shù)據(jù)來源為日本Kyushu大學(xué)的JAFFE（Japanese female facial expression）數(shù)據(jù)庫[14]（中性代替悲哀）、Yale數(shù)據(jù)庫[15]（中性代替悲哀）和自建表情數(shù)據(jù)庫（僅用來測試）。JAFFE數(shù)據(jù)庫包含213張圖像，六種表情；Yale數(shù)據(jù)庫包含165張圖像，15個人的表情，每人11張；自建表情數(shù)據(jù)庫包含200張圖像。因此一共有表情圖像578張。

實驗分兩組進行，一組（278張）作為網(wǎng)絡(luò)訓(xùn)練用，另一組（300張）作為測試用。表情圖像在訓(xùn)練和測試之前均先進行Gabor小波特征提取，表情分類測試結(jié)果如表1所示。在測試集中，每種表情圖像均為50張。表1中多項式階數(shù)q取3，徑向基的σ²參數(shù)取0.5。實驗結(jié)果表明，采用徑向基函數(shù)的SVM性能最好。

表1 不同核函數(shù)的SVM比較結(jié)果%函數(shù)高興驚奇中性憤怒害怕厭惡多項式

徑向基

S形92.5

95.5

94.593.5

95.5

94.590

92

90.592.5

93.5

9388

89.5

88.590.5

91.5

91.55 結(jié)束語

本文從疲勞駕駛的實際出發(fā)，將面部表情分為中性、高興、憤怒、害怕、驚嚇和厭惡六類表情，對視頻圖像進行幾何規(guī)范化處理，利用二維Gabor核函數(shù)構(gòu)造最優(yōu)濾波器48個特征向量，利用SVM較強的泛化性能，使用支持向量機的Rowley算法訓(xùn)練算法進行實驗。實驗表明采用徑向基函數(shù)的SVM性能最好。

參考文獻：

[1]TIAN Ying-li， TAKEO K， COHN J F. Eye-state action unit detection by Gabor wavelet[C]//Proc of ICMI. 2000: 143-150.

[2]GUO Ke-you，CHU Jiang-wei，WANG Rong-ben.Study on the recog-nition of the driver’s eye states[J]. Systems Engineering and Electronics，2003，25(10):1186-1188，1228.

[3]LYONS M J， BUDYNEK J， AKAMATSU S. Automatic classification of single facial images[J]. IEEE Trans on Pattern Analysis and Machine Intelligence， 1999， 21(12): 1357-1362.

[4]PADGETT C， COTTRELL G W.Representing face images for emotion classification[C]//Proc of Conference Advances in Neural Information Processing Systems. Denver:[s.n.]， 1996:894-900.

[5]EKMAN P， FRIESEN W V. Unmasking the face [M]. New Jersey: Prentice Hall，1975.

[6]PANTIC M， ROTHKRANTZ L J M. Expert system for automatic analysis of facial expression[J]. Image andVisionComputing， 2000，

18(11):881-905.

[7]OTSUKA T， OHYA J. Spotting segments displaying facial expressions from image sequences using HMM[C]//Proc of IEEE International Conference on Automatic Face and Gesture Recognition. Nara: [s.n.]， 1998:442-447.

[8]LIANG Lu-hong， AI Hai-zhou， XIAO Xi-pan，et al. Face detection based on template matching and support vector machines[J]. Chinese Journal of Computers，2002，25(1):22-29.

[9]HUANG J， SHAO X， WECHSLER H. Face pose discrimination using support vector machines[C]//Proc of IEEE International Conference on Pattern Recognition. Brisbane:[s.n.]， 1998:154-156.

[10]GUO Guo-dong， LI S Z， CHAN K. Face recognition by support vector machines[C]//Proc of IEEE International Conference on Automatic Face and Gesture Recognition. Grenoble:[s.n.]， 2000:196-201.

[11]楊秋芬，桂衛(wèi)華，周書仁.基于特征三角形的多姿態(tài)視頻圖像人臉跟蹤[J].計算機工程，2006，32(15):39-41.

[12]楊秋芬，胡豁生，桂衛(wèi)華.基于濾波和特征三角形的駕駛員面部跟蹤[J].計算機工程與應(yīng)用， 2006，42(23):16-19.

[13]EKMAN P， FRIESEN WU\\V. Universal sand cultural difference in facial expressions of emotion[C]//Proc of Nebraska Symposium on Motivation. Lincoln:[s.n.]，1971.

[14]LEE J H，LEE T W， JUNG H Y， et al. On the efficient speech feature extraction based on independent component analysis[J]. Neural Process Lett， 2002，15(3):235-245.

[15]BECKMANN C F， SMITH S M. Probabilistic independent component analysis for functional magnetic resonance imaging[J]. IEEE Trans on Med Imaging， 2004，23(2): 137-152.

[16]CHUANG Chao-fa， SHIH F Y. Recognizing facial action units independent component analysis and support vector machine[J]. Pattern Recognition， 2006，39(9): 1795-1798.

[17]PLTZ T， FINK G A. Pattern recognition， methods for advanced stochastic protein sequence analysis using HMMs[J]. Pattern Recog-nition， 2006，39(12): 2267-2280.

[18]GAO Wen， JIN Hui. Analysis and recognition of facial expression image[J]. Chinese Journal of Computers， 1997，20(9):782-789.