膚色歷史圖的人臉動(dòng)作識(shí)別

徐國(guó)慶，吳云韜

（武漢工程大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院 智能機(jī)器人湖北省重點(diǎn)實(shí)驗(yàn)室，湖北 武漢430205）

0 引 言

在基于人臉跟蹤的智能人機(jī)交互控制中，如何有效地檢測(cè)跟蹤人臉的特征點(diǎn)，并根據(jù)跟蹤結(jié)果識(shí)別人臉動(dòng)作是系統(tǒng)應(yīng)用的研究熱點(diǎn)和難點(diǎn)。

臉部運(yùn)動(dòng)可以通過(guò)頭部姿態(tài)變化得到，因此可以通過(guò)估計(jì)頭部姿態(tài)來(lái)獲取臉部運(yùn)動(dòng)信息。使用2D 形狀模型［1，2］對(duì)人臉姿態(tài)進(jìn)行估計(jì)，通過(guò)計(jì)算臉部中心點(diǎn)與左右輪廓邊界點(diǎn)的比例來(lái)計(jì)算人臉的偏轉(zhuǎn)角度，在人臉左右偏轉(zhuǎn)角度不大時(shí)，能夠獲得較為滿意的識(shí)別結(jié)果，由于其計(jì)算偏轉(zhuǎn)角度時(shí)使用了關(guān)鍵點(diǎn)位置量比較，當(dāng)人臉出現(xiàn)上下運(yùn)動(dòng)或者深度方向的變化時(shí)，關(guān)鍵點(diǎn)的位置量在橫向上變化不大，無(wú)法準(zhǔn)確進(jìn)行計(jì)算。

使用三維參數(shù)化網(wǎng)格簡(jiǎn)化人臉柱狀模型［3，4］，在實(shí)現(xiàn)三維對(duì)齊時(shí)可以自動(dòng)獲得3個(gè)偏轉(zhuǎn)角度。三維模型擬合需要較大的計(jì)算量，并且當(dāng)人臉出現(xiàn)較大角度的偏轉(zhuǎn)時(shí)，模型的失真度加大，會(huì)導(dǎo)致擬合失敗。利用眼睛的局部特征實(shí)現(xiàn)人臉跟蹤和定位［5－7］。利用相鄰圖像幀間的差分圖像提取運(yùn)動(dòng)信息［8，9］，作為臉部動(dòng)作跟蹤的計(jì)算結(jié)果，由于相鄰幀間的運(yùn)動(dòng)信息容易受到變化的背景和光照的影響，處理的魯棒性和環(huán)境適應(yīng)性不高。針對(duì)膚色的個(gè)性化特征，使用動(dòng)態(tài)匹配的在線膚色模板［10］，在算法的復(fù)雜度和計(jì)算效率上有較大的改進(jìn)。

本文在動(dòng)態(tài)膚色模板的基礎(chǔ)上，考慮到人臉運(yùn)動(dòng)跟蹤的目標(biāo)是運(yùn)動(dòng)的人臉，可以使用人臉的關(guān)鍵點(diǎn)信息，并考慮人臉在運(yùn)動(dòng)視頻中的膚色信息，通過(guò)膚色重心跟蹤實(shí)現(xiàn)對(duì)人臉的快速跟蹤。結(jié)合主動(dòng)表觀模型對(duì)膚色區(qū)域進(jìn)行約束，進(jìn)一步提高膚色跟蹤精度。提出一種基于膚色重心運(yùn)動(dòng)歷史圖的人臉跟蹤以及姿態(tài)識(shí)別，實(shí)驗(yàn)結(jié)果表明，該算法可以較好地克服人臉膚色與背景接近導(dǎo)致的跟蹤飄移的影響，在人臉快速運(yùn)動(dòng)時(shí)能夠?qū)崿F(xiàn)實(shí)時(shí)魯棒跟蹤。

1 在線膚色算法

膚色檢測(cè)算法一般采用固定膚色模型參數(shù)，其檢測(cè)的膚色區(qū)域往往會(huì)出現(xiàn)加大范圍的誤檢獲漏檢，考慮到人臉在初次使用人臉定位時(shí)可以確定人臉?lè)秶诖朔秶鷥?nèi)可以結(jié)合實(shí)際的膚色圖像進(jìn)行在線的膚色參數(shù)調(diào)整。

在人臉對(duì)齊中使用主動(dòng)表觀模型能夠較為準(zhǔn)確地定位出人臉的邊緣輪廓，在人臉上定義了一系列關(guān)鍵點(diǎn)，可以通過(guò)下式的向量表示

給定一組標(biāo)記好形狀的人臉訓(xùn)練樣本，可以將訓(xùn)練集中任意一個(gè)形狀表示為平均形狀加上若干形狀基向量的線性組合

式中：s0——平均形狀，si——與前n 個(gè)相互正交的最大本征值對(duì)應(yīng)的本征向量，κi——形狀系數(shù)。這些關(guān)鍵點(diǎn)中處于輪廓線上的點(diǎn)可以構(gòu)成一個(gè)半封閉的區(qū)域，在該區(qū)域邊緣將人臉部分與背景分割開，可以此邊界提取膚色特征。對(duì)膚色分布采用二維高斯分布來(lái)描述，二維高斯分布的表達(dá)式為

式中：b——樣本在YCbCr顏色空間的值，μ——膚色在YCbCr顏色空間樣本均值，C——膚色相似度模型協(xié)方差矩陣。通用的統(tǒng)計(jì)方法針對(duì)于某一特定的膚色時(shí)會(huì)出現(xiàn)偏差，特別是當(dāng)背景中含有與膚色顏色接近的區(qū)域時(shí)，會(huì)使前景背景的運(yùn)動(dòng)出現(xiàn)混淆，導(dǎo)致運(yùn)動(dòng)估計(jì)出現(xiàn)較大的偏差。為在跟蹤圖像中將顏色區(qū)域限定在真實(shí)的臉部區(qū)域，可利用主動(dòng)表觀模型的邊緣輪廓確定人臉膚色區(qū)域，并對(duì)該區(qū)域以外的其它非人臉區(qū)域進(jìn)行屏蔽，獲得在線的膚色模型。

圖1是使用在線膚色檢測(cè)的效果。可以看出，使用在線膚色檢測(cè)可以較好地適應(yīng)人臉的個(gè)性化特征，可以魯棒地檢測(cè)出一些由于局部高光 （如額頭）和遮擋陰影 （如脖子）導(dǎo)致的固定參數(shù)漏檢的區(qū)域。

2 膚色運(yùn)動(dòng)歷史圖像

圖1 在線膚色檢測(cè)效果

在視頻物體跟蹤算法中，運(yùn)動(dòng)歷史圖 （MHI）通過(guò)將連續(xù)幀中運(yùn)動(dòng)信息保留在同一幀中，從而能夠推算出圖像目標(biāo)的運(yùn)動(dòng)信息，針對(duì)人臉跟蹤的具體應(yīng)用，可以結(jié)合膚色區(qū)域的提取結(jié)果，將運(yùn)動(dòng)信息的計(jì)算限定在人臉區(qū)域內(nèi)，減少計(jì)算量，并能夠魯棒地對(duì)人臉的運(yùn)動(dòng)進(jìn)行跟蹤。

直接使用默認(rèn)的膚色檢測(cè)結(jié)果進(jìn)行計(jì)算時(shí)，由于區(qū)域內(nèi)可能含有類膚色的非人臉?lè)秶貏e當(dāng)該像素位于背景內(nèi)時(shí)，此類像素會(huì)使計(jì)算的結(jié)果出現(xiàn)較大的偏差。因此使用主動(dòng)表觀模型對(duì)人臉區(qū)域進(jìn)行限定，其算法流程如下：

（1）在初始幀中通過(guò)主動(dòng)表觀模型獲取雙頰區(qū)域，并創(chuàng)建在線膚色特征參數(shù)，獲取準(zhǔn)確的在線膚色區(qū)域Ω，對(duì)該區(qū)域內(nèi)的每一個(gè)像素點(diǎn)I（x，y），計(jì)算其膚色概率p（x，y），確定膚色區(qū)域的質(zhì)心位置分量

膚色質(zhì)心的位置（xc，yc）通過(guò)下式計(jì)算

（3）跟蹤視頻的每幀圖像時(shí)刻用τk表示，計(jì)算相鄰幀之間的像素差可以獲得輪廓圖ψk

將當(dāng)前時(shí)刻與前一段時(shí)間的輪廓圖記錄在同一幅圖像內(nèi)，獲得運(yùn)動(dòng)歷史圖像H

式中：T——圖像幀保存時(shí)間，即在運(yùn)動(dòng)歷史圖中最早的輪廓圖像時(shí)刻為τk－T。

（4）在運(yùn)動(dòng)歷史圖中保存前幀圖像像素值的變化以及時(shí)間標(biāo)志，對(duì)運(yùn)動(dòng)歷史圖對(duì)應(yīng)的像素點(diǎn)計(jì)算梯度，獲得相鄰視頻幀中的運(yùn)動(dòng)信息。將這些像素點(diǎn)的運(yùn)動(dòng)信息進(jìn)行統(tǒng)計(jì)分析，獲得圖像中的膚色運(yùn)動(dòng)信息。

3 運(yùn)動(dòng)方向識(shí)別

通過(guò)膚色歷史圖跟蹤獲得人臉的實(shí)際運(yùn)動(dòng)軌跡，該軌跡可以作為真實(shí)人臉位置的預(yù)估區(qū)域Ω0。在預(yù)估的人臉區(qū)域內(nèi)進(jìn)行人臉對(duì)齊，并根據(jù)對(duì)齊的結(jié)果獲得主動(dòng)表觀模型上對(duì)應(yīng)的相鄰兩幀上的關(guān)鍵點(diǎn)坐標(biāo)，則可以依據(jù)跟蹤的關(guān)鍵點(diǎn)的坐標(biāo)位置的變化獲取實(shí)際的關(guān)鍵點(diǎn)運(yùn)動(dòng)方向。由于實(shí)際的人臉運(yùn)動(dòng)方向與單一關(guān)鍵點(diǎn)的運(yùn)動(dòng)方向之間存在一定的誤差，因此使用關(guān)鍵點(diǎn)進(jìn)行人臉總運(yùn)動(dòng)方向計(jì)算時(shí)應(yīng)濾除與真實(shí)方向誤差較大的關(guān)鍵點(diǎn)方向。

對(duì)于每個(gè)匹配點(diǎn)，計(jì)算其運(yùn)動(dòng)矢量方向和幅值

在實(shí)際的跟蹤中，由于像素點(diǎn)的梯度方向并不完全相同，可以采用對(duì)（x，y）進(jìn)行平均來(lái)獲取總體的運(yùn)動(dòng)方向，但由于跟蹤的像素點(diǎn)中存在與實(shí)際運(yùn)動(dòng)方向偏差較大的關(guān)鍵點(diǎn)，直接使用平均值會(huì)將這些關(guān)鍵點(diǎn)的誤差進(jìn)行累積。因此，本文采用運(yùn)動(dòng)方向?yàn)V波方法，在跟蹤過(guò)程中不斷將誤匹配的關(guān)鍵點(diǎn)進(jìn)行去除，其步驟如下：

（2）統(tǒng)計(jì)Bk中最大值，作為運(yùn)動(dòng)匹配方向的主方向Θ；

（3）選擇對(duì)應(yīng)的匹配點(diǎn)的運(yùn)動(dòng)方向矢量及幅度值作為有效匹配點(diǎn)輸出。

使用上述方法獲得的運(yùn)動(dòng)方向可以比較魯棒地去除誤匹配的關(guān)鍵點(diǎn)，使最終的運(yùn)動(dòng)方向與實(shí)際人臉的運(yùn)動(dòng)方向一致。

在人臉運(yùn)動(dòng)過(guò)程中，記錄匹配的主方向，構(gòu)成觀測(cè)序列：｛Θi｝、｛λi｝，臉部運(yùn)動(dòng)的動(dòng)作可以根據(jù)序列進(jìn)行判斷。將臉部運(yùn)動(dòng)的動(dòng)作設(shè)定為上下點(diǎn)頭、左右搖頭，其動(dòng)作對(duì)應(yīng)的概率為：pn、ps。使用觀測(cè)序列，計(jì)算者兩類動(dòng)作概率，概率最大者即為當(dāng)前識(shí)別的動(dòng)作。

點(diǎn)頭動(dòng)作由連續(xù)的低頭抬頭構(gòu)成，搖頭動(dòng)作由連續(xù)的左右交替的擺頭動(dòng)作構(gòu)成，在動(dòng)作序列中通過(guò)對(duì)連續(xù)動(dòng)作的方向識(shí)別，實(shí)現(xiàn)對(duì)上述兩類動(dòng)作的區(qū)分。在某一連續(xù)動(dòng)作中，其動(dòng)作方向呈交替變化，可以認(rèn)為在設(shè)定的動(dòng)作序列范圍內(nèi)，兩個(gè)相對(duì)方向的序列統(tǒng)計(jì)個(gè)數(shù)相等，因此，定義下述的動(dòng)作識(shí)別概率函數(shù)

式中：N——?jiǎng)幼饔^測(cè)序列的總幀數(shù)，Nu，Nd——觀測(cè)序列中抬頭、低頭幀數(shù)，Nsl，Nsr——觀測(cè)序列中左頭、右擺頭 幀 數(shù)，，，，為 大 于0 的 調(diào) 節(jié) 系 數(shù)，且＋＝1，＋＝1。分別計(jì)算點(diǎn)頭搖頭的識(shí)別概率并比較兩者大小即可以判斷當(dāng)前頭部動(dòng)作類型。

4 實(shí)驗(yàn)結(jié)果和討論

4.1 關(guān)鍵點(diǎn)跟蹤實(shí)驗(yàn)

使用運(yùn)動(dòng)方向?yàn)V波算法能夠快速濾除匹配的關(guān)鍵點(diǎn)中與實(shí)際人臉運(yùn)動(dòng)方向明顯不符的點(diǎn)，使剩余的關(guān)鍵點(diǎn)的匹配結(jié)果正確反映實(shí)際的人臉運(yùn)動(dòng)。圖2是在運(yùn)動(dòng)人臉視頻中的實(shí)驗(yàn)結(jié)果。

圖2 運(yùn)動(dòng)方向?yàn)V波的關(guān)鍵點(diǎn)匹配結(jié)果

圖2中左列為直接使用歷史圖像匹配在本幀上的關(guān)鍵點(diǎn)對(duì)齊結(jié)果，右列為使用運(yùn)動(dòng)方向?yàn)V波后去除了誤匹配點(diǎn)的跟蹤效果。從圖中可以看出，使用主方向?yàn)V波算法，能夠?qū)㈥P(guān)鍵點(diǎn)匹配結(jié)果中匹配矢量運(yùn)動(dòng)方向明顯偏離實(shí)際運(yùn)動(dòng)方向的點(diǎn)去除，如第一行的下嘴角處、第二行的左側(cè)臉頰處、第三四行的左眉角處、第五行的上嘴唇處、第六行的下巴處，這些點(diǎn)均明顯偏離臉部的真實(shí)運(yùn)動(dòng)方向，濾出后右列中的關(guān)鍵點(diǎn)均能夠反映實(shí)際的人臉運(yùn)行方向。圖中線段為匹配的運(yùn)動(dòng)矢量，含圓點(diǎn)的端點(diǎn)表示運(yùn)動(dòng)矢量的前幀起始處，另一端點(diǎn)為當(dāng)前幀中的匹配點(diǎn)。矢量標(biāo)示了關(guān)鍵點(diǎn)的運(yùn)動(dòng)軌跡。

4.2 臉部動(dòng)作跟蹤識(shí)別實(shí)驗(yàn)

本文在測(cè)試的視頻上分別比較了運(yùn)動(dòng)方向?yàn)V波的動(dòng)作識(shí)別算法和直接統(tǒng)計(jì)所有方向的算法。

圖3中橫軸12個(gè)區(qū)間為圓周角進(jìn)行12等分，即每一個(gè)區(qū)間的角度為30°。深灰色區(qū)域的多個(gè)bar顯示了沒(méi)有考慮主運(yùn)動(dòng)方向時(shí)，多個(gè)關(guān)鍵點(diǎn)的運(yùn)動(dòng)方向偏離大多數(shù)關(guān)鍵點(diǎn)的方向，這些點(diǎn)直接進(jìn)行運(yùn)動(dòng)方向平均會(huì)導(dǎo)致實(shí)際運(yùn)動(dòng)方向發(fā)生偏離。而淺灰色的bar顯示的是對(duì)原始的匹配結(jié)果進(jìn)行主運(yùn)動(dòng)方向?yàn)V波，將偏離主運(yùn)動(dòng)方向的關(guān)鍵點(diǎn)濾除，并且將最多匹配的方向兩側(cè)的30°內(nèi)匹配的關(guān)鍵點(diǎn)保留累加進(jìn)主方向，最終得到一個(gè)方向（每幅圖中的最高的bar）。這個(gè)方向明確地指示了人臉的實(shí)際運(yùn)動(dòng)方向。使用這種算法可以在運(yùn)動(dòng)視頻關(guān)鍵點(diǎn)匹配過(guò)程中及時(shí)濾除誤匹配點(diǎn)，避免誤差累積。

圖3 人臉運(yùn)動(dòng)方向匹配對(duì)比

圖4給出了本文算法在臉部動(dòng)作識(shí)別上的結(jié)果，上下兩條曲線為同一段視頻中分別使用點(diǎn)頭、搖頭動(dòng)作概率算法計(jì)算的結(jié)果。視頻幀中的動(dòng)作分別為連續(xù)點(diǎn)頭抬頭、連續(xù)搖頭、間斷點(diǎn)頭抬頭以及連續(xù)搖頭、間斷點(diǎn)頭抬頭，從兩條概率曲線上，可以明顯地區(qū)分出這兩類動(dòng)作。從圖中曲線可以看出，使用主方向?yàn)V波的動(dòng)作識(shí)別能夠獲得更為精確的識(shí)別結(jié)果。

5 結(jié)束語(yǔ)

圖4 視頻幀臉部運(yùn)動(dòng)識(shí)別結(jié)果

在視頻中魯棒識(shí)別臉部動(dòng)作是自然人機(jī)交互的主要研究問(wèn)題之一，本文使用在線膚色模型實(shí)現(xiàn)快速的人臉跟蹤位置預(yù)估，使用主動(dòng)表觀模型關(guān)鍵點(diǎn)匹配算法實(shí)現(xiàn)運(yùn)動(dòng)過(guò)程中的精確位置計(jì)算。根據(jù)跟蹤的動(dòng)作序列，結(jié)合動(dòng)作概率算法實(shí)現(xiàn)對(duì)運(yùn)動(dòng)視頻中的人臉動(dòng)作的精確識(shí)別。實(shí)驗(yàn)結(jié)果表明，該算法能夠在人臉多方向運(yùn)動(dòng)過(guò)程中較為魯棒地識(shí)別人臉的準(zhǔn)確動(dòng)作，能夠較好地區(qū)分點(diǎn)頭、搖頭兩類動(dòng)作。算法的不足點(diǎn)在于使用在線膚色模型初始階段需要初始化膚色參數(shù)，以及在關(guān)鍵點(diǎn)濾波過(guò)程中需要實(shí)時(shí)更新關(guān)鍵點(diǎn)，在P42.4Ghz－CPU 的計(jì)算機(jī)上實(shí)測(cè)的計(jì)算效率為18fps，算法的實(shí)時(shí)性還有待進(jìn)一步提高。

［1］CHEN Ying，AI Chunlu.Face features tracking with conditional active appearance model［J］.Journal of Computer Aided Design ＆Computer Graphic，2013，25 （4）：510－518 （in Chinese）. ［陳瑩，艾春璐.條件主動(dòng)外觀模型下的人臉特征點(diǎn)跟蹤 ［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2013，25 （4）：510－518.］

［2］Lin SD，Lin Jia－Jen.Sleepy eye’s recognition for drowsiness detection ［C］／／International Symposium on Biometrics and Security Technologies，2013：176－179.

［3］HU Min，ZHU Hong，WANG Xiaohua.Expression recognition method based on gradient Garbor histogram features［J］.Journal of Computer Aided Design ＆Computer Graphic，2013，25 （12）：1856－1861 （in Chinese）.［胡敏，朱弘，王曉華.基于梯度Gabor直方圖特征的表情識(shí)別方法 ［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2013，25 （12）：1856－1861.］

［4］Xu Guoqing.Real time detection of eye corners and iris center from images acquired by usual camera［J］.International Journal of Intelligent Engineering ＆Systems，2010，3 （1）：25－32.

［5］ZHOU Mingcai，LIANG Lin，SUN Jian.AAM based face tracking with temporal matching and face segmentation ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2010：673－680.

［6］Roberto Valenti，Theo Gevers.Accurate eye center location and tracking using isophote curvature［C］／／Proceedings of the 21st IEEE International Conference on Computer Vision and Pattern Recognition，Anchoage，2010.

［7］WANG Kejun，ZOU Guofeng，F(xiàn)U Guixia，et al.An approach to fast eye location and face plane rotation correction［J］.Journal of Computer Aided Design ＆Computer Graphic，2013，25 （6）：865－879 （in Chinese）.［王科俊，鄒國(guó)鋒，傅桂霞，等.一種快速眼睛定位與人臉平面旋轉(zhuǎn)校正方法 ［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2013，25 （6）：865－879.］

［8］XU Guoqing.Real time face alignment using online features model［J］.Computer Engineering and Design，2013，34 （11）：4021－4026 （in Chinese）.［徐國(guó)慶.在線模板的人臉特征點(diǎn)對(duì)齊 ［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2013，34 （11）：4021－4026.］

［9］Audrius Bukis Rimvydas Simutis.Face orientation normalization using eye positions［J］.Computer Technology and Application，2013，7 （10）：513－521.

［10］XU Guoqing.Eye center location using composite features［J］.Computer Engineering and Design，2014，35 （10）：3598－3601 （in Chinese）. ［徐國(guó)慶.復(fù)合特征的眼睛中心定位 ［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2014，35 （10）：3598－3601.］