時間尺度自適應人臉表情識別

邢延超 張傳強 孫恩情

摘 要：當前隱馬爾科夫模型表情識別中一般采用固定狀態數及間隔，與真實表情狀態之間往往是失配的，無法適應不同時間尺度上的表情。文章分析面部運動自動確定表情的起止幀，自動提取有代表性幀作為HMM的狀態，使不同節奏的表情狀態都能準確定位到對應的圖像幀，提高了模型的有效性。試驗結果表明，該方法獲得的HMM模型狀態更符合主觀認識，識別速度有所提高，識別準確性也有明顯提高。

關鍵詞：表情識別；表情邊界檢測；表情狀態幀；隱馬爾可夫模型

1 概述

人臉表情識別方法可以分為兩大類：一是靜態表情識別方法，一是基于動態視頻序列的表情識別。兩種識別方法都必須經過三個過程，即人臉檢測，特征提取，表情識別。人臉檢測技術已基本成熟，如基于哈爾特征檢測[1]的方法。隱形馬爾科夫（HMM）[2]因具有時空域動態性被廣泛認可。用HMM識別要確定狀態數，并將圖像序列與狀態數對應。傳統方法采取平均方式，輸入視頻按時間順序均分成N個序列，按時間序列與狀態對應。由于表情時間上尺度差異明顯，因而不能體現出表情階段的不同特征。文章根據面部運動能量變化確定表情起止幀，即表情變化區間。再通過變化規律統計分析確定表情對應的不同狀態，建立更加符合真實表情的HMM模型。

2 系統設計

首先要確定每種表情對應的狀態數；然后確定每種狀態對應于視頻序列的哪一幀或哪幾幀圖像，即圖像序列中狀態點的確定；三是選擇什么樣的屬性作為狀態的特征向量。另外，還要確定每個表情開始和結束時間。圍繞這幾個問題，整個識別系統設計如下。首先，采用自適應布斯特算法實現人臉檢測。接著利用Haar濾波器確定眼睛位置，并用特征投影法確定眉毛和嘴巴區域，再利用角點檢測方法確定最重要特征點。這些特征點能反映表情變化強度，又易于跟蹤。特征點運動情況反映表情變化程度，分析特征點運動能量變化曲線，可確定表情狀態數、每表情起止幀及每表情狀態對應圖像幀。最后對每個表情狀態提取幾何特征進行HMM模型的訓練與識別。

3 運動能量曲線

檢測出眼睛中心點的位置坐標，進行圖像抖動對光流矢量的誤差矯正。確定臉部表情變化關鍵點，得到坐標變化，計算出運動能量變化，將所有特征點的運動能量做加權平均，得到運動能量曲線。通過分析該曲線，就可以定位表情狀態及其對應的圖像幀，如圖1所示。

從圖1中可以看出表情變化趨勢，有的在前半階段發生明顯改變，足夠判斷表情類別；有的則在后半段發生明顯變化；大多數則發生在中間。

4 狀態數及狀態圖像幀的提取

接下來再分別對眉毛和嘴巴附近的特征角點，分別作能量圖，和圖1類似，以觀察眉毛及嘴巴附近特征角點變化情況。通過分析角點能量圖可得知：表情從中性逐漸發生變化時，最先開始的人臉部位是嘴巴附近，其次眉毛等部位緊隨其后開始發生形變，直至表情達到最飽滿時刻。根據分析將表情變化過程分為五個階段：中性表情、嘴巴變化、整體變化、眉毛變化、表情最大化。通過對角點能量曲線的分析，提取曲線峰、谷對應的位置，即可確定HMM模型的五個表情狀態對應的圖像幀。以高興表情為例，視頻總共28幀，其中5個狀態幀分別是2、6、8、10、20。

5 模型訓練與表情識別

共選用5個參數：D1～D5是雙眼、嘴角之間的距離，此外還有左、下嘴角角度，以及嘴巴寬度高比。過程如下：（1）樣本歸一化，得特征向量Oi= ，1？燮i？燮5。（2）初始化HMM參數？姿，求Oi均值uj和方差矩陣？撞j。（3）用前向后向算法得到模型概率P（O|？姿）。（4）重估HMM參數，及新模型下的概率P（O|？姿'）。P（O| ）收斂時停止。（5）將新測試序列輸入系統，求出每種模型的概率，概率最大對應模型對應識別出的人臉表情。

6 實驗結果

采用USTC-NVIE數據庫，其自發表情是通過視頻誘發的方式采集的，更加接近自然表情，數據庫中含有佩戴眼鏡和無眼鏡兩種，這里選擇不佩戴眼鏡的視頻作為訓練樣本和測試樣本。本實驗中一共采用了42個視頻作為訓練樣本。文章方法比傳統HMM方法對驚奇、悲傷、恐懼、厭惡、憤怒、高興的識別準確率分別提高了13.2%、6.67%、21%、8.7%、6.67%和9.43%。

參考文獻

[1]D. H. Kim， S. U. Jung and M. J. Chung，"Extension of cascaded simple feature based face detection to facial expression recognition，"Pattern Recognition Letters，vol.29，pp. 1621-1631，August 2008.

[2]Otsuka T，Ohya J. Recognizing multiple persons' facial expressions using HMM based on automatic extraction of significant frames from image sequences [C] // Proc. Int. Conf. on Image Processing （ICIP-97），p546-549， Sabta BarbaramCA，USA，1997：26-29.

[3]張發光，趙暉.基于擴展C型HMM人臉表情識別[J].計算機應用與軟件，2011，4：60-62.