基于特征融合的人臉表情識別研究

高理想　高磊

摘? 要：針對現有的人臉表情識別方法易受到光照、噪聲等因素的影響導致識別率較低的問題，本文提出了一種基于特征融合的人臉表情識別方法。從兩方面對表情信息進行描述，通過局部二值模式（Local Binary Pattern，LBP）和詞袋模型（Bag Of Words，BOW）分別對表情圖像進行紋理特征和語義特征提取，然后將兩種特征進行線性融合，最后使用支持向量機（Support Vector Machine，SVM）進行表情分類識別。本文方法在JAFFE和CK+表情數據集上分別取得了98.76%和97.58%的識別率，驗證了所提出方法的有效性。

關鍵詞：人臉表情識別;LBP;BOW;特征融合;SVM

中圖分類號：TP391? ? ?文獻標識碼：A

Research on Facial Expression Recognition Based on Feature Fusion

GAO Lixiang1，GAO Lei2，3

（1.Tianjin YunkeShixun Technology Co.，Ltd.，Tianjin 300401，China;

2.Tianjin Research and Development Department，Agricultural Bank of China，Tianjin 300000，China;

3.School of Artificial Intelligence，Hebei University of Technology，Tianjin 300401，China）

Abstract：This paper proposes a new facial expression recognition method based on feature fusion to solve the problem that the existing facial expression recognition methods are vulnerable to illumination，noise and other factors.The facial expression information is described from two aspects.Local Binary Pattern （LBP） and Bag of Words （BOW） are used to extract texture features and semantic features from facial expression images respectively and then are fused linearly.Finally，the expression is classified and recognized by Support Vector Machine （SVM）.The proposed method achieves 98.76% and 97.58% recognition rates on JAFFE and CK + expression datasets respectively，which verifies the effectiveness of the proposed method.

Keywords：facial expression recognition;LBP;BOW;feature fusion;SVM

1? ?引言（Introduction）

人臉表情可以直觀地反映人類的內心活動，在人與人的交流中有著重要的作用，通過表情可以很好地傳達意圖，聽者更好地理解內容。隨著人工智能研究的發展，人臉表情識別在教育[1]、醫療[2]、游戲[3]和輔助駕駛[4]等領域展現出了廣闊的應用前景，逐漸成了計算機視覺領域的研究熱點。目前，常用的表情識別方法有基于紋理特征的方法、基于幾何特征的方法和基于語義特征的方法[5-7]。其中紋理特征是對面部的紋理信息進行描述，如皺紋和皺眉等;幾何特征是對五官的形變量和面部關鍵點的位移量進行描述;語義特征是通過對底層視覺特征的語義分析，將人臉表情的底層視覺信息轉化為高層的語義描述。常用的紋理特征提取算法有LBP[8]、Gabor濾波器[9]、LDN[10]等，紋理特征可以提取到豐富的面部紋理信息，但易受到光照和噪聲等因素的影響。Mistry等[11]使用LBP算法對人臉表情圖像進行紋理特征提取。……