基于多層卷積神經網絡的人臉表情識別方法

曾晴 曾小舟 申靜

關鍵詞： 表情識別；卷積神經網絡；數據增強；MTCNN；人臉檢測

0 引言

表情作為人類重要的情感表達方式之一[1]，目前正成為新的研究熱點，人們希望通過研究人臉表情識別方法來實現計算機獲取人類表情的功能。具備表情識別功能的計算機設備能提高人機交互體驗，高效地解決更多實際問題并滿足更多的生活需求。例如：及時掌握駕駛員的情緒狀態，減少交通事故；監控老人和嬰幼兒的情緒狀態，及時掌握其身體狀況，提高生活質量；實時掌握遠程教學過程中學生的上課狀態，提高教學效果等。

卷積神經網絡具有局部感知和權值共享的特點以及強大的特征提取能力，更適合于表情識別領域的應用[2-7]。李冠杰等人[8]提出一種基于深度卷積神經網絡的表情識別方法，實驗結果說明基于卷積神經網絡的面部表情識別方法優于傳統方法；趙彩敏等人[9]將一種改進的LeNet-5卷積神經網絡應用于人臉表情識別，在JAFFE表情數據集上的仿真結果表明，在數據集樣本很小的情況下，該方法的識別率達到了79.81%。魏赟等人[10]提出了一種引入注意力機制的輕量級CNN通道和卷積自編碼器預訓練通道的雙通道模型，在FER2013和CK+兩個表情數據集上分別取得了較高的識別率；王軍等人[11]提出一種雙通道遮擋感知神經網絡模型，用于解決面部遮擋情況下特征提取難的問題，在CK+、RAF-DB、SFEW 3個表情數據集上進行對比實驗，其識別準確率分別達到97.33%、86%和61.06%，有效提高了面部遮擋情況下的表情識別精度。

1 數據預處理

1.1 數據增強

人臉表情數據集大多數據量較小，而多層卷積神經網絡的復雜度較高，直接將人臉表情數據集中的圖像作為輸入，容易出現過擬合的情況，不能訓練出適用性強的樣本。為了解決這個問題，本文采用了數據增強的方法，即通過對原始圖像進行裁剪、旋轉、縮放等操作獲得大量新的圖像，用以擴增數據集，使表情識別模型所能學習到更多特征，從而增強算法的魯棒性。

本文中數據增強的具體操作包括：將原始圖像逆時針旋轉5度、縮放成260×180大小、按左上角坐標（50， 60） 和右下角坐標（220， 200） 進行裁剪。如圖1所示，以JAFFE 數據集中表情圖像為例，進行數據增強操作。

1.2 人臉檢測和剪切[12]

為了提高人臉識別的準確率，去除人臉表情以外信息的干擾，在將人臉圖片輸入訓練模型和預測模型之前，先對圖片進行人臉的檢測和剪切。本文選用MTCNN（Multi-task Convolutional Neural Network，多任務卷積神經網絡）實現人臉檢測和剪切。MTCNN主要分為P-Net、R-Net和O-Net三層網絡結構。具體來說，基于MTCNN的人臉檢測和剪切實現流程如圖2所示。

1） 將輸入的圖像按照不同的縮放因子進行不同尺度的變換，依據圖像大小生成圖像金字塔，從而實現檢測不同大小的人臉圖像。

2） 通過淺層的全連接卷積網絡P-Net（ProposalNetwork） 快速產生人臉候選檢測框。將上一步的圖像金字塔輸入P-Net中的三個卷積層后，通過人臉分類器初步判斷所輸入圖像是否包含人臉，同時使用邊框和定位器將初步判斷所得的人臉區域和面部關鍵點進行定位，并輸出判斷所得的所有可能的人臉區域邊框，且將結果輸入R-Net，即下一步進行處理。

3） 通過比P-Net結構較為復雜的卷積網絡R-Net（Refine Network） ，對上一步輸出的多個候選人臉區域框進行精選，刪除大部分效果較差的人臉區域框，留下極小部分可信度較高的人臉區域框。該層結構主要是卷積神經網絡，與P-Net相比增加了一個全連接層，所以具有更為嚴格的數據篩選標準，可以對輸入的人臉區域框進行細化選擇，并再次使用邊框和定位器進行人臉邊框定位，將結果輸出給O-Net，即下一步進行處理。

4） 通過比R-Net 結構更復雜的卷積網絡O-Net（Output Network） ，對上一步結果進一步篩選，得到最終的人臉區域框和面部特征點坐標。O-Net比R-Net多了一個卷積層，它的輸入圖像特征更多，能對輸入信息再次進行人臉判別、人臉邊框定位和人臉特征點定位，最終輸出人臉區域框的左上角坐標、右下角坐標以及人臉的五個特征點（左眼、右眼、鼻子、左嘴角和右嘴角）。

5） 根據上一步的人臉區域框坐標結果，對原始圖像進行剪切，得到人臉區域框包含的人臉部分圖像。

2 基于多層卷積神經網絡的人臉表情識別方法

本文提出的基于多層卷積神經網絡的人臉表情識別方法如圖3所示，具體步驟如下：

1） 選擇數據集：本文選取JAFFE 表情數據集，輸入多層卷積神經網絡中進行訓練。JAFFE 表情數據集共213張圖像，包含了10個日本女學生的7種面部表情：Angry（憤怒）、Disgust（厭惡）、Fear（恐懼）、Happy（高興）、Sad（悲傷）、Surprise（驚訝）和Neutral（中性）。

2） 數據預處理：首先對JAFFE表情數據集中的圖像進行數據增強，包括裁剪、旋轉和縮放操作，得到增強后的表情數據集，從而提高模型的學習能力；然后基于MTCNN實現人臉檢測和剪切，將剪切后得到的人臉圖像作為表情識別網絡模型的輸入，從而去除多余的干擾。本文在預處理后的圖像數據集中隨機選取90%作為訓練集，10%作為測試集。

3） 設計表情識別網絡模型：本文設計的用于人臉表情識別的多層卷積神經網絡模型共包含8個權重層，即6個卷積層和2個全連接層。其中，卷積層的第1、2層分別使用3個卷積核，每個卷積核大小為3×3，卷積層的第3、4層分別使用4個卷積核，每個卷積核大小為3×3，卷積層的第5、6層分別使用5個卷積核，每個卷積核大小為3×3；池化層采用最大池化，窗口大小為2，步長為1；兩個全連接層的節點數分別設置為512和64；最后通過Softmax分類層進行分類，得到7種表情的預測結果，模型結構如圖4所示。

4） 訓練表情識別網絡模型：將第2步得到的訓練集輸入第3步設計的表情識別模型進行訓練，得到訓練后的表情識別模型。

5） 人臉表情預測：將第2步得到的測試集輸入第4 步訓練后的表情識別模型，進行預測并輸出預測結果。

3 實驗

本文實驗基于Python語言和TensorFlow平臺，在JetBrains PyCharm 集成開發環境下實現。筆者將JAFFE人臉表情數據庫的圖片共213張進行壓縮、剪切、旋轉后得到增強后的圖片，加上原來表情庫中圖片一起共818張，其中90%的圖片用于模型訓練，10%的圖片用于預測，即訓練圖片736張，預測圖片82張。訓練時，選擇優化器Adam，誤差函數categorical_cros?sentropy，迭代次數100，學習率0.005，激活函數選擇Relu。

預測結果如表1所示，其中高興的預測準確率為91.67%，驚訝的預測準確率為90.91%，中性的預測準確率為81.82%，憤怒的預測準確率為76.92%，厭惡的預測準確率為72.73%，效果較好，而恐懼和悲傷的預測準確率都低于50%，效果不理想。主要原因包括：1） 本文方法將JAFFE表情數據集進行數據增強后得到的表情數據集作為輸入，能提高模型的學習能力，另一方面，基于MTCNN對輸入圖像進行人臉檢測和剪切，去除了多余的干擾；2） 本文設計的多層卷積神經網絡模型對于所輸入的數據集，能夠較好地提取出相應的表情特征，所以大多數情況能很好地識別出人臉表情；3） 恐懼和悲傷的表情特征相對于其他幾種表情來說不夠明顯，提取難度更高，所以實驗得到的預測準確率較低；4） 要獲得更高的表情識別率，一是要從數量角度和多樣性角度進一步豐富輸入的表情數據集，二是要設計出更合適的神經網絡模型，能夠提取出更多有效的表情特征，從而提高整體的表情識別能力。

4 總結

人臉表情識別功能可以提升智能設備人機交互體驗和解決問題的能力。本文提出了一種基于多層卷積神經網絡的人臉表情識別方法，先對JAFFE表情數據集中的圖像進行數據增強，包括裁剪、旋轉和縮放操作，得到增強后的表情數據集；然后基于MTCNN實現人臉檢測和剪切，將剪切后得到的人臉圖像作為表情識別網絡模型的輸入；接下來設計表情識別網絡模型，模型共包含8個權重層，即6個卷積層和2個全連接層；再把預處理后的人臉圖像數據集中90%的圖像輸入模型進行訓練得到訓練后的模型；最后將預處理后的人臉圖像數據集中剩下的10%的圖像作為測試集進行預測。實驗結果表明，本文方法對高興、驚訝、中性、憤怒和厭惡五種表情的預測準確率較高，而恐懼和悲傷的預測準確率較低。為了進一步提高本文方法的表情識別能力，可以從以下兩個方面進行改進，一是從數量角度和多樣性角度進一步豐富輸入的表情數據集；二是設計更合適的神經網絡模型，能夠提取出更多有效的表情特征。