基于深度學習的面部表情識別研究

劉錦峰 黃江峰

摘? 要：面部表情能夠反映人的內心情緒，在智慧課堂真實場景中識別學生面部表情從而獲知學生的學習狀態一直是研究的熱點與難點。文章對圖像進行預處理，然后分別輸入到卷積神經網絡層提取特征，并使用長短期記憶神經網絡與提取到的特征融合。最后，將它們加權融合在一起，通過Softmax層對人臉表情進行分類。分別使用JAFFE等4個數據集、智慧課堂真實場景驗證模型準確性，結果表明所提出的模型具有較強的泛化能力。

關鍵詞：人臉表情;CNN;LSTM;智慧課堂

中圖分類號：TP391.4;TP18? ? ? ? ? ? ? ?文獻標識碼：A文章編號：2096-4706（2022）01-0086-04

Abstract： Facial expressions can reflect people’s inner emotions. It has always been a hot and difficult research topic to recognize students’ facial expressions in real scenes of smart classrooms to know their learning status. This paper preprocesses the images， then inputs them to the convolutional neural network （CNN） layer to extract the features， and uses the long and short-term memory （LSTM） neural network to fuse with the extracted features. Finally， they are weighted and fused together to classify facial expressions through a Softmax layer. The accuracy of the model is verified by using respectively 4 datasets including JAFFE and the real scene of the smart classrooms， and the results show that the proposed model has strong generalization ability.

Keywords： facial expression; CNN; LSTM; smart classroom

0? 引? 言

面部表情是人類表達情緒的最主要、最直接、最自然的通道[1]，也是用于情緒識別的一種重要依據[2]。隨著人工智能、深度學習、計算機視覺等新興技術的發展，計算機可以通過識別人們的外顯面部特征，獲取其內隱的情緒狀態。基于此，人類面部表情識別已被廣泛應用于智能監護、安全駕駛、刑偵檢測、人機交互、智慧教學等領域。以智慧教學為例，通過準確感知學習者的情緒狀態，教師可以適時調整自己的教學策略，有效實施個性化教學，提升學習者學習效果。

歷經了近60年的發展歷程，目前人臉識別的研究主要可分為以下四個階段[3]：一是基于模板匹配的算法、基于幾何結構的算法等;二是奇異值分解法、隱馬爾克夫法、Eigenfaces特征法等;三是稀疏表示法、支持向量機（Support Vector Machines， SVM）、尺度不變特征變換（Scale-invariant Feature Transform， SIFT）、方向梯度直方圖（Histogram of Oriented Gradient， HOG）、局部二值模式（Local Binary Patterns， LBP）等;四是卷積神經網絡（Convolutional Neural Networks， CNN）、長短期記憶神經網絡（Long Short-Term Memory， LSTM）等深度學習網絡。

傳統人臉識別方法在提取人臉特征時，容易受到復雜背景、光照變化、遮擋等情況的干擾，進而導致識別率低。而深度學習通過大量樣本的訓練學習，可以提取到更抽象、更深層次的特征，從而大大提高人臉識別準確率。目前，越來越多的學者通過深度學習方法識別人臉表情，已成為計算機視覺領域的熱點。

近些年，卷積神經網絡為面部表情識別的突破性進展起到了決定性作用[4，5]，但仍然存在一系列問題。針對使用CNN進行面部表情識別時，難以對空間和時間信號進行處理的問題，程換新等[6]創新采用了CNN和LSTM模型獲取實時環境或數據集中的圖像序列;針對人臉識別時表情區域特征表示力不足、參數量過大等問題，周麗芳等[7]設計了一個輕量化網絡模型BRNet，將二值卷積與傳統卷積并行運算;針對微表情存在的數據集樣本少、面部肌肉運動幅度小等問題，陳湯慧等[8]采用了預處理階段放大微表情、改進Mini-Xception網絡模型等策略;王濤等[9]將LBP特征和幾何特征融合，結合SVM進行笑臉識別;呂秀麗等創新將改進局部LBP和深度信念網絡（Depth Belief Net-work， DBN）結合進行人臉識別[10]。本文主要研究在真實的智慧課堂環境下，創新使用雙通道CNN-LSTM模型對學生面部表情進行識別。

1? 基于深度學習的面部表情識別

為提高真實智慧課堂環境下面部表情識別的效果，本文的面部表情識別主要分為以下三個流程：首先，對圖像進行兩步預處理，分別是捕捉人臉紋理信息和面部微表情，生成LBP圖像;捕捉人臉邊緣和結構特征，生成梯度圖像。然后，將預處理后的LBP圖像和梯度圖像分別輸入到CNN層提取特征，并使用LSTM與提取到的特征融合。最后，將它們加權融合在一起，通過Softmax層對人臉表情進行分類，從而實現面部表情識別。算法流程如圖1所示。

1.1? 基于LBP和梯度的圖像預處理

為了更好提取嘴、鼻子、眼睛和其他關鍵區域的紋理特征，且對不同尺寸、灰度、旋轉都具有更強的適應性和魯棒性，本文使用Ojala改進的LBP算子，用任意大小的圓形鄰域替代原來3×3的正方形鄰域。

對于任意一個點（xc，yc），它的近鄰點（xp，yp）的表示為：

其中，R代表半徑，R代表樣本點個數。由于圓形LBP采用的樣本點可能不在像素坐標上，則需要雙線性插值進行近似處理：

圓形LBP圖像處理后的圖像能將原始圖像的細節還原，得到更多有用的特征點信息。

為了能夠更好突出人臉邊緣特征，本文采用高斯-拉普拉斯（LoG）算子進行邊緣檢測，邊緣定位時結合了二階導數零交叉性質。典型的二維高斯函數如式（4）所示：

其中，σ代表用于控制去噪的尺度因子，圖像平滑效果最好的時候σ值取1。

使用LoG算子時，首先需要對圖像低通濾波，也就是消除圖像中的噪聲，讓圖像變得光滑，具體實現過程是使用二維高斯函數與圖像進行卷積運算，如式（5）所示：

然后使用Laplacian算子對平滑后的圖像g（x，y）進行二階導數運算，見公式（6）：

梯度圖像處理后的圖像能更好保留面部的結構和邊緣特征。

1.2? 基于CNN和LSTM的特征提取

通過上述步驟的圖像預處理，將處理后的LBP圖像和梯度圖像分別輸入由若干卷積層和池化層構成的CNN中。其中，卷積層的作用是通過卷積核掃描輸入圖像數據，提取人臉圖像特征，計算過程見公式（8）， w代表卷積核權重系數，x代表輸入數據，b代表偏置，σ代表激活函數ReLU，ReLU能使模型較快地達到收斂的狀態，h代表運算后的輸出結果：

池化層的作用是通過降低數據特征維度減少計算量，主要有平均值池化和最大值池化兩種方法，計算過程見公式（9），hi、hi-1分別代表池化后、池化前的特征數據。

接下來，將CNN層提取的人臉面部表情特征輸入LSTM單元，如圖2所示，主要目的是為了提取人臉面部表情的時序特征。LSTM單元本質上是通過輸入門i、輸出門o，遺忘門f控制單元內部信息的流動。其中，遺忘門f決定丟棄哪些信息，計算過程見式（10）;輸入門i決定可以添加哪些信息m，計算過程見式（11），通過當前的輸入和前一時刻的輸出，更新當前單元狀態C，計算過程見式（12）;輸出門o決定輸出哪些信息，計算過程見式（13），通過學生當前的表情和輸出門ot，可以得到學生以前的表情ht，計算過程見公式（14）。

在上述公式公式中，ht代表學生以前表情的輸出，xt代表智慧課堂圖像序列的輸入，bf、bt、bc、bo代表偏置，Wf、Wt、Wc、Wo代表權重系數，tanh代表雙曲正切激活函數，σ代表sigmoid激活函數。

1.3? 特征融合與基于Softmax函數的分類

接下來，將使用加權的方法將兩個通道上特征向量融合在一起，如式（15）所示：

其中pi代表融合后的特征，li代表圖像LBP特征，si代表圖像梯度特征，α為權重。最后，使用Softmax函數對融合后的特征經過全連接層后進行分類。

2? 實驗與分析

2.1? 實驗環境

本實驗操作系統為Windows10 64位，處理器為AMD Ryzen 7 3800X型號，顯卡為GTX 1080 TITAN。編程環境為Python 3.0，使用的深度學習框架為TensorFlow和Keras。

2.2? CK+、FER2013、JAFFE和Oulu-CASIA數據集試驗結果

（1）首先是評估權重α對四個數據集識別準確率的影響，α的增加步長為0.1，當α=0時，代表僅輸入LBP圖像，當α=1時，代表僅輸入梯度圖像，實驗結果表明，當α=0.5時，識別準確率最高。因此，本模型中α的取值為0.5。實驗結果如表1所示。

（2）其次是基于FER2013數據集制作了混合矩陣，該數據集共有35 886張面部表情圖片，共包含了憤怒、厭惡、恐懼、中性、高興、驚訝、悲傷7種面部表情，包含了真實世界的遮擋、不平衡光照、不同姿勢等多種情況，相對而言難度更大。實驗結果如表2所示，其中行為真實類別，列為預測類別，對角線為預測正確率，其余為預測錯誤率。

2.3? 性能測試

為進一步測試本模型在智慧課堂真實環境中的應用效果，使用該模型對智慧課堂真實視頻的每幀畫面進行表情識別。實驗結果表明，在真實智慧課堂環境下，本文算法具有較好的識別準確率，如圖3所示。

3? 結? 論

本文從特征提取、卷積神經網絡兩個方面展開了人臉表情識別研究。通過LBP圖像和梯度圖像，有效提取了人臉紋理信息、面部微表情、人臉結構和邊緣特征，通過結合CNN和LSTM構建雙通道卷積神經網絡，最后將它們加權融合在一起，使用Softmax進行分類。在FER2013、JAFFE、CK+、Oulu-CASIA 和真實智慧課堂環境中均取得了較優越的性能。

考慮到智慧課堂中的表情分布不平衡這一問題，比如厭惡、悲傷、恐懼之類的表情較少。未來，筆者將嘗試進一步擴大數據庫多樣性和規模，同時拓展對反映學生學習狀態的微表情識別的研究。

參考文獻：

[1]K ELTNER D， EKMAN P. Facial Expression of Emotion [M]. Handbook ofEmotions 3rd. New York： The Guilford Press， 2010： 173-183.

[2] Lancet T. Communication without Words[J]. University of East London， 1968， 24（23）： 1084-5.

[3]魏為民，孟繁星等.人臉表情識別綜述[J].上海電力大學學報，2021（12）：597-602.

[4]景晨凱，宋濤等.基于深度卷積神經網絡的人臉識別技術綜述[J].計算機應用與軟件，2018（1）：223-231.

[5]靳顯智，林霏等.基于CNN的面部表情識別算法[J].齊魯工業大學學報，2021（6）：64-69.

[6]程換新，王雪等.基于CNN和LSTM的人臉表情識別模型設計[J].電子測量技術，2021（9）：160-164.

[7]周麗芳，劉俊林等.深度二值卷積網絡的人臉表情識別方法[J].計算機輔助設計與圖形學學報，2022（1）：1-12.

[8]陳湯慧，高美鳳.基于ME-Xception卷積神經網絡的微表情識別[J].信號處理，2021（12）：1-12.

[9]王濤，彭欣榮等.基于幾何特征和LBP特征融合的笑臉識別算法的研究[J].電子測試，2021（12）：52-54.

[10]呂秀麗，黃兆昊等.基于改進LBP和DBN的人臉識別算法研究[J].工業儀表與自動化裝置，2021（5）：80-82.

作者簡介：劉錦峰（1982—），女，漢族，湖南婁底人，副教授，碩士，主要研究方向：高職教育、智能教育、電子商務。