結(jié)合注意力機(jī)制的面部表情識(shí)別方法研究

任志強(qiáng)　遲杏　朱煜君　劉型定　張欣

摘? 要： 傳統(tǒng)CNN對(duì)重要通道特征關(guān)注不足，制約面部表情識(shí)別準(zhǔn)確率。文章將通道注意力機(jī)制應(yīng)用到面部表情識(shí)別中，即將通道注意力模塊嵌入到卷積網(wǎng)絡(luò)中。在Fer2013和CK+表情數(shù)據(jù)集上的驗(yàn)證結(jié)果表明，該方法有較高的識(shí)別率。

關(guān)鍵詞： 面部表情識(shí)別; 通道注意力機(jī)制; 卷積網(wǎng)絡(luò); 表情數(shù)據(jù)集

中圖分類號(hào)：TP181? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ?文章編號(hào)：1006-8228（2022）03-24-03

Abstract： Traditional CNN pays insufficient attention to important channel features， which restricts the accuracy of facial expression recognition. This paper applies the channel attention mechanism to facial expression recognition， i.e.， to embed the channel attention module in the convolution network. The verification results on Fer2013 and CK + expression data sets show that the proposed method has high recognition rate.

Key words： facial expression recognition; channel attention mechanism; convolution network;? expression data sets

0 引言

面部表情不僅可顯示交際者的情緒狀態(tài)，還可傳達(dá)交際者的深層思想和情感[1]。Mehrabian的研究表明，人際交往中面部表情所傳達(dá)的信息占比高達(dá)55%[2-3]。在醫(yī)療、教育等領(lǐng)域建立人臉表情分析系統(tǒng)具有重要意義[4]。

深度學(xué)習(xí)在面部表情識(shí)別中的應(yīng)用多基于深度網(wǎng)絡(luò)，國內(nèi)外許多學(xué)者研究了基于深度學(xué)習(xí)的面部表情識(shí)別方法。H. Sikkandar等[5]將改進(jìn)的貓群算法應(yīng)用于面部表情識(shí)別，取得良好識(shí)別效果。邵杰等[6]提出稠密人臉活躍度網(wǎng)絡(luò)，在Fer2013[7]上獲得了71% 的識(shí)別率。何俊等[8]改進(jìn)殘差網(wǎng)絡(luò)，并引入遷移學(xué)習(xí)，在CK+[9]上實(shí)現(xiàn)較高識(shí)別率。

為了進(jìn)一步提高面部表情識(shí)別的準(zhǔn)確率，本文提出一種基于通道注意力的表情識(shí)別方法。將通道注意力機(jī)制引入殘差網(wǎng)絡(luò)，使網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)每個(gè)特征通道的重要性，提升對(duì)重要通道特征的關(guān)注度。然后設(shè)計(jì)全連接層，利用Softmax對(duì)全連接層的輸出進(jìn)行分類。最后設(shè)計(jì)對(duì)比實(shí)驗(yàn)，在公共數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試，實(shí)驗(yàn)結(jié)果表明了本文方法的有效性。

1 本文方法

1.1 基于通道注意力機(jī)制的面部表情識(shí)別網(wǎng)絡(luò)

本文創(chuàng)新點(diǎn)是將一種通道注意力機(jī)制引入殘差網(wǎng)絡(luò)的BasicBlock中，提出了一種新的表情識(shí)別網(wǎng)絡(luò)，本文將其命名為CAResNet20（CA含義是通道注意力），其結(jié)構(gòu)如圖1。CAResNet20的主體結(jié)構(gòu)是CABasicBlock，是BasicBlock和通道注意力機(jī)制的結(jié)合體。其結(jié)構(gòu)如圖2。

CABasicBlock與BasicBlock最大的不同之處是：第二個(gè)ReLu激活函數(shù)的輸出后面接入了新的結(jié)構(gòu)CAlayer，即本文引入的通道注意力機(jī)制。

1.2 通道注意力機(jī)制原理

CABasicBlock中的CAlayer，是實(shí)現(xiàn)通道注意力機(jī)制[10]的主要部分。其結(jié)構(gòu)如圖3。

首先最左邊是經(jīng)過卷積、批歸一化（Batch Normalization）、激活等操作后得到的表情特征圖X，該特征圖有C個(gè)通道，我們希望通過注意力模塊來學(xué)習(xí)出每個(gè)通道的權(quán)重，從而產(chǎn)生通道域的注意力。這個(gè)注意力機(jī)制主要分為三部分：擠壓（Squeeze），激勵(lì)（Excitation），注意（Attention）。

Squeeze：是把每個(gè)輸入特征圖的空間維度從H*W壓縮到1，即將一個(gè)channel上的整個(gè)空間特征編碼為一個(gè)全局特征。這里通過CAlayer中的AdAvPool層（自適應(yīng)平均池化）完成。Sequeeze過程的函數(shù)表達(dá)式如下：

其中，[xc]表示的是特征圖X中的某個(gè)通道特征，[zc]是通道特征壓縮后的結(jié)果，H和W表示特征圖的高和寬。

Excitation：學(xué)習(xí)不同channel之間的非線性關(guān)系，保證學(xué)習(xí)關(guān)系不互斥（因?yàn)檫@里有多個(gè)通道的全局描述特征）。這里通過CAlayer的FC、ReLu、FC、Sigmoid等層完成。Excitation過程的函數(shù)表達(dá)式如下：

其中，[z]是通道特征壓縮后的結(jié)果，[s]表示的是Sigmoid函數(shù)，[W1]和[W2]是為全局描述特征所生成的權(quán)重。為了降低模型復(fù)雜度，提升泛化能力，這里采用包含兩個(gè)全連接層的bottleneck結(jié)構(gòu)，其中第一個(gè)FC層起到降維的作用，降維系數(shù)r是個(gè)超參數(shù)，這里我們選擇r=16，然后采用ReLu函數(shù)激活。最后的FC層恢復(fù)原始的維度。

Attention：將Excitation的輸出的權(quán)重看做是特征選擇后的每個(gè)特征通道的重要性，然后通過乘法逐通道加權(quán)到先前的特征上，完成在通道維度上的對(duì)原始特征的重標(biāo)定。即實(shí)現(xiàn)注意力機(jī)制。Attention過程的函數(shù)表達(dá)式如下：

通道注意力機(jī)制的引入，使得CAResNet20可以更關(guān)注信息量最大的信道特性。具體來說，它可以通過學(xué)習(xí)自動(dòng)獲取每個(gè)特征通道的重要性，然后根據(jù)重要性，增強(qiáng)有用的特征，抑制對(duì)當(dāng)前任務(wù)無用的特征。

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)平臺(tái)

本文基于Windows10操作系統(tǒng)，Pytorch版本為1.6，Python版本為3.8。顯卡為NVIDIA GeForce GTX2080Ti，顯存大小11GB。

2.2 實(shí)驗(yàn)數(shù)據(jù)集

本文采用的數(shù)據(jù)集是Fer2013和CK+。

Fer2013面部表情數(shù)據(jù)集是2013 kaggle比賽的數(shù)據(jù)，有7種面部表情，分別是快樂（happy）、悲傷（sadness）、驚訝（surprise）、厭惡（disgust）、生氣（anger）、恐懼（fear），中性（neutral），對(duì)應(yīng)的數(shù)字標(biāo)簽為0-6。

CK+數(shù)據(jù)庫是Cohn Kanade數(shù)據(jù)集的擴(kuò)展，Cohn Kanade數(shù)據(jù)集于2010年發(fā)布。CK+包含從123個(gè)對(duì)象中提取的593個(gè)視頻序列，有7種面部表情表，類別和Fer2013相同。

2.3 數(shù)據(jù)集處理

由于Fer2013數(shù)據(jù)集部分圖像質(zhì)量較差，存在一定的誤差，本文對(duì)Fer2013表情數(shù)據(jù)集進(jìn)行處理。對(duì)數(shù)據(jù)集進(jìn)行十類投票（多了Contempt，unknown和非人臉三類），采用最大投票方式，去除了不確定的圖像，增加了Contempt類表情。對(duì)于CK+數(shù)據(jù)集，本文也做了相應(yīng)處理。增加了Contempt類表情。為了實(shí)現(xiàn)訓(xùn)練和測(cè)試，將訓(xùn)練集和測(cè)試集的比例劃分為6：4。

2.4 實(shí)驗(yàn)設(shè)計(jì)及結(jié)果分析

本文實(shí)驗(yàn)參數(shù)的選擇如下：針對(duì)Fer2013，本文將訓(xùn)練的epoch數(shù)量設(shè)置為60，訓(xùn)練集的batchsize設(shè)置為128，測(cè)試集的batchsize設(shè)置為128，學(xué)習(xí)率為非固定。訓(xùn)練階段引入數(shù)據(jù)增強(qiáng)的思想，擴(kuò)充訓(xùn)練集，損失函數(shù)為交叉熵?fù)p失函數(shù)，優(yōu)化器為SGD。針對(duì)CK+，本文將訓(xùn)練的epoch數(shù)量設(shè)置為100，訓(xùn)練集的batchsize設(shè)置為32，測(cè)試集的batchsize設(shè)置為32，學(xué)習(xí)率為非固定。訓(xùn)練階段引入數(shù)據(jù)增強(qiáng)的思想，擴(kuò)充訓(xùn)練集，損失函數(shù)為交叉熵?fù)p失函數(shù)，優(yōu)化器為SGD。

為了驗(yàn)證本文所提方法的有效性，將本文提出方法與主流方法進(jìn)行實(shí)驗(yàn)對(duì)比，對(duì)比結(jié)果如表1和表2所示。

由表1可知，在Fer2013的測(cè)試集上，本文方法的識(shí)別正確率最高，識(shí)別率為83.57%，相較于VGG19高出1.14%，相較于VGG16高出2%，AlexNet識(shí)別正確率最低。由表2可知，在CK+數(shù)據(jù)集上，本文方法的識(shí)別正確率最高，識(shí)別率為97.14%，相較于VGG19高出0.66%，相較于VGG16高出1.97%，AlexNet識(shí)別正確率最低。從結(jié)果可以看出，本文方法在兩個(gè)表情數(shù)據(jù)集上的識(shí)別精度都優(yōu)于其他傳統(tǒng)方法。驗(yàn)證了本文方法的有效性。

3 總結(jié)

針對(duì)卷積神經(jīng)網(wǎng)絡(luò)對(duì)通道特征關(guān)注不足的問題，本文提出一種基于通道注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)表情識(shí)別方法。實(shí)驗(yàn)結(jié)果表明，該算法在Fer2013和CK+數(shù)據(jù)集上獲得了較高的識(shí)別精度，優(yōu)于目前許多主流表情識(shí)別算法。考慮到本文算法仍存在一些問題：如深層網(wǎng)絡(luò)結(jié)構(gòu)和模型參數(shù)。如何優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，解決光照、遮擋、側(cè)臉等干擾因素將是下一步的研究重點(diǎn)。

參考文獻(xiàn)（References）：

[1] Pablo B， Nikhil C， Alessandra S. The FaceChannel： A Fast and Furious Deep Neural Network for Facial Expression Recognition[J]. SN Computer Science，2020，1（6）：1-10

[2] Zhong G Y， Liu G Y， Du X L. Facial Expression Recognition Method based on Convolution Neural Network[J]. Internat-ional Core Journal of Engineering，2021，7（5）：511-515

[3] Zhang Y， Yi W K. Research on Facial Expression Recognition Method Based on Bilinear Convolutional Neural Network[J].Journal of Physics： Conference Series，2021，1848（1）：012089

[4] Kong F Z. Facial expression recognition method based on deep convolutional neural network combined with improved LBP features[J]. Personal and Ubiquitous Computing，2019，23（3-4）：531-539

[5] Sikkandar H， Thiyagarajan R. Deep learning based facial expressionRecogni-tion using improved Cat Swarm Optimiz-ation[J]. Journal of Ambient Intelligence and Humanized Computing，2020，12（2）：3037-3053

[6] Shao J， Qian Y S. Three convolutional neural network models for facial express-ion recognition in the wild[J]. Neurocom-puting，2019，355：82-92

[7] 黨宏社，王淼，張選德.基于深度學(xué)習(xí)的面部表情識(shí)別方法綜述[J].科學(xué)技術(shù)與工程，2020，20（24）：9724-9732

[8] 何俊，劉躍，李倡洪，等.基于改進(jìn)的深度殘差網(wǎng)絡(luò)的表情識(shí)別研究[J].計(jì)算機(jī)應(yīng)用研究，2020，37（5）：1578-1581

[9] Hyun-Soon Lee， Bo-Yeong Kang. Continuous emotion estimation of facial expressions on JAFFE and CK+ datasets for human-robot interaction[J]. Intelligent Service Robotics，2020，13（1）：15-27

[10] Zhou Q， Zhou Z Y， Chunmiao C， et al. Grading of hepatocellular carcinoma using 3D SE-DenseNet in dynamic enhanced MR images[J].Computers in Biology and Medicine，2019，107：47-57