融合關鍵點屬性與注意力表征的人臉表情識別

高紅霞，郜 偉

1.河南工程學院 軟件學院，鄭州 451191

2.信息工程大學 理學院，鄭州 450001

人臉表情作為展現情緒變化的媒介，時刻反映人類的內心活動以及心理狀態。不同的情緒狀態會產生差異化的行為和認知改變，因此，在智慧醫療、學生行為分析、駕駛員情緒監測等領域，人臉表情識別成為研究的熱點[1]。Ekman[2]描述六種基本表情類型：憤怒、快樂、悲傷、驚訝、厭惡和恐懼，這些表情通常由面部肌肉的細微運動所引起，造成圖像中不同類型之間差異不明顯。此外，在表情圖像采集中，由于光照、角度、表情強度等變化，使得人臉表情識別充滿挑戰[3]。

傳統的人臉表情識別方法采用手動設計特征結合分類器實現整個識別過程，其性能主要依賴特征表達的有效性。局部二值模式（local binary pattern，LBP）、Gabor小波、SIFT、SURF等特征及其變體[4-5]由于其良好的表征性能，在早期得到了廣泛的應用。張哲源等[6]提出一種結合分塊LBP特征與投影字典對學習的表情識別方法。Revina等[7]在LBP的基礎上提出顯性梯度局部三元模式（DGLTP）特征。Shi等[8]提出了一種特征點約束算法來確定點的最優位置，以有效地表示變化區域，并利用SIFT描述子提取區域梯度信息作為特征參數進行識別。Meng等[9]通過融合局部Gabor特征、LBP特征和關節幾何特征，提出一種基于變換多級特征融合和改進加權支持向量機的表情識別方法。雖然這些方法在實驗室數據集上性能良好，但在實際復雜場景下，性能往往急劇惡化。

近年來，卷積神經網絡（convolutional neural network，CNN）在自然圖像處理領域展現出強大的活力，研究者開始熱衷于利用CNN強大的非線性映射能力抽取更深層次、更抽象的語義表征來實現魯棒的人臉表情識別[10-11]。Lu等[12]采用18層殘差網絡提取深層特征，同時利用CLBP提取紋理特征，并將兩者融合后輸入網絡進行識別。Shi等[13]在ResNet基礎上引入樹形結構構建網絡，提出一種多分支交叉連接卷積神經網絡（MBCCCNN）的人臉表情識別方法。崔子越等[14]通過對預訓練的VGG模型進行微調，并在損失函數中加入FocalLoss進一步提升模型的識別性能。梁華剛等[15]將Inception-V3作為骨干網，通過加入雙向LSTM模塊捕獲表情的時序特征。上述方法通過將整張人臉圖像輸入到不同的網絡，獲得最終的表情類別。然而，人臉表情變化非常細微，人臉圖像中包含大量非表情的背景信息，導致網絡很難關注到人臉圖像中的細微表情變化，降低識別的精準度。

為了減小人臉中非表情區域對神經網絡識別造成的干擾，研究人員根據圖像處理中抑制背景噪聲影響的原則，提出了一些新的消除背景干擾的人臉表情識別方法。Li等[16]對人臉圖片檢測后進行感興趣區域裁剪，并利用CNN網絡對裁剪后的區域實現表情分類。錢勇生等[17]提出在網絡中輸入多視角人臉表情圖像，并在殘差網絡基礎上嵌入壓縮和獎懲模塊提高網絡表達能力。姜月武等[11]通過人臉關鍵點獲取最大表情范圍以消除非表情區的干擾，將裁剪后的圖像輸入到帶權重分配機制的殘差網絡中，引導網絡學習具有強鑒別力的特征。上述方法通過裁剪人臉的感興趣區域，從而減小人臉圖像中非表情區域的干擾，但裁剪后的圖像只包含人臉的局部信息，缺失全局特征。此外，類間差異微小的表情，如：生氣、傷心、郁悶等，表情變化多表現為“眉頭緊鎖、嘴角下拉、臉頰微抬”，其信息差異主要集中在局部關鍵點區域。這種細微的改變在整張人臉圖像網絡上難以學習，但是關鍵點位置包含的信息會發生較大改變（如生氣時嘴角關鍵點下移）。因此，引導網絡關注這些關鍵點的屬性信息將對模型識別率的提升至關重要。

為了減小人臉非表情干擾，從而捕獲局部表情的細微變化，本文提出一種融合關鍵點屬性與注意力表征的人臉表情識別方法，主要貢獻為兩個方面：

（1）關鍵點屬性表征機制。通過神經網絡提取人臉圖像中的關鍵點信息，利用關鍵點屬性而不是圖像全局信息表征人臉表情變化，不僅能夠有效避免非表情區域的干擾，而且還可以關注圖像中局部位置的細微變化。

（2）基于注意力的特征融合機制。在獲得人臉關鍵點屬性的基礎上，為了進一步探索關鍵點之間的關系，引入Transformer的注意力機制，引導網絡學習對人臉表情類型更具分辨力的特征表示。最后，在CK+、JAFFE、FER2013三種公開數據集上進行實驗驗證，最高達到99.22%的識別準確率。

1 融合關鍵點屬性與注意力表征的識別模型

本文提出的表情識別模型主要包括兩個模塊，其中基于注意力的人臉關鍵點屬性表征模塊主要抽取具有表情的區分性的特征，而基于Transformer的特征融合機制則是探索不同特征點屬性之間的相關關系，網絡結構圖如圖1所示。

圖1 本文算法框架圖Fig.1 Overview of proposed framework

1.1 混合注意力模塊

傳統人臉識別方法直接將整張人臉圖像輸入網絡中推理，進行表情狀態的預測。這些方法容易受人臉圖像中非表情區域的干擾，很難獲得最佳的識別結果[14-15]。因此，本文提出一種基于注意力的人臉關鍵點屬性表征的特征描述符，通過利用卷積神經網絡回歸獲得人臉中的關鍵點以及對應的關鍵點特征向量，然后將其通過Transformer模塊編碼，進而進行表情狀態的識別。

注意力機制作為一種模擬人的認知行為所提出的理論，在圖像處理方面展現出優異的性能，因而在人臉表情識別領域也受到眾多研究者的應用。亢潔等[18]在網絡中引入注意力模塊，結合遷移學習策略進行表情識別，但是其注意力模塊只包含通道注意力，忽略了空間位置關系。程換新等[19]將通過LBP算子與VGG網絡提取的特征在通道上通過注意力模塊進行融合，同樣缺失圖像像素的空間關系。

綜上所述，可以看出注意力機制已經取得了優異的性能，對本文工作有極大的借鑒參考價值。因此，本文在計算人臉關鍵點過程中，應用通道和空間的混合注意力模塊進一步豐富骨干網的結構，提升其性能。

主要原因有兩點：其一，在CNN逐層運算中往往會產生較高的通道數，導致通道間的信息冗余，以至于出現過擬合問題。其二，在關鍵點檢測中，圖像的不同位置應該具有不同的重要性，網絡在關鍵點區域應該加強關注，但是卷積核對它們的處理卻是相同的。為了解決上述問題，本文引入自適應學習通道和空間關系的注意力網絡結構。

通道注意力：在CNN網絡的逐層運算過程中，通道數會有所增加，而每個通道對于關鍵信息的貢獻是不同的，因此當通道數過多時，會產生信息冗余。為了解決這一問題，本文采用通道注意力模塊，通過利用不同的池化策略壓縮輸入特征的空間維度，進行通道計算。

此前研究多偏向于采用平均池化作為壓縮和激勵的模塊，而僅使用全局平均池化操作不足以區分人臉屬性。而最大值池化則只取覆蓋區域中的最大值來保持特征圖的最大響應值。基于此，本文采用將全局平均池化和最大池化相結合的策略，通過交叉矩陣乘法獲得注意力掩模的通道注意力矩陣，如圖2所示。

圖2 通道注意力模塊Fig.2 Channel attention module

首先將輸入特征FI∈RC×H×W饋送至通道注意力塊，對FI沿空間軸進行并行的全局平均池和最大值池化操作，得到C×1×1維的特征向量和，然后通過對和逐元素求和得到具有特征聚合特性的，使用1×1的卷積處理，再執行PReLU和BatchNorm操作，得到中間的特征圖，故有：

其中，∈RC×1×1；⊕表示逐元素求和；?表示卷積運算。去掉的冗余維度，并對其進行轉置，得到尺寸分別為C×1和1×C的特征圖，將這兩個特征圖相乘再通過softmax運算得到最終的通道注意力矩陣attc。

其中，?表示矩陣乘法，可得到下式：

其中，attc∈RC×C是二維矩陣；attci,j為在輸入特征映射中第i個通道對第j個通道的影響。最后，將輸入特征FI與通道注意力矩陣attc相乘，經過殘差學習得到通道精細后的特征FC∈RC×H×W。

其中，⊕表示元素求和；?表示矩陣相乘；α是可學習的參數，一般初始值設為0，以降低前幾個訓練周期收斂過程的難度。通道注意力矩陣attc可被看作是一個選擇器，可篩選出能夠捕獲人臉特征的最佳濾波器。

空間注意力：在人臉中，五官的位置是具有一定空間關系的，即圖像的不同位置具有不同的重要性，而卷積核對它們的處理卻是相同的。為了解決該問題，學習特征圖中存在的空間結構之間的關系，本文在通道注意力模塊的基礎上，提出了一個空間注意力模塊。將空間注意力模塊與通道注意力模塊相結合，可以同時獲得重要的通道特征及特征之間的空間關系，從而使得最終得到的特征圖更精細化，如圖3所示。

圖3 空間注意力模塊Fig.3 Spatial attention module

首先將輸入的通道細化特征FC∈RC×H×W饋送至空間注意力模塊，對FC沿通道軸并行采取全局平均池化和最大池化操作，分別得到尺寸均為1×H×W的特征向量和，采用通道級聯的方式合并和構成聚合特征∈R2×H×W。然后使用3×3卷積作用于，卷積步長和填充值均設為1，之后再進行PReLU和BatchNorm運算得到中間特征圖。在卷積過程中對步長和填充值的設置可以保證特征圖的大小不變，于是有：

其中，∈R1×H×W；?表示卷積運算。對Fpsool進行維度變換，將其維度轉換為HW×1，再進行轉置得到1×HW的特征圖，對二者執行矩陣乘法和softmax運算，得到空間注意矩陣atts。

其中，?表示矩陣乘法，可得到下式：

其中，atts∈RHW×HW是二維矩陣；attsi,j表示第i個空間位置對第j個空間位置的影響。最后，將通道細化特征FC與空間注意力矩陣atts相乘，再經過殘差學習得到空間精細后的特征FS∈RC×H×W。

其中，⊕表示元素求和；?表示矩陣相乘；β是可學習的參數，一般初始值設為0，以降低前幾個訓練周期收斂過程的難度。這樣空間注意力矩陣atts就可被看作是一個位置掩膜，可以細化通道特征的空間信息，使得特征圖能夠獲取到人臉中具有空間關系的重要特征。

1.2 基于注意力的人臉關鍵點屬性表征

在殘差網絡的基礎上，將通道注意力和空間注意力模塊附加到每個殘差塊之后，為了直觀地理解繪制了基于注意力機制的神經網絡（CS-ResNet）的殘差結構如圖4所示。

圖4 ResNet與CS-AttNet的對比Fig.4 Comparison between ResNet and CS-AttNet

給定中間特征圖X，網絡首先生成一個通道注意力矩陣，并通過矩陣乘法得到加權特征，然后經過逐元素求和得到通道細化特征。按順序，使用類似的方式得到空間細化特征。此外，批量歸一化是一種被廣泛應用的穩定訓練的技術，同樣采用它加快收斂過程。最后通過殘差連接快速學習細化后的特征XR。

通過構建的CS-AttNet網絡，在獲得人臉關鍵點位置的同時為每個點抽取對應的特征表示，文中關鍵點數量設為kp=68，特征維度dim=512，如圖5所示。

圖5 關鍵點屬性表征示圖Fig.5 Keypoints-attributes diagram

經過網絡訓練，輸出端不僅可以獲取每個點的位置坐標，也可得到對應點的特征屬性，這樣為使用Transformer模塊去融合關鍵點之間的相關特征聯系奠定基礎。

1.3 基于Transformer的人臉表情識別模型

Transformer作為一種自注意力機制，在NLP任務中被首次提出即獲得巨大的關注，因其能在所有實體對之間執行信息交換，這種特有的機制及其出色的性能，最近被廣泛應用到各種計算機視覺任務中，并且在各自研究領域取得了最好的性能結果[20-21]。

1.3.1 Transformer網絡框架

標準Transformer的輸入是一維的詞嵌入向量，通過獲取網絡全連接層512維的向量，參照ViT中的參數設置[19]，利用可訓練的線性投影變換將原始特征映射為768維的向量，文中將此投影的輸出稱為Embedded-Keypoints。Transformer層由Multi-Head Attention和Multi-Layer Perception（MLP）塊的層組成。在每個塊之前應用層歸一化（Norm），在每個塊之后使用殘差連接。圖6顯示了Transformer網絡框架的主要結構，通過使用CS-AttNet模型從原始圖像中提取關鍵點特征表示。

圖6 基于Transformer的表情識別框架Fig.6 Expression recognition framework via Transformer module

位置編碼模塊采用不同頻率的正余弦函數對空間信息進行編碼。網絡將特征向量映射后，利用位置編碼補充它們，并將其輸入到12層的Transformer Layer中，文中所述的各層結構相同，包括Multi-Head為8的自注意模塊和MLP模塊。最后，將網絡的輸出與金標準進行對比，計算交叉熵損失。

1.3.2 位置編碼

Transformer和傳統CNN不同，需要位置編碼結構來編碼每個詞向量的位置信息，因為self-attention的結果具有排列不變性，即打亂關鍵點序列中點的排列順序并不會改變輸出結果。如果缺少關鍵點的位置信息，模型就額外需要通過點與點之間的語義信息來學習相關聯系，就會進一步增加學習成本。

為了更好區分不同位置的關鍵點之間的差異性，以便網絡更好的訓練。本文把“位置編碼”添加到Transformer Layer底部的輸入詞嵌入中。由于位置編碼與關鍵點嵌入向量具有相同的維度，將兩者相加。本文使用不同頻率的正弦和余弦函數構造Position Embedding：

其中，pos表示特征點在序列中的位置；kp=68為關鍵點序列長度；d=768為線性變換后嵌入向量的維度；i表示嵌入向量的位置，i∈[1d]。由于位置編碼的每個維度對應于1個正弦信號，在每個特征點向量的偶數和奇數位置分別添加sin和cos變量，從而填滿整個PE矩陣，再加到經過線性映射后的輸入向量中，從而實現位置編碼的引入。

2 實驗與結果分析

2.1 數據集及評價準則

本文在三種人臉表情公開數據集進行實驗，包括：CK+、JAFFE、FER2013。其中，CK+數據集含有326例標注的圖像序列，共7種類別；JAFFE數據集含有213張人臉表情圖像，共7種類別標簽；FER2013數據量大，包含35 887張人臉表情數據，但人臉角度更多變且有一定的遮擋，表情類別仍是7種標簽，具體信息如表1所示。

此外，由于三種數據集中每類表情樣本的數量不盡相同，表1中詳細描述。數據中不同情感類別的數量分布不均，差異較大，因此本文采用一種加權精度（weighted accuracy，WA）的評價方法，如公式（10）所示：

表1 CK+、JAFFE、FER2013數據集樣本分布Table 1 Sample distribution of CK+，JAFFE，FER2013

其中，l表示類別標簽的數量，mi為第i個情感類別的數量，ri是第i個類別識別正確的個數。由于本文所使用的數據庫不均衡，實驗階段的精度計算均基于“WA”方法，下文以“Acc”表示。

2.2 參數設置

實驗中，將輸入圖像大小調整為256×256，并采用平移、旋轉、縮放等方法進行數據增強，提高模型魯棒性。關鍵點檢測階段，初始學習率為10-4，批數據大小為8，迭代次數為300，關鍵點數量kp=68，其特征維度dim=512，其他參數與文獻[20]一致。表情識別階段，輸入特征為CS-AttNet網絡提取的512維向量，Transformer Layer數量為12層，Multi-Head數為8，反向傳播中采用交叉熵損失函數，詳細設置可參考文獻[19]。本文實驗過程中共使用三個數據集，由于CK+與JAFFE數據量較小，因此網絡首先都是在FER2013數據集上進行訓練，獲得模型參數。然后在CK+、JAFFE兩個數據集上，將保存好的參數作為預訓練參數加載，通過微調后再測試獲得最終的結果，這樣可以有效避免數據量小所帶來的模型過擬合問題。

2.3 結果分析

2.3.1 網絡模型有效性驗證

為了驗證本文所提算法的有效性，在CK+、JAFFE、FER2013數據集上分別進行五折交叉驗證（5-fold crossvalidation）實驗，即數據集隨機分成5等份，選擇第1份作為測試集，剩余4份作為訓練集，類似地，選擇第2份作為測試集，剩余作為訓練集，累計循環重復5次獲得輸出結果，最后統計其平均準確率。實驗結果的混淆矩陣如圖7所示。

從圖7的混淆矩陣中可看出：本文算法在CK+和JAFFE數據集上都能取得較好的結果，達到0.94以上的識別準確率，其中“高興、驚喜”表情結果最高，因為這兩類中人臉的面部變化最大，能夠產生更多差異性的特征點，因此也最容易識別。但是在FER2013數據集中，整體的識別精度與CK+和JAFFE有較大的差距。

由于FER2013數據集中包含大量人臉遮擋和低對比度圖像，加之數據集中各表情類別數據不均衡，差異較大，給模型的識別造成較大的困擾。此外，從圖7（c）可以看出“悲傷、生氣、害怕”表情識別結果較差，分別達到0.65、0.64、0.60的準確率。分析這三類表情同屬于消極類情緒，它們之間本身具有很強的相似性，三者中互相錯分的比例很高，并且在出現這些表情時，面部關鍵點通常只有細微的改變，因此識別難度更高，后續可能需要引進一些細粒度分類的方法做進一步的改進提升。

圖7 三種不同數據集中表情識別混淆矩陣Fig.7 Confusion matrix of three different datasets

2.3.2 現有方法對比驗證

為進一步驗證本文所提模型的識別性能，對三種公開數據集采用與2.3.1小節一致的數據劃分方式，將本文算法與現有的公開方法進行對比，結果如表2所示。從表2可看出：四種現有方法和本文算法在三種數據集上都取得了較好的識別結果。其中在CK+數據集上，本文算法達到99.22%的準確率，與最好的方法Resnet-MER-WAM[11]結果相當；在JAFFE數據集上，本文算法獲得96.57%的準確率，比SACNN-ALSTM[23]提升0.92個百分點；特別地，在包含人臉遮擋和圖像對比度低的FER2013數據集中，本文方法獲得73.37%的最好結果，提升2.06個百分點。

表2 不同算法在三種數據集上的實驗結果Table 2 Experimental results of different algorithms on three datasets

因此，在數據清晰、差異化較小的情況下，目前大部分方法都能取得較好的結果，但是在真實的復雜場景下，很多方法難以適用。然而本文所提的關鍵點屬性表征模塊和基于注意力的Transformer識別模塊能有效解決上述問題，實驗結果也展現了本文所提模型的識別精度，獲得目前最優的結果。

此外，利用小提琴圖展示不同方法識別結果的準確率波動情況，如圖8所示。小提琴圖中心線越高代表平均精度值越大，圖越扁平，說明結果方差越小，波動也越小，模型也就越穩定。

圖8 三種不同數據集中識別結果小提琴圖展示Fig.8 Violin plots of expression recognition in three datasets

如圖8（a）所示，盡管在CK+公開數據集中Resnet-MER-WAM方法準確率略高于本文算法，但其結果有較大方差，并不能產生魯棒的結果。

在JAFFE和FER2013數據集中，本文方法不僅取得最高的識別精度，而且結果的波動變化也更小，更穩定，顯著優于其他方法。所以進一步證明了所提模型不僅在數據良好的狀態下取得較優性能，在復雜的場景下依然具有較強的識別能力和較強的魯棒性。

2.3.3 消融實驗

為了測試本文所提注意力機制和Transformer模塊的有效性，以ResNet50作為骨干網，將其網絡中的殘差結構置換為圖4中所示的注意力模塊，記為CS-AttNet。此外，在CS-AttNet基礎上，本文進一步加入Transformer模塊，記為CS-AttNet-Trans模型，能夠捕獲關鍵之間的相關聯系，對人臉表情識別產生積極作用。實驗數據的劃分和設置與2.3.1小節保持一致，結果如表3所示。

表3 網絡不同模塊的實驗結果Table 3 Experimental results of different modules

從表3可以看出，在三種不同的數據集上，本文所提的CS-AttNet模塊和Transformer模塊對表情識別的準確率都有一定的提升，充分表明本文所提模塊對人臉表情識別任務具有極大的提升作用。其中，CS-AttNet模塊相對于骨干網ResNet50識別準確率平均增加4.13個百分點。在CS-AttNet基礎上加入Transformer模塊，構成CS-AttNet-Trans模塊，可以看出在CK+和JAFFE數據集上準確率分別只有0.37和1.37個百分點的提升。主要原因在于CK+和JAFFE數據集圖像清晰、差異化較小，因而基礎網絡都能取得較好的結果，表2所示的4種方法在其中也都能取得令人滿意的識別結果。

然而，FER2013數據集中包含大量人臉遮擋和低對比度圖像，其他算法很難得到較好的結果，而本文所提模塊在ResNet50基礎上準確率分別提升4.21和7.69個百分點，充分說明其在高質量數據中能夠保持較高的識別準確率，在低質量數據中同樣能夠取得較大的指標提升，進一步證明了本文算法的魯棒性和有效性。

3 結束語

本文提出一種融合關鍵點屬性與注意力表征的人臉表情識別方法，不僅能夠有效避免非表情區域的干擾，而且可以關注圖像中局部位置的細微變化。通過添加通道注意力和空間注意力機制，實現不同維度和位置的權重分配，引導網絡學習更具有表征性的特征。本文提出基于Transformer模塊構建表情識別模型，通過Transformer模塊在所有實體對之間執行信息交換，捕獲關鍵點之間豐富的位置信息和互信息，從而有效提升表情識別精度。最后將本文所提出的算法分別在CK+、JAFFE、FER2013三種公開數據集上進行實驗驗證，分別達到99.22%、96.57%、73.37%的識別準確率，其中FER2013數據集場景復雜、識別難度較高，本文提出的算法達到了目前為止最高的準確度，充分展現了算法的有效性和魯棒性。