改進的殘差網絡和混合注意力的人臉表情識別

李弟文，潘 偉

（西華師范大學 計算機學院，四川 南充 637009）

0 引言

通常人類的情感表達主要通過其面部表情來側面反映，人類通過說話層面傳遞的情感信息只占7%左右，而面部表情在情感表達過程中傳遞了大約55%以上的情感信息［1］。總體而言，隨著計算機技術的進一步發展，人臉表情的自動識別也成為了計算機視覺方面的重要研究對象，其主要為人與機器交流互動、人類情感預測、人臉3D 表情驅動等眾多應用領域提供有效科學的輔助，在人工智能領域起到基礎鋪墊的作用。人臉表情識別的過程可以分為3 個階段［2］：第一階段為人臉檢測，需要檢測視頻畫面或靜態圖像中的人臉部分；第二階段是對檢測的人臉使用特征網絡提取人臉表情重要特征，這些特征是分類網絡能夠更好區分不同表情的重要依據；第三階段是將提取到的特征輸入到分類網絡中進行輸出，這里輸出的就是表情類別矩陣，包括每類表情的種類及其置信度。

為進一步提高面部表情識別的準確率，本文通過在深度殘差網絡中嵌入空間和通道注意力機制，對重要面部表情特征進行加強，并使用CABasicBlock 替換原有殘差網絡中Block 結構，使網絡自動學習每個特征通道的重要性，提升對重要通道特征的關注度，對模型訓練中的損失函數和學習率衰減策略進行相應調整，加速模型收斂，并對訓練數據進行增強和標簽平滑處理來提升模型泛化能力。該方法在Fer2013 人臉表情數據集上得到了有效驗證。

1 相關理論研究

早期的人臉表情識別方法需要人為制定提取規則，然后按照制定的標準來提取特征（如：LBP［3］、HOG［4］等），從而進行相應的計算得到表情特征矩陣輸出，最后使用支持向量機／KNN 算法／貝葉斯分類算法等方法來對輸出的特征矩陣進行分類。此外，有的方法在特征提取完畢后，為了避免特征維數過高，使用PCA 主成分分析法對其降維，減小算法的時間復雜度。如：成亞麗等人［5］針對局部外觀特征提取造成噪聲污染像素等問題，提出了一種改進型的LDP編碼方案。利用Sobel 算子代替Kirsch 掩模來提取圖像中的梯度信息，從而避免噪聲像素點的影響，并將局部外觀特征與全局幾何特征相結合后使用PCA降維，提升表情識別率并避免敏感噪聲影響。

隨著深度學習的不斷發展，基于卷積神經網絡的AlexNet 在2012 年的ImageNet 大賽上一舉奪魁，其識別精度高于第二名10 多個百分點，這讓深度學習重新大放異彩，讓許多人開始了對其研究。在人臉表情識別方面，基于深度學習的代表算法-卷積神經網絡，通過構建多個卷積層來提取人臉表情更深層次的特征，從而能夠很好的規避人為制定的單一提取規則，優勢明顯并且效率高，逐漸成為目前的主流方法。鄧楚婕［6］使用卷積神經網絡結合注意力機制，設計了基于金字塔結構的CNN 來提高準確率。戴蓉［7］等人提出了一種生成對抗網絡的跨域面部表情識別。其中包括特征嵌入、對抗性學習和分類模塊，利用聯合學習來降低原始數據和目標數據之間的分布差距，并利用無監督生成對抗網絡進行優化，根據域自適應方法給出表情分類。陳昌川［8］等人針對當前表情識別方法通常依賴面部全局特征而忽略局部特征提取等問題，提出一種基于局部表征的表情識別EAU-CNN 算法。該算法的網絡采用8 個并行的特征提取分支，每個分支支配不同維全連接層；分支的輸出按照注意力自適應地連接，以突出不同局部候選區域的重要程度，最后經Softmax 函數來進行表情的七分類。He［9］等人提出的深度殘差網絡ResNet，解決了深層次網絡訓練的性能退化問題，為大模型訓練帶來了可能。此后，越來越多研究者開始結合殘差網絡來識別人臉表情。如：王軍等人［10］針對人臉面部遮擋特征難以提取的問題，提取了VGG16 的主干網絡和ResNet 殘差網絡，來構建新的雙通道遮擋感知神經網絡，使得網絡能有效綜合評判表情分類的精確度。宋玉琴等人［11］在文獻中針對神經網絡提取面部表情特征在反向傳播訓練階段存在梯度爆炸或消失等問題，提出了一種把殘差網絡和注意力機制相結合的多尺度深度可分離表情識別網絡，通過多層多尺度深度可分離殘差單元的疊加進行不同尺度的表情特征提取，并使用CBAM 注意力機制進行表情特征的篩選，提升有效表情特征權重的表達。陳加敏等人［12］在文獻中針對不同的表情之間具有細微的類間差異信息，由此在殘差網絡的基礎上提出一種注意力金字塔卷積殘差網絡模型（APRNET50），該模型融合金字塔卷積模塊、通道注意力和空間注意力，提供端到端的訓練。高濤等人［13］針對ResNet 網絡殘差模塊前的卷積層進行改進，提出使用并行的小卷積代替原來的卷積，最后將殘差模塊的輸出送入到全連接層進行特征的融合，使其可以提取到更深層次且不同尺度的圖像特征，最后通過Softmax 分類器進行分類。

2 殘差網絡與注意力機制

2.1 殘差網絡

深度殘差網絡與傳統卷積神經網絡相比，是在網絡中引入殘差模塊，有效地緩解了網絡模型訓練時反向傳播的梯度消失問題，進而解決了深層網絡難以訓練和性能退化的問題。殘差學習單元結構如圖1 所示。

圖1 殘差學習單元Fig.1 Residual learning units

圖中，x表示輸入，F（x）表示殘差映射。當殘差F（x）＝0 時，殘差學習單元的作用就是輸入為輸出的恒等映射。其輸出定義為

2.2 注意力機制

注意力機制是模擬人類大腦觀察外界的一種思維方式，其能夠較好地選擇網絡中關鍵特征信息，聚焦于對當前任務更為關鍵的特征，并對低關聯特征進行過濾或減小權重，提高任務處理的效率和準確性，可以解決網絡參數冗余帶來的計算效率下降問題。近年來，結合注意力機制的網絡模型在NLP、ASR 及Computer Vision 等不同的領域中都表現出優越的性能，其有效性得到了廣泛的驗證。一般來說，注意力機制主要分為空間注意力機制和通道注意力機制兩種。

通道注意力機制是根據不同通道的特征賦予其不同的權重，使得經過通道的重要特征信息能夠被放大，從而被網絡所學習，其結構如圖2 所示。輸入一個通道數為C、高度H、寬度W的淺層特征圖M∈RC×H×W，通過使用平均池化和最大池化的方法減小特征維度，分別得到輸出的Mavg和Mmax。然后依次輸入到共享網絡MLP 中，MLP 的結構由1×1 卷積、ReLU 激活函數、1×1 卷積組成。隨后對MLP 輸出的這兩個特征向量按元素相加求和，得到C×1×1 大小的特征圖，最后經過Sigmod 函數激活得到基于通道注意力的新特征權重圖Wc∈Rc×1×1。具體計算方式為

圖2 通道注意力模塊Fig.2 Channel attention module

其中，σ表示Sigmod 激活函數，W0和W1表示MLP 網絡的權重。

空間注意力機制在圖像空間上分配權重，利用特征間的關系構建空間注意力機制，來尋找對于表情較有區分力的局部位置特征信息，其結構如圖3所示。輸入一個特征圖M∈RC×H×W，使用平均池化和最大池化分別輸出特征圖，將兩個特征圖使用Concat 融合拼接后得到新的特征圖，再將其輸入到卷積核為7×7 的卷積層，經Sigmod 函數激活得到空間特征權重圖。Ws的計算公式為

圖3 空間注意力模塊Fig.3 Spatial attention module

圖4 ResNet-34 網絡的第一個Block 結構Fig.4 The first Block structure of the ResNet-34 network

3 基于深度殘差網絡和混合注意力的表情識別

本文使用深度殘差網絡作為人臉表情識別的骨干網絡，該網絡相比普通網絡多了由殘差學習單元組成的殘差模塊，解決了網絡層數堆疊過深導致分類性能和準確率不能提高的問題。該模塊的引入有效地緩解模型訓練時反向傳播梯度消失問題，從而解決了對深層網絡訓練的退化問題。使用的骨干網絡模型是以ResNet34 網絡作為基礎模型，殘差網絡由若干個Block 殘差模塊組成，其擁有跨層直連的shortcut，而殘差模塊又通過不同數量的殘差學習單元組成。ResNet34 經過了4 個Block，也叫4 個layer 層，分別對應有3、4、6、3 個BasicBlock 的殘差模塊。輸入圖片經過第一個卷積層和最大池化，進入Block 塊結構，如圖4 所示。每一個Block 包含兩種不同的BasicBlock：Conv Block（卷積塊）和Identity Block（殘差塊）。

3.1 混合注意力模塊

為了使表情局部特征區域更加突出，使用注意力機制讓網絡學會關注重點信息，給予更大權重得到更細化的信息。本文在提取到的淺層特征上加入通道和空間注意力的混合模塊給其分配不同的權重。

將通道注意力與空間注意力機制進行混合，構成新的權重分配模塊，實現通道和空間上特征相互融合后的權重特征圖。如圖5 所示，F作為輸入特征，經過通道注意力機制加權和空間注意力機制加權后，分別得到FC和FS，再將FC與FS進行特征拼接融合，融合后的特征與原輸入特征圖相乘，最后通過ReLU 激活獲得新特征權重圖FC+S。

圖5 混合注意力模塊Fig.5 Mixed attention module

3.2 Focal Loss 損失函數

由于在FER2013 訓練集數據中，數量最少的厭惡表情只有436 張，而數量最多的開心表情卻有7 215 張，厭惡與開心兩種表情分別占訓練總樣本的占比差（23.6%）超過了20%。為了避免樣本不平衡帶來的損失震蕩問題，在訓練過程中使用Focal Loss 函數來計算預測值和標簽值的損失。該損失函數是基于多分類交叉熵損失函數的改進版本，并自帶Softmax 操作，其作用在于通過賦予易分類樣本較小的權重，賦予難分類樣本較大的權重，使模型在訓練時更專注于難分類的樣本，在一定程度上解決了樣本分布不平衡的問題。在表情識別多分類任務下，通過α可以抑制正負樣本的數量失衡，通過γ可以控制簡單樣本、難區分樣本的數量失衡，Focal Loss 損失函數計算公式為［14］

其中，α∈［0，1］為權重因子；γ為一個調制因子參數，范圍在［0，5］；pn i表示第n個樣本為類別i的概率。

3.3 基于混合注意力殘差網絡的表情特征提取

本文在ResNet34 的基礎上對basic block 進行了改進。融合CoordAttention 坐標注意力機制，提出一個新的CABasicBlock，其通過嵌入位置信息到通道注意力模塊中，從而使網絡獲取更大的感受野并減少計算開銷。為避免Conv2d 和全局池化導致位置信息丟失，坐標注意力機制使用兩個并行通道，從而高效地將特征編碼整合空間坐標信息到生成的特征圖中。如圖6 所示，該模塊是通過左邊的一個殘差支路和右邊的一個CoordAttention 結構組成，沿著水平和垂直兩個空間方向進行特征聚合，分別對應下方的X AvgPool 和Y AvgPool，分別返回一對方向感知注意力圖；在空間維度上通過Concat 和Conv2d來壓縮通道，后面接批量歸一化BN 層和Non-linear層來編碼垂直方向和水平方向的空間信息，再使用分割操作后，各自通過1x1 的Conv2d 卷積得到與輸入特征圖一樣的通道數，然后使用Sigmoid 激活函數輸出，與殘差之路一起合并歸一化加權，這樣可以充分捕獲到人臉中的表情位置信息。

圖6 CABasicBlock 結構Fig.6 CABasicBlock structure

基于ResNet34 提出的混合注意力殘差網絡，主要由空間注意力模塊、通道注意力模塊、殘差模塊、3×3卷積層、最大池化的組合層、自適應平均池化，以及Dropout 層、全連接層、Softmax 層構成，網絡具體結構如圖7 所示。為減小網絡的計算量，需要將輸入圖片進行下采樣后再輸入進網絡層，使圖像的分辨率從48?48 下采樣至24?24。

圖7 人臉表情識別網絡模型示意圖Fig.7 Schematic diagram of the face expression recognition network model

首先使用一個3×3 卷積提取人臉圖像特征信息，然后通過通道注意力和空間注意力模塊進行表情特征的提取融合獲得輸出的混合權重特征圖；經過最大池化下采樣處理后去除冗余信息，把混合后的特征送入到模型的4 個Layer 層；每個Layer 由兩個CABasicBlock 組成，然后經過自適應平均池化層加強特征圖與類別的一致性，對空間特征信息進行求和實現降維。在接入全連接層前，盡可能在保證主要分類特征信息基礎上減少網絡參數，并使用Dropout 使網絡訓練過程中隨機丟棄神經元，降低特征信息之間太過密切的交互作用，避免過擬合。最后，送入全連接層輸出7×1 的特征向量，分別代表7種表情分類，再使用Softmax 輸出概率最高的表情類別標簽。

4 實驗結果與分析

實驗使用python3.7 語言進行編程實現，在Pycharm 中使用Pytorch 深度學習框架搭建神經網絡模型。實驗硬件環境：CPU 為Intel（R）Xeon（R）CPU E5-2670 v3，GPU 顯卡為NVIDIA GeForce RTX 3060，內存為16 GB。在Fer2013 數據集實驗中的迭代輪數（epoch）均設為300 輪，學習率初始為0.001，在迭代50 輪后學習率以0.9 倍衰減，批次大小設為128，使用Adam 優化器，權重衰減系數為5E-4。

4.1 數據集

為了對本文方法進行驗證，本次實驗采用Fer2013［15］人臉表情數 據集進行訓練和測試。Fer2013 數據集是由大小為48×48 像素的灰度圖片和情感標簽組成，情感標簽包含7 類基本表情，由35 886 張采集于不同復雜環境因素下的人臉表情圖像組成。其中，訓練數據集28 709 張圖片，驗證數據集圖片3 589 張，測試集3 589 張。如圖8 所示，情感標簽分別對應于數字標簽0～6。其中，0 代表生氣，1 代表厭惡，2 代表恐懼，3 代表開心，4 代表傷心，5 代表驚訝，6 代表中性。

圖8 Fer2013 人臉表情數據集中對應七種表情圖Fig.8 Fer2013 face expression dataset corresponds to seven expression maps

每種表情具體數量的柱狀圖如圖9 所示，橫軸為每種表情的類別，縱軸為其對應的數量。

圖9 Fer2013 表情數據圖片數量分布情況圖Fig.9 Fer2013 expression data image count distribution chart

4.2 數據增強預處理

由于原始Fer2013 數據集存在數據樣本分布不均勻問題，在訓練表情識別網絡之前，為了防止網絡過快地過擬合［16］，需要進行訓練數據增強。數據增強后的圖像信息的細節特征也能被深度卷積神經網絡所提取，并學習到更深層次的高維有效特征空間，提高了模型分類的準確率。本文實驗對訓練圖像作翻轉、鏡像、Gamma 變換、隨機擦除、噪聲、隨機旋轉角度、隨機裁剪等圖像增強處理方法，其中主要的增強方法參數設置見表1，增強后的數據集各表情類別數量分布如圖10 所示。

圖10 數據增強后的人臉表情數據圖片數量分布情況圖Fig.10 Distribution of the number of images of face expression data after data enhancement

表1 四種數據增強方法的參數設置Tab.1 Parameter settings for the four data enhancement methods

經過試驗發現，當只使用基本的ResNet34 網絡且不使用數據增強策略進行分類時，在驗證集上的準確率不到60%。但在增加隨機裁剪等數據增強策略進行基礎網絡訓練時，最終模型的準確率有8%的提升，并且配合使用這6 種數據增強策略，在未改進的ResNet 基本分類網絡上最終能達到68%左右的驗證集準確率。

4.3 評價標準

在計算機視覺領域中的圖像分類問題，一般采用的分類評價標準包括Accuracy（準確率）、Confusion matrix（混淆矩陣）、召回率等指標，用來評價分類方法性能的好壞。針對人臉表情識別而言，由于要計算7 種表情每類的識別精度，所以評價標準使用準確率和混淆矩陣來進行對比實驗。分類準確率的計算公式為

其中，TP代表正例分類正確的數量；TN代表負例分類正確的數量；P為所有正例；N為所有負例。

分類混淆矩陣是將正例分類正確（TP）、正例分類錯誤（FP）、負例分類正確（TN）和負例分類錯誤（FN）的4 個指標一起呈現在表格中，可以更加清晰的展示分類模型預測各個類別的概率。混淆矩陣的對角線為該類別預測準確率，值越高表明分類正確的效果越好，對角線之外為分類成其它類別的概率。

4.4 模型訓練和實驗結果分析

模型優化器采用Adam 算法，相比之前SGD 隨機梯度［17］下降算法具有計算效率高、所需內存少等優點。在網絡訓練過程中，使用動態學習率衰減來使權重更新更加科學合理，使用Focal Loss 來計算模型預測值和真實標簽的損失，從而回傳梯度調整模型權重參數，完成反向傳播的迭代訓練。模型訓練時設置訓練批次Epoch 為300，在全連接層之后使用Drouput，概率值為0.3。訓練初始網絡各層權重參數初始化使用Kaiming 的權重初始化方法，批量訓練的batch_size 大小為256，使用批量歸一化防止梯度爆炸。通過在訓練過程中不斷調節各個超參數的值，最后經過約200 個批次的迭代訓練，模型的Loss 損失值逐漸下降并趨近于平滑曲線，說明這次模型訓練取得了收斂。

圖11 展示了訓練過程中驗證集損失值和準確值隨著訓練批次Epoch 增加的變化曲線。圖形曲線反映了模型在Fer2013 數據集的驗證集上識別準確率達到72.86%，并可以看出在網絡訓練前面200個epoch 內的準確率波動較大，后面逐漸趨向于訓練穩定的狀態。圖12 為訓練集的損失值變化曲線，隨著訓練批次的增加逐漸趨于平滑曲線。在測試集上分類的混淆矩陣如圖13 所示，縱坐標為真實標簽，橫坐標為預測標簽，總體識別準確率達到73.7%。其在識別開心表情的準確率為89%，而在識別恐懼表情的準確率僅為57%，這是受到測試集數據樣本數量不均衡及質量不佳的影響，以及表情本身的相似性，影響了模型的預測。

圖11 改進模型在驗證集上的損失值和準確率曲線Fig.11 Loss value and accuracy curve of the improved model on the validation set

圖12 改進模型訓練損失值曲線Fig.12 Improved model training loss value curve

圖13 改進模型在fer2013 測試集上的分類混淆矩陣Fig.13 Classification confusion matrix of the improved model on the fer2013 test set

在網絡訓練時，當發現驗證集的損失值在連續10 輪的訓練中，仍然沒有下降，則提前終止訓練，避免網絡過擬合。選擇使用余弦退火學習率衰減策略（CosineAnnealingLR），該策略能讓學習率隨訓練epoch 的變化圖像類似于余弦函數圖像，在使用時可以提前指定某一個性能評價指標（如驗證集準確率），當訓練過程中該指標不再增大（或減小），則適當的降低學習率。

為了評估改進模型的效果，將本文模型與并行卷積神經網 絡、ResNet18、ResNet34、VGG19、DenseNet、SENet18 等網絡模型在Fer2013 數據集上進行對比，對比結果見表2。

表2 FER-2013 私有測試集的準確率對比Tab.2 Accuracy comparison of the FER-2013 private test set

由此可見，在網絡中加入混合注意力機制和CABasicBlock 模塊，可以使網絡更加關注有助判別的顯性表情特征，提高了表情識別的準確率，驗證了本文設計模型在人臉表情識別上的有效性。

4.5 人臉表情實時識別

為了驗證本文算法在真實場景中的有效性，通過使用OpenCv 來調取本地計算機的攝像頭。對攝像頭捕捉的畫面進行人臉檢測獲得臉框坐標，并依據坐標對其畫面進行裁剪獲得人臉圖像，然后對圖像進行灰度化操作，使視頻幀圖像由三通道的彩色圖像轉化為灰度圖像，便于后續送入訓練好的模型網絡中進行預測輸出，實時獲取表情識別結果。使用Python 當中的PyQt5［18］模塊，搭建了基于混合注意力和殘差網絡的高效人臉表情識別系統，該系統通過調用訓練好的模型對用戶輸入的圖片或者視頻進行表情識別。人臉表情識別系統界面整體有打開攝像頭、選擇人臉圖片、拍照識別、關閉攝像頭等4個按鈕，分別對應4 種不同的功能。打開攝像頭其調用的是連接電腦的攝像頭或者筆記本自帶的攝像頭，以實現人臉表情實時拍攝識別；選擇人臉圖片功能就是上傳本地電腦上的圖片進行檢測，從而得出圖片中人臉的表情；拍照識別是打開攝像頭用戶點擊拍照，把此時的圖像作為輸入進行表情識別分類。

表情識別效果如圖14、圖15 所示。其中，綠色框標為人臉區域，其上邊的英文單詞就是模型預測的表情結果類別標簽；由SoftMax 公式分別計算出各個表情類別的概率［19］，并返回概率最高的分類，把其作為輸出預測標簽值放到界面上進行顯示。

圖14 正常、生氣、厭惡、開心表情示例Fig.14 Examples of normal，angry，disgusted and happy expressions

圖15 傷心、驚訝、害怕表情示例Fig.15 Examples of sad，surprised and scared expressions

5 結束語

本文提出了一種優化殘差網絡和混合注意力機制的人臉表情識別模型，并通過使用該網絡模型搭建了實時人臉表情識別系統。從以上對比實驗可以看出，本文所提方法在Fer2013 數據集上的識別準確率有所提高。由此可見，本文所提方法在人臉表情重點區域的特征提取有一定的提升效果，使得網絡的分類性能得到了改善。