多尺度坐標注意力金字塔卷積的面部表情識別

倪錦園，張建勛

重慶理工大學 計算機科學與工程學院，重慶400054

在人們日常交流的過程中，人臉面部表情是傳達情感和信息的一種常用方式。近年來，隨著人工智能技術的持續發展，計算機視覺在識別領域取得了突破性的成果，對面部表情識別的研究也逐漸深入，人臉面部表情識別在智能駕駛、醫療服務、智慧課堂和犯罪測謊領域中都有著廣闊的應用前景[1-3]。

早期的人臉表情識別研究通過一系列圖像關鍵幀跟蹤關鍵點的方法識別面部表情，但是效率低下，參數量過多，導致識別的準確度較低[4]。近年來，深度學習在圖像識別上取得了突破性的發展，Wang等人[5]提出了一種改進的MobileNet 網絡模型，通過改進的深度可分離卷積減少網絡的計算量的同時選擇SVM進行面部表情分類，大幅度輕量化了模型。Lan 等人[6]基于ResNet18殘差網絡提出了聯合正則化策略，通過將多重正則化方法放入網絡中，減緩了模型過擬合的現象，提高了模型整體性能。Tang 等人[7]設計了一種多區域融合的輕量化人臉表情識別方法，融合了局部細節特征和整體特征，增強了模型對面部表情細節特征提取能力，并通過剪枝算法對模型進行輕量化處理，減少了模型的參數量和復雜程度。Zhou 等人[8]設計了一種輕量級的卷積神經網絡，采用多任務級聯卷積網絡完成人臉檢測，并且結合殘差模塊和深度可分離卷積模塊減少了大量網絡參數，使模型更具可移植性。Shen等人[9]通過改進的倒置殘差網絡搭建了輕量化的卷積神經網絡模型，通過采用全局平均池化等方法篩選出了人臉表情的淺層特征，并將淺層特征和深層特征融合進行表情識別。Shi等人[10]提出了一種基于多分支交叉連接卷積神經網絡的人臉表情識別方法，該方法是基于殘差連接、網絡中網絡和樹結構共同構建的，它還為卷積輸出層的求和增加了快捷的交叉連接，使得網絡間的數據流更加平滑，提高了每個感受域的特征提取能力。Gao等人[11]基于RenNet50殘差結構提出了一種多尺度融合的注意力機制網絡，通過7 個三條支路的注意力殘差學習單元對面部表情圖像做并行卷積處理，引入注意力機制加強網絡對圖像的特征提取，利用注意力模塊之間的過渡層減少網絡參數的計算量。

雖然上述很多網絡都能夠在一定程度上輕量化模型和提取表情特征，但是在部分有遮擋的數據集下模型對面部表情特征表示能力不足，導致識別準確率較低。隨著深度學習網絡的層數的疊加也會造成模型的冗余，導致參數量較大，識別速度較慢。針對以上問題，本文提出了一種多尺度融合注意力金字塔卷積網絡，主要工作概括如下：

（1）為了提取多尺度的特征信息，改進了金字塔卷積結構，擴大了模型的感受野，在減少網絡計算的參數量的同時加快了模型的運算速度。

（2）為了進一步提取面部表情的深層特征，提出了SECA坐標注意力機制模塊，將從通道和空間兩個維度上重新對人臉表情的特征進行表示。

（3）為了解決卷積層數過多造成模型冗余的問題，提出了深度可分離混洗方法，節省了網絡的計算量，增加了模型的非線性表達能力。

（4）通過與不同的網絡模型進行對比，可以驗證本文提出的模型保持較低參數量的同時擁有更高的精確度。

1 相關工作

1.1 金字塔卷積

金字塔卷積（pyramidal convolution，PyConv）[12]可以在多個不同的濾波器尺度對輸入的數據進行處理，PyConv 包含了一個核金字塔，為了提取不同尺度的特征信息，每一層包含了不同尺度的濾波器，相比于普通卷積來說，PyConv 不會增加額外的參數量，PyConv 通過多個濾波器捕捉了不同環境下、不同場景的信息，從而提高了模型的性能。Qiao 等人[13]基于金字塔卷積提出了金字塔沙漏網絡，豐富了模型對特征提取的感受野，增大了模型對特征的表示能力，進一步提高了預測的準確率。Kang 等人[14]提出了一種融合注意力的多路金字塔聚類算法，通過自注意力機制獲取整體特征，然后通過多路金字塔卷積從不同維度挖掘文本特征。金字塔卷積模型如圖1所示。

圖1 金字塔卷積模型Fig.1 Pyramid convolution model

1.2 Coordinate Attention

Coordinate Attention（CA）是一種結合了通道注意力[15-17]和空間注意力[18]的輕量級模塊，在帶來小幅計算量和參數量的情況下，可以大幅提升模型性能。CA 將通道注意力分解為兩個一維特征編碼過程，分別沿兩個空間方向聚合特征。這樣操作可以向一個空間方向獲取遠程依賴關系，同時保持另一空間方向的位置信息，然后將生成的特征圖分別編碼為一對方向感知和位置敏感的注意力圖，可以加強對對象特征的表示能力，因此CA模塊操作能夠區分空間方向（即坐標），并且生成坐標感知的特征圖。

1.3 深度可分離卷積

深度可分離卷積是輕量級網絡MobileNet的核心結構[19]，由逐通道卷積（DepthWise，DW）和逐點（PointWise，PW）卷積兩個部分結合起來，其具體結構如圖2 所示。相比于常規卷積操作過程，深度可分離卷積所包含的參數數量和運算成本較低。逐通道卷積的卷積核數量與上一層的通道數相同，一個卷積核負責一個通道，此過程產生的特征圖的通道數與輸入通道數一致，無法擴展特征圖的維度，并且對每個通道獨立進行卷積運算無法有效利用不同通道在相同空間位置上的特征信息，因此需要逐點卷積將這些特征圖進行組合，從而生成新的特征圖[20]。逐點卷積主要使用1×1的卷積將上一步得到的特征圖在深度方向進行加權組合。

圖2 深度可分離卷積Fig.2 Depthwise separable convolution

假設輸入特征圖大小為Wi×Hi×C,Wi、Hi、C分別代表輸入特征圖的寬、高和通道數，標準卷積大小為Wc×Hc×C×H,分別代表常規卷積的寬、高、通道數和卷積核的個數，經過常規卷積操作后，輸出特征圖大小為Wo×Ho×N,則常規卷積的計算量為：

觀察組急性闌尾炎合并糖尿病患者空腹血糖（5.31±1.24）mmol/L、糖化血紅蛋白（6.69±1.31）%均低于對照組，差異有統計學意義（P＜0.05）。見表4。

深度可分離卷積首先使用卷積大小為Wc×Hc×C×1 的卷積進行逐通道卷積，然后使用1×1×C×N的卷積進行逐點卷積，則深度可分離卷積的計算量為：

兩者之比為：

2 方法

2.1 整體架構

由于全連接神經網絡層數過少會導致模型對人臉表情的特征表示不足，過多則會增加網絡的計算量，造成網絡冗余的問題。本文結合以上問題，設計了一種多尺度坐標注意力金字塔卷積的面部表情識別網絡。在圖像預處理階段，通過對比度加強、翻轉、旋轉等方法對面部表情圖像進行增強處理，提高了模型的魯棒性，同時豐富了整個數據集。然后將預處理后的面部表情圖像傳入網絡，通過改進的金字塔卷積結構捕捉面部表情中不同級別的細節，中間嵌入了SECA坐標注意力機制模塊提取面部表情的深層特征，通過深度可分離混洗模塊減少模型的參數量，加快網絡的運算速度，增加了模型的非線性表達能力。最后進入Softmax層分類輸出結果。模型的整體架構如圖3所示。

圖3 整體架構Fig.3 Overall architecture

該網絡輸入的目標圖像大小為48×48，通道數為3，每個卷積層后面會有一個BN 層和ReLU 激活函數層，BN 層加快了網絡訓練和收斂的速度，一定程度上防止了梯度的消失。為了提高網絡的特征表示能力，在每個金字塔卷積模塊和深度可分離混洗模塊后面都設有一個SECA坐標注意力機制，然后通過Global-Ave-Pooling層降低過擬合的風險，并減少了計算的參數，最后通過Softmax 層對圖片進行分類處理。類別一共包含了生氣、厭惡、害怕、開心、傷心、驚訝、中性7類。

2.2 輕量化的金字塔卷積模塊

PyConv包含了一個不同類型卷積核的金字塔[21-22]，每一層級都是大小和深度不同的卷積核，從而可以捕捉面部表情中不同級別的細節，表示更多的特征，每一層通過分組卷積處理，減少PyConv 的參數量。由于普通卷積的卷積核大小固定，在面對復雜場景的時候，難以捕獲多種特征，普通卷積如圖4（a）所示。雖然PyConv可以提取多維度的特征，但是模型較為復雜，參數量較大，容易出現過擬合的現象。本文提出了一個輕量化的金字塔卷積模塊，通過減少模型的參數量來提高網絡的訓練效率，有利于部署在算力較低的設備上。為了減少卷積參數量，本文把3×3 的小卷積核全部改為組數為4的分組卷積，則3×3小卷積核的參數量變為了原來的1/4，減緩了網絡的冗余，提高了模型的運算速度。普通卷積和分組卷積的對比如圖5所示，PyConv結構設置為3層，避免出現比7×7 更大的卷積核。輕量化的金字塔卷積如圖4（b）所示。

圖4 輕量化的金字塔卷積模塊Fig.4 Lightweight pyramid convolution module

圖5 普通卷積和分組卷積對比圖Fig.5 Comparison of normal convolution and grouped convolution

2.3 改進的坐標注意力機制

為了進一步提取面部表情的深層特征[23-24]，提高模型識別的精度，本文對坐標注意力機制模塊（CA）[25]進行了改進，提出了SECA坐標注意力模塊。主要通過精確的位置信息對通道關系和長期依賴性進行編碼，形成一個對方向和位置敏感的特征圖來增強對面部表情的特征表示，一共包含坐標信息嵌入和坐標注意力生成兩個步驟。改進的坐標注意力機制如圖6所示。

全局池化方法常用于通道注意力編碼空間信息的全局編碼，但在壓縮過程中，難以保存具體位置信息，為了促使注意力模塊可以捕捉更精確位置信息的遠程空間交互，將全局平均池化轉化為一對一特征編碼操作。對輸入的X，使用尺寸為(1,W)和(H,1)的池化卷積核分別沿著垂直坐標和水平坐標對每個通道進行編碼，因此高度為h的第C個通道的輸出可以表示為：

寬度為w的第c通道的輸出可以表示為：

上述兩種變換分別沿著兩個空間方向聚合面部表情特征，這兩種變換允許注意力機制模塊捕捉到空間方向上的長期依賴關系，而且沿著另外一個空間方向保存更精確的位置信息。

2.3.2 坐標注意力生成

為了進一步捕獲面部表情特征并編碼精確的位置信息，通過坐標信息嵌入中的變換后進行拼接操作，接著使用1×1的卷積變換函數F1進行操作，示例如下：

其中，δ為非線性激活函數，[·,·]為沿空間維度的拼接操作，F1為對空間信息在水平方向和垂直方向上的中間特征映射。然后沿著空間維度將f分解為兩個獨立的張量f h∈RC/r×W和f w∈RC/r×W,其中r表示下采樣的比例值。然后采用一組SeNet注意力模塊SeFh和SeFw將f h和f w變化為同輸入X具有相同通道數的張量，示例如下：

其中，σ表示sigmoid 激活函數，為了降低模型的參數量，加快運算速度，通常采用下采樣比r來降低f的通道數，最后改進的坐標注意力機制輸出實例如下：

2.4 深度可分離混洗方法

本文采用通道混洗方法（Channel Shuffle）改進深度可分離卷積[26]，具體結構如圖7 所示。深度可分離卷積首先采用逐通道卷積對輸入特征圖進行處理，不同通道采用不同卷積操作后使用Concat方法進行通道拼接，因此最終輸出的特征僅由一部分輸入通道的特征得出，不同通道間無法進行信息交流，進而導致所提取的特征表征能力有限[27]。雖然深度可分離卷積采用逐點卷積進一步提高特征的維度，在一定程度上能夠加強空間特征信息的交流，但是維度的增加會導致網絡參數量增加。Channel Shuffle方法與逐點卷積的功能相同，但是因其維度并未改變，所以整個網絡的參數量不會增加。同時特征的表征能力有所加強，能夠提高整個網絡的人臉識別精度。

圖7 深度可分離混洗Fig.7 Depthwise separable shuffle

3 實驗與分析

3.1 實驗數據集

本文實驗驗證的數據集是FER2013數據集、CK+數據集和JAFFE 數據集。FER2013 人臉面部表情數據集由35 886張人臉面部表情組成，通過翻轉、裁剪、平移等方法將數據集擴充到50 000 張，其中訓練集占70%，測試集占30%，一共包含了7種不同的表情，每張圖片都由大小為48×48的圖像組成。CK+數據集是在Cohn-Kanda數據集的基礎上擴展而來，其中包含123 個對象的327個被標記的表情圖片序列，共分為正常、生氣、蔑視、厭惡、恐懼、開心和傷心7種表情。對于每一個圖片序列，只有最后一幀被提供了表情標簽，因此共有327個圖像被標記。為了增加數據，把每個視頻序列的最后3幀圖像作為訓練樣本，這樣CK+數據總共被標記的有981張圖片，然后通過翻轉、對比度增強、平移的方式將數據集擴充到2 000張圖片，其中訓練集1 400張，測試集600張。JAFFE 數據集選取了10 名日本女學生，每個人做出7種不同的表情，一共有213張照片，通過旋轉、裁剪、縮放等操作將數據集擴充到1 208張照片。

3.2 實驗環境

該文實驗配置如下：Windows10 系統，CPU 為主頻2.9 GHz的Intel Core i7-10700F，內存為16 GB，GPU為NVIDIA GeForce RTX 3070（8 GB）。該實驗基于TensorFlow 深度學習框架進行訓練，在Pycharm 上進行測試。實驗超參數設置如表1所示。

表1 實驗超參數設置Table 1 Experimental hyperparameter setting

3.3 消融實驗

為了驗證本文提出來的MCAPyResnet各模塊的有效性，將對每個模塊進行消融實驗。其中PyConv代表改進的金字塔卷積結構，SECA代表優化后的坐標注意力機制，DS代表深度可分離混洗結構，實驗結果如表2所示。

表2 MCAPyResnet消融實驗Table 2 MCAPyResnet ablation experiment

首先將面部表情圖像通過數據增強的方式傳到網絡中。然后進入改進的金字塔卷積結構中，金字塔卷積豐富了模型對面部表情特征提取的感受野，增大了模型對特征的表示能力，同時減少了網絡的參數量。接著通過SECA 坐標注意力機制進一步提取面部表情的深層特征，增加網絡識別的精度。為了解決卷積層數過多造成模型冗余的問題，提出了深度可分離混洗方法，在一定程度上輕量化了網絡，加快了模型的計算速度。PyResnet網絡消融實驗如表2所示。

3.4 對照實驗

對照實驗如圖8所示。從FER2013數據集對照實驗可以看出MCAPyResnet 的收斂速度最快，當訓練到200 epoch 時，模型識別準確率增長緩慢，在訓練到250 epoch的時候，準確率逐漸趨于平穩，最高準確率達到72.89%。從CK+數據集的對照實驗可以看出在訓練初期模型的識別準確率增長迅猛，在第60 epoch 到120 epoch 時，模型識別的準確率上下震蕩，當訓練到130 epoch時，準確率趨于平穩，最高準確率可達98.55%。從JAFFE數據集的消融實驗可以看出模型在訓練初期，準確率同樣增長較快，當訓練到100 epoch時，準確率趨于平穩，最高準確率可達94.37%。

從實驗數據中可以發現該模型通過金字塔卷積擴大了模型的感受野，一定程度上提取了面部表情多尺度特征，再加入SECA 坐標注意力機制后，準確率得到了進一步的提升，但網絡運算速度有略微的損失，DS能夠有效降低網絡參數量，提升模型的準確度。本文提出的模型相比于原模型來說，在FER2013、CK+和JAFFE 三個數據集上，準確率分別提高了4.17 個百分點，3.34 個百分點和3.32 個百分點，參數量相比于原網絡降低了20.54%，可以證明本文提出的模型具有更好的準確性，同時擁有更快的運算速度。

為了進一步驗證本文提出的模型的有效性和健壯性，混淆矩陣實驗如圖9所示。

從FER2013數據集上的混淆矩陣可以看出生氣、害怕、厭惡和傷心這四類的識別準確率較低，因為這四類面部表情的活動不太明顯，特征點難以提取。在CK+數據集上各個類別的識別表現都比較好，精確度都比較高。在JAFFE 數據集上，生氣、厭惡和傷心這三類的識別精確度較低，可能是被錯誤識別的樣本表情都屬于較消極類情緒，相似度較高，難以提取面部深層特征，因此識別難度較大。

3.5 與其他方法對比

為了驗證本文提出的MCAPyResnet 算法針對人臉面部表情識別的有效性，主要與AlexNet、VGG19、ResNet18、Pyconv50 和ResNet50 五種主流算法進行對比實驗。除此之外，將本文提出的方法與最近幾年比較先進的面部表情識別方法進行對比。現有的較先進方法有：Zhang 等人[28]通過使用多尺度注意力來提取人臉表情的特征信息；在網絡中引入Inception 結構，使用ECA注意力強調與面部表情相關區域的模型Minaee[29]；Han 等人[30]基于融合注意力模塊和輕量化神經網絡ShuffleNet V2 的表情識別模型，提出了兩種注意力機制融合的卷積神經網絡；通過在AlexNet 網絡中引入多尺度卷積表示出不同尺度的特征信息，并在把多個低層次特征信息向下傳遞的同時與高層次特征信息進行跨連接特征融合模型Em-AlexNet[31]；在StarGAN基礎上提出了一種修改重構誤差實現面部表情轉換的方法[32]；通過加入了區域注意力網絡關注面部表情局部特征，排除了無用特征的干擾，提出了一種聯合歸一化方法，增強特征信息交流的同時優化了數據的歸一化方法FFCN[33]；Ju[34]設計了一種基于深度可分離卷積結構的改進卷積神經網絡模型；將殘差塊賦予空間掩膜信息的模型MIANet[35]；使用雙通道加權混合的深度卷積模型WMDCNN[36]等。具體結果如表3所示。

表3 與其他方法對比實驗Table 3 Comparative experiment with other methods

由表3 可知，本文提出的MCAPyResnet 算法在FER2013數據集、CK+數據集和JAFFE數據集上都取得了更好的識別效果。在FER2013 數據集上相對于經典的卷積神經網絡ResNet50 模型識別效果提升了1.63 個百分點，ResNet50 模型雖然已經達到了人類的識別水平，但是對面部表情特征提取能力仍不足，相比較文獻[30]，識別效果提升了2.15 個百分點。文獻[30]通過將兩種注意力機制融合形成的特征提取模塊能夠加強對面部表情的識別能力，但效果仍不夠理想。文獻[35]將殘差塊賦予了空間信息，其結構適合FER2013 數據集，但在其他數據集上的表現不夠好。相比較于文獻[28-29，33-34]，本文提出的模型識別效果分別提升了4.09個百分點、2.69 個百分點、1.07 個百分點和0.63 個百分點。上述文獻都缺少對不同尺度大小的面部表情特征進行分析，相比之下，本文不僅提取不同尺寸的面部特征，還提出了新的注意力機制更深層次表示面部表情的特征信息。從CK+數據集上的實驗結果來看，主流網絡中PyConv50 模型的識別精度最高，而本文提出的模型相較于PyConv50 識別精度提高了5.94 個百分點，相比較于文獻[31]，本文模型效果提升了4.30個百分點。文獻[31]采用了低層次特征信息在向下傳遞的同時與高層次特征信息進行跨連接特征融合，導致了對分類過程中有影響的特征比較少，因此識別結果偏低，相比較文獻[36]，識別效果提升了0.05 個百分點。文獻[36]在CK+數據集上的表現較好，但是在其他數據集上的準確率有待提升。相比于其他文獻或主流網絡，本文提出的模型都取得了更好的實驗效果，在JAFFE數據集上的識別精度高達94.37%，相比于主流算法ResNet50 提升了1.29 個百分點，相比較于文獻[31]提升了1.35 個百分點。文獻[31]引入了多尺度卷積表示面部表情的不同尺度特征，但是對面部表情無關信息抑制不夠明顯，相比較于文獻[28-29，36]，本文的識別效果分別提升了10.53 個百分點、1.57個百分點和2.07個百分點。上述文獻都缺少了關注面部表情的重要信息，沒有抑制無關信息對模型的干擾，相比之下，本文提出的模型具有更高的準確性和魯棒性。通過以上實驗可以證明本文提出的MCAPyResnet算法在人臉面部表情識別上的精度最高，算法性能最好，并且具有較強的泛化能力。

在模型參數量方面，本文提出的網絡模型參數量為1.958×107，相較于ResNet18網絡，參數量增加了7.89×106，雖然參數量有所上升，但是識別效果卻大幅提升，相比于其他主流網絡，模型保持高精度的情況下同時擁有較少的參數量，驗證了模型的先進性和優異性，同時進一步驗證了本文提出的改進方法對于模型輕量化的有效性。

4 結束語

本文提出了一種多尺度坐標注意力金字塔卷積的面部表情識別網絡，有效地抑制了無關特征信息對模型的影響，同時減緩了神經網絡層數過多造成梯度消失的情況，減少了網絡計算的參數量，提高了模型的運算速度。優化的金字塔卷積擴大了模型的感受野，通過多個濾波器捕捉了不同環境下、不同場景的信息，從而提高了模型的性能。改進的SECA 坐標注意力機制模塊更多關注特征信息，加快模型的收斂速度，提高模型的性能。深度可分離混洗方法減少了網絡計算的參數量，同時加快了網絡的運算速度。本文提出的模型MCAPyResnet 在FER2013 數據集上的準確率為72.89%，在CK+數據集上的準確率為98.55%，在JAFFE 數據集上的準確率為94.37%，同時擁有較低的參數量。實驗結果優于目前諸多主流算法，展現了較好的有效性和魯棒性。但在面部表情有遮擋的情況下識別精度仍不夠高，在未來要多關注這類數據集的識別性能。