基于角度距離損失與小尺度核網絡的表情識別*

蘇志明，王 烈

(廣西大學 計算機與電子信息學院，南寧 530004)

0 引 言

人臉表情識別具有極大應用價值,是當前研究的熱點之一。目前基于卷積神經網絡(Convolution Neural Network，CNN)的靜態圖像人臉表情識別算法主要是對神經網絡的關鍵三要素即數據、特征和損失函數進行改進，從而提升網絡的分類性能。

(1)數據。主要包括對人臉表情靜態圖像的預處理和數據增強。數據增強主要通過剪切、仿射變換和增加對比度等方式增加訓練樣本數量，提升模型魯棒性。

(2)特征提取。主要是通過改進CNN的網絡結構來提升模型性能。楊等[1]改進了AlexNet，引入多尺度卷積提取多尺度特征和利用全局平均池化將低層特征降維跨連到全連接層分類，在CK+人臉表情數據集的準確率達到了94.25%。馮楊[2]提出了3×3小尺度核卷積神經網絡，該網絡結構簡單有效。Liu等[3]將課程學習策略應用到卷積神經網絡訓練階段，在FER2013數據集上達到了72.11%的識別準確率。

(3)損失函數。損失函數用來監督CNN的自我更新學習，決定了網絡學習的方向。傳統的卷積神經網絡使用Softmax損失函數來優化類間特征的差異，但忽略了類內特征存在的差異性。為解決這個問題，許多新的損失函數被提出。Wen等[4]提出了Center損失函數，縮小了類內差距，有效聚集了類內簇。然而，Center損失函數沒有關注類間差異。Cai等[5]對其改進，提出了Island損失函數，通過增加約束特征與相應類的距離范圍，從而增大類間距離、縮小類內差異，提高了表情識別精度。

本文著重改善CNN特征提取和損失函數并使用數據增強來提高人臉表情識別準確率。

1 卷積神經網絡

1.1 神經網絡結構

本文的CNN結構由多層3×3小尺度核卷積層構成，如圖1所示。圖中R×R×C表示每層輸出的C個分辨率大小為R×R的特征圖。每個3×3卷積層均有BN(Batchsize Normalization)和Mish損失函數。第一個全連接層使用損失函數LIsland輔助監督類內特征聚集、類外特征隔離，加強了網絡的特征提取能力。最后一層使用LArc-softmax和Llog_softmax分類損失函數對網絡提取的高維特征預測出當前輸入所屬的真實類別。

圖1 卷積神經網絡結構

在網絡中分辨率為11×11及以上的特征圖(除第一個卷積層外)的每個卷積層前添加1×1空間金字塔注意力模塊[6](Spatial Pyramid Attention Module，SPAM)(具體結構見圖1中間虛線框，由1×1卷積和SPAM構成的殘差塊)，目的是加深網絡和突出表情圖像的顯著區域，達到提升分類性能的目的。

在分類網絡中，通常SE-Net(Squeeze-and-Excitation Networks)中的SE模塊注重分配通道不同的權重來凸顯圖像的顯著區域，但全局池化通常應用在7×7分辨率及以下的特征圖，在較高分辨率應用全局池化會丟失過多細節信息。因此，在模型中引入空間金字塔注意力模塊來凸顯人臉表情圖像的關鍵區域。SPAM由1×1卷積、空間金字塔結構和多層感知組成，見圖1最下方的虛線框；1×1卷積是為了匹配通道數和集成通道信息。空間金字塔結構包括3個尺寸分別為1、2、4的自適應平均池化，將結構正則化和結構信息整合到一條注意路徑中。多層感知從空間金字塔結構的輸出中學習出一幅注意力圖。

1.2 低層特征掩膜化

傳統高低層特征融合直接將池化層的特征通過全局池化后輸入到全連接層分類。低層特征有著豐富的細節信息，但噪聲多且缺乏高級語義信息，而高層特征缺失細節信息，因此本文提出一種低層特征掩膜化方法，結構見圖2。

圖2 低層特征掩膜化結構

該方法先將高層特征圖x1雙線性插值上采樣，然后通過1×1卷積逐層融合多層不同分辨率的次高維特征x2、x3、x4，再通過Softmax對通道取最大值得到掩碼，最后將掩碼和低層池化層的特征元素相乘得到輸出，具體的計算表達式為

xfuse=Wfuse×concat(x3,Ups(x4))。

(1)

式中：Wfuse表示使用1×1卷積加性融合特征圖的權重，Ups表示雙線性插值上采樣。xfuse表示最終融合的多層特征，然后將其通過Softmax得到通道權重，再與低層特征(Maxpool的輸出)元素相乘得到掩膜結果xmask，如式(2)所示：

xmask=Mp?Softmax(xfuse)。

(2)

最后將低層特征掩膜化后的輸出通過全局池化連接到全連接層分類。由于掩膜化的過程只有1×1卷積降維，并沒有引入太多參數。每個1×1卷積后加入BN層平衡特征，1×1卷積還有一個作用就是將高層級的特征維度降維為次高級的特征維度。

1.3 網絡參數配置

模型參數量越大，復雜度越高，模型參數計算公式為

K2×Ci×Co。

(3)

式中：K為卷積核大小，Ci為輸入通道數，Co輸出通道數。本文模型參數配置如表1所示，提出的模型參數量比VGG16少，復雜度更低。

表1 模型網絡參數配置

1.4 Dropblock

為了避免模型過擬合，引入一種適用于卷積層的正則化方法即Dropblock[7]。該方法通過丟失掉相鄰的連續整片區域(類似于3×3等卷積核所占區域大小)來提高網絡模型的泛化能力。γ是一個表示丟失過程中的概率的超參數，服從伯努利分布，表達式為

(4)

式中：keep_prob為保持不丟失的概率，f_size為特征圖大小，block_size為控制丟失區域大小的超參數，(f_size-block_size+1)確保丟失范圍在邊緣以內。伯努利函數表達式為

(5)

1.5 損失函數

1.5.1 Softmax損失函數

目前許多研究者致力于設計更精細的網絡骨干結構換取性能提升，但是如果屬于有監督范疇，損失函數是一個提升識別精度的值得深入研究的關鍵工作。傳統的Softmax分類損失函數定義如下：

(6)

1.5.2 Island損失函數

為了縮小類內特征差異，Wen等[4]改進了Softmax并提出Center Loss，計算公式為

(7)

式中：cyi為第yi個類別的特征中心，xi表示全連接層之前的特征，m表示mini-batch的大小。公式(7)表示一個批次中的每個樣本的特征離每個類別的聚類中心的距離的平方和越小，類內距離越小，也就是每個類的特征聚集度越高。Cai等[5]對Center Loss優化改進，提出了Island Loss，表示式為

(8)

式中：N為人臉表情總類別數量，本文N=7；ck和cj分別表示具有L2范數的‖ck‖2和‖cj‖2的第k個和第j個表情類別中心；+1使得約束范圍為0～2，越接近0表示類別差異越大，從而優化損失函數使得類間距離變大；而Lc縮小類內距離，式(8)通過系數λ1來平衡類內和類間差異，本文λ1取10。神經網絡最終的損失函數為

L=L1+βLIL。

(9)

式中：β為平衡兩項損失函數的超參數。

1.5.3 基于角度距離的損失函數

Island Loss加大了人臉表情特征的約束，但仍將最后一個全連接層輸入到Softmax損失函數對人臉表情的類別做出預測。通過對傳統損失函數的分析可知，Island Loss的分類性能上限在一定程度上受Softmax影響。因此，可在Island Loss的基礎上，通過基于角度距離損失函數改進Softmax損失函數，其核心思想就是用人臉識別中的Arc-softmax[8]輔助其他損失函數提高表情識別精度。Arc-softmax的計算公式為

LArc-softmax=

(10)

式中：s是縮放因子，cos(θyi+m)是角度距離，m決定了距離的大小。二分類情況下，Island和Arc-softmax的決策邊界如圖3所示，藍色虛線表示分類決策邊界。Softmax通過角度分類，Arc-softmax直接在角度空間通過決策余量m控制著分類決策邊界的距離，從而加大類間距離，利于分類決策。

圖3 二分類下 Island和Arc-softmax的分類決策邊界

本文最終的基于角度距離的損失函數為

LA=LArc-softmax+λLIL+Llog_softmax。

(11)

式中：λ取0.01；Llog_softmax為對Softmax取對數，作為輔助分類損失函數，搭配NLLLoss(reduction=“sum”)使用。LA收斂速度快，分類效果好。

2 實驗

CK+實驗在 Pytorch框架上實現，處理器為英特爾酷睿i7-9750H CPU@2.60 GHz，顯卡為NVIDIA GTX1650。采用AdaBound優化器，批處理大小為128，初始學習率為0.001，200個epoch后每個epoch學習率乘以衰減因子0.8。IslandLoss的學習率固定為0.5。Dropblock的keep_prob為0.9，block_size為3。為了不過多遮擋面部表情，Dropblock只在特征圖分辨率為11及以上的卷積層使用，決策余量m=0.2，縮放因子s=20。FER2013實驗在GTX2080Ti上進行,batch_size=128,初始學習效率為0.01，150個epoch后每8個epoch衰減0.9倍。先將原圖片按照人臉區域預處理為48×48大小，訓練時再隨機剪切為44×44大小，測試時采用TenCrop(將圖像沿左上角、右上角、左下角、右下角、中心剪切并水平翻轉)，取識別率均值作為最終的表情分類準確率。

2.1 數據集

CK+數據集[9]共 有593 個圖像序列，其中帶標簽的表情序列有 327 個，從每個序列中提取最后3個幀，共 981 張。CK+數據集采用十折交叉訓練，將數據集分為10份，每次9份訓練，留1份測試。

FER2013[10]數據集共有35 888張人臉表情圖像，其中訓練樣本28 709張，公開測試樣本和私有測試樣本各3 589張。采用私有測試樣本測試，兩個數據集人臉表情示意圖如圖4所示。

圖4 不同數據集人臉表情示意圖

2.2 實驗結果

為了驗證提出方法的有效性，將提出的不同方法加入網絡，實驗結果如表2所示。

表2 不同方法在CK+的實驗對比

使用Softmax分類，準確率為93.737%，而Island損失函數比Softmax損失函數高1.92%；使用Angular Distance Loss(ADL)分類，比Softmx高3.03%，比Island損失函數高1.11%。這說明提出的基于角度距離的損失函數對人臉表情特征有著更好的縮小類內相似性、增大類間距離的作用，具有更強的特征區分能力。Dropblock正則化的使用提高了網絡的魯棒性，表情識別準確率達到97.374%，較沒加入之前整整提高了0.61%。表2中的前4種方法均在網絡中加入了1×1空間金字塔注意力機制，最后1種方法是在Angular distance Loss的基礎上去掉1×1空間金字塔注意力機制來進一步驗證其有效性。實驗表明，通過加入1×1空間金字塔注意力機制，網絡模型分類精度提升了1.41%。

為了研究倒數第二層全連接層的不同特征輸出維度對表情識別的影響，對其不同取值進行了多次實驗(沒有加入Dropblock)，結果如表3所示。

表3 倒數第二層全連接層不同輸出維度的表情識別準確率

當特征維度取3時，準確率最高。特征維度過高，角度距離損失函數不能有效聚類人臉表情特征，并且輸出維度越高，類間距離區分度越小，從而影響網絡的分類性能。

為了驗證低層特征掩膜化的有效性，將特征圖大小為3×3、6×6、11×11、22×22的最后一個卷積層的輸出分別記為x1、x2、x3、x4，實驗默認每個層級(除了全局平均池化GAP)都融合有x4的特征，GAP表示直接將池化層特征跨連到全連接層分類。最后在CK+數據集上將幾個不同層級高層特征掩膜到低層的對比實驗，實驗結果如表4所示。當把x3的高層特征掩膜到低層特征時，冗余特征最少，準確率最高。

表4 融合不同層級特征的對比實驗

為了進一步驗證本文方法的有效性，在同樣的 FER2013數據集和 CK+數據集上，將本文方法與當前其他表情識別方法相比較，結果如表 5 所示。

表5 不同算法的表情識別率對比

由表5中結果可知，本文方法無論是在CK+數據集上還是FER2013數據集上均取得了更高的人臉表情識別精度。文獻[1-2]使用傳統的Softmax損失函數分類，沒有提取到具有強區分度的特征，分類效果不明顯。文獻[3]將課程學習策略應用到卷積神經網絡訓練階段，取得了較高識別率。文獻[11]通過控制余弦值和輸入特征圖的大小來來改善 Softmax 函數，增強了特征區分度，提高了人臉表情識別率，但仍存在特征提取不充分的問題。文獻[12]對輸入圖像分割出包含人臉表情的人臉關鍵區域以提高CNN識別率。本文算法識別率在CK+數據集上低于文獻[3]，但在FER2013數據集上高于文獻[3]，這表明本文方法更適合于數據規模大的復雜環境(光照條件、不同角度、頭部姿態各異等)下人臉表情識別。通過與上述文獻的對比分析，本文方法提取到了更完全且具有強分辨力的特征，從而獲得了更高的識別率，證明了本文方法的有效性。

圖5分別為 CK+和FER2013測試集表情分類的混淆矩陣。CK+數據集由于厭惡、悲傷表情數據量少，識別率較低。FER2013數據集存在遮擋、漫畫臉和錯誤標注等，識別難度大，故整體識別準確率不高，仍有改進空間。

(a)CK+

3 結束語

本文基于小尺度核CNN模型，加入1×1卷積融合空間金字塔注意力，并提出了低層特征掩膜化，最后將掩膜后的特征通過全局池化輸入到全連接層分類，結構簡單有效。提出基于角度距離的損失函數對模型進行監督優化訓練，可以學習到區分度明顯的表情特征，即最小化類內距離，最大化類間距離。本文進一步探討了倒數第二層全連接層的特征輸出維度對表情識別準確率的影響。實驗結果證明，相比于其他先進算法，本文方法在人臉表情識別任務中識別準確率較高，具有較強競爭力。特別地，在CK+數據集上，本文提出的角度距離損失函數，相對Softmax和Island損失函數分別提高了3.03%、1.11%。下一步工作將融合LBP特征以及改進LBP特征來提升表情識別率。