基于改進的雙通道網絡的微表情識別＊

西藏民族大學 武文哲

微表情通常表達人隱藏起來的真實情感，它的特征具有高度的相似性和隱匿性，傳統的微表情識別技術主要采用人工制作的方式，其識別效率和精度都難以保證，因此提出一種基于改進的雙通道網絡識別方法，以CASME II 作為數據集，通過對數據集進行預處理來保證圖像特征增強及數據平衡，在七類微表情識別分類下，與雙通道網絡(Dual Path Networks，DPN)模型進行了性能對比。實驗結果證明了所提出的改進的雙通道網絡模型，在識別精度上明顯優于參照模型。

微表情是一種人下意識做出的，具有個人真實情緒的表情，其廣泛應用于刑事偵查、醫學等許多重要領域。與宏觀表情相比，由于它具有持續時間短、動作幅度小的特點，早期專業培訓的識別準確度也不到50%[1]，因此微表情識別研究在國內外受到廣泛關注。

目前研究中，微表情識別研究的相關方法主要分為：傳統方法和深度學習方法。（1）傳統方法是基于手工特征進行的，含有方法如，時空局部二值模式(LBP)、光流直方圖等，由于其需要復雜的實驗設計，導致效率及識別精度都難以實現理想狀態。（2）深度學習方法被證實在計算機視覺研究中優于傳統手工特征方法，提出卷積神經網絡(CNN)研究方法[2]，可以通過預處理從數據中學到各層特征，廣泛應用于人臉識別、車輛識別等計算機視覺工作中。CHEN 等人[3]提出雙通道網絡(Dual Path Networks，DPN)算法，具有探索特征和細化特征優勢，WOO 等人[4]提出注意力模塊CBAM(Convolutional Block Attention Module)， 具有多方向特征增強的優勢。本研究以構建基于CBAM改進的DPN 模型對微表情進行識別分類，把CBAM 和DPN 優勢相結合，優化參數，最終實現對于微表情分類效果的提升。

1 數據集處理

1.1 實驗數據集

實驗所使用的數據庫為我國科學院心理研究所的CASME II[5]公開數據庫。

1.2 圖像預處理

1.2.1 數據增強

數據增強常用在小樣本數據集的訓練中，主要方法是通過對圖像進行幾何變換:裁剪、旋轉、水平/垂直鏡像等方法來增加數據量。圖像后的增強效果如圖1 所示。

圖1 圖像增強效果Fig.1 Image enhancement effect

1.2.2 數據平衡

由于CASME II 數據集各標簽間數據量差距較大，模型訓練結果會導致更偏重數量大的類別，因此需要對所得到的增加數據進行數據平衡處理。具體將每個類別數量進行排序，取中位數作為每類樣本數量的最大值，具體分布如圖2 所示。

圖2 數據平衡結果Fig.2 Data balancing results

2 本文算法

DPN 網絡是由ResNet[6]和DenseNet[7]結合而成的網絡模型，是典型的混合網絡。具備細化特征、特征重復利用、支持探索新細節特征、更少的參數開銷等優勢。因高度耦合雙通道層鏈路連接特點，針對深層網絡訓練梯度消失的問題，可以進行有效的解決。

CBAM 結合了空間和通道兩個不同方向的注意力模塊，將通過新的權值賦值后將輸入的數據關鍵特征進行標記，讓網絡關注到輸入數據中需要被著重學習的特征區域。CBAM 的結構如圖3 所示，DPN-CBAM 面部微表情算法的結構圖如圖4 所示。需先對數據集進行預處理，再把得到的圖像矩陣輸入到網絡中，通過DPN 網絡前需對輸入數據進行批歸一化，以加快收斂速度，然后將得到的數據輸入進DPN 的每個模塊中去，再經由雙通道模塊，提取出特征信息，后通過平均池化下采樣，實現特征矩陣的降維，優化計算量，再通過Dropout 層進一步降低冗余，解決一定程度上的過擬合問題，最后根據得到的數值權重占比進行概率評估分類。

圖3 CBAM 結構示意圖Fig.3 CBAM structure diagram

圖4 DPN-CBAM 整體結構Fig.4 Overall structure of DPN-CBAM

3 實驗與結果分析

3.1 實驗環境

本研究方法基于Pytroch 框架，操作系統為Windows11，CPU 為intel i7-12700kf，顯卡為英偉達RTX3070 8G，內存為64GB。

3.2 性能度量

因數據集的特點，經過處理后的數據集仍然存在數據類別不平衡的問題，因此，為了更好的度量性能，采用未加權平均召回率(UAR)與未加權F1 值(UF1)評價指標。

3.3 識別效果

本文使用26 層的DPN-CBAM 和DPN 網絡與幾種用于微表情識別深度網絡模型進行對比，識別效果如表1所示。

表1 不同模型的識別效果對比Tab.1 Comparison of recognition effects of different models

表1 中模型實驗均使用UAR 和UF1 評價指標，實驗均在CASME II 數據集上進行。DPN-CBAM 模型整體的識別效果均優于其他幾種方法。同時計算了DPNCBAM 模型的參數量和算例，如表2 所示，從表2 中可以看出，在大大降低計算復雜度的程度上，增強了識別效果。

4 結論

本文以雙通道網絡(DPN)作為主干網絡，融合注意力模塊(CBAM)，提出實現一種DPN-CBAM 的網絡結構。通過對模型訓練實驗結果證明，DPN-CBAM 網絡對于DPN 網絡在七類微表情分類效果中具有明顯的優勢，更加符合實際場景下的多樣化識別要求，更具有實用性。此外，本文方法加入了數據增強技術，大大降低了樣本數量帶來的訓練效果不佳問題，采用UF1 及UAR 評價標準，充分保證在數據不均衡下的模型仍有不錯的性能計算指標，其UF1 及UAR 在七類微表情分類中達到0.4751 和0.5063。未來將進一步提高DPN-CBAM 的識別精度，也可以通過宏觀微表情數據集，如Oule-CASIA NIR&VIS 面部表情、CK+等進行遷移學習后再運用到識別任務當中去。

引用

[1] HOUSE C.MEYER R.Preprocessing and Descriptor Featuresfor Facial micro-expression Recognition[OL].[2016-10-15] .

[2] KIM D H,BADDAR W J,RO Y M.Micro-expression Recogni-tion with Expression-state Constrained Spatiotemporal Featurerepresentations[C]//Proceedings of the 24th ACM InternationalConference on Multimedia,2016:382-386.

[3] CHEN YP,LI J N,XIAO H X,et al.Dual path networks[C]//Proceedings of the 31st International Conference on NeuralInformation ProcessingSystems.Red Hook,NY:CurranAssociates Ine.,2017:4470-4478.

[4] WOO S,PARK J,LEE J Y,et al.CBAM:Convolutional Block Attention Module[C]//Proceedings of the 2018 European Conference on Computer Vision,LNCS 11211.Cham:Springer,2018:3-19.

[5] YAN W J,LI X B,WANG S J,et al.CASME II:An Improved Sponta-neous Micro-expression Database and the Baseline Evaluation[J].PLoS One,2014,9(1):1-8.

[6] 張順,龔怡宏,王進軍.深度卷積神經網絡的發展及其在計算機視覺領域的應用[J].計算機學報,2019,42(3):453-482.

[7] ZHU Y,NEWSAM S.DenseNet for Dense Flow[C]//Proceedings of the 2017 IEEE International Conference on Image Processing.Piscataway:IEEE,2017:790-794.