基于深度卷積注意膠囊網絡的微表情識別方法

曾嵐蔚，許青林

(廣東工業大學 計算機學院，廣東 廣州 510006)

0 引 言

目前微表情識別任務的主流方法是基于CNN的深度學習方法，通過自動學習微表情特征以提高識別效率[1]。文獻[2]通過對微表情圖像序列使用EVM(Eulerian video magnification，EVM)方法，解決微表情面部運動的低振幅問題。文獻[3]提出基于微注意力與殘差網絡相結合的微表情識別網絡，使得網絡在特征提取階段更關注發生微表情運動的區域，解決微表情的局部性問題。然而，以上方法并沒有同時考慮到人臉的結構特征和特征方向信息，忽視了AUs之間的相對關系。Sabour等[4]提出的膠囊網絡深入理解圖像整體與部分的關系，具有旋轉不變性，擅于探索特征之間的關系，可與卷積神經網絡結合使用，提高圖像空間信息的利用率。Lei等[5]在高光譜遙感圖像分類中結合膠囊網絡與深度卷積，Xu等[6]運用注意機制和膠囊網絡捕捉在線評論的情感信息，均取得了較好的識別效果。

基于膠囊網絡的概念與技術應用，本文提出一種微表情分類模型——深度卷積注意膠囊網絡。以膠囊網絡為基礎架構，采用EVM方法突出細節特征，引入注意力機制和深度卷積層，使網絡篩選出有效信息；同時利用膠囊之間的動態路由對表情特征進行編碼，提高網絡空間信息表達能力和微表情識別能力；最后在數據集CASME II[7]和SAMM[8]進行實驗，實驗結果表明，DCACNN的識別準確率分別達到64.43%、59.91%，提高了2.29%和3.28%。

1 深度卷積注意膠囊網絡

針對卷積網絡不擅長捕捉面部AUs之間的相對關系和微表情呈現局部性的問題，通過借鑒注意力圖的生成方法和具備更強特征提取能力的膠囊網絡，設計了深度卷積注意膠囊網絡。如圖1所示，DCACNN主要由3部分組成：①對原始微表情圖像幀序列進行預處理，包括人臉檢測與裁剪、運動幅度放大、幀序列歸一化；②結合AU感知注意力的特征提取網絡(AU-VGG)，提取人臉面部微表情的深層特征，得到具有AU感知變化的特征映射圖；③膠囊網絡層，結合膠囊的概念，將AU-VGG得到的特征圖通過膠囊之間的動態路由進行編碼，再由全連接層進行解碼，最后使用壓縮函數獲得微表情的識別結果。

圖1 DCACNN模型框架

1.1 預處理

圖像預處理可以有效降低無關特征對微表情識別的影響，如圖2所示，預處理包括人臉檢測與裁剪、放大面部運動以及統一幀長。首先選取起始幀到頂點幀作為微表情有效表情段，對首幀使用人臉檢測器[9]進行人臉檢測，確定人臉區域切割框架。其次，自動校準面部5個關鍵點，根據關鍵點將兩眼調整到同一水平線，進一步裁剪對齊后的人臉，裁剪后的大小為224×224。然后使用EVM算法對微表情樣本進行處理，放大微表情面部運動，使其更容易識別。最后，為了統一幀序列大小，滿足網絡輸入樣本幀數一致的要求，采用TIM方法將裁剪后的圖像進行歸一化處理。

圖2 微表情預處理過程

1.2 結合AU感知注意力的特征提取網絡

為了提高網絡提取高維信息和篩選關鍵特征的能力，DCACNN使用AU-VGG提取人臉微表情特征，AU-VGG的網絡結構與參數如圖3所示，特征提取網絡以傳統CNN為主要架構，仿照Residual Net的跳躍層結構，在卷積層上應用了注意層。

圖3 AU-VGG網絡結構與參數

如圖3所示，AU-VGG的卷積部分包括13個卷積層，5個池化層，對輸入圖像進行下采樣，最終得到7×7的特征圖。將AU-VGG網絡描述為5個階段，包括卷積層和池化層。其中，階段一和階段二包括兩個卷積層，階段三、階段四和階段五包括3個卷積層，且每個階段之間應用stride=1的2×2卷積核進行池化操作。從圖3可知，人臉微表情圖像的特征信息從224×224×3調整到7×7×512，人臉特征融入到各通道上，提高了網絡提取信息的能力。

AU-VGG的注意力機制參照文獻[10]，引入跳躍結構，將低層特征先與注意層相乘，再與卷積后的高層特征相加，使得低層特征和高層特征都能被表示。

對于單個AU區域，不同位置具有不同的重要性，AU中心點以及區域內部分的改變對檢測結果具有較大影響，為此需要基于關鍵面部地標構建AU注意力圖。如圖4(a)所示的面部地標關鍵點是獲得注意力圖的必要條件，AU中心不可直接使用檢測到的面部關鍵點，而是通過計算兩眼外眼角的距離，定義一個比例距離作為人臉像素移動的參考。為了使移動距離更適合于所有人臉圖像，以內角距離作為縮放距離，有利于定位AU中心。由于人臉的對稱性，AU中心是成對的，因此每個AU定義一對點，再根據AU中心建立如圖4(b)所示的注意力圖。

圖4 注意力映射的生成

首先將人臉圖像的大小調整為100×100，以確保相同的比例在所有圖像中共享。然后，使用AU中心點附近屬于同一區域的7個像素為一個AU區域，因此每個區域的尺寸為15×15，越靠近AU中心的點其權重越大，關系式如下所示

Wa=1-0.07dm

(1)

式中：dm是某位置距離AU中心的曼哈頓距離。注意圖中權重值較高的區域是人臉微表情中的AU活躍區域，較高權重值可以增強AU的活性區域，生成注意力映射圖的算法見表1。

表1 注意力映射圖生成算法

如圖3所示，生成的注意力圖被嵌入到第三階段和第四階段中。具體操作是將第二階段的池化層生成的feature map與attention map相乘，然后與第三階段的卷積并列進行，最后將第三階段的卷積結果逐個元素相加，作為這一階段的池化層的輸入。同樣，在第四階段中，注意力映射圖與卷積層共同執行相同的操作，其生成的模型直接作用于微表情的活動區域。

1.3 膠囊網絡層

膠囊網絡的具體參數和結構如圖5所示，主要工作是利用動態路由機制，將AU-VGG得到的feature map進行編碼。通過AU-VGG后feature map大小為512×7×7，應用stride=1的2×2卷積核后得到256×6×6的feature map，然后調整到具有32個卷積8維通道的PrimaryCaps層，在PrimaryCaps層和MECaps層之間執行動態路由。每個微表情類別對應16維的膠囊單元，其中每個膠囊從上一層的所有膠囊接收輸入。最后，通過三層全連通層重構圖像，分別是全連通ReLU層(size=512)、全連通ReLU層 (size=1024)和全連通的Sigmoid層(size=150 528)。

圖5 DCACNN中膠囊層的具體結構和參數

PrimaryCaps層和MECaps層之間的動態路由過程如圖6所示。當前層膠囊的輸入來自前一層膠囊的輸出，底層膠囊單元通過權重矩陣與高層膠囊單元連接，計算和判斷膠囊層之間的相關性，動態更新權重矩陣，重復這個過程直至收斂，并更新耦合系數。其中，耦合系數通過SoftMax計算得到，計算公式如下

(2)

式中：bij表示主膠囊層的第i個低級膠囊到第j個高級膠囊耦合的對數概率，其初始值設置為0，cij則通過動態路由過程迭代細化。第j個膠囊的輸入向量xj計算公式如下

(3)

為了使輸出膠囊的模長表示概率，確保輸出向量長度位于[0,1]區間，方向保持不變，應用“squash”函數進行歸一化得到的輸出向量，膠囊最終輸出向量vj計算公式如下所示

(4)

圖6 膠囊之間的層級結構和動態路由

在MECaps層之后，有3個完全連接的層用于圖像重構，這是解碼階段。需要盡量減少重建損失，以重建圖像更好地從MECaps層。在訓練中使用真實標簽作為重建目標，通過計算FC Sigmoid層輸出像素與原始圖像像素之間的歐氏距離，構造圖像重構的損失函數。

網絡損失函數Lnet包含邊際損失Lmargin和重構損失Lrec， 本文將重建損失的規模擴大到0.0005，使其在訓練過程中不會主導邊際損失。損失函數的計算公式如下所示

(5)

(6)

Lrec=(xrec-x)2

(7)

其中，k表示分類類別，Tk表示分類的指示函數；當k存在時Tk為1，不存在則為0；m+表示正確分類的邊界，m-表示錯誤分類的邊界；x表示原始圖像，xrec表示重構后的圖像；λ表示調節圖像中微表情是否存在所導致的損失。實驗中，m+和m-的值分別為0.9和0.1，λ設置為0.5以控制其效果。

2 實驗結果與分析

2.1 數據集

CASME II是一個200 fps攝像機記錄的255個微表情視頻序列，平均年齡22.03歲，共26名亞洲參與者，由中科院傅小蘭團隊提供。SAMM是一個由200 fps的高分辨率攝像機記錄的159個微表情視頻序列，平均年齡33.24，共32名參與者。CASME II和SAMM數據集樣本均由AU編碼，并且提供起始幀、峰值幀和結束幀位置。

兩個數據集的微表情分類均為7類，但類別和樣本數量存在差異，因此實驗對兩個數據集采取不同的樣本分類。CASME II數據集中，恐懼和悲傷的樣本量太少，不能滿足特征學習的訓練要求，因此使用高興、厭惡、驚訝、壓抑和其它5個類別的微表情樣本進行實驗。SAMM數據集中，使用消極、積極和驚訝3個類別，其中消極類由憤怒、輕蔑和悲傷組成。微表情樣本具體歸類和數量見表2。

表2 CASME II和SAMM數據集樣本歸類參照

實驗訓練測試使用的是留一受試者交叉驗證方法(leave-one-subject-out，LOSO)協議，該協議將受試者的數據作為實驗的測試集，將其余受試者的數據作為訓練集。其中CASME II數據集使用該協議進行26次訓練測試，取26組實驗的識別率平均值和F1-Score作為最終評價結果。SAMM數據集進行32次實驗后，所得到的結果平均值為最終評價結果。

2.2 實驗設置

在數據預處理時，EVM方法選用的放大頻段為[0.2 Hz，2.4 Hz]，合理的放大系數需要通過比較不同放大系數對結果的影響來設定，否則會放大噪聲，甚至導致面部表情失真，在CASME II數據集上測試的最終結果如圖7所示。由圖7可知，當參數為8時獲得最佳結果。

圖7 不同放大系數的準確值和F1-Score

本實驗選取微表情有效表情段為輸入，并將輸入網絡所有圖像大小統一調整為224×224，采用放大倍數為8的圖像，統一幀長為50。實驗訓練過程中使用Adam優化網絡學習算法，其中學習率設置為0.0001，β1=0.9，β2=0.999，ε=10-8(一個極小值，防止它除以零的實現)。批大小和迭代次數分別設置為16和100。

2.3 實驗結果與分析

為了驗證AU注意力機制和動態路由的有效性，將分別對結合AU感知注意力的卷積網絡(AU-VGG)、具有豐富卷積層的膠囊網絡(deep convolutional capsule neural network，DCCNN)、DCACNN的實驗效果進行對比評估，以上方法在CASME II和SAMM數據集的實驗結果見表3。

表3 CASME II和SAMM數據集消融實驗結果

由表3可知，DCACNN在CASME II和SAMM數據集上都取得了比AU-VGG和DCCNN更好的實驗結果。膠囊之間的動態路由使模型的準確率分別提高4.79%、4.15%，引入注意力約束使模型的準確率都提高1%。動態路由機制能夠捕捉關鍵特征之間的變化，獲取更好的深層特征表示，因此DCACNN準確率比AU-VGG高，驗證動態路由的有效性。具有AU注意機制的模型比不具有注意機制的模型更能捕捉到細微的肌肉運動，因此DCACNN準確率比DCCNN高，驗證AU感知注意力的有效性。通過人臉地標生成AU注意力圖，有助于提升模型篩選出關鍵局部區域特征的能力，使模型獲取需要關注的活躍區域。因此，基于人臉地標生成的AU注意力圖和具有深度卷積層的膠囊神經網絡都有效增強DCACNN的特征提取能力，都有利于提高微表情識別的準確率。

進一步評價模型對數據集的分類和識別能力，采用混淆矩陣對微表情識別模型的準確性進行評估，AU-VGG、DCCNN、DCACNN在CASME II和SAMM數據集上的實驗結果混淆矩陣分別如圖8、圖9所示。混淆矩陣的列表示模型預測類別，行表示該類的模型預測結果，斜對角線為微表情被正確分類的樣本數量占該類別樣本總數的比重。由圖8和圖9可知3個模型均具有微表情分類識別的能力，且DCACNN取得了更好的結果，具有更強微表情識別能力。綜合比較圖8可知，CASME II數據集中，高興和其它的微表情分類比其它分類結果好，原因在于不同情緒的生物力學性質不同，產生高興表情時具有較強面部運動強度；其它分類的微表情大多為自然表情，訓練樣本占比最高，是簡單樣本學習。而厭惡和壓抑兩種情緒有很多相似之處，區分度較低，且樣本分布不平衡；驚訝表情則訓練樣本數量較少。在SAMM數據集中，消極類樣本在數據集中占較大比重，因此識別效果最佳，積極類樣本即高興類，其面部肌肉運動幅度較大因此得到較好的識別效果。

圖8 不同方法在CASME II上的混淆矩陣

圖9 不同方法在SAMM上的混淆矩陣

為驗證模型的有效性，將DCACNN與主流微表情識別算法進行對比，見表4和表5。

表4 CASME II數據集的實驗結果對比

表5 SAMM數據集的實驗結果對比

LBP-TOP[11]、LOFBP-TOP[12]、Bi-WOOF[13]、STCLQP[14]是傳統提取特征方法。其中，LBP-TOP是微表情識別的基線方法，其作用機制是在相互正交的3個平面中，采用局部二進制對微表情圖像進行特征表示，從而達到分類的目的。LOFBP-TOP是一種將光流和LBP-TOP相結合的微表情識別方法，利用LBP-TOP對光流編碼來獲取微表情特征并進行分類。Bi-WOOF是通過光應變全局加權、光流強度局部加權的雙加權方向光流直方圖獲取微表情特征的方法。STCLQP是基于時空完全局部量化模式的識別方法，在進行微表情識別時考慮了信號、大小和方向等因素。

Micro-Attention[3]、CNN-LSTM[15]、ELRCN-TE[16]、3D-FCNN[17]、LGCconD[18]、LGCcon[18]、OFF-ApexNet[19]、Dual-Inception[20]是基于深度學習的微表情識別方法。其中，Micro-Attention是基于微注意力與殘差網絡相結合的網絡，在residual block中集成微注意單元。CNN-LSTM是結合時域和空域的微表情識別方法，采用CNN提取圖像序列的狀態獲得空間維度信息，使用LSTM長時記憶網絡獲取時間維度信息，將二者結合并進行微表情分類識別。ELRCN-TE引入增強的長期遞歸卷積網絡，由空間特征提取器和捕獲時間信息的時態模塊組成。3D-FCNN同時提取光流幀序列和原始幀序列的時空特征，在全連接層對時空特征進行融合。LGCcon使用結合局部信息和全局信息的聯合特征學習網絡來識別微表情，LGCconD是經過頂點幀定位的LGCcon方法。OFF-ApexNet構建一個頂點幀網絡框架，使用微表情的起始幀、頂點幀和結束幀獲取人臉圖像特征，將光流特征圖像輸入淺層CNN進行識別和分類。Dual-Inception將光流特征的水平和垂直分量輸入雙流Inception網絡進行微表情識別。

表4表示DCACNN在CASME II數據集上的對比結果。由表4可知傳統手工特征識別算法中識別率最高的是STCLQP，F1-Score最高的是Bi-WOOF，深度學習算法中識別率和F1-Score最高的是LGCconD。DCACNN在CASME II上的微表情識別準確率比STCLQP和LGCconD分別提高了6.04%和2.29%，DCACNN在F1-Score指標上比Bi-WOOF和LGCconD分別提高了0.88%和2.13%。與手工描述特征的識別方法相比，深度學習的方法能夠省去手工特征提取過程，直接從原始的微表情圖像幀序列中提取特征，并且通過逐層學習的方式不斷地調整模型參數和權重，以優化提取到的特征，在簡化了特征提取步驟的基礎上取得了較好的識別效果。因為DCACNN采用的膠囊網絡充分利用人臉結構空間信息，以及引入AU注意力機制，使DCACNN對于數量較少的樣本也有一定的識別準確率，進一步提高F1-Score。

表5表示DCACNN在SAMM數據集上的對比結果。由表5可知DCACNN在SAMM數據集上的識別準確率比Bi-WOOF和Dual-Inception分別提高了8.52%和3.28%，在F1-Score指標上分別提高了6.78%和0.21%。對比表4和表5可知，由于SAMM數據集樣本數量較CASME II少，且樣本分布不均衡，導致微表情方法SAMM數據集上的識別效果整體低于CASME II數據集，可見微表情識別的進一步發展還需要構建更大的微表情數據集和更均衡的樣本分類分布。

3 結束語

本文提出了一種用于微表情分類的深度卷積注意膠囊網絡DCACNN。針對微表情運動的局部性和傳統卷積空間信息特征提取能力不足的問題，①將AU注意力約束融入傳統卷積網絡中，提高網絡提取高維特征和微表情活躍區域特征的能力；②采用膠囊網絡的動態路由機制，提高網絡獲取空間結構信息的能力，更有效地表示微表情特征。理論分析和實驗結果表明,DCACNN識別準確率在CASME II和SAMM數據集上分別達到64.43%、59.91%，分別提高2.29%和3.28%。但是微表情數據集較少、微表情樣本類別數量不均衡的問題仍然是導致識別率較低的主要原因，研究如何在長視頻中發現微表情以拓展微表情數據集是下一步可以研究的方向。