融合全局與局部特征的跨數據集表情識別方法

梁艷，溫興，潘家輝

（華南師范大學 軟件學院, 廣東 佛山 528225）

人臉表情是人類最自然、最直接的情緒表達方式之一。研究發現，在人們日常交流溝通的過程中，有55%的情感信息靠人臉表情進行傳遞[1]。研究人臉表情識別有效促進人機交互系統的發展。目前，該技術已廣泛應用在醫學、安全監控、教育等領域[2]。

為了推動人臉表情識別的理論研究與實際應用，在過去的十幾年里，研究者們已公開了多個表情數據集，并提出了多種方法來提高表情識別的性能。但是，大部分的表情識別算法都基于一個前提，即：訓練集和測試集來自同一個數據集，訓練數據和測試數據特征分布相同。然而這一假設并不總是成立，在實際應用中，測試集與訓練集通常來自不同的數據分布，因此模型需要進行跨數據集表情識別驗證。

近年來，領域自適應方法成為遷移學習中最為熱門的研究之一，其核心問題是解決數據分布不一致對模型性能的影響。Xu 等[3]證明，把源域和目標域的特征范數調整到一個較大范圍的值可以獲得顯著的遷移收益。Lee 等[4]利用特定任務的決策邊界和Wasserstein 度量在領域之間進行特征分布對齊?？紤]到領域自適應方法在解決跨域問題的有效性，有學者嘗試把基于統計差異的領域自適應方法用于跨數據集表情識別任務。莫宏偉等[5]利用一個特征變換矩陣，把源域和目標域數據映射到公共子空間，減小域間分布差異。Long 等[6]基于統計的思想提出了一種新的深度自適應網絡(deep adaptation network，DAN)架構，把領域自適應方法與深度學習技術結合起來。Li 等[7]將DAN 網絡應用到人臉表情識別，引入最大均值誤差(maximum mean discrepancy，MMD)來測量源域與目標域的特征散度，減小源域與目標域的分布距離。Xu 等[8-9]基于MMD 損失尋找遠離表情特征中心的異常樣本，并在訓練過程中通過抑制異常樣本來提高跨數據集表情識別準確率。

受對抗學習技術的啟發，有部分學者采用基于對抗學習的領域自適應方法，即域對抗自適應方法，實現跨數據集表情識別。該類方法的核心思想是加入一個域鑒別器，使之與表情分類器進行對抗，在對抗過程中學習到同時適用于兩個數據集的表情特征。Chen 等[10]將經典的域對抗自適應方法：領域對抗神經網絡(domain-adversarial neural network，DANN)[11]、條件域對抗自適應網絡(conditional domain adversarial network，CDAN)[12]應用到跨數據集表情識別任務，學習領域不變性特征。Wang 等[13]在域對抗中通過縮小目標數據集樣本與源數據集對應類別的特征中心的距離，擴大與源數據集不同類別的特征中心的距離，實現類級別的對齊。

領域自適應方法僅在特征分布層面上對齊不同域特征分布，目標數據集無需提供標簽信息，因此可應用于無監督的跨數據集表情識別[14]。但是，目前大部分基于領域自適應的跨數據集表情識別方法僅對齊表情特征的邊緣分布，未關注不同數據集間的表情類內差異導致特征的條件分布差異。而使用通用的域對抗自適應算法強行對齊兩個數據集間的整體分布，將不可避免地把來自源數據集和目標數據集的不同表情類別樣本混合在一起，導致不同表情數據集間類別不匹配問題。

因此，為了提高跨數據集表情識別的特征可遷移性，解決跨數據集表情類別不匹配問題，本文提出一種利用表情融合特征對齊不同數據集聯合分布的領域自適應方法,利用編碼器（Encoder）模塊融合表情的全局特征和局部特征，并通過表情分類器與細粒度域鑒別器聯合對抗訓練，提高分類器在無標簽的目標數據集的識別效果。

1 本文方法

圖1 基于表情融合特征的域對抗網絡模型框架Fig. 1 Framework for domain adversarial network based on facial expression fusion feature

1.1 表情融合特征的提取

根據人臉動作單元（action unit，AU）[15]的劃分可知，表情的決定性信息聚集在人臉的五官位置。為了提高表情特征的可遷移性，本文提取人臉區域的全局特征和五官區域的局部特征，并利用Encoder 模型進行特征融合。特征提取器的具體結構如圖2 所示。

圖2 特征提取器的結構Fig. 2 Structure of feature extractor

首先使用多任務卷積神經網絡（multi-task convolutional neural network，MTCNN）[16]對表情數據集的人臉圖像進行人臉定位以及5 個關鍵點（左眼、右眼、鼻子、左嘴角、右嘴角）定位。然后，將人臉區域輸入到四層殘差網絡[17]，提取表情的全局特征。此外，以關鍵點為中心，截取5 個大小為0.2W×0.2H(W、H分別為人臉區域的寬和高)的子圖作為判斷表情類別的關鍵區域，輸入兩層殘差網絡，提取表情的局部特征。

為了使模型學習到領域不變性的表情特征，本文基于Transformer[18]的Encoder 模塊，設計了一個具有N層的表情Encoder 層，將上述提取的全局和局部表情特征輸入Encoder 層進行表情特征的融合。Encoder 層包括一個多頭注意力網絡和一個前饋網絡。首先根據全局和局部表情特征獲得3 個自注意力向量q、k和v[19]，然后，輸入多頭注意力網絡，根據下式計算特征間的權重，獲得加權后的特征ci：

其中：d為特征維度，這里為128。把加權特征ci輸入前饋網絡進行學習，最終獲得表情融合特征xi。

1.2 細粒度域鑒別器

無監督的跨數據集表情識別任務中，其目標是學習一個表情識別模型G，令G可以在不帶標簽的目標數據集上實現較高表情識別準確率。具體來說，表情識別模型G由特征提取器F和表情分類器C構成。域對抗自適應方法在解決跨域表情識別問題時，在表情識別模型G的基礎上引入了域鑒別器D。通過域鑒別器D對表情識別模型G提取的表情特征進行域來源判斷，在反向傳播時加入梯度反轉層，使模型混淆來自不同數據集的表情特征，從而使表情分類器C能應用到目標數據集。最后，通過表情分類器C和域鑒別器D聯合對抗訓練，實現在無標簽的目標數據集上進行表情分類。

大部分域對抗自適應方法中，域鑒別器D采用二分類方式區分表情特征來自源數據集還是目標數據集，再由梯度反轉進行特征混淆，對齊數據集間邊緣分布。但是，由于人臉表情存在類內差異大、類間差異小的特性，僅僅混淆源、目標數據集內的所有特征，會引起表情數據集間跨域類別不匹配問題。因此，本文對算法進行改進，令表情分類器C與域鑒別器D不僅在數據集間進行宏觀的對抗，還增加了表情相同類間的細粒度對抗，使數據集相同類間能實現協調自適應。

傳統域對抗自適應損失為

式中：Lcls為表情的分類損失，Ld為域判別損失，α 和 β分別是分類損失和域判別損失的權重。Lcls的目的是幫助G學習到表情分類信息，它采用交叉熵損失在源數據集上最小化預測分類與真實表情分類間的區別，計算公式為

式中：S表示源域樣本數量，K表示表情類別，yik為源域樣本i第k類的類別信息，pik為表情識別模型G預測源域樣本i為第k類表情的類別信息。

式(2)中的域判別損失Ld目的是幫助域鑒別器D區分來自不同數據集的表情特征，使提取的特征能對齊源數據集和目標數據集，損失計算公式為

式中：d為0 代表特征來自源數據集，為1 則代表特征來自目標數據集；S為源數據集樣本數量；T為目標數據集樣本數量；P(d=0|x)為域鑒別器預測特征為源數據集的概率。

傳統的域鑒別器只能判別d=0或者d=1，即特征標簽為[1,0]或[0,1]。為了將表情類別信息納入對抗性學習框架，達到同時對齊表情特征的邊緣分布和條件分布的效果，本文修改了傳統的域鑒別器D，將2個域判別通道擴展為 2K通道（K為表情類別數），進行不同數據集間的整體對抗以及不同數據集相同表情類別間的細粒度對抗。通過更細粒度的對抗性學習，不僅僅對齊數據集間表情特征的邊緣分布，而且對齊特征的類內條件分布。

本文使用表情特征提取器和分類器對目標域進行軟標簽的標注，然后將源數據集表情圖像與目標數據集表情圖像的標簽擴展為 2K維標簽，其中源域標簽在1至K維使用原來的標簽信息，在K+1至 2K維數據置為0；目標域標簽在1 至K維數據置為0，在K+1至 2K維使用軟標簽標注。通過對i和K+i類進行對抗自適應即可實現不同數據集間表情分布對齊。

為了實現基于類別的對抗，本文將提取的融合特征輸入細粒度域鑒別器中計算細粒度類判別損失。與傳統域判別損失Ld不同的是，本文在LD加入了類別信息，具體計算公式如下：

式中：aik和ajk分別為源域樣本i和目標域樣本j為第k類的信息，即上文所述構建 2K維的標簽信息。

此外，為了引導特征提取器F學習到兩個數據集共用的表情特征，我們還增加了一個整體判別損失Ladv，其目的是幫助域鑒別器獲取目標數據集的類別信息，從而經過梯度翻轉后可以混淆兩個數據集的類別信息,進而引導特征提取器F學習共用表情特征，Ladv的計算公式如下：

綜上所述，本文采用的總損失L為

其中： ω1、 ω2和 ω3分別是表情分類損失、細粒度類判別損失和整體判別損失的權重。

在訓練過程中，將源數據集表情圖像的特征輸入表情分類器中計算表情分類損失Lcls，將源、目標數據集表情圖像的特征輸入域鑒別器計算域判別損失LD和Ladv，最終，在域鑒別器D和表情分類器C的對抗學習下對齊不同表情數據集間的聯合分布。

2 實驗結果與分析

2.1 表情數據集

本文采用6 個表情數據集進行算法測試，具體包括實驗室環境下的CK+[20]和JAFFE[21]數據集和自然場景下的SFEW2.0[22]、FER2013[23]、ExpW[24]、RAF-DB[25]數據集。這些數據集都包含憤怒、厭惡、恐懼、高興、悲傷、驚訝、中性等7 種表情。

CK+數據集包含來自123 個實驗對象的593個圖像序列，每個圖像序列都是從中性表情到峰值表情。本文參照文獻[7]的方法，從每個序列中抽取1 幀中性表情圖像和3 幀表情圖像，去除無效數據后共獲得1 236 張圖像進行實驗。

JAFFE 數據集包括來自10 位日本女性共213張圖像。本文使用了所有圖像進行實驗。

SFEW2.0 數據集由不同電影的表情圖像構成，具有不同的頭部姿勢、年齡范圍、遮擋和照明。該數據集分為訓練集、驗證集和測試集，分別有958、436 和372 個樣本。

FER2013 是一個自然場景下獲得的表情數據集，包含35 887 張大小為48 像素×48 像素的圖像。數據集進一步分為28 709 張圖像的訓練集、3 589張圖像的驗證集和3 589 張圖像的測試集。

ExpW 數據集由谷歌圖像搜索中下載的表情圖像構成，包含91 793 張人臉圖像。

RAF-DB 數據集也是由互聯網上收集的圖像構成，共29 672 張表情圖像，其中15 339 張圖像有7 種基本表情，分為12 271 個訓練樣本和3 068個測試樣本。

2.2 評估標準

遵循跨數據集表情識別的通用標準[14]，本文選取平均準確率作為評價指標。首先計算出某表情類別的準確率，然后再計算所有類別的準確率均值，即為跨數據集表情識別算法的平均準確率。

2.3 實現細節

本文方法的訓練目標為最小化式(7)的總損失L，以目標數據集獲得最高平均準確率作為標準，訓練表情識別模型G和域鑒別器D。本文分兩個階段進行訓練。第一階段，在源數據集采用隨機梯度下降（stochastic gradient descent，SGD）算法訓練特征提取器F和表情分類器C，初始學習率設為0.01，SGD 的動量設為0.9，訓練100 輪后獲得初始的表情識別模型G；第二階段，加入域鑒別器D，使用總損失L進行對抗訓練，使初始表情識別模型G遷移到不帶標簽的域鑒別器中，在這步驟中同樣使用SGD 算法訓練模型，除了特征提取器F和表情分類器C的學習率降到0.001 外，其余超參數均與第一階段相同，本階段訓練采用學習率遞減策略，每20 輪學習率乘以0.5。式(7)中3 個損失權重 ω1、 ω2和 ω3的比值設為50∶50∶1。

2.4 消融實驗

為探究融合特征對表情識別性能的影響，本文采用相同的網絡提取全局特征、局部特征和融合特征，在6 個數據集進行表情識別實驗，結果如表1 所示（文中表格加粗數據為最佳結果）。

表1 分別采用全局特征、局部特征、融合特征進行表情識別的結果對比Table 1 Comparison of expression recognition results using global features, local features, and fusion features, respectively%

從實驗結果可知，本文提出的融合特征方法在6 個數據集的表情識別性能均優于僅采用全局特征或局部特征的方法，它的平均表情識別準確率比僅采用全局特征的方法提高了4.95%，比僅采用局部特征的方法則提高了24.56%。由此可見，表情全局特征與局部特征存在互補性，對兩種特征進行融合，可以大幅提高表情識別的準確率。

此外，為了驗證細粒度域對抗自適應方法在跨數據集表情識別任務中的有效性，我們參照文獻[14]的做法，采用RAF-DB 作為源域，其余5 個數據集作為目標域，使用融合特征進行對抗，與無域對抗方法、兩種通用域對抗自適應方法（DANN[11]和CDAN[12]）進行模型遷移效果對比，實驗結果如表2 所示。

表2 無域對抗、通用域對抗、細粒度域對抗的跨數據集識別結果對比Table 2 Comparison of cross-dataset recognition results for non-domain adversarial, general domain adversarial,and fine-grained domain adversarial%

從表2 可知，采用細粒度域對抗自適應方法的結果均優于無域對抗方法和DANN 方法，其平均準確率相較于無域對抗方法提高了22.19%，相較于DANN 和CDAN 方法，分別提高了4.62%和2.50%。實驗結果證明，細粒度域對抗自適應方法能有效地提高跨數據集的表情識別性能。

2.5 實驗效果對比

為驗證本文方法的性能，我們把本文方法與近五年的幾個跨數據集算法進行對比。所有方法均使用相同的源數據集RAF-DB 和主干網絡Res-Net-18，分別以CK+、JAFFE、SFEW2.0、FER2013、ExpW 作為目標域進行測試，結果如表3 所示。其中，POCAN[13]和ESSRN[9]方法的數據來源于原文獻，其他幾種方法的數據則來自文獻[10]對這些算法的復現結果。

表3 本文方法與其他方法的比較Table 3 Comparison of the proposed method with other methods%

從表3 可以看出，本文方法在CK+和FER2013進行跨數據集表情識別時，獲得最優識別結果。在JAFFE、SFEW2.0 和ExpW 數據集也獲得了次優的準確率。本文方法的平均準確率達到63.70%，高于其他方法。

值得注意的是，本文方法在SFEW2.0 和ExpW數據集的準確率稍低于AGRA 方法。這可能是因為兩個數據集均為自然場景下獲取的數據集，部分人臉存在較大的頭部姿態變化以及面部遮擋等問題，導致局部表情特征獲取失敗，影響了本文提出的表情識別模型的性能。

2.6 特征分布可視化

為了進一步證明細粒度域鑒別器能有效地對齊不同數據集表情類別間的分布，我們把遷移過程中不同階段的表情特征進行可視化展示和對比。具體來說，我們以RAF-DB 為源數據集，CK+為目標數據集，將遷移過程的4 個階段：訓練前，細粒度域對抗前（僅在源數據集訓練），細粒度域對抗中（加入目標數據集后，經過30 輪的訓練），細粒度域對抗后。這四種情況的表情特征使用t-SNE 算法[27]降維，進行可視化展示，如圖3 所示。

圖3 RAF-DB 遷移到CK+的4 個階段的特征分布Fig. 3 Feature distribution of four stages of RAF-DB transfer to CK+

從圖3 可以看到，在模型訓練前,兩個數據集表情類別的特征分布非?；祀s，無法進行表情分類。在細粒度域對抗前，由于已經在源數據集進行了第一階段的表情分類訓練，兩個數據集的相同表情類別的特征聚類開始顯現。在細粒度域對抗訓練過程中，兩個數據集的相同表情類別聚類更明顯，類間差距也逐漸擴大。細粒度域對抗訓練完成后，兩個數據集的特征已呈現聚類，表情的類間分布差異明顯。這表明，通過細粒度域對抗訓練，可以學習到不同數據集的相同表情類別信息，并聚合在一起，同時加大不同表情類間距離，從而降低兩個數據集間的特征分布差異。

3 結束語

為了解決跨數據集表情識別的問題，本文提出了一種基于表情融合特征的域對抗網絡模型。該模型利用Encoder 模塊融合表情的全局和局部特征，在提高表情特征的魯棒性的同時，減少了表情特征的跨域差異，有利于后續表情模型的遷移。此外，為了解決不同表情數據集的類別不匹配導致跨數據集識別精度下降的問題，本文基于表情類別進行細粒度的對抗學習。在實驗部分，本文通過消融實驗及可視化實驗證明特征融合以及細粒度域對抗自適應方法的有效性。通過與近年幾個表現優異的算法比較，證明了本文方法的有效性。目前，本文算法僅在公開表情數據集進行跨數據集實驗達到較為理想的效果，在未來研究中，我們將嘗試構建個人數據集驗證算法的魯棒性和實用性，并把算法推廣到動態表情數據上，提高動態表情的跨數據集效果。