基于性別和年齡因子分析的魯棒性人臉表情識別

廖海斌 徐 斌

1(湖北科技學院計算機科學與技術學院 湖北咸寧 437100) 2(江西省智慧城市產業技術研究院 南昌 330096)

(liao_haibing@163.com.cn)

人臉表情識別與人臉身份識別一樣，是一個熱門的研究領域[1]，具有廣泛應用場景.如，可應用于安全駕駛、智能教室、視頻會議、虛擬現實和認知科學等[2-4].人臉表情識別系統一般由兩大部分組成[5]：1)特征提取；2)分類器設計.其中，特征提取是從人臉圖像中提取出可鑒別特征.目前兩大常用的特征提取方法為基于幾何結構的特征提取和基于表觀的特征提取.基于幾何結構的特征提取方法首先需要精準定位出人臉關鍵點，然后基于關鍵點構建人臉幾何距離和角度等結構特征向量[6-7].基于表觀的特征提取方法主要是利用圖像的紋理信息進行人臉表情識別[8-9]，具有簡單有效的特性，但缺乏對遮擋和光照等變化的魯棒性.在自然場景中，人臉的姿態、遮擋和低分辨率等變化因素都會對人臉特征提取帶來較大影響.所謂的分類器設計就是基于提取的人臉特征構建出一種能對表情進行分類的識別系統.其中，k-最近鄰(k-nearest neighbor, KNN)和支持向量機(support vector machine, SVM)是2種經典的分類器.最近，熱門的卷積神經網絡(convolutional neural network, CNN)圖像識別方法能提供一種端到端的人臉表情識別方案[2,10-11]，其將人臉特征提取和分類識別融合到一種框架內.然而，CNN需要大量的訓練樣本和高性能計算GPU支持[11-12].另外，其框架內采用Softmax分類器也并非最優的選擇.有關實驗表明：在利用深度學習提取特征后，采用聯合貝葉斯分類器或SVM分類器會取得更好效果[13].

Fig. 1 Facial expression images under different attributes圖1 不同屬性下的人臉表情圖像

早在20世紀，Ekman等人[14-15]基于跨文化、跨區域研究，設計了6種基本情感(憤怒、厭惡、恐懼、高興、悲傷和驚訝)，他們指出不同文化背景的人類具有同樣的基本情感表達方式.然而，2012年神經科學和心理學高級研究表明：人類的6種基本情感表達是與特定文化背景相關的，不具有普適性[16].與此同時，本文作者發現不同性別和年齡的人表現出不同的表情表現模式，如圖1所示，小孩和成年人就有著不同的悲傷表情，即人臉的性別和年齡等屬性對人臉表情識別有著重要影響.因此，本研究組提出了一種基于人臉性別約束的隨機森林人臉表情識別方法[17]，此方法充分考慮人臉性別因子對人臉表情識別的影響，獲得了較好的效果，從側面證明了文獻[16]的結論.本文在前期工作的基礎上做了進一步深入研究，與前期工作相比，其創新性和改進點如下：

1) 整體思路和框架.提出基于人臉屬性因子分析的人臉表情識別框架.前期工作只考慮了人臉性別因子的影響；而在本文中，不僅考慮到人臉性別因子，還考慮了人臉年齡因子.這是因為在后來的研究中發現，不同年齡段的人群有不同的表情表現方式，因此在原來性別的基礎上增加了人臉年齡屬性，綜合考慮人臉性別和年齡共同作用下的人臉表情問題.實驗證明，加入人臉年齡因子后，效果得到明顯提升.

2) 人臉特征提取.提出基于多示例注意力機制的特征提取方法.在后來的研究中發現，針對人臉表情識別問題，不同的人臉示例塊對最終人臉表情識別的貢獻度是不一樣的.比如，對人臉表情識別問題，人臉嘴巴區域就比人臉額頭區域更重要，人臉眼睛區域比人臉面頰區域更重要等.前期工作直接將各示例特征串接，并沒有考慮各示例塊的權重問題.另外，本研究組發現EfficientNet[18]比GoogLeNet網絡模型性能更優.因此，在本文中，采用EfficientNet進行各示例特征提取，然后利用注意力機制自動學習不同示例塊的權重，最后進行各示例特征的融合.

3) 人臉表情分類器設計.提出基于人臉性別和年齡約束的多條件隨機森林人臉表情識別方法.前期工作只是進行2類別的條件隨機森林分類器設計，而本文則是進行了8類別(排列組合不同性別和年齡類別形成8類)條件隨機森林分類器設計.本文創新性地將人臉性別和年齡進行排列組合以生成不同的人臉屬性類別，解決了人臉性別和年齡交叉影響問題；另外，在多條件隨機森林分類器設計時，避免了對人臉性別和年齡進行多層級判別的問題，只需要一次進行8選1即可.

綜上，本文利用深度學習優良的特征提取特性，提出一種多示例注意力學習的特征提取方法；同時，利用隨機森林良好的分類性能，提出一種基于人臉屬性的多條件隨機森林人臉表情分類器設計方法.

1 基于屬性因子分析的人臉表情識別模型

圖2為基于人臉性別和年齡雙屬性因子分析的人臉表情識別框架，主要包括人臉特征提取、人臉雙屬性估計和人臉表情識別三大部分.

Fig. 2 Face expression recognition model framework圖2 人臉表情識別模型框架

1.1 基于多示例注意力機制的特征提取

基于多示例注意力機制的人臉特征提取包括多示例選取、多示例特征提取和多示例特征融合3部分：

1) 人臉多示例選取

Fig. 3 The multi-instance example of facial expression圖3 人臉表情多示例

研究中發現：人臉表情變化主要集中在眉毛、眼睛、嘴巴等關鍵區域.因此，本文參考示例密集采樣[19]和圖像塊顯著性檢測方法[20]，配合人臉的“三眼五庭”結構特性，選取如圖3所示的7個人臉分塊作為人臉表情示例.因此，7個人臉示例依次為：整個人臉圖像、左眼區域塊、右眼區域塊、眼部區域塊、嘴部區域塊1、嘴部區域塊2和嘴部區域塊3.

2) 基于EfficientNet的多示例特征提取

利用EfficientNet-B3網絡模型對上步選取人臉表情示例進行特征表示學習.EfficientNet通過LFW(labled faces in the wild)和YTF(youtube faces in the wild)人臉庫進行預訓練，使其具有高層語義信息表示能力.

3) 基于注意力機制的多示例特征融合

由于人臉不同示例對人臉表情識別的重要性是不一樣的；另外，由于人臉遮擋和噪聲等因素影響也會導致不同示例對最終識別的貢獻度不一樣.因此，本文利用注意力機制進行示例權重學習，提出一種基于注意力機制的多示例特征融合方法，如圖4所示:

Fig. 4 Multi-instance fusion network based on attention mechanism圖4 基于注意力機制的多示例融合網絡

在EfficientNet的最后一層加入注意力模塊，將注意力模塊輸出的權重乘以EfficientNet輸出的向量，作為示例最后的特征向量.注意力網絡如圖4底部所示，其輸入為EfficientNet最后一層的特征圖，輸出是一個概率值.假設基于EfficientNet的人臉示例特征向量提取為

yi=xiw+b,

(1)

其中，yi表示最后的特征輸出，xi表示第i個示例在最后一層中的特征圖，w是權值項，b為偏置項.假設注意力機制網絡的輸出為

αi=Φ(xi),

(2)

其中，αi是第i個示例的權重值，Φ表示注意力網絡操作.因此，利用αi對yi進行加權可得

(3)

然后，多示例融合特征可以通過將各示例特征串連而得到

(4)

最后，在深度學習網絡模型中增加一個全連接層對式(4)得到的多示例特征y進行降維處理.

1.2 屬性約束人臉表情識別

不同性別和年齡屬性下的人臉表情圖像所在的特征空間具有多樣性，如果不考慮人臉性別和年齡因子，很難找到一個合適的分類曲面將人臉表情特征進行空間劃分.本文利用人臉性別和年齡屬性作為隱含條件進行人臉表情特征空間劃分，提出一種屬性約束人臉表情識別模型.

1) 人臉屬性估計

將人臉屬性根據性別和年齡組合情況分為8類：

(5)

首先，訓練生成一個基于人臉性別和年齡屬性分類的隨機森林TA.并利用如下不確定性測度：

(6)

其中，a表示人臉屬性類別(a∈{Ω1,Ω2,…,Ω8}).不確定性測度引導各節點選擇最優策略不斷將當前節點分裂為不確定性降低的2個子節點.

然后，基于多示例注意力提取的人臉特征y，采用隨機森林TA進行人臉屬性分類.每個葉子節點l上的人臉性別和年齡屬性概率為

(7)

最后，融合所有葉子節點概率值，得到最終的人臉屬性類別：

(8)

其中，lm為決策樹對應的葉子節點，M為決策樹的數量.

2) 條件隨機森林訓練

3) 人臉表情識別

在人臉屬性a∈Ωn已知的條件下，y的表情類別由最大概率p(e|Ωn,y)決定：

(9)

其中，M為決策樹的數量，lm為第m棵決策樹上y達到的葉子節點.在人臉屬性a未知的條件下，y的表情類別為

(10)

2 實驗分析

2.1 實驗數據和參數設置

為了驗證本文方法的有效性，在公開的Cohn-Kanade(CK+)[21],ExpW[22],RAF-DB[23],AffectNet[24]人臉庫上進行實驗驗證.CK+是經典的人臉表情庫，因此將使用其來驗證本文方法的性能.但是，此庫人臉圖像都是在可控環境下采集的，并不能充分說明算法的優越性.為了驗證算法在非可控環境下的性能，利用ExpW,RAF-DB,AffectNet這3個表情庫構建了自然場景下的人臉表情組合庫：

首先，根據人臉性別和年齡屬性將ExpW,RAF-DB,AffectNet人臉庫合并后分成8類.

然后，從每類中挑選出1.2萬張人臉表情圖像，共9.6萬(9.6=1.2×8)張人臉表情圖像作為組合庫.當從每類中挑選出1.2萬張人臉表情圖像時，采用均勻采樣的方式盡可能使6種表情均衡.由于ExpW,RAF-DB,AffectNet人臉庫中老年人表情圖像比較少，作者通過學生自愿的方式收集了一部分學生爺爺奶奶等老年表情圖像樣本，以彌補老年人表情圖像樣本較少的缺陷.

最后，將得到的9.6萬張人臉表情庫分為3個數據集：訓練集7.6萬張；驗證集1萬張；測試集1萬張.

由于ExpW,RAF-DB,AffectNet人臉庫都是來自于互聯網上傳的自然場景人臉圖像，因此組合庫可以很好地驗證算法在真實環境下的性能.

實驗采用pyTorch深度學習構架實現Efficient-Net和多示例注意力人臉特征提取.在訓練階段采用隨機旋轉和鏡像的方式進行數據增廣.模型訓練中關鍵參數設置：學習率采用動態調整方法，初始設置λ=0.001，epochs=6 000，分裂迭代次數為1 500，樹深度為20.

2.2 人臉屬性估計實驗

本節利用CK+和組合庫進行人臉屬性估計實驗，人臉屬性估計樣例如圖5所示，表1給出本文方法、CNN[25]、RoR[26]的人臉屬性識別比較結果.其中，CNN采用AlexNet網絡結構獲得了85.6%準確率；RoR采用基本塊和瓶頸塊的方式構建殘差網絡獲得了93.45%準確率；本文方法獲得了最高的準確率95.03%，另外0.5的方差也表明了其魯棒性.

Fig. 5 Examples of different face databases and their facial expression recognition results圖5 不同人臉庫樣例及其表情識別結果

Table 1 Comparison of Face Attribute Estimation Results表1 人臉屬性估計結果比較

2.3 消融實驗

1) 特征提取影響分析

為了驗證本文提出的多示例注意力特征的有效性，將其與EfficientNet-B3特征、文獻[17]提出的特征(Multi-instances+GoogLeNet)、SIFT(scale-invariant feature Transform)、HOG(histogram of oriented gradient)、幾何結構特征進行比較分析.表2給出了不同特征在組合庫上的人臉表情識別結果.從表2中可以看出，多示例注意力特征在非常難的自然場景下取得了最好識別率70.52%，比第2名(前期工作)高出了6%左右，表明了多注意力機制和EfficientNet的有效性.其次，多示例GoogLeNet特征比單獨EfficientNet-B3特征識別率提高2%左右，表明了多示例學習的有效性.另外，從表2中還可看出本文分類器比SVM分類器具有更優性能.

Table 2 Comparison of Facial Expression Recognition Results Under Different Features

2) 人臉屬性因子影響分析

為了驗證人臉性別和年齡屬性對人臉表情識別的影響，圖6給出了基于人臉性別和年齡雙屬性多條件約束、基于人臉性別單條件約束和無人臉屬性條件約束下的人臉表情識別結果比較.從圖6中可見，基于人臉性別和年齡雙屬性多條件約束的人臉表情識別方法要高于僅使用人臉性別單屬性的方法，而基于人臉性別約束的人臉表情識別要高于無人臉屬性條件約束的方法.由此可得出，人臉性別和年齡屬性是人臉表情識別的一個重要影響因子，組合使用兩種屬性比單獨使用性別一種屬性效果要好(在組合人臉庫上識別率提高了5%左右).

Fig. 6 Comparison of facial expression recognition based on facial attributes constraint圖6 基于人臉屬性約束的人臉表情識別比較

3) 綜合分析

表3給出了在組合人臉表情庫上，不同特征和分類器組合的識別率比較結果.從表3中可以看出，多示例注意力特征比經典的CNN(如GoogLeNet)特征高出7%左右；另外，基于人臉屬性分析的條件隨機森林(CRF)分類器比傳統的支持向量機(SVM)和隨機森林(RF)分別高出了7%和5%左右.

Table 3 The Recognition Results by Different Featuresand Classifiers Combination

2.4 人臉表情識別實驗

1) 基于組合庫的實驗

表4給出了本文方法基于組合庫的人臉表情識別混淆矩陣，從表4中可以看出平均準確率達到了70.52%，高興表情達到了最高準確率88.7%，緊跟其后的分別是驚訝、害怕和悲傷表情，都超過了67%的準確率，最低的厭惡表情也獲得了59.5%的準確率.

Table 4 Facial Expression Recognition Confusion MatrixBased on Combinatorial Database

2) 基于CK+的實驗

CK+是經典的人臉表情庫，為了完整性，本節同時也在此庫上驗證本文方法的有效性.實驗遵循此庫公開的訓練測試規則，利用CK+中的訓練集對模型進行微調，利用測試集進行測試.表5給出了基于CK+庫的人臉表情識別混淆矩陣，從表5中可以看出所有表情的識別率都超過了97%，平均識別率達到了99.25%.

Table 5 Facial Expression Recognition Confusion MatrixBased on CK+ Database

3) 比較實驗

為了進一步驗證本文方法的有效性，將其與目前先進的方法進行比較實驗，實驗結果如表6所示.

從表6中可見，基于深度學習的人臉表情識別方法，如文獻[11]采用Resnet18+separate loss+Softmax loss的方法在CK+和組合庫上分別獲得了97.2%和66.83%的識別率；而混合深度學習方法，如C-CNN[31]在CK+上獲得了96.67%的識別率.另外，基于Gabor特征的SVM方法在CK+和組合庫上分別獲得了88.61%和43.79%的識別率；而基于Gabor特征的RF方法在CK+和組合庫上分別獲得了90.06%和47.35%的識別率.本文方法在CK+和組合庫上分別獲得最好識別率99%和69.72%.由此可見：①深度學習方法比較傳統的Gabor+SVM或RF方法效果要好；②在表情分類中，RF分類器比SVM分類器優秀；③采用人臉性別和年齡雙屬性約束比僅使用性別約束效果要好.④本文采用的多示例注意力特征和屬性多條件隨機森林方法具有最好效果.

Table 6 Comparison Results of Different Methods Based onCK+ and Combined Database

表7給出不同方法在CPU和GPU上的訓練和測試時間比較結果.實驗機器CPU:i7-6700 4 GHz 32 GB,GPU:NVIDA GeForce GTX 1080.其中RF和SVM方法僅使用CPU進行訓練和測試，

Table 7 Comparison of TrainTest Time of Different Methods表7 不同方法的訓練測試時間比較 s

Table 7 Comparison of TrainTest Time of Different Methods表7 不同方法的訓練測試時間比較 s

測試項目CPUGPURF本文方法SVMCNN[11]本文方法訓練時間6.5400.8081000811232測試時間0.1280.1650.3780.1350.148

本文方法和CNN使用GPU進行訓練和測試.從表7中可以看出本文方法與最近的CNN[11]相比，訓練時間多出不到0.5 h，測試時間基本相當，但精度卻高出3%左右.

2.5 魯棒性實驗

為了驗證本文方法對人臉遮擋、噪聲和分辨率變化的魯棒性，本節隨機從CK+中選取1 000張人臉圖像進行人為加遮擋、噪聲和下采樣處理，以便生成低質量人臉圖像,如圖7所示，并將本文方法與CNN,SVM,RF方法進行比較實驗.其中，CNN采用GoogLeNet網絡結構進行人臉特征提取，SVM和RF方法采用Gabor特征.

Fig. 7 Examples of facial occlusion, noise, and resolution variation圖7 人臉遮擋、噪聲和分辨率變化樣例

1) 遮擋實驗

通過隨機放置黑色方塊的方式人為生成遮擋比例為20%～80%的遮擋圖像，如圖7(a)所示.圖8給出了不同遮擋比例下不同方法的識別結果.從圖8中可以看出，本文方法具有最好的遮擋魯棒性：在遮擋達到60%時，依然能達到65%以上的識別率.另外，在50%遮擋范圍內，其性能退化緩慢，當超過50%界限時才開始急劇下降.

Fig. 8 The recognition rate under different occlusion intensities圖8 不同遮擋強度下的識別率

為了進一步驗證本文方法對遮擋的魯棒性，本節選取了一些真實的遮擋人臉圖像進行實驗，如圖7(a)所示，部分定性實驗結果如圖9所示，其中圖9(a)為傳統深度學習[32]方法，圖9(b)為本文方法，圖9(c)為真實情況.從圖9可以看出，本文方法對真實的遮擋圖像同樣具有優秀的魯棒性.

Fig. 9 The facial expression recognition results under real occlusion images圖9 真實遮擋人臉圖像表情識別結果

2) 噪聲實驗

Fig. 10 Examples of Gaussian noise and salt and pepper noise圖10 高斯噪聲和椒鹽噪聲圖例

為了驗證本文方法對噪聲的魯棒性，本節對測試人臉圖像人為添加高斯噪聲α和椒鹽噪聲β，二者噪聲添加強度分別為0.05,0.1,0.15,0.2，如圖10所示.表8給出了不同噪聲強度下不同方法的識別率.從表8中可見，隨著噪聲強度的增加，所有方法性能都有所下降，但是本文方法下降的幅度最小.對于高斯噪聲，其識別率平均高出第2名5%左右；對于椒鹽噪聲，其識別率平均高出第2名9%左右.

Table 8 Facial Expression Recognition Comparison UnderDifferent Noise Intensities

3) 分辨率變化實驗

為了驗證本文方法對分辨率變化的魯棒性，本節對測試人臉圖像進行12和14下采樣處理以生成不同分辨率人臉圖像.不同分辨率下的識別率如表9所示.從表9可以看出，本文方法在所有分辨率下識別率一直保持在94%以上，分辨率變化對其影響不是很大；而RF和SVM方法對分辨率變化卻非常敏感.

Table 9 Facial Expression Recognition ComparisonUnder Different Resolution Variations

3 總 結

為了緩解人臉表情識別中類內變化和類間變化難題，提出一種基于人臉性別和年齡雙屬性因子分析的隨機森林人臉表情識別方法.通過多示例注意力機制提取魯棒性人臉特征解決人臉遮擋、噪聲和分辨率等變化問題；通過屬性條件隨機森林分類器設計解決人臉性別和年齡等屬性因素影響問題.通過廣泛實驗表明，本文方法與先進的深度學習方法相比具有先進性，對人臉遮擋、噪聲和分辨率變化具有魯棒性.