基于CNN與關(guān)鍵區(qū)域特征的人臉表情識別算法*

薛建明, 劉宏哲, 袁家政, 王雪嶠, 李 青, 楊少鵬

(1.北京聯(lián)合大學(xué) 北京市信息服務(wù)工程重點實驗室，北京 100101;2.北京開放大學(xué)，北京 100081; 3.北京聯(lián)合大學(xué) 計算機(jī)技術(shù)研究所，北京 100101)

0 引 言

人臉表情識別在人機(jī)交互與情感感知領(lǐng)域有著廣泛的研究前景，主要應(yīng)用包括智能教育中的學(xué)習(xí)狀態(tài)分析、安全駕駛中的駕駛?cè)藸顟B(tài)預(yù)測、犯罪審訊中的嫌疑人心理活動分析和智能醫(yī)療中的病人病因分析等。美國的著名心理學(xué)家Ekman P和 Friesen W V首次提出了面部動作編碼系統(tǒng)(facial action coding system,FACS)[1]，并提出了迄今為止都廣泛使用的六類基本表情(驚訝，悲傷，厭惡，生氣，開心和恐懼)。目前，人臉表情識別算法可以大致分為兩種：傳統(tǒng)機(jī)器學(xué)習(xí)方法和基于深度學(xué)習(xí)的方法。

傳統(tǒng)機(jī)器學(xué)習(xí)方法大多將人臉表情識別分為特征提取和特征分類2個步驟。其中，特征提取是最關(guān)鍵的部分。提取能夠更好表達(dá)表情信息的特征可以在很大程度上提高表情識別的準(zhǔn)確率。根據(jù)處理對象的不同，還可以將特征提取和特征分類兩個部分的算法分別細(xì)分為基于靜態(tài)圖像的方法和基于動態(tài)序列的方法。近年來，諸如局部二值模式(local binary pattern,LBP)、局部Gabor二值模式(local Gabor binary pattern,LGBP)[5]、梯度直方圖(histogram of gradient,HOG)和尺度不變特征變換(scale invariant feature transform,SIFT)[7]等算法被應(yīng)用于靜態(tài)人臉表情圖像的特征提取。文獻(xiàn)[2]將SIFT特征應(yīng)用人臉表情識別，取得了78.43 %識別結(jié)果。文獻(xiàn)[3]將LBP與Gabor兩種特征相結(jié)合，取得了98 %的識別結(jié)果。基于動態(tài)序列的特征提取較常用的有光流法和特征點跟蹤法。通過對人臉表情圖像提取特征后，還需要使用合適的分類器對特征進(jìn)行分類。基于靜態(tài)圖像的分類器主要有K最近鄰(K nearest neighbour,KNN)分類器、支持向量機(jī)(support vector machine,SVM)分類器和貝葉斯分類器等。而基于動態(tài)序列的分類器主要有隱馬爾可夫模型(hidden Markov model,HMM)[4]和VSL-CRF[5]模型等。這些傳統(tǒng)的機(jī)器方法在特定的小樣本數(shù)據(jù)集中更加有效，但卻缺乏泛化能力，在不受控制的環(huán)境中很難通過調(diào)整來識別新的人臉表情。然而隨著技術(shù)發(fā)展，深度學(xué)習(xí)在計算機(jī)視覺領(lǐng)域得到了廣泛應(yīng)用，從而解決了傳統(tǒng)人工設(shè)計特征的麻煩，并且能夠自動地提取更深層次的人臉表情特征，達(dá)到提高識別率的目的。

Ouellet S[6]將深度卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于人臉表情識別，進(jìn)行高級人臉特征的提取，然后通過SVM分類器進(jìn)行表情分類，最終在The Extended Cohn-Kanade Dataset(CK+)[7]數(shù)據(jù)集上取得94.4 %識別精度。 Liu M Y等人[8]通過結(jié)合表情活動單元(action unit,AUs)來構(gòu)建人臉表情識別深度網(wǎng)絡(luò)(action unit deep network,AUDN)，最終在CK+數(shù)據(jù)集上取得了92.05 %的識別結(jié)果。

目前，現(xiàn)有的算法也有通過提取關(guān)鍵區(qū)域的手工特征來進(jìn)行表情識別，并沒有與深度學(xué)習(xí)相結(jié)合。本文提出一種新的應(yīng)用于人臉表情識別的區(qū)域特征融合并行網(wǎng)絡(luò)框架。本文的主要創(chuàng)新點為：1)提出了一種人臉表情圖像分塊的提取方法，能夠準(zhǔn)確的提取人臉表情表達(dá)的兩個關(guān)鍵區(qū)域；2)提出了一種簡單有效的并行網(wǎng)絡(luò)的框架用于融合人臉表情圖像的全局和局部特征并很好地結(jié)合了遷移學(xué)習(xí)的思想，提高了表情識別的準(zhǔn)確率。

1 相關(guān)理論

深度卷積神經(jīng)網(wǎng)絡(luò)由于其具備優(yōu)異的特征學(xué)習(xí)能力而被廣泛地應(yīng)用于深度學(xué)習(xí)的各個領(lǐng)域，尤其是圖像分類方面。深度卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用大大提高了特征提取的效率。相比于傳統(tǒng)的機(jī)器學(xué)習(xí)分類問題，深度卷積神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)格式也得到了一定程度上的簡化。因為傳統(tǒng)的機(jī)器學(xué)習(xí)分類問題不能直接將數(shù)據(jù)輸入，往往需要經(jīng)過一系列的預(yù)處理，例如：量綱的歸一化，格式的轉(zhuǎn)化等。鑒于深度卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)越性，本文的基礎(chǔ)模型采用的是VGG—16模型[9]。該模型為了能夠有效減少參數(shù)使用3個的卷積層來代替1個的卷積層，并且還在3塊卷積層后面都使用了ReLU層，從而使最終的決策函數(shù)的判別性更強(qiáng)。雖然VGG—16的預(yù)訓(xùn)練模型參數(shù)較大，但公開的預(yù)訓(xùn)練模型很方便獲取和使用。因此，本文采用遷移VGG—16的預(yù)訓(xùn)練模型，來實現(xiàn)本文所提的算法。

2 關(guān)鍵區(qū)域特征融合的人臉表情識別算法

2.1 總體框架

為了能夠?qū)⒑胸S富的表情表達(dá)的區(qū)域更好的利用，提出了基于區(qū)域特征融合的并行網(wǎng)絡(luò)的人臉表情識別算法。

2.2 人臉檢測

使用文獻(xiàn)[10]中的MTCNN方法。采用在MXNET框架下的MTCNN實現(xiàn)，對表情數(shù)據(jù)集中經(jīng)純臉部圖像提取后的圖像進(jìn)行人臉檢測，然后再給出人臉中5個關(guān)鍵點的預(yù)測位置。5個關(guān)鍵點位置分別是兩眼中間位置，鼻尖位置和兩邊嘴角的位置。

圖1 區(qū)域特征融合并行網(wǎng)絡(luò)框架

2.3 關(guān)鍵區(qū)域提取

將5個關(guān)鍵點表示為P={PEL,PER,PNC,PML,PMR}，其中，下標(biāo)E代表眼睛，N代表鼻子，M代表嘴巴，L和R分別表示左右。以眼睛區(qū)域為例。

首先，計算出眼關(guān)鍵點位置的中心對稱點PC1

PC1=|PEL-PER|/2

(2)

式中 |PEL-PER|為兩點的橫縱坐標(biāo)對應(yīng)相減并取絕對值。

然后，計算得出該關(guān)鍵區(qū)域的寬和高

W=W1+W2,H=H1+H2

(3)

式中W1和W2分別為中心點PC1到該區(qū)域左邊緣和右邊緣的距離。同理，H1和H2分別為中心點PC1到該區(qū)域下邊緣和上邊緣的距離。W1，W2，H1和H2的計算公式如下

W1=|PEL∶x-X1|/2+|PEL∶x-PC1∶x|

(4)

W1=|PER∶x-X2|/2+|PER:x-PC1∶x|

(5)

H1=|PNC∶y-Y1|

(6)

(7)

式中X1，X2，Y1，Y1分別為二維圖像左、右邊緣的橫坐標(biāo)和下、上邊緣的中坐標(biāo),P∶x和P∶y分別為是點P的橫縱坐標(biāo)。

最后，以點PC1、寬W和H高這三個參數(shù)來確定眼部關(guān)鍵區(qū)域。同時，嘴巴關(guān)鍵區(qū)域的提取與眼部關(guān)鍵區(qū)域提取方法一致。本文將該方法同時在2個公開表情數(shù)據(jù)集中進(jìn)行關(guān)鍵區(qū)域提取的實驗，證明了該方法在保證不丟失關(guān)鍵區(qū)域像素信息的情況下，還能夠很好地去除冗余信息。

2.4 特征提取與融合

本文采用在Imagenet[11]數(shù)據(jù)集上訓(xùn)練好的VGG—16模型作為本文算法中的特征提取器。由于人臉表情數(shù)據(jù)集的量級都較小，采用訓(xùn)練好的模型通過把從大數(shù)據(jù)集中學(xué)習(xí)的到知識遷移利用起來，從而能夠有效地防止過擬合，同時還可以加速訓(xùn)練的過程，節(jié)約人力和物力。本文算法使用3個并行的VGG—16模型來分別對全圖、眼睛關(guān)鍵區(qū)域和嘴巴關(guān)鍵區(qū)域進(jìn)行特征提取，然后依次通過池化層和Concat操作實現(xiàn)特征的融合，最后在模型后面連接上2層全連接層和Softmax層作為分類器。提出的算法簡單有效。

3 實驗與結(jié)果分析

3.1 數(shù)據(jù)集選取與預(yù)處理

本文采用日本女性面部表情數(shù)據(jù)集JAFFE[12]和CK+人臉表情數(shù)據(jù)集來進(jìn)行實驗驗證。

采用JAFFE的全部數(shù)據(jù)；對于CK+表情數(shù)據(jù)集只在有327個序列圖像選取3張峰值圖片作為驗證實驗的表情數(shù)據(jù)集。實驗時，將每一類表情分別隨機(jī)分成訓(xùn)練集、驗證集、測試集，將每一類訓(xùn)練集、驗證集、測試集合并，其分布比例為8∶1∶1。

對選取的2個表情數(shù)據(jù)集進(jìn)行預(yù)處理主要是對其中所有圖片進(jìn)行純臉部圖像的提取，并對提取后的純臉部圖像統(tǒng)一縮放到224×224×3大小，如圖2所示。

圖2 CK+和JAFFE表情庫純臉部樣本示例

3.2 實驗具體實施

對人臉圖像進(jìn)行表情豐富區(qū)域裁剪，分別是眼睛、鼻子和嘴巴3個部位。裁剪后得到2個局部區(qū)域圖像，再將這2張圖像統(tǒng)一縮放到224×224×3的尺寸，如圖3所示。

圖3 CK+和JAFFE表情數(shù)據(jù)集關(guān)鍵區(qū)域提取實例

提取人臉圖像的關(guān)鍵區(qū)域后，將得到的2個關(guān)鍵區(qū)域圖像與全圖饋送到3個以VGG—16模型為基礎(chǔ)的并行網(wǎng)絡(luò)中提取人臉表情特征。為獲取更多的表情特征信息，本文選取模型中的Relu6這一層的輸出來作為的人臉表情特征的表達(dá)，尺寸為1×4 096。將得到的3個表情特征進(jìn)行最大池化處理后，再使用Concat操作進(jìn)行特征融合，然后再饋送到由2層全連接層和Softmax層組成的一個分類網(wǎng)絡(luò)進(jìn)行訓(xùn)練，其中損失函數(shù)為交叉熵?fù)p失，優(yōu)化算法采用的是Adam方法。由大量的實驗得出，在對2個表情數(shù)據(jù)集上進(jìn)行網(wǎng)絡(luò)訓(xùn)練時最小批數(shù)量采用的是32，訓(xùn)練輪數(shù)設(shè)置為70，在兼顧準(zhǔn)確率的同時節(jié)約了訓(xùn)練時間。

3.3 實驗結(jié)果分析

本文在分別在CK+和JAFFE這兩個表情數(shù)據(jù)集上對所提算法進(jìn)行了實驗驗證。表2和表4為本文所提方法在兩個表情數(shù)據(jù)集上得到的7種表情分類結(jié)果的混淆矩陣，并且表1和表3還給出了沒有融合局部區(qū)域特征的情況下，得到的分類結(jié)果的混淆矩陣。

表1 CK+測試結(jié)果混淆矩陣(純臉部圖像)

表2 CK+測試結(jié)果混淆矩陣(純臉部圖像+局部區(qū)域特征融合)

從表1和表2所示的混淆矩陣可以看出，開心和厭惡這兩個標(biāo)簽的表情識別率100 %，是所有表情中最高的。因為開心的表情比較簡單，易于識別，而在CK+這個數(shù)據(jù)集中，厭惡的表情表現(xiàn)的形式也與其他表情差別較大，所以識別率會高一些。比較兩個表中的其他類別表情的識別率，不難發(fā)現(xiàn)，本文所提的方法使得準(zhǔn)確率在未融合區(qū)域特征方法的基礎(chǔ)上進(jìn)一步得到了提升。進(jìn)一步分析可知，將富含表情表達(dá)的區(qū)域截取，再與全圖進(jìn)行特征融合，這相當(dāng)于將這些區(qū)域的特征進(jìn)行了強(qiáng)化。因此，本文算法能夠識別出與恐懼這個表情表達(dá)相似的一些表情之間的較為細(xì)微的差異性，從而較大程度上消除了這一個問題對識別率的影響。

表3 JAFFE測試結(jié)果混淆矩陣(純臉部圖像)

表4 JAFFE測試結(jié)果混淆矩陣(純臉部圖像+局部區(qū)域特征融合)

從表3和表4可以看出，通過本文方法，將表情表達(dá)豐富的區(qū)域進(jìn)行裁剪并融合其特征，能夠有效降低相似表情之間的誤識別的概率。同時，從表4可以看出，有一部分表情為生氣的圖像被誤識別為中性標(biāo)簽。經(jīng)過查看原始數(shù)據(jù)集，可以發(fā)現(xiàn)，在標(biāo)簽為生氣的樣本中，存在少量的樣本其表情表達(dá)并不明顯，可能是因此才導(dǎo)致了該類表情的誤識別。

將本文方法與近期其他學(xué)者所提方法的識別結(jié)果對比，文獻(xiàn)[13～17]及本文算法在CK+上的準(zhǔn)確率分別為96.02 %，96.60 %，98.30 %，95.73 %，97.81 %，98.48 %；在JAFFE上的識別準(zhǔn)確率分別為89.5 %，90.90 %，93.42 %，96.30 %，95.56 %。可知，在CK+和JAFFE這兩個表情數(shù)據(jù)集上，本文所提方法均取得了不錯的效果。在CK+數(shù)據(jù)集中，本文所提方法的識別率均超過了其他傳統(tǒng)機(jī)器學(xué)習(xí)的算法，其中也包括了設(shè)計提取并融合局部傳統(tǒng)特征的方法和基于卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)方法。在JAFFE數(shù)據(jù)集中，雖然本文的算法比文獻(xiàn)[15]中的方法識別率低，但由于本文采用的是基于卷積神經(jīng)網(wǎng)絡(luò)的方法，因此避免了人工設(shè)計特征的復(fù)雜性，且僅需要簡單地訓(xùn)練幾層網(wǎng)絡(luò)即可達(dá)到不錯的識別效果，節(jié)約了大量的訓(xùn)練時間。同時，JAFFE數(shù)據(jù)集原始數(shù)據(jù)較少，這也是導(dǎo)致其識別率不高的原因之一。

4 結(jié) 論

通過設(shè)計簡單并行網(wǎng)絡(luò)模型用于人臉表情識別，易于實現(xiàn)，且網(wǎng)絡(luò)的訓(xùn)練和測試能夠在30 min內(nèi)完成。同時，采用融合后的模型，能夠在一定程度上突出了人臉表情表達(dá)比較豐富區(qū)域的特征信息，使得該模型更好地學(xué)習(xí)到相似表情在關(guān)鍵區(qū)域中的細(xì)微差異，從而降低其誤判的概率，在JAFFE和CK+兩個數(shù)據(jù)集上分別取得95.56 %和98.48 %的結(jié)果。在今后的研究中，應(yīng)該進(jìn)一步優(yōu)化關(guān)鍵區(qū)域提取的準(zhǔn)確性和模型的魯棒性，從而能更好地滿足現(xiàn)實生活的場景的需求。