基于卷積神經(jīng)網(wǎng)絡(luò)的多人表情識(shí)別算法

黨宏社，白文靜，馬毅超，陶亞凡

（陜西科技大學(xué)電氣與信息工程學(xué)院，西安710021）

0 引言

研究人與人交互的情緒表達(dá)的特征，找尋到其內(nèi)在真實(shí)的或統(tǒng)計(jì)意義上的規(guī)律，將有可能實(shí)現(xiàn)人與計(jì)算機(jī)和諧的情緒交互[1]。面部表情是人體語(yǔ)言的一部分，能夠傳遞心理的情感，從外觀體現(xiàn)人的情緒。隨著計(jì)算機(jī)技術(shù)在各個(gè)領(lǐng)域的快速發(fā)展，人與計(jì)算機(jī)之間的交互越來(lái)越頻繁，人們對(duì)人與計(jì)算機(jī)的交互要求也隨之提高，表情識(shí)別在計(jì)算機(jī)情感分析系統(tǒng)的地位也越來(lái)越重要。有研究指出，比起動(dòng)作和語(yǔ)音，面部表情更能夠表達(dá)人的心理活動(dòng)[2]。

近年來(lái)，面部表情識(shí)別技術(shù)越來(lái)越廣泛的應(yīng)用在人機(jī)交互、智能控制、安全、醫(yī)療、通信等領(lǐng)域。面部表情識(shí)別一般涉及表情圖像的獲取、圖像預(yù)處理、情感特征的提取和表情分類[3]。特征提取的結(jié)果對(duì)最終的識(shí)別率有很大的影響。2013年胡敏等[4]人在LBP特征基礎(chǔ)上提出了自適應(yīng)加權(quán)的完全二值模式，有效地提取了局部特征和全局特征。2014年李雅倩等人[5]將PCA算法和流型學(xué)習(xí)思想相融合，提出了一種融合全局與局部多樣性特征方法。2015年Robert Walecki等[6]提出了Variable-state LCRF模型通過(guò)解決AU識(shí)別問(wèn)題很好地解決了面部表情分類問(wèn)題。2016年王曉華等[7]提出了一種融合局部特征的提取方法，與最近鄰方法相結(jié)合對(duì)局部遮擋噪聲有很好的抗噪性。2017年鐘偉等[8]將粒子群算法與線性判別式分析（LDA）相結(jié)合，提出基于粒子群算法的LDA（PSO-LDA）來(lái)提取表情特征，對(duì)最優(yōu)解的搜索能力有很大的改善。

傳統(tǒng)的特征提取采用的都是人為設(shè)定的特征，不僅損失了部分原有特征信息，并且由于特征維數(shù)較大增加了一定的運(yùn)算量和復(fù)雜度。卷積神經(jīng)網(wǎng)絡(luò)不需要人為的設(shè)定特征，而是通過(guò)訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)而自動(dòng)獲取特征，從而給出識(shí)別的結(jié)果。由于表情識(shí)別問(wèn)題的復(fù)雜性，卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)越來(lái)越復(fù)雜，參數(shù)不斷增加，計(jì)算復(fù)雜度越來(lái)越大，容易出現(xiàn)過(guò)擬合現(xiàn)象，因此本文利用MTCNN模型進(jìn)行人臉檢測(cè)，引入inception模型，使用1×1的卷積核，降低特征圖的厚度，平衡網(wǎng)絡(luò)深度和寬度。

1 卷積神經(jīng)網(wǎng)絡(luò)算法結(jié)構(gòu)設(shè)計(jì)

1.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

一個(gè)最簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括：數(shù)據(jù)輸入層、卷積計(jì)算層、池化層、全連接層和輸出層。本文的算法思路：對(duì)輸入圖片采用不同卷積核進(jìn)行卷積操作得到特征圖，再進(jìn)行最大池化；之后采用inception模型，利用1×1卷積進(jìn)行降維處理，將得到的特征圖池化；在全連接之后使用dropout進(jìn)行過(guò)擬合處理，最后使用Softmax分類器完成分類。在整個(gè)結(jié)構(gòu)中卷積是核心，卷積神經(jīng)網(wǎng)絡(luò)通過(guò)卷積來(lái)模擬特征區(qū)分，并且通過(guò)卷積的權(quán)值共享及池化，來(lái)降低網(wǎng)絡(luò)參數(shù)的數(shù)量級(jí)。本文設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)

算法的具體實(shí)現(xiàn)過(guò)程如下：

Step1：經(jīng)過(guò)預(yù)處理后得到的48×48像素的圖片作為輸入層的圖像。將輸入的圖像與32個(gè)不同大小的像素為5×5的卷積核進(jìn)行卷積，即每一個(gè)神經(jīng)元制定一個(gè)5×5的局部感受野，卷積之后得到大小為44×44像素的32個(gè)特征圖。也就是提取了32個(gè)不同的局部表情特征，產(chǎn)生了832個(gè)((5×5+1)×32)可訓(xùn)練的參數(shù)。

Step2：在BN（BatchNorm）層對(duì)得到的特征圖進(jìn)行處理，實(shí)質(zhì)是固定網(wǎng)絡(luò)層輸入的均值和方差。對(duì)于每個(gè)神經(jīng)元而言，就是在進(jìn)入下一層之前把非線性函數(shù)映射后，向取值區(qū)間極限飽和區(qū)靠攏的輸入分布，強(qiáng)制拉回到均值為0方差為1的比較標(biāo)準(zhǔn)的正態(tài)分布，使得非線性變換函數(shù)的輸入值落入對(duì)輸入比較敏感的區(qū)域，避免梯度消失問(wèn)題。當(dāng)梯度一直都保持比較大的狀態(tài)，神經(jīng)網(wǎng)絡(luò)的參數(shù)調(diào)整效率就比較高，即收斂地速度快。

Step3：對(duì)BN層的輸出的特征圖進(jìn)行池化，即下采樣。下采樣的目的是為了保持圖像的旋轉(zhuǎn)、平移、伸縮等不變性，同時(shí)也是為了降低因卷積層數(shù)增加而增加的特征維數(shù)。采用2×2的窗口進(jìn)行最大池化，將得到32個(gè)像素為22×22的特征圖，特征圖的個(gè)數(shù)相比上一層不會(huì)發(fā)生改變。

Step4：第二次卷積采用64個(gè)3×3的卷積核對(duì)上一層輸出的特征圖進(jìn)行卷積操作，得到了64個(gè)像素20×20的特征圖。將得到的64個(gè)特征圖，經(jīng)BN層處理后，采用2×2的窗口進(jìn)行最大池化，得到64個(gè)像素為10×10的特征圖。

Step5：網(wǎng)絡(luò)層數(shù)的增加導(dǎo)致參數(shù)增加，計(jì)算資源增加，因此用稀疏連接來(lái)代替全連接，網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)可由逐層分析與輸出高度相關(guān)的上一層的激活值和聚類神經(jīng)元的相關(guān)統(tǒng)計(jì)信息來(lái)優(yōu)化。但有非常多的限制條件，對(duì)計(jì)算的基礎(chǔ)設(shè)施要求過(guò)高，因此將稀疏矩陣聚類成相對(duì)稠密子空間來(lái)傾向于對(duì)稀疏矩陣的計(jì)算優(yōu)化[9]，就有了inception結(jié)構(gòu)。在進(jìn)行3×3和5×5卷積操作前，采用1×1卷積進(jìn)行降維處理，1×1卷積不僅能夠降維，還能引入ReLU非線性激活。inception結(jié)構(gòu)增加了每個(gè)階段的單元個(gè)數(shù)，也就是網(wǎng)絡(luò)的寬度和深度；同時(shí)也將多尺度處理之后的圖像結(jié)果聚集起來(lái)便于下一步能同時(shí)提取不同尺寸下的特征。對(duì)輸出的特征圖再進(jìn)行池化，為全連接層做準(zhǔn)備。

Step6：上一層輸出的每一個(gè)特征圖都是一個(gè)二維數(shù)組，全連接層的數(shù)據(jù)必須是一維的數(shù)組，因此將每一個(gè)二維數(shù)組轉(zhuǎn)換為一維數(shù)組，再將每一個(gè)特征圖的數(shù)組串聯(lián)起來(lái)形成一個(gè)特征向量，特征向量就是每一個(gè)神經(jīng)元的輸入，則每個(gè)神經(jīng)元輸出為：

ω為權(quán)值向量;x為神經(jīng)元的輸入特征向量;在實(shí)驗(yàn)中b=0表示偏置；θ(·)表示激活函數(shù)，本文中使用ReLU函數(shù)作為激活函數(shù)。

Step7：Dropout層的目的是為了防止過(guò)擬合，按照一定的概率暫時(shí)將部分神經(jīng)元從網(wǎng)絡(luò)中丟棄[10]。經(jīng)過(guò)Dropout層之后，有N個(gè)節(jié)點(diǎn)的神經(jīng)網(wǎng)絡(luò)就可以看成是2N個(gè)模型的組合，但不影響訓(xùn)練參數(shù)的數(shù)量，相比于訓(xùn)練多個(gè)模型做組合節(jié)省了時(shí)間。

Step8：在卷積神經(jīng)網(wǎng)絡(luò)的最后一層使用Softmax分類器。結(jié)合上一層的輸出結(jié)果，Softmax會(huì)給每一個(gè)類別分配一個(gè)小數(shù)用來(lái)表示類別概率，這些概率相加的結(jié)果為1。輸出層輸出的是屬于7種表情的概率數(shù)值，取最大值作為最終的識(shí)別結(jié)果。

1.2 參數(shù)修正

卷積神經(jīng)網(wǎng)絡(luò)模型通過(guò)訓(xùn)練來(lái)完成參數(shù)修正。訓(xùn)練主要包括兩方面：正向傳播和反向傳播。正向傳播就是對(duì)特征提取的過(guò)程，也就是網(wǎng)絡(luò)結(jié)構(gòu)當(dāng)中的卷積和池化。反向傳播則是根據(jù)網(wǎng)絡(luò)各層的反饋誤差計(jì)算參數(shù)的修正量[11]，再通過(guò)梯度下降法對(duì)參數(shù)進(jìn)行更新。

本文選用對(duì)數(shù)函數(shù)作為網(wǎng)絡(luò)模型訓(xùn)練過(guò)程中的損失函數(shù)，其標(biāo)準(zhǔn)形式為：

y為已知分類的類別，x為樣本值，需要讓概率p(y |x)達(dá)到最大值，即求一個(gè)參數(shù)值，使得輸出的目前這組數(shù)據(jù)的概率值最大。在訓(xùn)練過(guò)程中采用隨機(jī)梯度下降算法達(dá)到損失函數(shù)的最優(yōu)化，隨機(jī)梯度下降算法公式為：

θt表示t時(shí)刻的訓(xùn)練參數(shù)，△θt表示t時(shí)刻θt的修正量，η是學(xué)習(xí)率，gt為x在t時(shí)刻的梯度，訓(xùn)練參數(shù)θ沿著負(fù)梯度方向更新。

2 實(shí)驗(yàn)驗(yàn)證

2.1 數(shù)據(jù)集和預(yù)處理

本文選取的實(shí)驗(yàn)樣本來(lái)自JAFFE人臉表情庫(kù)、CK+人臉表情庫(kù)。JAFFE數(shù)據(jù)庫(kù)發(fā)布于1998年，該人臉表情庫(kù)是由10名女性的7種表情圖片構(gòu)成，整個(gè)數(shù)據(jù)庫(kù)合計(jì)213張圖像。CK+數(shù)據(jù)庫(kù)發(fā)布于2010年，是在Cohn-Kanade Dataset的基礎(chǔ)上擴(kuò)展來(lái)的，該數(shù)據(jù)庫(kù)包括 123個(gè) subjects，593個(gè) image sequence，每個(gè) image sequence的最后一張F(tuán)rame都有action units的label，而在這 593個(gè) image sequence中，有 327個(gè) sequence有emotion的label[12]。數(shù)據(jù)庫(kù)都將表情分為生氣、厭惡、恐懼、高興、悲傷、驚訝、平靜7個(gè)類別。選取JAFFE數(shù)據(jù)庫(kù)所有圖片，CK+數(shù)據(jù)庫(kù)選擇2000張表情圖。CK+數(shù)據(jù)庫(kù)相比JAFFE數(shù)據(jù)庫(kù)增加了男性圖片，范圍更大。

樣本數(shù)據(jù)在實(shí)驗(yàn)前需要進(jìn)行預(yù)處理，本文采用MTCNN進(jìn)行人臉檢測(cè)。MTCNN由P-Net、R-Net和O-Net三個(gè)網(wǎng)絡(luò)組成的[13]。MTCNN模型中綜合考慮了人臉邊框回歸和面部關(guān)鍵點(diǎn)檢測(cè)，能夠同時(shí)對(duì)多個(gè)人臉以及人臉特征點(diǎn)進(jìn)行檢測(cè)。首先將照片按照不同的比例，縮放成不同大小的圖片，形成圖片的特征金字塔。P-Net再獲得人臉區(qū)域的候選窗口和邊界框的回歸向量，并用該邊界框做回歸，對(duì)候選窗口進(jìn)行校準(zhǔn)，然后通過(guò)非極大值抑制（NMS）來(lái)合并高度重疊的候選框。R-Net將經(jīng)過(guò)P-Net的候選框在R-Net網(wǎng)絡(luò)中訓(xùn)練，然后利用邊界框的回歸值去微調(diào)候選窗體，再利用NMS去除重疊窗體。O-Net功能與R-Net作用類似，只是在去除重疊候選窗口的同時(shí)，同時(shí)顯示五個(gè)人臉關(guān)鍵點(diǎn)的定位。MTCNN算法能夠在多人情境下快速準(zhǔn)確地檢測(cè)到每一個(gè)人臉進(jìn)行。

2.2 結(jié)果及分析

本文使用Python、Tensoflow和Keras搭建網(wǎng)絡(luò)。硬件平臺(tái) Dell XPSD14D-5518：Intel酷睿 i5 2.5GHz，內(nèi)存4GB。本文實(shí)驗(yàn)分為三組進(jìn)行：

（1）用JAFFE數(shù)據(jù)庫(kù)樣本進(jìn)行訓(xùn)練和測(cè)試，訓(xùn)練樣本149個(gè)，測(cè)試樣本64個(gè)，循環(huán)20次后平均值作為測(cè)試結(jié)果。測(cè)試結(jié)果如表1所示。

表1 JAFFE數(shù)據(jù)庫(kù)測(cè)試識(shí)別率（%）

由表1可以計(jì)算出，在JAFFE數(shù)據(jù)庫(kù)測(cè)試的平均識(shí)別率89.35%。對(duì)于平靜和高興的識(shí)別率很高，傷心的識(shí)別率最低。

（2）用CK+數(shù)據(jù)庫(kù)樣本進(jìn)行訓(xùn)練和測(cè)試，訓(xùn)練樣本2000個(gè)，測(cè)試樣本396個(gè)，循環(huán)20次后平均值作為測(cè)試結(jié)果。測(cè)試結(jié)果如表2所示。

表2 CK+數(shù)據(jù)庫(kù)測(cè)試識(shí)別率（%）

由表2可以計(jì)算出，在CK+數(shù)據(jù)庫(kù)測(cè)試的平均識(shí)別率90.10%。相比于JAFFE的測(cè)試結(jié)果的89.35%，識(shí)別率有小幅的增加。

（3）為了擴(kuò)大數(shù)據(jù)集的樣本數(shù)，將CK+數(shù)據(jù)集的樣本進(jìn)行翻轉(zhuǎn)，并且與JAFFE數(shù)據(jù)庫(kù)合并。選取合并后的表情圖庫(kù)圖像的90%為訓(xùn)練樣本，其他10%為測(cè)試樣本，循環(huán)20次后平均值作為測(cè)試結(jié)果。測(cè)試結(jié)果如表3所示。

表3 CK+數(shù)據(jù)庫(kù)測(cè)試識(shí)別率（%）

由表3計(jì)算出，在合并的數(shù)據(jù)集進(jìn)行測(cè)試的平均識(shí)別率為90.86%。CK+數(shù)據(jù)集樣本識(shí)別率相比，平均識(shí)別率有所提高，但部分表情的識(shí)別率有所下降。將本文算法與其他算法進(jìn)行比較，可以看出本文算法有較好的識(shí)別率。

表4 本文算法與其他算法識(shí)別率比較

使用本文算法在實(shí)驗(yàn)室環(huán)境下進(jìn)行測(cè)試，結(jié)果如圖2所示。可以看出能夠顯示出每個(gè)人的表情狀態(tài)，實(shí)現(xiàn)了對(duì)多人表情的識(shí)別。

圖2 測(cè)試結(jié)果

3 結(jié)語(yǔ)

本文在預(yù)處理階段使用了MTCNN模型進(jìn)行了人臉檢測(cè)，能夠快速準(zhǔn)確地檢測(cè)出多個(gè)人臉以及人臉特征點(diǎn)。在提取人臉圖像后采用了加入inception模型的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行面部表情的識(shí)別，降低了特征圖的厚度，平衡了網(wǎng)絡(luò)深度和寬度，抑制了過(guò)擬合現(xiàn)象，在測(cè)試過(guò)程中取得了較好的結(jié)果。下一步的研究工作將針對(duì)減小損失誤差問(wèn)題對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)一步優(yōu)化。