改進(jìn)殘差網(wǎng)絡(luò)與峰值幀的微表情識(shí)別

任 宇, 陳新泉, 王岱嶸, 陳新怡

安徽工程大學(xué) 計(jì)算機(jī)與信息學(xué)院, 安徽 蕪湖 241000

1 引 言

微表情是人們內(nèi)心情感通過(guò)不受控制的面部活動(dòng)露出的面部表情。這種自發(fā)產(chǎn)生的面部表情因其不可控性而難以克制,可以將內(nèi)心的情感更直觀地表達(dá)出來(lái)。微表情通常發(fā)生在1/25～1/3 s內(nèi),且在幅度很小的特定面部區(qū)域運(yùn)動(dòng)[1]。因此在生產(chǎn)生活中微表情識(shí)別被廣泛應(yīng)用于評(píng)估情緒狀態(tài)、謊言檢測(cè)、商務(wù)談判等領(lǐng)域[2]。

最初的微表情識(shí)別是由有經(jīng)驗(yàn)或受過(guò)專業(yè)訓(xùn)練的心理學(xué)家和專業(yè)人士完成,但是由于時(shí)間表現(xiàn)上的壓縮以及理解上的困難[3],識(shí)別效率與準(zhǔn)確度較低。隨著機(jī)器學(xué)習(xí)與深度學(xué)習(xí)等方法的發(fā)展,現(xiàn)有的識(shí)別方法可分為基于手工描述特征的微表情識(shí)別算法與基于深度學(xué)習(xí)的微表情識(shí)別算法[4]。目前,微表情識(shí)別步驟大致可分為預(yù)處理、特征提取、分類。

較早提出的是基于手工描述特征的微表情識(shí)別方法。局部二進(jìn)制模式(Local Binary Pattern, LBP)是基于方向梯度直方圖[5]算法早期提出的手工描述特征的微情識(shí)別算法。Li等[6]提出了三正交平面局部二進(jìn)制模式(LBP from Three Orthogonal Planes, LBP-TOP)進(jìn)行微表情識(shí)別。Huang[7]提出了時(shí)空全局部量化模式(Spatial Temporal Completed Local Quantized Pattern, STCLQP),有效地避免了LBP-TOP特征僅考慮局部外觀和運(yùn)動(dòng)特征的局限性。Wang等提出了六交點(diǎn)局部二值模式(LBP with Six Intersection Points, LBP-SIP)方法[8]和平均正交平面二進(jìn)制模式(LBP Mean Orthogonal Planes, LBP-MOP)方法[9]。Xu等[10]提出面部動(dòng)態(tài)圖(Facial Dynamics Map,FDM)方法,Liu等[11]提出計(jì)算面部肌肉運(yùn)動(dòng)的主方向平均光流,這兩種都是基于運(yùn)動(dòng)信息的光流特征來(lái)進(jìn)行識(shí)別。FDM通過(guò)將人臉進(jìn)行定位,之后將每個(gè)微表情進(jìn)行人臉對(duì)齊和剪裁,再把抽取出來(lái)的光流場(chǎng)進(jìn)行分割,最后抽取分割出的立方體主方向。上述基于手工描述特征的微表情識(shí)別算法可以大致分為外觀特征和幾何特征:LBP及其衍生的方法是較為典型的外觀特征方法,而利用光流特征或是動(dòng)態(tài)特征則是幾何特征的方法。基于這兩種特征的算法,可以將微表情內(nèi)在特征更加直觀地表現(xiàn)出來(lái),同時(shí)對(duì)一些微小的特征進(jìn)行放大,從而更加容易地進(jìn)行微表情識(shí)別。但是由于其方法的局限性,而導(dǎo)致需要大量的計(jì)算和繁瑣的參數(shù)調(diào)整,同時(shí)泛化能力與魯棒性都比較低,難以處理復(fù)雜情況下的微表情識(shí)別,降低識(shí)別準(zhǔn)確率[12]。

隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展,深度學(xué)習(xí)的方法在圖像分類、人臉識(shí)別、語(yǔ)音識(shí)別[13-14]等方向取得了巨大的突破,基于深度學(xué)習(xí)的微表情識(shí)別方法也開始逐漸被提出。Patel等[15]使用深度學(xué)習(xí)方法,利用卷積神經(jīng)網(wǎng)絡(luò)用深層特征方式對(duì)微表情特征進(jìn)行提取,減少了特征信息的冗余度,再使用傳統(tǒng)的分類方法進(jìn)行表情的分類。Peng等[16]提出了雙時(shí)域尺度卷積神經(jīng)網(wǎng)絡(luò)(Dual Temporal Scale Convolutional Neural Network, DTSCNN),每條流都由獨(dú)立的淺網(wǎng)絡(luò)組成,同時(shí)注入光流序列獲取更高層次的特征避免過(guò)擬合問(wèn)題。Khor等[17]提出了一個(gè)增強(qiáng)的長(zhǎng)期遞歸卷積網(wǎng)絡(luò)(Enriched Long-term Recurrent Convolutional Network, ELRCN),該網(wǎng)絡(luò)結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶網(wǎng)絡(luò)分別提取空間信息和時(shí)空信息。Cai等[18]將DenseNet網(wǎng)絡(luò)用于微表情的識(shí)別,DenseNet以其獨(dú)特的連接方式可以緩解常見的梯度消失的問(wèn)題,從而提高了準(zhǔn)確率。對(duì)比手工描述特征的方法,深度學(xué)習(xí)的方法可以更好地專注于微表情特征的提取,從不同的角度提取視頻序列的信息,最后將這些信息用于識(shí)別任務(wù),提高了模型識(shí)別的泛化能力與魯棒性。

以上的研究方法都是將微表情視頻片段從起始幀到終止幀所有幀送入模型進(jìn)行訓(xùn)練與識(shí)別。微表情視頻序列一般包含微表情開始的起始幀(Onset frame)和結(jié)束的終止幀(Offset frame),在起始幀與終止幀中間變化最為明顯的一幀稱為峰值幀(Apex frame)[19]。但是除了峰值幀之外,其余幀包含了較多無(wú)用信息,而使用峰值幀進(jìn)行微表情的識(shí)別可以降低無(wú)用信息的干擾。因此本文首先對(duì)峰值幀進(jìn)行提取,其次將改進(jìn)的殘差網(wǎng)絡(luò)ResNeXt-50[20]模型用于微表情識(shí)別,可以使結(jié)構(gòu)更加簡(jiǎn)化,減少參數(shù)數(shù)量,提升了識(shí)別效率,同時(shí)使用SE模塊可以更好地學(xué)習(xí)特征中的關(guān)鍵信息,抑制無(wú)用信息,形成用于微表情識(shí)別的SE-ResNeXt-50模型[21]。最后在CASMEⅡ微表情數(shù)據(jù)集上完成模型訓(xùn)練與實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明,本文提出的方法與其他的微表情識(shí)別方法相比,識(shí)別準(zhǔn)確率與F1值得到提升,可以取得較好的識(shí)別效果。

2 模型結(jié)構(gòu)框架

本節(jié)將介紹殘差網(wǎng)絡(luò)的殘差模塊與改進(jìn)的殘差模塊、SE模塊相關(guān)內(nèi)容及其最后使用的整體模型結(jié)構(gòu)框架。

2.1 殘差模塊

為了緩解在深度神經(jīng)網(wǎng)絡(luò)中增加深度帶來(lái)的梯度消失問(wèn)題,同時(shí)用更深更寬的網(wǎng)絡(luò)框架提取到更加豐富的特征信息和語(yǔ)義信息,He等[22]在模型中加入殘差模塊從而提出了ResNet模型。所提出的殘差模塊可以定義為如式(1)所示:

xi+1=F(x,Wi)+xi

(1)

式(1)中,F(x,Wi)為網(wǎng)絡(luò)中的殘差映射;xi+1為殘差模塊的輸出;xi為殘差模塊的輸入。

殘差模塊引入了一個(gè)恒等映射,其內(nèi)部的殘差塊使用了跳躍連接, ReLU函數(shù)作為激活函數(shù)。原本的恒等映射H(X)=X直接去擬合是一件比較困難的事,但是如果將原本H(X)=X轉(zhuǎn)換成為如圖1所示的H(X)=F(X)+X,當(dāng)F(X)=0時(shí)就形成一個(gè)殘差的恒等結(jié)構(gòu),用這種殘差形式去擬合會(huì)更加容易。殘差模塊的加入可以避免梯度消失問(wèn)題,進(jìn)一步提高模型的擬合能力,減輕網(wǎng)絡(luò)層數(shù)增加帶來(lái)的影響。

圖1 殘差模塊結(jié)構(gòu)

ResNet模型對(duì)殘差模塊的結(jié)構(gòu)進(jìn)行了優(yōu)化,降低因?yàn)樯顚哟蔚木W(wǎng)絡(luò)模型而帶來(lái)的計(jì)算成本相對(duì)較大的大問(wèn)題。將原結(jié)構(gòu)中2個(gè)3×3的卷積層替換為圖2(b)所示的只保留一個(gè)3×3卷積層,但是在這個(gè)3×3卷積層前后各添加一個(gè)1×1的卷積層分別進(jìn)行降維操作與升維還原的操作的新結(jié)構(gòu),同時(shí)在三個(gè)卷積層中間也將使用線性整流單元作為激活函數(shù)。這種優(yōu)化以后的殘差結(jié)構(gòu)相比較未優(yōu)化的殘差結(jié)構(gòu),既減少了參數(shù)量降低了計(jì)算成本也保持了模型精度。

(a) 殘差模塊結(jié)構(gòu) (b) 優(yōu)化后殘差模塊結(jié)構(gòu)

ResNeXt模型借鑒了GoogLeNet模型[23]中提出的Inception多尺度處理模塊的思想對(duì)殘差模塊進(jìn)行了改進(jìn),將原本的卷積結(jié)構(gòu)進(jìn)行分組,用稀疏結(jié)構(gòu)取代密集結(jié)構(gòu),這樣可以融合不同尺度的信息,避免因提高模型性能而加大模型的規(guī)模所帶來(lái)的過(guò)擬合與大量參數(shù)計(jì)算浪費(fèi)計(jì)算資源的問(wèn)題。與Inception模塊不同,ResNeXt分組卷積層使用了相同結(jié)構(gòu),將原本圖3(a)中的卷積層進(jìn)行分組,分解成32組,形成圖3(b)中的網(wǎng)絡(luò)結(jié)構(gòu),之后再融合各個(gè)組的結(jié)果。這種使用相同分組結(jié)構(gòu)的卷積層使網(wǎng)絡(luò)設(shè)計(jì)更加的簡(jiǎn)化,從而可以避免參數(shù)的迅速膨脹。同時(shí)ResNeXt網(wǎng)絡(luò)引入了表示殘差結(jié)構(gòu)中卷積層的分組數(shù)量的新超參數(shù)“Cardinality”。圖3(c)所示的是分組卷積的簡(jiǎn)易表達(dá)形式,如圖3(c)中使用的是分組數(shù)量為32個(gè)輸入輸出維度為4維的3×3卷積層。

(a) 普通模塊 (b) 分組卷積 (c) 簡(jiǎn)易形式

2.2 SE模塊

SE(Squeeze and Excitation)模塊是一種從特征的通道維度上面考慮的注意力機(jī)制。SE模塊由兩部分組成,壓縮(Squeeze)部分和激勵(lì)(Excitation)部分,每個(gè)卷積操作實(shí)際上是在輸入的空間維度和通道維度上面進(jìn)行的乘加操作。SE模塊的大體結(jié)構(gòu)如圖4所示。

圖4 SE模塊結(jié)構(gòu)

Squeeze部分通過(guò)一個(gè)全局平均濾波實(shí)現(xiàn)全局信息的獲取,如式(2)所示:

(2)

其中,uc為由輸入X經(jīng)過(guò)分離卷積U=[u1,u2,…,uC]得到的特征中第c個(gè)特征圖,C為通道數(shù);H與W是U的空間維度,Fsq(·)為壓縮操作。

s=Fex(z,W)=σ(g(z,W))=σ(W2δ(W2z))

(3)

其中,σ為Sigmoid激活函數(shù);δ為ReLU線性激活函數(shù);Fex(·,W)為激勵(lì)操作;W1與W2是兩個(gè)全連接層參數(shù)。

Squeeze部分和Excitation部分進(jìn)行完以后,之后進(jìn)行scale操作。將SE模塊計(jì)算出來(lái)的各通道權(quán)重值S分別和原特征圖對(duì)應(yīng)通道相乘,得出的結(jié)果進(jìn)行輸出,如公式(4)所示:

(4)

SE block可以嵌入到目前提出的所有經(jīng)典的網(wǎng)絡(luò)結(jié)構(gòu)中,實(shí)現(xiàn)模型的改造。將SE模塊加入ResNeXt模型中,如圖5所示。對(duì)比原始的殘差模塊結(jié)構(gòu),加入了SE模塊新的殘差結(jié)構(gòu)中為了計(jì)算每個(gè)通道權(quán)重值s,在殘差結(jié)構(gòu)的后面添加了一條新路徑。在新的路徑中為了進(jìn)行每個(gè)通道中的Excitation操作,在殘差模塊之后加入了全局平均池化層進(jìn)行Squeeze操作,在第一個(gè)全連接層中加入降維壓縮操作,然后使用ReLU激活函數(shù),之后再加入一個(gè)全連接層進(jìn)行還原后使用Sigmoid激活函數(shù),最后將每個(gè)通道的信息進(jìn)行權(quán)重融合計(jì)算。把SE模塊加入到殘差模塊后可以更好的將一些沒(méi)有用的信息進(jìn)行抑制,突出特征中信息量大和需要注意到的特征,從而提高模型最后的識(shí)別精度。

(a) 原始結(jié)構(gòu) (b) SE殘差結(jié)構(gòu)

2.3 整體模型結(jié)構(gòu)框架

本文使用SE-ResNeXt-50模型,即在ResNet的改進(jìn)網(wǎng)絡(luò)模型ResNeXt上加入SE模塊。整個(gè)網(wǎng)絡(luò)由卷積層、池化層、殘差模塊和全連接層構(gòu)成,模型結(jié)構(gòu)如表1所示。

表1 SE-ResNeXt-50架構(gòu)

表1展示的網(wǎng)絡(luò)結(jié)構(gòu)中,殘差模塊采用的是32×4分組卷積結(jié)構(gòu),括號(hào)外部參數(shù)表示殘差模塊重復(fù)堆疊的數(shù)量,括號(hào)內(nèi)是殘差模塊的構(gòu)建參數(shù)和結(jié)構(gòu)。為了適用微表情識(shí)別的任務(wù),將原本在原始網(wǎng)絡(luò)架構(gòu)中經(jīng)過(guò)全局平均池化層輸出,全連接層輸出維度為5,將Softmax函數(shù)用于最后分類。同時(shí)為了更好地平衡精確度與復(fù)雜度之間的關(guān)系,將其中SE模塊的降維壓縮比例r值設(shè)置為16。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文實(shí)驗(yàn)使用CASME Ⅱ數(shù)據(jù)集[24]。CASME Ⅱ數(shù)據(jù)集是中國(guó)科學(xué)院心理研究所創(chuàng)建的自發(fā)式微表情數(shù)據(jù)庫(kù)。CASME Ⅱ數(shù)據(jù)集使用200 fps的高速攝像機(jī)拍攝,分辨率為280像素×340像素。該數(shù)據(jù)集收集了平均年齡在22.03歲左右亞洲人臉的微表情數(shù)據(jù),這些表情都是在一個(gè)控制良好的實(shí)驗(yàn)室環(huán)境下激發(fā)出來(lái)的。CASME Ⅱ要求26個(gè)受試者觀看基于厭惡、高興、壓抑、驚訝、悲傷、恐懼及其他這7種基本情感的短片進(jìn)行情感誘發(fā),最后得到共包括這些基本情感的255個(gè)微表情樣本,其中包括其他類型99個(gè)樣本、厭惡類型63個(gè)樣本、高興類型32個(gè)樣本、驚訝類型28個(gè)樣本、壓抑類型27個(gè)樣本、悲傷與恐懼類型分別4個(gè)和2個(gè)樣本。如表2所示,在一些3分類實(shí)驗(yàn)中,會(huì)將數(shù)據(jù)集統(tǒng)一分為消極,積極,驚訝3種類型,其中厭惡、壓抑、悲傷、恐懼統(tǒng)一歸為消極樣本,高興為積極樣本,驚訝保留為原有的驚訝樣本。在進(jìn)行5分類實(shí)驗(yàn)中,由于悲傷和恐懼兩種類型的樣本數(shù)量過(guò)少,不能更好地訓(xùn)練其中的特征,因此本實(shí)驗(yàn)僅使用其余5類共249個(gè)樣本實(shí)驗(yàn)。

表2 CASME Ⅱ數(shù)據(jù)集分類與數(shù)量

3.2 數(shù)據(jù)集預(yù)處理

數(shù)據(jù)集的預(yù)處理包括峰值幀的提取和人臉的對(duì)齊剪裁。微表情序列是從表情的起始幀開始,到達(dá)具有最大面部信息的峰值幀,最后在終止幀結(jié)束。峰值幀的提取使用的是Quang等[25]提出的峰值幀查找算法。該算法使用開源工具包根據(jù)面部68個(gè)特征點(diǎn),定位10個(gè)微表情肌肉移動(dòng)發(fā)生頻繁的區(qū)域。如圖6所示。

圖6 定位點(diǎn)與特征區(qū)域

為了確定序列中的峰值幀,計(jì)算當(dāng)前幀與在這10個(gè)區(qū)域中的起始幀和偏移幀之間的絕對(duì)像素差。

同時(shí)將兩個(gè)差值的和除以所考慮的幀與其連續(xù)幀之間的差值進(jìn)行歸一化,從而減少環(huán)境噪聲。之后可以得到微表情序列中每一幀的每像素平均值Mi,Mi如式(5)、式(6)所示:

(5)

Mi=f(framei,frameoneset)+f(framei,frameoffset)

(6)

最后遍歷計(jì)算對(duì)應(yīng)幀的變化強(qiáng)度Mi,取值最大的一幀作為Apex幀。將峰值幀提取出之后,對(duì)峰值幀進(jìn)行對(duì)齊裁剪,同樣使用開源的工具包對(duì)人臉68個(gè)關(guān)鍵特征點(diǎn)檢測(cè)并進(jìn)行標(biāo)注,最后裁剪掉沒(méi)有意義的背景部分,去掉背景的干擾信息,通過(guò)人臉對(duì)齊裁剪后使之更符合微表情識(shí)別的需求,如圖7所示。

(a) 原始峰值幀

3.3 數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)可以運(yùn)用在深度學(xué)習(xí)的各個(gè)領(lǐng)域。當(dāng)進(jìn)行實(shí)驗(yàn)時(shí)出現(xiàn)數(shù)據(jù)量較小的問(wèn)題,可以使用數(shù)據(jù)增強(qiáng)來(lái)增加樣本的數(shù)量,讓模型泛化和擬合的能力得到提高,從而增加模型的性能,同時(shí)這些變化并不會(huì)影響神經(jīng)網(wǎng)絡(luò)對(duì)特征的提取。本文使用數(shù)據(jù)增強(qiáng)方法包括灰度化、水平翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)。詳細(xì)來(lái)說(shuō),灰度化就是將彩色圖片變?yōu)榛叶葓D片,隨機(jī)旋轉(zhuǎn)是將圖片在15°內(nèi)的小角度之間隨機(jī)旋轉(zhuǎn),水平翻轉(zhuǎn)是指將圖片翻轉(zhuǎn)為鏡像圖片。

3.4 實(shí)驗(yàn)設(shè)置

為了驗(yàn)證SE-ResNeXt-50模型在針對(duì)峰值幀微表情識(shí)別的有效性和適用性,本實(shí)驗(yàn)在Windows10系統(tǒng)環(huán)境下,模型的訓(xùn)練和測(cè)試均在深度學(xué)習(xí)框架PyTorch下完成神經(jīng)網(wǎng)絡(luò)的模型搭建。實(shí)驗(yàn)硬件為Intel Core i7-6700HQ,內(nèi)存16 GB,顯卡型號(hào)為NVDIA GeForce GTX 960。實(shí)驗(yàn)的軟件環(huán)境為Python 3.7;NVDIA CUDA框架10.1;cuDNN 7.6 庫(kù)。

實(shí)驗(yàn)中各項(xiàng)設(shè)置如下:使用Adam方法;學(xué)習(xí)率設(shè)為0.000 1;訓(xùn)練時(shí)批處理數(shù)量為2,epoch為100,訓(xùn)練測(cè)試過(guò)程中損失函數(shù)為Focal Loss函數(shù)[26]。Focal Loss函數(shù)可以更好地解決圖像領(lǐng)域數(shù)據(jù)不平衡造成的模型性能問(wèn)題。

3.5 對(duì)比實(shí)驗(yàn)結(jié)果分析

本文采用留一交叉驗(yàn)證法作為微表情識(shí)別的評(píng)估方法。每次用1名受試者的微表情樣本作為測(cè)試集,其余為訓(xùn)練集,最后將所有的測(cè)試結(jié)果合并作為最終的實(shí)驗(yàn)結(jié)果[27]。這樣有利于在小樣本的微表情中經(jīng)行驗(yàn)證,可以最大程度保證訓(xùn)練和評(píng)估模型的客觀性不受個(gè)體影響。

通過(guò)準(zhǔn)確率(Accuracy)和F1值作為評(píng)估模型識(shí)別效果的指標(biāo),并與其他算法的結(jié)果進(jìn)行對(duì)比。準(zhǔn)確率和F1值可以公平地客觀地評(píng)估模型在微表情識(shí)別中的表現(xiàn)。

準(zhǔn)確率如式(7)所示:

(7)

其中,N為樣本的總數(shù)量;T為樣本中預(yù)測(cè)正確的數(shù)量。

F1值使用的是未加權(quán)F1值。未加權(quán)F1值在多分類評(píng)估中是一個(gè)很好的評(píng)判標(biāo)準(zhǔn),它不會(huì)受類別數(shù)量所影響,對(duì)于每個(gè)類別都平等對(duì)待。F1值如式(8)所示:

(8)

其中,TPk、FPk、FNk分別為類別k中真正、假正和假負(fù)的數(shù)量,對(duì)K個(gè)類別的比值求平均得到未加權(quán)F1值。

使用本文提出的網(wǎng)絡(luò)結(jié)構(gòu)SE-ResNeXt-50模型,在CASME Ⅱ數(shù)據(jù)集中得到的峰值幀上進(jìn)行5分類實(shí)驗(yàn)。得到的準(zhǔn)確率與未加權(quán)F1值如表3所示,對(duì)比其他幾種微表情識(shí)別的算法在CASME II數(shù)據(jù)集上進(jìn)行5分類實(shí)驗(yàn)的實(shí)驗(yàn)結(jié)果,可以發(fā)現(xiàn)本文提出的網(wǎng)絡(luò)結(jié)構(gòu)實(shí)驗(yàn)結(jié)果要優(yōu)于其他現(xiàn)有方法。

表3 結(jié)果比較

本文模型基于改進(jìn)的殘差網(wǎng)絡(luò)并將注意力機(jī)制運(yùn)用到改進(jìn)的殘差網(wǎng)絡(luò)中,使用含有更多面部信息的峰值幀。將峰值幀的特征賦以不同權(quán)重,突出重要信息,抑制無(wú)用信息,同時(shí)由于ResNeXt-50本身的特性,由稀疏結(jié)構(gòu)代替密集結(jié)構(gòu),避免了大量參數(shù)計(jì)算的問(wèn)題,更好地融合不同尺度的信息。使用Focal Loss函數(shù)作為損失函數(shù),將較難分類的樣本較大的權(quán)重,使得模型在面對(duì)較難的樣本時(shí),可以更好地對(duì)較難樣本的特征進(jìn)行提取,從而在進(jìn)行類似于微表情分類這種數(shù)據(jù)集較少且分布不平衡的訓(xùn)練任務(wù)時(shí),降低因數(shù)據(jù)集的問(wèn)題帶來(lái)的影響。由表3可以看出,在5分類實(shí)驗(yàn)中,各個(gè)方法的準(zhǔn)確率都是相對(duì)較低,說(shuō)明微表情本身細(xì)微的表情變化和微表情數(shù)據(jù)集數(shù)據(jù)的不平衡給識(shí)別工作帶來(lái)了一定的影響,并且未加權(quán)F1值也同樣處于較低的水平,說(shuō)明現(xiàn)有的微表情識(shí)別方法在不同類別上的表現(xiàn)差異相對(duì)較大。使用本文提出的方法,準(zhǔn)確率達(dá)到了0.592 6,未加權(quán)F1值也達(dá)到了0.585 3,在所有展示方法中實(shí)驗(yàn)效果最好,同時(shí)也說(shuō)明本文方法改善了在不同類別上的表現(xiàn)差異較大的問(wèn)題。實(shí)驗(yàn)結(jié)果說(shuō)明本文提出的微表情識(shí)別方法具有較好的效果,對(duì)于樣本數(shù)據(jù)較少的問(wèn)題也有著良好的擬合效果,數(shù)據(jù)不平衡問(wèn)題也在一定程度上得到了解決。

3.6 消融實(shí)驗(yàn)結(jié)果分析

3.6.1 驗(yàn)證SE-ResNeXt-50的有效性

為了進(jìn)一步驗(yàn)證SE模塊與改進(jìn)的殘差網(wǎng)絡(luò)ResNeXt-50在實(shí)驗(yàn)中的性能與有效性,在數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)。這里進(jìn)行3組實(shí)驗(yàn),分別是不使用SE模塊只使用初始的ResNet-50進(jìn)行時(shí)實(shí)驗(yàn);不使用SE模塊只使用改進(jìn)的殘差網(wǎng)絡(luò)ResNeXt-50進(jìn)行實(shí)驗(yàn);使用本文提出的同時(shí)使用SE模塊和改進(jìn)的殘差網(wǎng)絡(luò)SE-ResNeXt-50進(jìn)行實(shí)驗(yàn)。

不同方法在CASME Ⅱ數(shù)據(jù)集上的精確度與未加權(quán)F1值實(shí)驗(yàn)結(jié)果對(duì)比如圖8所示。由圖8中的信息可以知道,使用SE模塊和改進(jìn)的殘差網(wǎng)絡(luò)SE-ResNeXt-50進(jìn)行實(shí)驗(yàn)比不使用SE模塊只使用初始的ResNet-50進(jìn)行實(shí)驗(yàn)準(zhǔn)確率提升0.111 2;比不使用SE模塊只使用改進(jìn)的殘差網(wǎng)絡(luò)ResNeXt-50進(jìn)行實(shí)驗(yàn)的準(zhǔn)確率提升了0.037 0。對(duì)于未加權(quán)F1值,本文提出的方法較另外兩種方法分別提升了0.079 4和0.125 4。實(shí)驗(yàn)結(jié)果表明同時(shí)使用改進(jìn)的殘差網(wǎng)絡(luò)和SE模塊要比單獨(dú)使用或者不使用的準(zhǔn)確率與F1的實(shí)驗(yàn)結(jié)果要有所提升。通過(guò)使用改進(jìn)的殘差網(wǎng)絡(luò)可以較好地提高微表情識(shí)別的性能與精度。此外由于SE模塊的加入,模型可以更好地學(xué)習(xí)峰值幀的中的關(guān)鍵信息,進(jìn)一步地提高模型的識(shí)別準(zhǔn)確度。改進(jìn)的殘差網(wǎng)絡(luò)SE-ResNeXt-50通過(guò)將SE模塊與ResNeXt-50相結(jié)合,用分組卷積的方式可以在不明顯增加參數(shù)的情況下提升準(zhǔn)確率,進(jìn)而使網(wǎng)絡(luò)結(jié)構(gòu)也更加的簡(jiǎn)單,進(jìn)一步利用注意力機(jī)制關(guān)注更有用更需要學(xué)習(xí)的信息,使得準(zhǔn)確率得到提升,通過(guò)實(shí)驗(yàn)驗(yàn)證了其有效性。

圖8 不同網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比

3.6.2 驗(yàn)證峰值幀的有效性

為了進(jìn)一步驗(yàn)證峰值幀在實(shí)驗(yàn)中的性能與有效性,在數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)。進(jìn)行兩組實(shí)驗(yàn),分別是使用峰值幀對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和不使用峰值幀對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,其中非峰值幀的選取方式為初始幀到峰值幀中間的一幀。對(duì)于不使用峰值幀的實(shí)驗(yàn),也使用上一節(jié)實(shí)驗(yàn)所使用的實(shí)驗(yàn)方式,進(jìn)行3組對(duì)比實(shí)驗(yàn),即不使用SE模塊只使用初始的ResNet-50進(jìn)行時(shí)實(shí)驗(yàn);不使用SE模塊只使用改進(jìn)的殘差網(wǎng)絡(luò)ResNeXt-50進(jìn)行實(shí)驗(yàn);使用本文提出的同時(shí)使用SE模塊和改進(jìn)的殘差網(wǎng)絡(luò)SE-ResNeXt-50進(jìn)行實(shí)驗(yàn)。通過(guò)不同的組合實(shí)驗(yàn),綜合多種原因?qū)Ρ确逯祹挠行?使實(shí)驗(yàn)的結(jié)果更加客觀。

如表4所示,展示了是否使用峰值幀的實(shí)驗(yàn)結(jié)果對(duì)比。從表中可以看出使用峰值幀的實(shí)驗(yàn)結(jié)果要好于未使用峰值幀的實(shí)驗(yàn)結(jié)果。使用本文提出的方法,采用峰值幀的準(zhǔn)確率與F1值比不采用峰值幀分別提升了0.071與0.084。使用ResNet-50與ResNeXt-50的方法,采用峰值幀的準(zhǔn)確率與F1值比不采用峰值幀也有所提升。實(shí)驗(yàn)結(jié)果證實(shí)了峰值幀可以提升微表情識(shí)別的準(zhǔn)確率與F1值,對(duì)于微表情識(shí)別具有一定的有效性。使用峰值幀的實(shí)驗(yàn)結(jié)果提升主要是因?yàn)榉逯祹烁辔⒈砬樽R(shí)別所需要的關(guān)鍵表情信息,相對(duì)于其余幀這些信息更加的緊湊。同時(shí)峰值幀的無(wú)用信息也更少,可以減少無(wú)用信息對(duì)于識(shí)別的干擾,進(jìn)一步幫助模型更好地學(xué)習(xí)與挖掘到識(shí)別時(shí)所需要的更深層次的信息。

表4 使用峰值幀結(jié)果比較

4 結(jié)論與展望

4.1 結(jié)論

本文提出了一種基于改進(jìn)的殘差網(wǎng)絡(luò)與峰值幀的微表情識(shí)別算法。在微表情數(shù)據(jù)集CASME Ⅱ上進(jìn)行了仿真實(shí)驗(yàn),根據(jù)相同評(píng)價(jià)指標(biāo)對(duì)比各類微表情識(shí)別方法,可以發(fā)現(xiàn)改進(jìn)的殘差網(wǎng)絡(luò)與峰值幀的微表情識(shí)別的準(zhǔn)確率達(dá)到0.592 6,未加權(quán)F1值達(dá)到了0.585 3。進(jìn)一步進(jìn)行消融實(shí)驗(yàn),在不同的方法中也可以發(fā)現(xiàn)同時(shí)使用改進(jìn)的殘差網(wǎng)絡(luò)與峰值幀相較于不使用的方法提高了準(zhǔn)確率與F1值。改進(jìn)的殘差網(wǎng)絡(luò)與峰值幀可以降低數(shù)據(jù)集較少所帶來(lái)的影響,數(shù)據(jù)不平衡問(wèn)題在一定程度上得到了解決,模型有著良好的擬合效果,同時(shí)改善了在不同類別上的表現(xiàn)差異較大的問(wèn)題,提升了微表情的識(shí)別準(zhǔn)確率,對(duì)于微表情有著更好的識(shí)別性能。

4.2 展望

本文針對(duì)微表情識(shí)別提出了一種深度學(xué)習(xí)的方法,首先提取微表情CASME Ⅱ數(shù)據(jù)集的峰值幀;對(duì)峰值幀預(yù)處理后,使用改進(jìn)的殘差網(wǎng)絡(luò)ResNeXt-50,同時(shí)加入SE模塊形成SE-ResNeXt-50模型,用于微表情識(shí)別。ResNeXt網(wǎng)絡(luò)通過(guò)分組卷積的方式用稀疏結(jié)構(gòu)取代密集結(jié)構(gòu)從而使結(jié)構(gòu)更加簡(jiǎn)化,融合不同尺度的信息,減少參數(shù)數(shù)量,提升了識(shí)別準(zhǔn)確率;SE模塊可以更好地增強(qiáng)有用的特征,在更好地利用這些特征時(shí),抑制一些無(wú)用的特征,進(jìn)一步提升模型的性能;使用Focal Loss函數(shù)可以更好地解決圖像領(lǐng)域因數(shù)據(jù)不平衡而引起的模型性能問(wèn)題。由于現(xiàn)有的微表情數(shù)據(jù)集的樣本數(shù)量太少,網(wǎng)絡(luò)無(wú)法學(xué)習(xí)到更多的信息,所以識(shí)別的效果仍有較大的提升空間。后續(xù)計(jì)劃收集更多的年齡、種族跨度更大的微表情數(shù)據(jù),優(yōu)化提升模型的性能與魯棒性,建立端到端的實(shí)用型微表情識(shí)別系統(tǒng),提高其實(shí)用價(jià)值。