基于遷移學(xué)習(xí)VGG-16的微表情識別

魏小明

摘要：為提高微表情識別精度更好地為微表情分類，提出遷移學(xué)習(xí)技術(shù)與VGG-16模型相結(jié)合的微表情識別方法。以CASME、CASMEⅡ作為數(shù)據(jù)集，在預(yù)處理階段通過對圖像進(jìn)行幾何變換、均衡化構(gòu)建微表情數(shù)據(jù)集。利用遷移學(xué)習(xí)后的VGG-16為模型，用數(shù)據(jù)增強(qiáng)后的數(shù)據(jù)集，在相同參數(shù)環(huán)境下，與AlexNet、GooLeNet、ResNet-18模型做對比，探究了不同模型對8種微表情識別的影響，同時探究了不同數(shù)據(jù)集對模型的性能影響。實(shí)驗(yàn)結(jié)果：基于遷移學(xué)習(xí)的VGG-16模型，訓(xùn)練精度及訓(xùn)練損失值均優(yōu)于參照模型，模型識別精度與數(shù)據(jù)集數(shù)量成正比。

關(guān)鍵詞：微表情識別；遷移學(xué)習(xí)；VGG-16；數(shù)據(jù)增強(qiáng)

中圖分類號：TP391? ? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2023）01-0031-04

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID） ：

微表情是一種一閃而過的面部表情，通常在一個情緒喚起之后快速出現(xiàn)，很難抑制[1]往往能體現(xiàn)出人們的真實(shí)想法。由于微表情可應(yīng)用于醫(yī)學(xué)、犯罪偵查、安防、測謊等重要領(lǐng)域，微表情識別的研究受到國內(nèi)外的廣泛關(guān)注。

近年來，計算機(jī)技術(shù)不斷發(fā)展，微表情識別技術(shù)相比之前有了很大的提高。微表情識別技術(shù)主要分為傳統(tǒng)方法和基于深度學(xué)習(xí)的方法。在傳統(tǒng)方法例如LBP-TOP、LBP-TOP與光流結(jié)合等，由于此類方法主要采用手工制作來提取特征，導(dǎo)致識別精度和效率不高[2]，性價比低于深度學(xué)習(xí)方法。

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural network，CNN） 在計算機(jī)視覺領(lǐng)域應(yīng)用得很成功，并相繼推出了幾個經(jīng)典的網(wǎng)絡(luò)模型。其中VGGNet更是在2014年LSVRC2014比賽分類項(xiàng)目的第二名和定位項(xiàng)目的第一名[3]。VGG-16模型，由多組卷積層、池化層、激活層組合而成，有著結(jié)構(gòu)簡潔的特點(diǎn)，它通過增加結(jié)構(gòu)深度，更加有效的提升模型性能，提升拓展性，減少出錯概率。利用遷移學(xué)習(xí)，能有效地提高識別分類效率及泛化性。本研究擬采用基于遷移學(xué)習(xí)的VGG-16作為訓(xùn)練模型，與基于其他網(wǎng)絡(luò)模型做對比，探究微表情識別精度。

1 數(shù)據(jù)集與預(yù)處理

1.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)所用到的數(shù)據(jù)集來源于中國科學(xué)院心理研究所的 CASME[4]、CASMEⅡ[5]。

1.2 圖像預(yù)處理

1.2.1 數(shù)據(jù)擴(kuò)充

為了防止過擬合現(xiàn)象的發(fā)生，本研究對已有圖像進(jìn)行數(shù)據(jù)增強(qiáng)。通過對圖像進(jìn)行幾何變換：翻轉(zhuǎn)（圖d） 、水平鏡像（圖f） ；對比度變化：對比度增強(qiáng)（圖b） 、對比度減弱（圖c） ；設(shè)置椒鹽噪聲（圖a） 的方法，實(shí)現(xiàn)樣本擴(kuò)充。為減少因數(shù)據(jù)樣本來源不同，導(dǎo)致樣本大小及格式的不同，將所有圖像進(jìn)行大小及格式統(tǒng)一化操作，圖像增強(qiáng)效果如圖1所示。

數(shù)據(jù)集根據(jù)微表情類別劃分為8個微表情標(biāo)簽，從Fear到Repression分別對應(yīng)1～8的標(biāo)簽編號。由表1得知，各個類別的微表情均擴(kuò)充了8倍。樣本總數(shù)由原來的3638張擴(kuò)充到現(xiàn)在的29104張。

1.2.2 數(shù)據(jù)均衡化

為盡量消除樣本分布不均的現(xiàn)象，對樣本數(shù)據(jù)進(jìn)行均衡化處理。具體做法是將數(shù)據(jù)增強(qiáng)后的各類樣本數(shù)量進(jìn)行排序，取中位數(shù)作為樣本數(shù)量的上限值，若樣本數(shù)量超過此值則隨機(jī)剔除直至滿足條件。樣本未均衡化與均衡化后的分布情況見圖2、圖3。

1.3 搭建訓(xùn)練模型

1.3.1 VGG-16網(wǎng)絡(luò)模型

VGG-16網(wǎng)絡(luò)模型結(jié)構(gòu)見圖4。VGG-16網(wǎng)絡(luò)模型開始由輸入層（ImageInputLayer） 輸入目標(biāo)圖像后，分別做兩次卷積（Concolution Layer） 和兩次relu（激活層）后作最大池化（Max pooling） 處理。將上述兩次卷積+兩次relu層+一次最大池化為一組，分別作五組處理，后面經(jīng)過兩組全連接層（Fully Connected Layer） +relu層+dropout（全連接）層后，進(jìn)入softmax分類層后，最后由輸出層（Image output Layer） 輸出目標(biāo)圖像。

1.3.2 圖像分類

全連接層會把卷積、激活、池化后輸出的二位特征圖（feature map） ，串聯(lián)在一起轉(zhuǎn)化為（N*1） 的一個一維向量，然后將向量結(jié)果輸入softmax層。

softmax層多用于分類問題的處理，它不再唯一地確定某一個最大值，而是輸出每個分類結(jié)果的概率值，表示這個類別的可能性，它將選擇最大概率值對應(yīng)的微表情種類作為輸出。softmax函數(shù)表達(dá)式為：

1.3.3 遷移學(xué)習(xí)

深度學(xué)習(xí)中在計算機(jī)視覺任務(wù)和自然語言處理任務(wù)中將預(yù)訓(xùn)練的模型作為新模型的起點(diǎn)是一種常用的方法，通常這些預(yù)訓(xùn)練的模型在開發(fā)神經(jīng)網(wǎng)絡(luò)的時候已經(jīng)消耗了巨大的時間資源和計算資源，遷移學(xué)習(xí)可以將已習(xí)得的強(qiáng)大技能遷移到相關(guān)的問題上[7]。遷移學(xué)習(xí)有著：1） 使用不同的測試數(shù)據(jù)時，不用重復(fù)訓(xùn)練新模型，大大降低工作量；2） 當(dāng)使用新的數(shù)據(jù)集時，不需要變更訓(xùn)練數(shù)據(jù)，降低工作難度及減少經(jīng)費(fèi)支出；3） 不用考慮數(shù)據(jù)集過期問題；4） 對于快速出現(xiàn)的新領(lǐng)域，能夠快速遷移和應(yīng)用，體現(xiàn)時效性優(yōu)勢的優(yōu)點(diǎn)[8]。因此本文選用VGG-16作為預(yù)訓(xùn)練模型，加入遷移學(xué)習(xí)方法，研究微表情的分類。

2 實(shí)驗(yàn)結(jié)果

本研究實(shí)驗(yàn)方法基于Matlab2020b平臺，操作系統(tǒng)是Windows 10 64位，CPU與GPU分別為intel i7-10700與12G的英偉達(dá)RTC3060顯卡并利用Cuda10.1進(jìn)行加速訓(xùn)練，以及內(nèi)存為32GB的微星MAC B460M主板。VGG-16模型的參數(shù)設(shè)置見表2。

本研究選取AlexNet、GoogLeNet、SqueezeNet、VGG-16四種模型，驗(yàn)證筆者所用方法的準(zhǔn)確性與優(yōu)異性。將4種模型設(shè)置相同參數(shù)，在同一條件下進(jìn)行訓(xùn)練和驗(yàn)證。訓(xùn)練曲線圖見圖5與圖6。

訓(xùn)練精度曲線表示了隨著迭代次數(shù)的增長，預(yù)測模型精度的波動情況[9]。由圖5 得知，VGG-16模型收斂速度最快，SqueezeNet收斂速度最慢。在1000次迭代時，只有VGG-16與AlexNet的訓(xùn)練精度達(dá)到了90%以上，4000次迭代后，4種模型趨于收斂。

訓(xùn)練損失曲線表示了隨著迭代次數(shù)的增長，真實(shí)模型值與預(yù)測模型值的偏差波動情況，損失值越小，表明模型精度越高，出錯概率越小[9]。由圖6得知，在1000次迭代時SqueezeNet損失值為0.5，其余3種模型損失之均在0.5以下，同樣是迭代4000次后4種模型損失值區(qū)域收斂。4種模型的具體訓(xùn)練結(jié)果見表2。

由表2 可得，VGG16雖然在訓(xùn)練時間以及模型大小上沒有明顯優(yōu)勢，但其訓(xùn)練精度與訓(xùn)練損失值的表現(xiàn)均好于其余3種模型，分別為：訓(xùn)練精度95.02%，訓(xùn)練損失值0.0121。

為驗(yàn)證不同數(shù)據(jù)集下VGG16模型的識別性能，本人分別采用CASME1、CASME2兩組數(shù)據(jù)集進(jìn)行訓(xùn)練、驗(yàn)證以及測試出模型的精度，見表3。兩組數(shù)據(jù)集均采用了數(shù)據(jù)增強(qiáng)操作，其中，圖片數(shù)量是指數(shù)據(jù)增強(qiáng)后用于模型訓(xùn)練以及測試的樣本數(shù)量。由表3 可得，CASME2數(shù)據(jù)集中，訓(xùn)練精度、驗(yàn)證精度、測試精度均在95%以上，分別為95.55%、95.21%、95.02%，全方位高于CASME1數(shù)據(jù)集的95.02%、94.94%、94.09%。筆者分析，數(shù)據(jù)集樣本數(shù)量越高，其精度及泛化能力越高。

3 結(jié)論與不足

筆者在對微表情識別的研究中，采用了VGG16模型與遷移學(xué)習(xí)相結(jié)合的方法，對微表情進(jìn)行識別與分類。筆者通過此模型與AlexNet、GoogLeNet、SqueezeNet三種模型，在設(shè)置了相同參數(shù)的環(huán)境下，對實(shí)驗(yàn)結(jié)果進(jìn)行比較，實(shí)驗(yàn)結(jié)果可知此筆者所提模型無論在訓(xùn)練精度還是訓(xùn)練損失值上的表現(xiàn)均好于3種參照模型，其訓(xùn)練精度達(dá)到了95.2%，訓(xùn)練損失值為0.0121。筆者還在不同數(shù)據(jù)集下探究了VGG16模型識別性能，實(shí)驗(yàn)結(jié)果表明，模型精度與圖片數(shù)量成正比，同時，遷移學(xué)習(xí)技術(shù)改善了模型的收斂情況，對提高模型性能提供了幫助。

此模型也有明顯的不足之處，模型識別精度雖略微高于參照模型識別精度，但它的訓(xùn)練時間，以及模型大小，大大超出了參照模型，效率大打折扣。故此模型在時間及空間上還有很大的優(yōu)化空間。

參考文獻(xiàn)：

[1] Baron R A，Byrne D.社會心理學(xué)[M].黃敏兒，王飛雪，譯.上海：華東師范大學(xué)出版社，2004.

[2] 詩雨桐，袁德成.基于深度學(xué)習(xí)的面部微表情識別[J].沈陽化工大學(xué)學(xué)報，2021，35（4）：380-384.

[3] 毛志強(qiáng).視頻序列中人體異常行為分析技術(shù)研究[D].唐山：華北理工大學(xué)，2019.

[4] Yan W J，Qi W，Liu Y J，et al.CASME database：a dataset of spontaneous micro-expressions collected from neutralized faces[C]//Shanghai，China：2013 10th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition （FG），2013.IEEE，2013：1-7.

[5] Yan W J，Li X B，Wang S J，et al.CASME II：an improved spontaneous micro-expression database and the baseline evaluation[J].PLoS One，2014，9（1）：e86041.

[6] 康瀠允，孟凡宇，馮永新.一種面向軍事物聯(lián)網(wǎng)的網(wǎng)絡(luò)流量異常檢測模型[J].火力與指揮控制，2021，46（2）：120-125，132.

[7] Pratt L Y，Thrun S.Machine Learning-Special Issue on Inductive Transfer[M].Kluwer Academic Publishers，1997.

[8] 張玉立.基于卷積神經(jīng)網(wǎng)絡(luò)的人體姿態(tài)估計[D].哈爾濱：哈爾濱工程大學(xué)，2018.

[9] 萬軍杰，祁力鈞，盧中奧，等.基于遷移學(xué)習(xí)的GoogLeNet果園病蟲害識別與分級[J].中國農(nóng)業(yè)大學(xué)學(xué)報，2021，26（11）：209-221.

【通聯(lián)編輯：唐一東】