基于多方向特征融合的動態(tài)人臉微表情識別方法*

徐勝超 葉力洪

（廣州華商學(xué)院數(shù)據(jù)科學(xué)學(xué)院 廣州 511300）

1 引言

人臉面部表情中包含十分復(fù)雜的豐富情感，同時也是人和人之間的重要交流途徑，并且是人機(jī)交互和模式識別等研究領(lǐng)域的重要內(nèi)容［1～2］。由于目前人類社會的不斷發(fā)展和復(fù)雜的社會關(guān)系，造成人類的情感變得十分敏感，表情也因此更多地呈現(xiàn)在日常生活中。為了更好地采用計算機(jī)技術(shù)對人類行為進(jìn)行模擬，從而有效對更豐富的人類情感進(jìn)行識別，研究動態(tài)人臉微表情識別具有重要的意義。

目前有關(guān)于人臉微表情的研究依舊處于發(fā)展階段，相關(guān)領(lǐng)域?qū)W者對微表情識別進(jìn)行了研究，并取得了一定的研究成果。在當(dāng)前已有的表情識別研究中，卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化應(yīng)用較多，也較為經(jīng)典。深度神經(jīng)網(wǎng)絡(luò)已經(jīng)被證明在圖像、語音、文本領(lǐng)域具有挖掘數(shù)據(jù)深層潛在的分布式表達(dá)特征的能力。例如：文獻(xiàn)［3］提出基于空洞卷積核的微表情識別方法。將空洞卷積核和人臉自動校正方法兩者相結(jié)合，對人臉特征提取過程進(jìn)行完善，以實(shí)現(xiàn)人臉微表情識別。該方法具有較好的泛化能力，但微表情識別效果較差。微表情的發(fā)生只牽涉到面部局部區(qū)域，持續(xù)時間短。現(xiàn)有微表情識別的全局區(qū)域方法會提取這些無關(guān)變化的時空模式，從而降低特征向量對于微表情的表達(dá)能力，進(jìn)而影響識別效果。為改善該問題，文獻(xiàn)［4］提出基于局部區(qū)域的微表情識別方法。優(yōu)先對動態(tài)人臉微表情所在單元區(qū)域進(jìn)行劃分，在此基礎(chǔ)上，結(jié)合序列構(gòu)造相應(yīng)的特征向量，以實(shí)現(xiàn)人臉微表情識別。該方法具有較高的識別性能，但存在識別時間較長的問題。文獻(xiàn)［5］提出了一個殘差多任務(wù)學(xué)習(xí)框架來同時完成人臉特征定位和表情識別。根據(jù)與以往的多任務(wù)學(xué)習(xí)方法直接訓(xùn)練具有額外分支和損失的深層多任務(wù)網(wǎng)絡(luò)不同，提出了一種新的剩余學(xué)習(xí)模塊來進(jìn)一步加強(qiáng)兩個任務(wù)之間的聯(lián)系。設(shè)計剩余學(xué)習(xí)模塊，一個任務(wù)可以從另一個任務(wù)中學(xué)習(xí)互補(bǔ)信息，從而提升績效。多任務(wù)學(xué)習(xí)的另一個問題是缺乏具有多任務(wù)標(biāo)簽的訓(xùn)練數(shù)據(jù)，優(yōu)化表情識別結(jié)果。但是該方法未考慮多方向融合動態(tài)人臉特征，導(dǎo)致人臉微表情識別耗時較長。

針對上述問題，提出基于多方向特征融合的動態(tài)人臉微表情識別方法。通過去噪處理動態(tài)人臉圖像，采用決策層融合算法，多方向融合全部特征，實(shí)現(xiàn)動態(tài)人臉微表情識別，該方法能夠有效提升識別率，能夠快速、精準(zhǔn)完成動態(tài)人臉微表情識別。

2 動態(tài)人臉微表情識別方法

2.1 動態(tài)人臉圖像去噪處理

針對加入噪聲的動態(tài)人臉圖像而言，需要采用Bayes 最大后驗概率進(jìn)行估計，對于動態(tài)人臉圖像而言，大部分的圖像都是尺寸比較大的圖像，如果直接使用分塊的形式，需要分別對各個圖像塊進(jìn)行稀疏表示，但是獲取的去噪圖像十分容易形成方塊效應(yīng)。而動態(tài)人臉圖像去噪的關(guān)鍵就是處理好圖像塊和整幅圖像之間的關(guān)系［6］。為了有效避免出現(xiàn)塊效應(yīng)，需要優(yōu)先對動態(tài)人臉圖像進(jìn)行重疊取塊的處理。

對于整幅大尺寸的圖像而言，需要使各個圖像小塊滿足設(shè)定的稀疏模型［7～8］，方便模型的進(jìn)一步轉(zhuǎn)化。對于圖像而言，在完全重疊的情況下需要考慮全部圖像小塊，同時設(shè)定一個圖像小塊代表一個像素，圖像的大小是由圖像中的局部圖像小塊決定的。

針對于模型而言，模型含有兩個未確定的量，其中一個為局部稀疏系數(shù)，另外一個為輸出去噪后的圖像。在實(shí)際求解的過程中，需要將任務(wù)最小化，同時提取大量的動態(tài)人臉圖像小塊進(jìn)行分解。結(jié)合上述，通過稀疏表示進(jìn)行去噪的詳細(xì)操作步驟如下所示：

1）對動態(tài)人臉圖像塊中的系數(shù)進(jìn)行求解；

2）對含有噪聲的動態(tài)人臉圖像分別進(jìn)行分塊以及平均處理，再對動態(tài)人臉圖像進(jìn)行重構(gòu)，完成動態(tài)人臉圖像去噪處理。

2.2 基于多方向特征融合的動態(tài)人臉微表情識別

當(dāng)動態(tài)人臉圖像經(jīng)過去噪處理［9～10］，對人臉變化產(chǎn)生顯著影響的就是光照。Retinex 理論的核心就是避免外界因素對圖像產(chǎn)生的影響，保留圖像自身的反射特性，增強(qiáng)動態(tài)人臉圖像。其中，最基本的單尺度Retinex算法計算過程如式（1）所示：

式中，L(x,y)代表動態(tài)人臉入射圖像；R(x,y)代表位于高頻部分的動態(tài)人臉反射圖像；S(x,y)代表經(jīng)過處理最終獲取的圖像。

在上述分析的基礎(chǔ)上，結(jié)合香農(nóng)定理［11～12］，設(shè)定離散隨機(jī)變量(x1,x2,…,xn)的發(fā)生概率為p(x1),p(x2),…,p(xn)，則可求得變量對應(yīng)的信息熵。在上述分析的基礎(chǔ)上，結(jié)合AAM 模型對人臉圖像中的眉毛以及眼睛等關(guān)鍵區(qū)域特征進(jìn)行定位［13］，得到動態(tài)人臉表情關(guān)鍵區(qū)域的具體形狀變化特征以及相對位置運(yùn)動特征。當(dāng)人臉微表情發(fā)生變化時，相同一個人兩個眼角之間的距離d是不變的。通過對d進(jìn)行歸一化處理能夠得到對應(yīng)的距離特征，同時確保人臉之間的特征差異得到有效消除。

粗糙集是一種全新的數(shù)學(xué)工具，主要負(fù)責(zé)模糊、不完整以及不確定等相關(guān)信息的處理。通過信息約簡方式，獲取全新的知識庫分類，同時確保算法的識別能力不發(fā)生任何改變。

結(jié)合粗糙集方法特有的優(yōu)勢，通過AAM 模型對動態(tài)人臉圖像中的距離特征信息進(jìn)行提取，同時采用粗糙集方法對其進(jìn)行約束，這樣能夠有效簡化特征提取流程，獲取含有更多細(xì)節(jié)信息的幾何特征，同時也能夠全面提升識別結(jié)果的準(zhǔn)確性［14～15］。

在上述分析的基礎(chǔ)上，采用決策層融合算法對識別結(jié)果進(jìn)行融合。針對識別率貢獻(xiàn)程度比較大的特征賦予其較大的取值。以下分別針對五種典型的微表情進(jìn)行動態(tài)權(quán)值分配，具體的計算公式如下：

1）生氣wi(1 )的權(quán)值分配計算式為

2）厭惡wi(2)的權(quán)值分配計算式為

3）恐懼wi(3) 的權(quán)值分配計算式為

4）高興wi(4)對應(yīng)的權(quán)值分配計算式為

5）驚訝wi(5) 對應(yīng)的權(quán)值分配計算式為

通過以上識別率的權(quán)值能夠獲取不同特征表情識別率對應(yīng)的權(quán)值大小，為后續(xù)的識別奠定基礎(chǔ)。詳細(xì)的操作步驟如圖1所示。

圖1 動態(tài)人臉微表情識別流程圖

對于動態(tài)人臉微表情識別最后的識別，結(jié)合貢獻(xiàn)度計算人臉微表情對應(yīng)特征的權(quán)重值，采用決策層融合算法，對全部特征進(jìn)行多方向融合。然后對動態(tài)人臉關(guān)鍵區(qū)域和特征信息分別進(jìn)行不同的操作，同時借助支持向量機(jī)分類器對融合特征進(jìn)行訓(xùn)練和識別，完成動態(tài)人臉微表情識別。

3 仿真實(shí)驗

為了驗證所提基于多方向特征融合的動態(tài)人臉微表情識別方法的有效性，在Matlab仿真軟件平臺中，選取JAFFE 和Cohn-Kanade 數(shù)據(jù)庫中的動態(tài)人臉微表情圖像數(shù)據(jù)作為實(shí)驗對象，分別采用所提方法、文獻(xiàn)［3］方法和文獻(xiàn)［4］方法進(jìn)行對比實(shí)驗測試。測試指標(biāo)為人臉微表情識別率、人臉微表情識別平均準(zhǔn)確率以及微表情識別的平均耗時。

人臉微表情識別率K、人臉微表情識別平均準(zhǔn)確率Q的計算公式如下：

式中，TP表示人臉微表情正確識別的圖像數(shù)量，F(xiàn)P表示人臉微表情錯誤識別的圖像數(shù)量，DP表示人臉微表情未被識別的圖像數(shù)量，

為了驗證所提方法的性能，選取15 個測試對象，優(yōu)先分析單一特征和多方向特征融合的人臉微表情識別率變化情況，詳細(xì)的實(shí)驗對比結(jié)果如表1所示。

表1 單一特征和多方向特征融合的人臉微表情識別率對比結(jié)果

分析表1中的實(shí)驗數(shù)據(jù)可知，針對15個測試對象，采用單一特征的平均人臉微表情識別率為84.9%，而采用多方向特征融合的平均人臉微表情識別率為93.4%。由此可知，采用多方向特征融合人臉微表情識別率較高，而采用單一特征進(jìn)行動態(tài)人臉微表情的識別率明顯更低，充分驗證了所提方法采用多方向特征融合進(jìn)行識別的有效性。

在此基礎(chǔ)上，實(shí)驗選取四個不同的人臉微表情圖像作為測試對象，分別采取所提方法、文獻(xiàn)［3］方法和文獻(xiàn)［4］方法對動態(tài)人臉微表情進(jìn)行識別，不同方法的識別結(jié)果如圖2所示。

圖2 不同方法的動態(tài)人臉微表情識別結(jié)果

分析圖2 中的實(shí)驗數(shù)據(jù)可知，相比文獻(xiàn)［3］方法和文獻(xiàn)［4］方法兩種方法，所提方法能夠有效識別不同動態(tài)人臉微表情，其識別效果較好。因為所提方法采用多方向特征融合技術(shù)，對動態(tài)人臉圖像進(jìn)行了去噪處理，將圖像中的噪聲全部剔除，能夠更加精準(zhǔn)識別人臉微表情，獲取更加滿意的識別結(jié)果。

為了更進(jìn)一步驗證不同方法的識別精度，以下實(shí)驗將平均準(zhǔn)確率作為測試指標(biāo)，其中準(zhǔn)確率的值越高，則說明方法識別精度越高。不同方法的平均準(zhǔn)確率實(shí)驗對比結(jié)果如圖3所示。

圖3 不同方法的平均準(zhǔn)確率實(shí)驗對比結(jié)果

分析圖3中的實(shí)驗數(shù)據(jù)可知，當(dāng)實(shí)驗次數(shù)為50次時，文獻(xiàn)［3］方法和文獻(xiàn)［4］方法的平均準(zhǔn)確率分別為88%和86%，而所提方法的平均準(zhǔn)確率為95%。由此可知，文獻(xiàn)［3］方法和文獻(xiàn)［4］方法的平均準(zhǔn)確率一直在90%以下，而所提方法的平均準(zhǔn)確率一直在95%以上，且處于十分穩(wěn)定的狀態(tài)。由此可見，所提方法具有明顯優(yōu)于另外兩種方法的識別性能，能夠有效提高動態(tài)人臉微表情識別精度。

采用三種不同的方法分別對不同類型的微表情進(jìn)行識別，將平均識別耗時作為測試指標(biāo)，不同方法的動態(tài)人臉微表情平均識別耗時對比結(jié)果如圖4所示。

圖4 不同方法的動態(tài)人臉微表情平均識別耗時對比結(jié)果

分析圖4 中的實(shí)驗數(shù)據(jù)可知，針對不同的微表情類型，文獻(xiàn)［3］方法和文獻(xiàn)［4］方法的平均識別耗時分別為0.33s 和0.35s，而所提方法的平均識別耗時為0.29s。由此可知，相比另外兩種方法，所提方法的平均識別耗時較大，能夠以較快的速度完成動態(tài)人臉微表情識別，充分驗證了所提方法的優(yōu)越性。

4 結(jié)語

為了有效提高人臉微表情識別精度，減小平均識別耗時，確保識別效果，提出基于多方向特征融合的動態(tài)人臉微表情識別方法。通過去噪處理動態(tài)人臉圖像，采用多方向特征融合，實(shí)現(xiàn)動態(tài)人臉微表情識別，所提方法不僅能夠獲取較高的識別率，同時能夠有效提升識別速度，確保識別效果。