一種用于表情識別的局部二維主成分分析算法

張日東　賈克斌

(北京工業大學未來網絡科技高精尖創新中心　北京 100124)(先進信息網絡北京實驗室　北京 100124)(北京工業大學電子信息與通信工程學院　北京 100124)

0　引　言

人臉表情是個人情感信息體現的重要方式，是人們日常生活中交流的重要手段，經過心理學家A.Mehrabian的研究表明，在人與人的日常交往過程中，語言代表的信息僅占信息總量的7%，而表情包含的信息占信息總量的55%。所以采用計算機技術對人臉表情進行識別一直都是人們研究的熱點。人臉表情識別過程包含表情圖像預處理，對人臉進行檢測，對檢測出的人臉進行表情特征提取和對表情特征進行分類識別 4 部分。其中，最重要的環節就是表情特征提取過程，只有精準對表情特征進行提取，才能有效對表情進行分類和識別。20世紀70年代美國心理學家Ekman將表情分成6種基本類型[1]：高興、傷心、生氣、吃驚、厭惡、恐懼。本文也按照該分類標準，實現對這6種表情的特征提取。

近年來，研究者們有針對性地從兩個方面展開對表情識別的研究：一方面是在經典算法的基礎上進行改進；另一方面以深度學習算法為基礎，構造新的特征提取算法。在采用深度學習的研究方面，文獻[2]和文獻[3]采用卷積神經網絡算法提取人臉表情特征。前者在對表情圖像進行基線卷積神經網絡處理之前先對圖像進行了一系列預處理過程，后者是先對表情圖像歸一化處理,接著再采用可訓練的卷積核提取表情隱式特征，最后用最大池化方法降維處理隱式特征。結果表明以上算法提高了人臉表情識別的性能和泛化能力。但這類方法實現起來比較復雜，訓練時間比較長，需要大量數據用來調參。在經典算法方面，文獻[4]對經典算法局部二值模式LBP進行改進，提出一種基于不同方向的LBP算法。通過將當前像素和水平、垂直、對角3個方向的鄰域像素進行灰度值比較，對當前像素進行重新編碼，有效降低了噪聲干擾。實驗證明改進的算法比LBP算法有更強的魯棒性。文獻[5]用Gabor特征提取、LBP和LPQ算法相結合的辦法對表情特征進行提取，該算法先利用Gabor小波對人臉表情圖像進行處理，接著對處理完的圖像再進行LBP和LPQ特征分析。經測試該算法雖然有較高的識別率，但提取的特征過程較復雜，難以做到實時性。文獻[6]將經典算法主成分分析PCA算法與線性判別LDA算法進行結合。文獻[7]采用經典算法主動外觀模AAM定位特征點，接著通過尺度不變特征變換SIFT算法對特征進行描述。這兩種算法都是將兩組經過不同表達的特征向量進行融合，構成復特征向量，進而進行特征提取。經對比實驗，相對于原始算法，改進后的算法在識別率上有了一定的提高。

縱觀以上文獻，表情特征提取算法的好壞應從以下幾方面考慮：

(1) 能完整地保留人臉表情的最本質特征。

(2) 有較強抗干擾能力。

(3) 能有效降低提取的數據維度，減小存儲量。

深度學習具有較高的準確率，但是其模型建立與調參的過程復雜，使得時間復雜度較高[8]。而不同的應用場景需要對表情樣本集進行在線再訓練，以滿足實時、高準確率檢測的需求。相比較深度學習算法，經典算法的優點在于具有較低的時間復雜度，有著更好的實時性。因此本文選擇在具有較低時間復雜度的經典算法基礎上，針對特征提取過程進行改進，進而在保證實時性的前提下提高表情識別的準確率。其中PCA的特征提取和數據降維的能力尤為突出，是最常用的特征參數獲取方法和降低數據維度方法[9]。PCA的基本目標就是用一組特征向量表征所獲取的信息量，特征向量盡可能與初始信息相關聯，從中獲取主分量，保留了數據的最主要特征的同時還減少多余信息干擾。由于PCA算法操作簡單，參量限制小，非常容易應用于特征場景中，被廣泛地用于人臉表情識別當中。例如，文獻[10]提出一種類內分塊的PCA算法，對原始圖像先進行分塊處理，然后進行PCA特征提取。文獻[4,11]將PCA算法分別和LDA算法和卷積神經網絡算法相結合，進行特征提取。但是，在表情識別過程中由于個體不同而出現的表情差異及相似表情容易混淆的情況容易對主成分分析算法造成干擾。改進后的特征提取算法雖然在識別率上有所提高，但像類內分塊PCA算法由于不同表情類別中塊的大小會影響識別率，魯棒性差。結合其他算法的新算法又會增加運行時間，實時性差。

為了解決上述問題，從而提升算法的識別準確率，同時保證算法的實時性，本文利用局部化思想[12-13]，提出一種用于人臉表情識別的局部主成分分析算法LPCA以及該算法的二維擴展，即二維局部主成分分析算法L-2DPCA。主要思想是為每個測試樣本選取與其距離最近的部分訓練樣本作為新的訓練樣本集，該樣本集通過突出不同訓練樣本類之間的差異，保證了在特征提取過程中與測試樣本同一類別的訓練樣本在訓練集中分類更準確，使PCA映射結果更準確體現測試樣本的表情類別。

1　改進的面向人臉表情識別的L-2DPCA算法

1.1　PCA算法在人臉表情識別中的應用

Step1獲取訓練樣本矩陣。n幅人臉表情圖片組成訓練集x，每一幅表情圖片xi的矩陣組成為D=p×q，樣本矩陣表示如下:

x=[x1,x2,…,xn]T

(1)

Step2計算訓練樣本平均值，得到:

(2)

Step3計算第i個訓練樣本與平均值的差值，則有：

di=xi-φ

(3)

Step4計算協方差矩陣。協方差矩陣可以有效地度量表情特征之間的相關性。

(4)

Step5求協方差矩陣的特征值和特征向量，并構造特征空間。為了減少表情之間相關性造成的冗余信息，一般選取其中對人臉表情貢獻率最大的m個特征值相對應的特征向量組成變換矩陣。

w=(u1,u2,…,um)

(5)

Step6將每一個訓練樣本與平均值作差，將得到的矢量投影到特征空間:

Ωi=wTdii=1,2,…,n

(6)

由此可以看出，PCA通過舍棄了數據中方差較小的方向，留下數據方差較大的方向，從而既保留了關鍵信息又減少了數據維數。接著用貢獻率最大的m個特征帶替原先的n個特征進一步減少了信息的冗余，該特征向量可以較大程度上代表表情樣本的基本特征[15]。如果將表情圖像投射到該特征向量空間，就能獲取一組位置參數，即該表情圖像所包含的數據都能夠用這些基本特征的線性結合構成。

1.2　基于PCA改進的LPCA算法

PCA的實質就是在最大化保留表情樣本特征的同時，將樣本特征進行線性變換，映射到低維度空間中。但是，這種方法在識別表情過程中存在兩個難點。首先，由于年齡、性別、地域、民族的不同會造成表情表達有所差異，主要體現在表情表達的強度和方式有所不同。例如：男性和女性在表達“悲傷”表情時，女性表達的強度可能會更強烈一些；年長者和年幼者在表達“高興”表情時，年幼者可能表達的更加強烈；而不同地域不同民族的人在表達不同表情時表現的方式也會不同。其次，部分表情之間存在一定的相似性容易對識別造成干擾。例如：“生氣”與“厭惡”，“驚奇”與“恐懼”，以及“悲傷”與“恐懼”是比較容易混淆的表情。其中“厭惡”與“生氣”表情都出現了眼瞼收緊和眉毛下壓，“驚奇”和“恐懼”出現了上眼瞼抬起，內外眉上揚，相反“悲傷”和“恐懼”都出現了眉毛下壓和內眉上揚。

由于上述問題的存在，極易出現部分樣本和其他類樣本的距離，小于它與本類樣本距離的情況，從而造成誤判。如果只采用距離每個待分類樣本最接近的N個訓練樣本，利用局部訓練集，既能減少其他類別的干擾，也能減少相似的不同類樣本出現的可能性，保證與待分類樣本同一類別的訓練樣本在訓練集中占更大比重，進而更能針對待分類樣本的表情類別。

因此，本文提出了局部主成分分析算法，即LPCA。目的是提高PCA算法在表情相似性和表情個體差異干擾下的識別率和魯棒性。其本質是在PCA算法基本步驟之前對訓練樣本進行甄選的過程，具體算法步驟如下：

Step1求訓練樣本的平均臉，即:

(7)

Step2將待分類樣本Γ與訓練樣本的平均臉φ作差，將差投影到圖像特征空間，得到其特征向量表示為:

Ω=wT(Γ-φ)

(8)

Step3求各個訓練樣本和訓練樣本平均值，兩者作差得到平均臉差值矢量，并將得到的差值矢量投影到特征空間，計算:

‖Ωi-Ω‖i=1,2,…,n

(9)

Step4從中選擇出前N個差值最小的訓練樣本，組成局部樣本訓練集；

Step5以局部樣本集為基礎進行PCA訓練。

LPCA算法通過篩選出訓練集的局部特征信息，使得測試樣本的特征信息更準確地匹配到正確的表情類別。但是，它也有以下限制條件，首先，訓練的樣本類別必須大于1類；其次，為每個測試樣本選擇的局部樣本數也應大于1，否則算法無解，極端情況下，每個待分類樣本選擇整個訓練集作為“訓練子集”，此時LPCA算法等價于PCA算法。

1.3　面向表情識別的2D-PCA算法

常用的一維主成分分析算法是一種以向量為基礎的特征提取算法，就是在使用主成分分析算法前，將二維矩陣轉化為一維矩陣，之后計算其特征值與特征向量。但是主成分分析的特征提取一直受限于計算量和復雜度，雖然奇異分解估計協方差可以降低計算量，但是估計協方差矩陣在樣本過少時并不穩定，進而影響特征的提取。

在2004年Tang等學者對PCA進行了改進，首次提出基于圖像的二維主成分分析2D-PCA(Two-Dimensional Principal Component Analysis)算法[16]。與主成分分析算法需要先將原始二維矩陣轉化為一維矩陣不同，二維主成分分析算法直接處理二維矩陣，可以保留更多的空間結構信息，特征提取過程更加方便和直觀[17]。其具體步驟如下[18-19]：

Step1假定表情圖像D是p×q的二維矩陣，X則表示n維列向量，Y是經過線性的變換進行投影映射。

Y=AX

(10)

Step2Y是表情圖像D經過投影之后的特征向量，最優的投影坐標軸X取決于投影之后Y的散度矩陣分布狀況，而散度特征與相應協方差矩陣相關，計算如下：

J(x)=tr(Gx)

(11)

式中，tr(Gx)表示Gx的軌跡，Gx表示投影到特征向量空間的協方差矩陣。當J(x)=tr(Gx)獲得最大值時，其物理意義為：尋求到一個投影坐標軸X，將訓練樣本投影在該軸，所計算出的特征向量矩陣的值最大。

Step3定義Y協方差矩陣如下：

Gx=E(Y-EY)(Y-EY)T

(12)

Gx=E[AX-E(AX)][AX-E(AX)]T

(13)

Step4定義Y的協方差矩陣的跡為總散度：

tr(Gx)=XT[E(A-EA)E(A-EA)]X

(14)

Step5定義表情圖像D的協方差散度矩陣：

Gt=E(A-EA)T(A-EA)

(15)

Step6訓練樣本的均值圖像為：

(16)

Step7訓練樣本數設為N，表情圖像矩陣用Di表示，D表示訓練的表情圖像均值。記表情圖像協方差矩陣為:

(17)

Step8將原式轉化為：

J(x)=XTGtX

(18)

式中，當J(x)獲得最大值時對應的X為最優投影軸。但是在樣本類別較大的條件下，一個較優的投影坐標軸通常無法滿足要求，因此需要去選擇特征值最大的前N個特征值所對應的特征值向量構成向量，即

(19)

式中，Xi是比較大特征值所對應的向量，對于一個訓練樣本D，可以設定：

Yi=DXii=1,2,…,N

(20)

經過線性變換之后，可以得到一組向量Y1,Y2,…,YN，這組向量即為表情圖像D的主成分分量。設2D-PCA算法中選擇前M個向量組成特征矩陣，表情圖像可以利用該特征矩陣YM進行描述，方便后續進行分類[20]。

1.4　基于2D-PCA改進的L-2DPCA算法

LPCA算法通過訓練樣本的預處理方式有效地減少樣本分類誤判的情況，但是同時由于樣本的預處理計算過程，PCA只需經過N次循環即可選擇出最佳的比例方案，而LPCA算法要求每個樣本都經歷N次循環，增加計算復雜度。根據對2D-PCA算法的深入研究可知，對于2D-PCA而言，不需要先把二維矩陣轉化為一維矩陣，直接根據數據矩陣創建散布矩陣。一般來說，2D-PCA提取的特征比PCA更好更快，并且計算時間降低。因此，將2D-PCA算法結合到LPCA算法中，可以減少計算復雜度，提高時效性。與LPCA算法相似，L-2DPCA算法對于給定的每一個測試樣本，選擇與該樣本擁有最近距離的前k個訓練樣本組成新的局部訓練樣本子集。具體步驟如下：

Step1假設訓練樣本集合如下，其中，i表示類別，j表示i類的j組數據。

(21)

Step2將待分類樣本Γ與訓練樣本的平均臉φ作差，將差值映射在特征空間，求得特征向量為：

Ω=wT(Γ-φ)

(22)

Step3計算：

‖Ωi-Ω‖i=1,2,…,n

(23)

選擇其中差值最小的N個訓練數據樣本，組成局部數據樣本集：

(24)

Step4求取所有訓練樣本平均值：

(25)

Step5計算樣本的協方差矩陣：

(26)

Step6求相應協方差矩陣，構造相應的特征空間：

U=(X1,X2,…,Xp)

(27)

(28)

同樣，在該算法過程中訓練的樣本類別必須大于1類，為每個測試樣本選擇的局部樣本數也應大于1。

2　實驗結果及分析

實驗中的人臉表情樣本是國際通用的Rafd表情庫，以及通過攝像頭采集的作者所在實驗室LMIP表情庫。為了避免數據的分布不均衡，選取圖像過程中，令每種圖像數據大小基本相同。在實驗中的表情類別主要設為生氣，厭惡、恐懼、高興、悲傷、驚奇。在Rafd人臉表情庫中選取6種基本表情，每種表情30張，在LMIP實驗室圖像庫中選取男女比例大致相同的6種基本表情圖像，每種表情各60張。由于LMIP為非標準表情庫，所以要先對該庫中的表情圖像集進行規范化預處理，具體流程為：首先采用haar-adaboost方法提取圖像集的人臉區域，接著對人臉圖像集進一步進行歸一化處理，得到50×50像素的標準人臉圖像集，最后對標準圖像集進行基于直方圖均衡化的光照補償處理，如圖1所示。

圖1　LMIP表情庫樣本圖像和預處理后圖像

實驗中對預處理后的圖像采用PCA方法，LPCA方法，2D-PCA方法和L-2DPCA進行進一步處理。表情特征提取算法性能的高低是借助表情分類準確率高低進行評估的。為了檢驗算法特征提取的精度，將本文中提出的LPCA及L-2DPCA算法與基線算法PCA和2D-PCA算法在同一個表情數據集合下進行比較，并且使用相同的訓練測試方法及分類算法進行表情識別，從而控制實驗結果僅與特征提取算法相關。本文選擇最近鄰算法為分類方法進行表情識別驗證任務, 在實驗中選用10折交叉驗證的方式為測試方法來評估算法的準確率。實驗結果如表1-表2所示。其中表1中的數據為在Rafd人臉表情庫中各算法的識別準確率。表2中的數據為在LMIP人臉表情庫中各算法的識別準確率。表中的算法耗時僅表示特征提取過程所用時間，單位為秒。表3給出了本文提出算法和當前幾種主流算法的準確率對比數據。圖2給出了Rafd表情庫部分樣本，圖3是Rafd庫中部分表情識別結果。

表1　Rafd人臉表情庫中各算法的表情識別率

表2　MIP人臉表情庫中各算法的表情識別率

表3　算法比較

圖2　Rafd表情庫部分樣本圖

圖3　Rafd庫部分表情識別結果

實驗結果證明在Rafd和LMIP人臉表情數據庫中，本文所提出的LPCA及L-2DPCA算法與經典PCA算法相比較，明顯提高了表情的識別率以及特征提取速度。在Rafd庫進中，各個實驗算法都獲得很好的識別準確率。在LMIP人臉表情庫中，由于數據庫所錄入的表情樣本有較大的外貌差異,并且每個實驗室同學對表情表達的強度也有較大的差異,導致最終識別率較低。但是在LMIP人臉表情數據庫中，本文所提出算法仍高于經典算法，進一步說明了本文提出算法的魯棒性。在兩個人臉表情庫中，可以發現LPCA相比PCA算法速度明顯降低，2D-PCA相比PCA算法速度優勢明顯，而L-2DPCA與PCA相比較而言，算法速度基本一致。這說明引入L-2DPCA算法可以很大程度改善算法速度，克服LPCA算法速度慢的缺點，提高了表情識別的時效性。而在與現有主流算法對比過程中可以發現，可以看出本文提出算法在整體的準確率上有一定的優勢。同時，在對不同表情的識別過程中可以發現，本文提出算法針對悲傷和厭惡這兩類較為相似的表情有較好的識別結果，也說明了本算法的可行性。

3　結　語

本文在對PCA特征提取算法進行深入研究的基礎上，主要針對表情識別過程中存在的由于個體不同出現的表情差異及相似表情容易混淆的問題，引入局部化思想，在PCA基礎上提出一種針對表情識別的改進算法，即LPCA表情識別算法。LPCA的優點在于先根據待測樣本與訓練樣本的距離選擇與待測樣本關系更為密切的訓練樣本作為局部訓練樣本，既能減少其他類別的干擾，也能減少相似的異類樣本出現的可能性。但是由于每次識別樣本都需要對訓練樣本與待測樣本的距離進行計算，大大增加了特征提取過程的時間復雜度。因此本文結合2D-PCA時間復雜度低的優勢，在LPCA的基礎上，進一步提出L-2DPCA算法，經過算法對比實驗驗證，在運算時間和準確性上都取得了較好的效果。

[1] Ekman P, Friesen W V. Facial action coding system：atechnique for the measurement of facial movement[M]. Palo Alto Consulting Psychologists Press, 1978: 271-302.

[2] Shin M, Kim M, Kwon D S. Baseline CNN structure analysis for facial expression recognition[C]// Robot and Human Interactive Communication, 2016 25th IEEE International Symposium on, 26-31 Aug. 2016.

[3] 張韶旭. CNN深度學習模型用于表情特征提取方法探究[J].現代計算機(專業版), 2016(3): 41-44.

[4] 童瑩. 一種方向性的局部二值模式在人臉表情識別中的應用[J].智能系統學報, 2015,10(3): 422-428．

[5] Zhang B, Liu G, Xie G. Facial expression recognition using LBP and LPQ based on Gabor wavelet transform[C]// IEEE International Conference on Computer and Communications. IEEE, 2017:365-369.

[6] 趙春偉. 基于PCA與LDA的表情識別算法研究[D].西安: 西安電子科技大學, 2014.

[7] 黃忠, 胡敏, 劉娟. 基于AAM-SIFT特征描述的兩級SVM人臉表情識別[J].計算機工程與應用, 2016, 52(3): 178-183.

[8] 戴鉑,侯志強,余旺盛,等. 快速深度學習的魯棒視覺跟蹤[J]. 中國圖象圖形學報,2016,21(12): 1662-1670.

[9] 陳伏兵, 高秀梅, 張生亮, 等. 基于分塊PCA的人臉識別方法[J].計算機工程, 2006, 32(11): 231-233.

[10] 龔婷, 胡同森, 田賢忠. 基于類內分塊 PCA方法的人臉表情識別[J].機電工程, 2009, 26(7): 74-76.

[11] 毛啟容, 張飛飛, 于永斌, 等. 一種基于PCANet-CNN的任意姿態人臉表情識別方法: 中國, CN105447473A[P]. 2016-03-30.

[12] Shi Zhan, Hu Jinglu. Local linear discriminant analysis with composite kernel for face recognition[C]// Proceedings of International Joint Conference on Neural Networks. Piscataway NJ:IEEE Press, 2012: 1-5.

[13] Wang Zhan, Ruan Qiuqi, An Gaoyun. Facial expression recognition based on tensor local linear discriminant analysis[C]// Proceedings of International Conference on Signal Processing.Piscataway NJ:IEEE Press，2012: 1226-1229.

[14] Turk M, Pentland A. Eigenfaces for recognition[J]. Journal of Cognitive Neuroscience, 1991,3(1): 71-86.

[15] Moon H, Phillips P J. Computational and performance aspects of PCA-based facerecognition algorithms[J]. Perception, 2001，30(3): 303-321.

[16] Chen S, Zhao H, Kong M, et al. 2D-LPP: A two-dimensional extension of locality preserving projections[J]. Neuro computing, 2007, 70(4): 912-921.

[17] Rajendran S, Kaul A, Nath R. Comparison of PCA and 2D-PCA on Indian Faces[C]// International Conference on Signal Propagation and Computer Technology, 2014: 561-566.

[18] 楊梅. 基于LBP和混合2DPCA+PCA的人臉識別研究[D].南京: 南京理工大學, 2007.

[19] 齊永鋒, 火元連. 一種結合2DLPP與2DPCA的人臉識別方法[J].西南交通大學學報, 2011, 46(6): 910-916.

[20] Ip H H S, Yin L. Constructing a 3D individualized head model from two orthogonal views[J]. Visual Computer, 2013, 12(5): 254-266.