基于改進的LTP人臉表情識別算法

唐紅梅，喬帆帆，郭迎春，王　霞

(河北工業大學　電子信息工程學院，天津　300401)

基于改進的LTP人臉表情識別算法

唐紅梅，喬帆帆，郭迎春，王霞

(河北工業大學電子信息工程學院，天津300401)

摘要:針對人臉表情識別背景復雜導致識別率低的缺點，提出了一種中心對稱三值模式(CSTP)算法，首先對人臉表情圖像進行分塊處理，在每一子塊上提取CSTP特征，并對該子塊進行CSTP特征的直方圖統計，然后求出各個子塊對應的信息熵，構造自適應加權系數，再分別和各個子塊的直方圖相乘，將自適應加權后的各個子塊特征向量級聯作為最終的紋理特征，最后利用支持向量機(SVM)進行表情分類。在JAFFE和CMU-AMP表情庫上進行試驗，通過對比其他傳統方法發現該算法對表情識別更有效。

關鍵詞:表情識別；自適應加權；支持向量機

人臉表情識別是計算機視覺領域一個富有挑戰性的研究課題，在心理學、人機交互研究等方面具有重要意義。近年來，人臉表情識別技術發展迅速，主流的方法有Gabor濾波法[1-2]、主動形狀模型法(ASM)[3]、主成分分析法(PCA)[4]和紋理特征法[5-6]。Gabor小波可以從不同尺度和不同方向上提取人臉表情的紋理特征，但是其計算過程產生的高維數有可能導致計算機內存的耗盡，并且計算過程相當耗時。ASM算法能直觀地反映表情的變化，但是模型的構建相當復雜，在一定程度上影響了算法的實行速度。PCA算法可以提取表情圖像的全局紋理特征，但是它很難避免處理數據時產生的協方差矩陣維數過高問題。二元主成分分析法(2DPCA)[7]是PCA的拓展算法，在一定程度上解決了上述問題，但是它是在水平方向上提取圖像的特征，而忽略了垂直方向上的特點。局部二值模式(LBP)算法最早是由Ojala等人[8]提出的，它能夠有效地描繪圖像局部紋理信息，LBP及其擴展特征被應用于人臉表情檢測，有突出的表現，其缺點是當光照變化劇烈時，LBP的可靠性會下降。針對LBP的局限性[9]，付曉峰等人[10]將中心化二值模式(CBP)算法應用到表情識別，CBP特點是采用“對角原則”，即計算對角元素的灰度值，并加入中心點像素與鄰域內所有像素均值的對比。這樣不但充分利用了中心像素的作用，還使得CBP直方圖的維數有了明顯的降低，計算速度得到了提高。為了降低LBP對噪聲的敏感度，Jiang等人[11]在LBP的基礎上，引入了中心像素與鄰域像素的灰度差異性，完善了局部結構特征信息，豐富了紋理的描述。

基于上述算法的特點分析，本文提出了中心對稱三值模式(Center Symmetrical Ternary Patterns，CSTP)算法。對人臉表情圖像預處理之后，對圖像分塊，在每一子塊上提取CSTP特征，并對該子塊進行CSTP特征的直方圖統計，求出各個子塊對應的信息熵，構造自適應加權系數，再分別和各個子塊的直方圖相乘，將自適應加權后的各個子塊特征向量級聯作為最終的紋理特征，最后利用支持向量機SVM[12-13]進行表情分類。為了驗證該算法的可行性，本文選取在JAFFE和CMU-AMP兩個標準表情庫上進行實驗，結果證明該方法擺脫了對中心像素的依賴性，克服了表情識別背景復雜的缺陷，對局部紋理描述得更加精細，使得整個特征空間樣本的表征和分類性能得到進一步增強和提高。

1相關算法描述

1.1LBP和CS-LBP算法

LBP算法是一種能夠有效提取局部紋理信息的算法。在以R為半徑，P為鄰域內采樣，通過比較鄰域點像素值gi和中心點像素值gc的關系來定義模式值。當gi大于或等于gc時，被定義為1；否則被定義為0。計算如式(1)～(2)所示

(1)

(2)

其中：gc是中心點像素值；gi是周圍鄰域點像素值；P為周圍鄰域點數；R為半徑。

雖然LBP算法計算簡單，但是隨著樣本數的增加，數據的維數也會跟著變大，這就會給計算帶來不便，CS-LBP算法的出現正好解決了這個問題。

CS-LBP算法首先計算關于中心像素對稱的像素對的差，然后通過比較每組像素對差和閾值t的關系來定義圖像局部紋理模式值，使得不但降低了數據的維數，還減少了對中心像素的依賴，其計算如下所示

(3)

(4)

其中：gi是周圍鄰域點像素值，gi+(P/2)是gi關于中心像素對稱的像素值；t為閾值。

如圖1所示為P=8時，CS-LBP算法的計算過程。

CS-LBP=S(g0,g4)20+S(g1,g5)21+

S(g2,g6)22+S(g3,g7)23

圖1CS-LBP算法的計算過程

1.2LTP算法

局部三值模式(LTP)由局部二值模式(LBP)發展而來，閾值t使計算結果受像素灰度差異變化的影響變小，同時增強了噪聲的魯棒性。其基本定義如下：閾值t與中心點像素值gc構成新的區間[gc+t,gc-t]。若鄰域點像素值gi在[gc+t,gc-t]內，則被定義為0；若gi大于gc+t，則被定義為1；若gi小于gc-t，則被定義為-1。計算公式為

(5)

(6)

其中：gc是中心點像素值；gi是周圍鄰域點像素值；t為閾值；P為周圍鄰域點數。

雖然LTP算法對LBP算法有了一定的改善，但是在圖像的多尺度變化和局部遮擋問題的處理上還有一定的局限性，且LTP并不具備LBP的灰度單調變化不變性的優點。

2中心對稱三值模式的特征提取算法

2.1CSTP算法

1)計算在(P,R)鄰域內關于中心像素對稱的像素對差Δgi

(7)

其中：g是像素，P是周圍鄰域數。

(8)

3)設定上限值U和下限值L

(9)

(10)

其中，t為閾值。

4)CSTP編碼規則

(11)

(12)

CSTP算法的編碼過程是：如果周圍鄰域點像素值gi與以中心像素為對稱的gi+(P/2)的差值Δgi大于U，則該位編碼為1，如果Δgi小于L，則該位編碼為-1；把編碼中的所有“-1”清為“0”，稱為正模式，把編碼中的“1”清為“0”，然后把“-1”置為“1”，稱為負模式，在完成正、負兩個模式的編碼后對正負模式進行相應的或運算[14]，得到CSTP特征，可以進一步增強人臉表情的重要特征，防止其在特征提取過程中一些重要信息的丟失，最后將各子塊的編碼信息進行加權計算得到最終的特征向量。CSTP算法的編碼過程如圖2所示。

圖2　CSTP算法的編碼過程

2.2自適應系數加權

局部信息熵除了描述局部子區域包含的信息量，還描述了其紋理的豐富程度。將圖像劃分成n×n塊后，每個子塊中所包含的識別信息是不同的，若同等對待，則會降低紋理的獨特性，勢必會影響最后的識別率。如果計算出各個子塊對整個圖像的識別貢獻率，再分別和各個子塊的直方圖相乘，得到自適應系數加權后的特征向量，最后將自適應加權后的各子塊特征向量串連起來作為最終的紋理特征，不但能更好地描繪圖像紋理的程度，而且還有利于識別率的提升。具體步驟如下所示：

1)計算每個子塊的信息熵Ej

(13)

2)計算每個子塊的權值Wj

(14)

其中：n為子塊個數。

3)各個子塊自適應加權后的特征向量φ為

(15)

其中：Hj是第j個子塊的直方圖。

3實驗結果及分析

實驗選擇的是JAFFE和CMU-AMP人臉表情庫。其中JAFFE表情庫中共有10個人，每個人有7種表情(生氣、厭惡、害怕、高興、中性、悲傷、驚訝)。實驗中，每種表情選取2張作為訓練樣本，共140張訓練樣本。剩下的70張作為測試樣本，圖像的尺寸統一為128×128，其部分表情樣本如圖3所示。

圖3　JAFFE人臉表情庫中的7種表情樣本

CMU-AMP表情庫中共有13個人，每個人都含有驚訝、生氣、高興這3種表情。實驗中，每種表情隨機選取8張作為訓練樣本，共312張訓練樣本，再選取8張作為測試樣本，共312張測試樣本，圖像的尺寸統一為64×64。其部分表情樣本如圖4所示。

圖4　CMU-AMP人臉表情庫中的3種表情樣本

所有樣本均分為5×5個子塊，鄰域P=8，半徑R=2，SVM采用的是高斯函數，核數設為8。使用不同的特征提取方法(2DPCA，Gabor+PCA，LBP，CBP，CSTP)進行比較，實驗結果如表1和表2所示。綜合兩表的數據可知，在JAFFE數據庫中CSTP的結果明顯高出另外幾種傳統算法，在CMU-AMP數據庫中CSTP的結果只是略優于其他幾種算法，原因是CMU-AMP數據庫中表情類別過少，訓練樣本過多。同時說明CSTP在處理小樣本問題上具有優越性。

表1JAFFE庫上的表情識別率

輸入輸出/%生氣厭惡害怕高興中性悲傷驚訝平均識別率2DPCA1009070801007010087.14Gabor+PCA9090801001007010090LBP1009070100908010090CBP1001008010090809091.43CSTP1001007010010010010095.71

表2CMU-AMP庫上的表情識別率

輸入輸出/%生氣高興驚訝平均識別率2DPCA98.0894.2294.2395.51Gabor+PCA99.0496.1583.6492.94LBP95.2099.0492.3095.51CBP99.0496.1692.3195.83CSTP98.0810092.3196.79

圖5～6所示為JAFFE庫和CMU-AMP庫中CSTP算法在t取不同值時的識別率。t的取值還無法給出理論上的最優，因此為了更好地評價CSTP算法，所以實驗中的t是在[0.1，0.9]中選取的。從JAFFE庫中可以看出，當t=0.5和0.7時，識別效果最好，為95.71%。而CMU-AMP庫中識別率最好時是t=0.9時，為96.79%。

圖5　JAFFE庫中t取不同值時CSTP的識別率

圖6　CMU-AMP庫中t取不同值時CSTP的識別率

表3所示為2DPCA，Gabor+PCA，LBP，CBP和CSTP五種算法所用的時間，由于CSTP提取局部特征時要計算像素對的差值后再進行相關編碼，導致時間消耗有所增加，比LBP和CBP所花費的時間略長，但是明顯比2DPCA和Gabor+PCA算法的時間縮短了不少，對于識別率幅度的提升而言，時間的增加是可以接受的。

表3不同算法所用的時間

算法2DPCAGabor+PCALBPCBPCSTP時間/s0.262.410.030.030.05

4小結

本文提出的中心對稱三值模式(CSTP)算法在表情識別上優于其他的算法：1)擺脫了中心像素的依賴性，對局部紋理描述的更加精細，或運算增強了表情的重要信息，使得整個特征空間樣本的表征和分類性能得到進一步增強和提高；2)通過計算子區域信息熵構造自適應加權系數，將自適應加權后的各個子塊特征向量級聯起來作為最終的紋理特征，融合了局部特征和全局特征，提高了表情識別的性能。在JAFFE和CMU-AMP表情庫上證明了該算法的可行性和有效性。但由于本文算法是在靜態表情庫中實驗的，未對算法在表情序列中進行驗證。如何更加實時地在動態視頻序列中進行表情分類識別，是下一步研究的重點。

參考文獻：

[1]YANG F，ZHANG L. Facial expression recognition based on Gabor parameters matrix and improved Adaboost[J]. Journal of computer applications，2014，34(4)：1134-1138.

[2]ZHANG L， TJONDRONEGORO D， CHANDRAN V. Random gabor based templates for facial expression recognition in images with facial occlusion[J]. Neurocomputing，2014，145：451-464.

[3]XIA H Y, XU L H. Facial expression recognition based on feature fusion of active shape model differential texture and local directional pattern[J]. Journal of computer applications，2015， 35(5)：783-786，796.

[4]MEHER S S， MABEN P. Face recognition and facial expression identification using PCA[C]//Proc. 4th IEEE International Advance Computing Conference (IACC).[S.l.]：IEEE Press，2014：1093-1098.

[5]GUO F Z， WANG K J， YUAN L，et al. New research advances in facial expression recognition [C]//The IEEE 25th Chinese Control and Decision Conference (CCDC).Guiyang：[s.n.]，2013：3403-3409.

[6]LIU L， FIEGUTH P.W. Texture classification from random features[J].IEEE transactions on pattern analysis and machine intelligence，2012，34(3)：574-586.

[7]LIBDA A S M. 2DPCA versus PCA for face recognition[J]. Journal of central south university， 2015，22(5)：1809-1816.

[8]OJALA T， PIETIKAINEN M， MAENPAA T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE transactions on pattern analysis and machine intelligence，2002，24(7)：971-987.

[9]AHONEN T， HADID A， PIETIKAINEN M.Face recognition with local binary patterns[C]//Proceedings of European Conference on Computer Vision.Prague：[s.n.]，2004：469-481.

[10]付曉峰.基于二元模式的人臉識別與表情識別研究[D].杭州：浙江大學，2008.

[11]JIANG R， XU J L， ZHANG A P. Facial expression recognition based on improve LBP[J]. Journal of Zhejiang Sci-

Tech University，2013，30(4)：546-549.

[12]FUNG G M， MANGASARIAN O L. Multicategory proximal support vector machine classifiers[J]. Machine learning，2005，59(1)：77-97.

[13]LUO Y， WU C， ZHANG Y. Facial expression recognition based on fusion feature of PCA and LBP with SVM[J]. Optik-international journal for light and electron optics，2013，124(17)：2767-2770.

[14]李德寧.改進型 LTP 在人臉識別中的研究與應用[D].哈爾濱：哈爾濱理工大學，2012.

唐紅梅(1968— )，女，副教授，碩士生導師，主要研究方向為數字圖像處理、模式識別；

喬帆帆(1990— )，女，碩士生，主要研究方向為數字圖像處理；

郭迎春(1970— )，女，博士，副教授，主要研究方向為圖像處理、模式識別；

王霞(1970— )，女，博士，教授，主要研究方向為信號處理。

責任編輯：閆雯雯

Facial expression recognition algorithm based on improved LTP

TANG Hongmei , QIAO Fanfan, GUO Yingchun, WANG Xia

(SchoolofElectronicsInformationEngineering,HebeiUniversityofTechnology,Tianjin300401,China)

Abstract:To solve the disadvantage of low recognition rate which caused by complex facial expression background, a new algorithm called Center Symmetrical Ternary Patterns (CSTP) is proposed in this paper. Firstly, the facial expression image is divided into blocks, CSTP features are extracted from each sub-block and the histogram statistics of the CSTP feature of the sub-block is carried out. Then the information entropy of the each sub-block has been calculated in order to construct the adaptive weighted coefficient. The feature vectors of the adaptive weighted sub-block have been scaled up as the final texture features. Finally, Support Vector Machine (SVM) is used to expression classification. The experiments on JAFFE and CMU-AMP database have been compared with other traditional methods. The better results of the proposed algorithm have been achieved in expression classification.

Key words:expression recognition; adaptive weighted; support vector machine

中圖分類號：TP391.4

文獻標志碼：A

DOI：10.16280/j.videoe.2016.02.024

基金項目：河北省高等學校自然科學研究重點基金項目(ZD20131043)

作者簡介：

收稿日期：2015-07-14

文獻引用格式：唐紅梅，喬帆帆，郭迎春，等. 基于改進的LTP人臉表情識別算法[J].電視技術，2016,40(2)：127-131.

TANG H M, QIAO F F，GUO Y C. Facial expression recognition algorithm based on improved LTP [J].Video engineering, 2016,40(2)：127-131.