基于LGRP和多特征融合的人臉表情識別

錢勇生, 邵 潔, 季欣欣

(上海電力學(xué)院 電子與信息工程學(xué)院, 上海 200090)

人臉表情含有極度豐富的人體行為信息,不僅是個(gè)人情緒的自我表達(dá),更是人們在非語言交流中傳遞情感信息和協(xié)調(diào)彼此關(guān)系的重要方式。在人工智能時(shí)代,人臉表情識別更是一個(gè)重要的組成部分。近年來,隨著人工智能和人機(jī)交互的高速發(fā)展,智能化和舒適化生活的逐漸實(shí)現(xiàn)以及人臉表情識別需求的增加,推動了人臉表情技術(shù)的快速發(fā)展,吸引了眾多國內(nèi)外學(xué)者和大量科技公司的高度關(guān)注,成為現(xiàn)階段熱點(diǎn)研究領(lǐng)域之一[1]。

人臉表情識別技術(shù)的關(guān)鍵在于從面部區(qū)域中提取有效和獨(dú)特的表情特征,并據(jù)此實(shí)現(xiàn)人臉表情圖像的分類。由于面部表情的變化細(xì)微而復(fù)雜,盡可能地獲取完整、緊湊和高區(qū)分度的表情特征顯得尤為重要。目前,提取的表情特征主要包含整體統(tǒng)計(jì)特征、局部特征或頻率域特征[2]。 周書仁等人[3]提出了基于獨(dú)立分量分析(Independent Component Analysis,ICA)與 隱馬爾可夫模型的表情識別,利用ICA分離多個(gè)未知源信號混疊,得到了人臉表情的深層隱藏特征。YANG M X等人[4]提出了基于局部二進(jìn)制模式(Local Binary Patterns,LBP)和支持向量機(jī)(Support Vector Marchine,SVM)的人臉表情識別方法,利用描述圖像的紋理特征的LBP,可以有效地提取和測量灰度局部紋理特征圖像特征。ZHOU J等人[5]提出了基于Gabor和二維非負(fù)矩陣分解法的人臉表情識別方法,通過Gabor小波變換提取表情特征,采用基于距離的最近鄰分類器進(jìn)行分類識別。

Gabor小波變換在頻域和時(shí)域上具有最佳的局部化特性,對圖像旋轉(zhuǎn)變化較敏感[6],因此在圖像處理、計(jì)算機(jī)視覺和模式識別等領(lǐng)域得到了廣泛的應(yīng)用與發(fā)展。然而多尺度多方向的 Gabor 變換后的數(shù)據(jù)計(jì)算量大,冗余度和特征維數(shù)都較高。若純粹選用一種特征,則無法捕捉表情圖像多方面的識別信息,基于融合多種互補(bǔ)特征信息的表情識別是一種新穎的研究方法[7]。易積政等人[8]提出了基于特征點(diǎn)矢量與紋理形變能量參數(shù)融合的人臉表情識別方法,融合了特征點(diǎn)矢量的特征點(diǎn)距離比例系數(shù)和紋理形變能量參數(shù)。 唐恒亮等人[9]提出了一種融合LBP和局部稀疏表示的人臉表情識別方法,在表情圖像非均勻分區(qū)提取局部 LBP特征,再根據(jù)各局部子區(qū)域的影響因子,通過加權(quán)融合局部特征進(jìn)行表情分類。

本文首先從人臉的局部特征角度出發(fā),針對Gabor小波直接抽取人臉特征數(shù)據(jù)存在冗余,產(chǎn)生魯棒性不足的缺點(diǎn),提出了基于局部Gabor排序模式(Local Gabor Rank Pattern,LGRP)和多特征融合人臉表情的識別方法。在提取人臉表情圖像的 Gabor幅值特征的基礎(chǔ)上,對特征進(jìn)行局部排序編碼,捕捉了一組像素的相對順序或排序。利用相對強(qiáng)度信息而不是原始強(qiáng)度值,這樣不會因?yàn)橥饨缭肼?光照變化)而改變。在保留 Gabor小波局部特征的基礎(chǔ)上,通過融合描述紋理圖像的Haar特征以及人臉輪廓特征,可以增強(qiáng)其全局特征表征能力,減少高維數(shù)據(jù)冗余,具有良好的魯棒性和精確的分類效果。

1 表情特征提取

1.1 LGRP特征

1.1.1 Gabor特征

Gabor 特征是通過二維 Gabor濾波器卷積人臉表情圖像得到的,主要包含空間尺度、空間位置以及方向選擇等圖像局部紋理信息。本文采用5個(gè)尺度和8個(gè)方向的Gabor濾波器組卷積人臉圖像獲得的Gabor幅值特征,如圖1所示。

圖1 人臉表情圖像的 Gabor 幅值特征

二維Gabor小波變換表達(dá)式為

(1)

式中:α,β——Gabor 濾波器的方向和頻率;

z——像素坐標(biāo),z=(x,y);

i——復(fù)數(shù)算子;

σ——濾波器的帶寬,σ=2π;

‖·‖——模。

若一幅圖像的灰度值為I(x,y),那么I(x,y)和Gabor濾波器的卷積可定義為

F(x,y,α,β)=I(x,y)*Gα,β(x,y)

(2)

式中:*——卷積運(yùn)算。

1.1.2 局部Gabor排序模式

經(jīng)過 Gabor變換后的表情圖像將轉(zhuǎn)化成40個(gè)不同尺度與方向的圖像,提取出高達(dá)原始圖像特征維數(shù)40倍的表情特征,由此造成特征數(shù)據(jù)冗余且特征淹沒。 本文提出基于局部Gabor排序模式來表征,將獲得更具魯棒性的人臉表情描述。人臉表情圖像的LGRP排序模式如圖2所示。

圖2 人臉表情圖像的LGRP排序模式

該模式是在Gabor響應(yīng)的幅值信息中局部排序編碼,對幅值信息中的每個(gè)點(diǎn)的相鄰像素采樣并且分配不同的序號,包括比較相近的像素,然后將序列(某種排列順序)映射到 LGRP碼。 這不同于局部 Gabor二值模式[10],利用中心像素與其相鄰像素之間的排序關(guān)系,但不考慮相鄰像素之間的排序關(guān)系。 在本文的方法中,所提出的 LGRP編碼可以直接得到而不產(chǎn)生中間二進(jìn)制串,并利用樣本點(diǎn)的方差作為加權(quán)函數(shù)來提高編碼的魯棒性。 該方法可以使圖像紋理豐富,并顯示出與空間位置的緩慢偏差,因此可以抵抗一些局部變化。 其編碼過程如圖3所示。

LGRP編碼步驟如下:使用Gabor變換圖像中P-P鄰域中樣本像素值的相對順序,為每個(gè)像素生成一個(gè)序數(shù)碼。令G(x,y)為Gabor小波變換后的幅值響應(yīng)圖像,Z=(xa,yb) 為幅值響應(yīng)圖像中的某個(gè)采樣點(diǎn),Δ(z) 表示z處N個(gè)相鄰點(diǎn)的排序集合,即

圖3 LGRP編碼過程

Δ(z)={s1,s2,s3,…,sN}

(3)

對于z點(diǎn)的編碼模式與周圍鄰域的像素點(diǎn)si∈Δ(z)緊密相關(guān),其計(jì)算公式為

(4)

式中的CN,R(z)表示在矩形局部鄰域中使用等間隔的N個(gè)取樣點(diǎn)計(jì)算z的排序模式,所述N個(gè)取樣點(diǎn)在角度方向上相距R個(gè)像素,但N的采樣值包含中心像素作為采樣點(diǎn)之一。c為像素點(diǎn)s下的順序采樣點(diǎn)。δ(sc)函數(shù)提供了序列Δ(z)中點(diǎn)的相對順序,可以取值為

(5)

(6)

其中si和sj∈Δ(z),鄰域內(nèi)N個(gè)像素點(diǎn)經(jīng)過比較,得到了各自不同的表示數(shù)值。

一般來說,所有編碼被認(rèn)為是相等的,并且權(quán)重1被分配給每個(gè)LGRP碼。然而,用更多不相似的樣本點(diǎn)生成的代碼可以被認(rèn)為對圖像中的隨機(jī)像素變化更具有魯棒性。由于標(biāo)準(zhǔn)差可以判別信息的差異程度,這樣利用樣本點(diǎn)的標(biāo)準(zhǔn)差作為衡量編碼穩(wěn)定性的一個(gè)指標(biāo),因此可以采用標(biāo)準(zhǔn)差作為權(quán)重函數(shù)來提高描述符的魯棒性,最終生成的LGRP排序模式為

LN,R(z)=μ·CN,R(z)

(7)

式中:μ——標(biāo)準(zhǔn)差。

(8)

(9)

1.2 人臉表情輪廓特征

當(dāng)人表達(dá)出不同的情感表情時(shí),面部眼睛、鼻子、嘴巴和下顎的輪廓也不同,這是不同人臉表情分類的重要依據(jù)[11]。 通過形態(tài)學(xué)運(yùn)算可以提取這些輪廓特征。首先,對人臉圖像采取直方圖均衡化以提高全局對比度;然后,針對直方圖均衡化大致相同的臉頰和前額,使用Otsu閾值分割法分割成二進(jìn)制圖像,這種圖像分割過程是將相近像素組合在一起,以實(shí)現(xiàn)進(jìn)一步處理的目的;最后,相近像素的臉頰和前額被分成一個(gè)區(qū)域,眼睛、嘴巴和下頜的像素被分成另一區(qū)域。本文采用一種類間方法最大化的Otsu方法,用來找到分割灰度圖像的最佳閾值。 人臉表情輪廓特征如圖4所示。

圖4 人臉表情輪廓特征

假設(shè)圖片包含L個(gè)灰度級(0,1,2,…,L-1),灰度值i的像素點(diǎn)數(shù)為Ni,圖像總的像素點(diǎn)數(shù)為N=N0+N1+N2+…+NL-1,灰度值i的概率為Pi=Ni/N,則類間方差的定義為

(10)

1.3 Haar特征

Haar小波變換是常用的一種提取圖像特征方法[12]。以各種分辨率分析給定圖像,獲得有關(guān)不同尺度圖像的變化信息。通常,采用低通和高通濾波器分解原始圖像。高頻分量主要包含圖像細(xì)節(jié)信息,而低頻分量主要包含圖像形狀信息,相對于邊緣信息更加有效和穩(wěn)定,并且也符合人類的視覺特點(diǎn)[13]。假設(shè)原始人臉表情圖像的大小是N×M,經(jīng)過二維離散小波變換后,分解為4個(gè)子圖像,每個(gè)子圖像都是大小為(N/2)×(M/2),分別是低頻部分分解系數(shù)、水平方向分解系數(shù)、垂直方向分解系數(shù)和對角線方向分解系數(shù)。由于低頻部分包含了最重要的信息并且丟棄了噪聲和不相關(guān)部分的影響,因此,本文采用第一級分解的低頻部分提取特征。人臉表情原始圖像的一層分解如圖5所示。

圖5 人臉表情圖像的一層分解

2 多特征融合人臉表情識別方法

2.1 SVM多類分類器

SVM在統(tǒng)計(jì)學(xué)理論的基礎(chǔ)上發(fā)展起來的[14],最大特點(diǎn)是結(jié)構(gòu)最小化原則。基本模型是定義在特征空間上的間隔最大的線性分類器,在解決小樣本、非線性和高維度等問題上具有一定的優(yōu)勢。在生物識別、文本識別和圖像識別等領(lǐng)域得到了廣泛應(yīng)用[15]。

SVM一般解決二分類問題。 SVM的目標(biāo)是要構(gòu)造一個(gè)分類超平面wX+b=0,用來區(qū)分兩類不同的樣本,并且使得超平面距兩類樣本的分類間隔最大化、錯(cuò)誤率最小。將超平面用于未知樣本進(jìn)行分類問題可以轉(zhuǎn)化為最小化問題,其計(jì)算式為

(16)

s.t.yi(wxi+b)-1≥0,

i=1,2,3,…,N

(17)

求得最優(yōu)解w′和b′,得到最優(yōu)分類超平面w′·x+b′=0, 即最大間隔超平面,如圖6所示。

圖6 SVM的最大間隔超平面

本文人臉表情數(shù)據(jù)庫包含7類表情,采用多個(gè)SVM分類器對人臉表情進(jìn)行識別。通過構(gòu)建k個(gè)二類分類器實(shí)施一對多分類策略,其中每個(gè)分類器區(qū)分一類(正類)和其他所有類(負(fù)類)。對人臉表情進(jìn)行分類時(shí),分別計(jì)算各個(gè)分類器的判別函數(shù)值,最后選擇最大判別函數(shù)值來測試數(shù)據(jù)的類別[16]。

2.2 LGRP和多特征融合人臉表情識別方法

本文提出了一種基于LGRP和多特征融合人臉表情識別方法,其流程圖如圖7所示。

圖7 多特征融合人臉表情識別流程

具體步驟如下:

步驟1 對N張人臉表情圖像分別提取描述紋理的 LGRP特征和一級 Haar小波分解得到4個(gè)子圖特征以及描述邊緣和形狀的人臉輪廓特征;

步驟2 采用主成分分析以降低這些特征的維數(shù),再以串聯(lián)的方式將這3種特征進(jìn)行融合,形成融合表情特征向量;

步驟3 采用融合后的表情特征訓(xùn)練 SVM多分類器模型;

步驟4 利用訓(xùn)練后的 SVM多分類器模型進(jìn)行表情分類。

多分類器融合方法作為一種新方法,在圖像處理與模式識別領(lǐng)域得到廣泛的應(yīng)用[17]。目前,多分類器的融合主要有特征級融合和決策級融合。特征級融合是對原始圖像信息中目標(biāo)對象進(jìn)行特征提取,然后對所提取的多種特征信息進(jìn)行綜合分析處理。在特征級融合時(shí),可以對特征信息進(jìn)行一定程度的壓縮,以降低特征信息的維數(shù)。本文采用的是特征級融合,將LGRP特征、Haar小波特征和人臉表情輪廓特征串聯(lián)成一個(gè)新特征。

3 試驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)庫預(yù)處理與特征提取

將本文方法在Extended Cohn-Kanade(CK+)表情數(shù)據(jù)庫[18]上進(jìn)行試驗(yàn)仿真。該數(shù)據(jù)庫共 10 708 張表情圖像,選取帶標(biāo)簽的 327 個(gè)表情序列中每個(gè)序列的最后一張峰值表情圖像作為試驗(yàn)圖像。首先,利用MATLAB 2016a計(jì)算機(jī)視覺工具箱實(shí)現(xiàn)人臉檢測,裁剪出大小為 128×128(像素)的純臉圖像,并且將彩色圖像轉(zhuǎn)化為灰度圖像。CK+表情數(shù)據(jù)庫和表情圖像預(yù)處理如圖8和圖9所示。

圖8 CK+表情數(shù)據(jù)庫

圖9 CK+表情圖像預(yù)處理

對預(yù)處理后的表情圖像分別提取LGRP特征、人臉表情輪廓特征和Haar特征,并將這3種特征按順序進(jìn)行串聯(lián),得到了融合之后的表情特征。

3.2 試驗(yàn)分類結(jié)果

將CK+表情數(shù)據(jù)庫中327個(gè)表情序列的隨機(jī)抽取樣本90%作為訓(xùn)練集,樣本10%作為測試集,每類表情的識別結(jié)果如表1所示。

表1 本文方法每類表情的識別結(jié)果

由表1可知,平均識別率達(dá)到90.49%。其中,高興和驚訝表情的識別率明顯高于其他表情,其原因是它們有著明顯區(qū)分其他表情的特征,更容易被區(qū)分出來;而憤怒、蔑視和悲傷的誤判可能性比其他表情要略微嚴(yán)重,其原因在于它們之間有著較為相似的細(xì)節(jié)特征信息,導(dǎo)致分類效果不佳。

3.3 特征融合結(jié)果對比

為了驗(yàn)證本文所提出的多特征融合特征方法的有效性,在表情圖像中分別提取Gabor 特征、LGRP特征、人臉表情輪廓特征和Haar特征,并采用 SVM多類分類器進(jìn)行表情識別。不同特征融合的識別率對比結(jié)果如表2所示。

表2 不同特征融合的識別率 %

由表2可知,與單獨(dú)采用 Gabor 特征、人臉表情輪廓特征、Haar特征相比,本文所提出的融合LGRP 特征、Haar特征和人臉表情輪廓特征的方法,在 CK+表情庫上的識別率達(dá)到 94.36%,表明具有更好的表情識別能力,進(jìn)一步驗(yàn)證了融合特征的有效性。

3.4 與其他方法對比

將本文所用的方法與近年來學(xué)者們所提出的方法的識別結(jié)果進(jìn)行了對比,對比結(jié)果如表3所示。表3中:AAM為主動外觀模型(Active Appearance Model);DBN為深度信念網(wǎng)絡(luò)(Deep Belief Net);VAR為方差(Variance);HOG為方向梯度直方圖(Histogram of Oriented Gradient);SAE為堆疊自動編碼器(Stacked Autoencoder);CPL為公共補(bǔ)丁學(xué)習(xí)(Common Patches Learing);ITBN為區(qū)間時(shí)間貝葉斯網(wǎng)絡(luò)(Interval Temporal Bayesian Network)。

表3 不同方法識別率對比 %

由表3可知,與CK+表情庫中其他不同方法相比,本文所提出的表情識別方法具有較好的識別效果。雖然本文方法的識別率略低于文獻(xiàn)[23]方法2.34%,然而文獻(xiàn)[23]需要構(gòu)建 80 個(gè) DBN 模型,就大大增加了計(jì)算的復(fù)雜度與計(jì)算時(shí)間;與文獻(xiàn)[21]采用的方法相比,識別率提高了2.96%;與文獻(xiàn)[22]采用的方法相比,識別率提高了3.25%;與文獻(xiàn)[24]采用的方法相比,識別率提高了5.94%。

4 結(jié) 語

本文采用LGRP和多特征融合進(jìn)行人臉表情的識別。提取人臉表情圖像的局部Gabor排序模式,有效減少了Gabor特征的冗余信息,提高了人臉表情描述的魯棒性。將 LGRP 特征、Haar 特征與人臉表情輪廓特征中的3種特征進(jìn)行串聯(lián)融合,獲得了人臉圖像的紋理特征與形狀、邊緣特征等豐富的表情信息,保證了有效決策信息不會丟失。將本文所提出的LGRP特征、Haar特征和形態(tài)學(xué)運(yùn)算特征融合方法應(yīng)用于CK+表情庫,識別率可以達(dá)到 94.36%,表明了本文所提方法的有效性。與其他表情識別方法相比,該方法也有著明顯的優(yōu)越性。