基于廣義對(duì)稱變換的多模態(tài)人臉面部特征識(shí)別方法

周天綺，徐勝超

(1.浙江醫(yī)藥高等專科學(xué)校 醫(yī)療器械學(xué)院，浙江 寧波 315100；2.廣州華商學(xué)院 數(shù)據(jù)科學(xué)學(xué)院，廣東 廣州 511300)

0 引 言

現(xiàn)階段，人臉識(shí)別技術(shù)已經(jīng)廣泛應(yīng)用于各個(gè)領(lǐng)域中，其主要通過(guò)計(jì)算機(jī)設(shè)備對(duì)人臉面部進(jìn)行掃描，從掃描結(jié)果中獲取有效信息，從而完成身份識(shí)別。隨著人臉識(shí)別與其它科學(xué)的交叉發(fā)展，人臉面部特征分析逐漸受到關(guān)注，針對(duì)面部特征的研究也有很多。

文獻(xiàn)[1]將改進(jìn)單層神經(jīng)網(wǎng)絡(luò)與C-Canny算法進(jìn)行結(jié)合，設(shè)計(jì)一種面部特征點(diǎn)定位方法。實(shí)驗(yàn)結(jié)果表明，該方法可以有效降低面部特征識(shí)別中的損失函數(shù)值，并且能夠有效克服由于光照和角度等問(wèn)題導(dǎo)致的定位誤差，但是在人臉表情變化時(shí)，定位的準(zhǔn)確率較低。文獻(xiàn)[2]設(shè)計(jì)基于面部特征激光光點(diǎn)定位的人臉識(shí)別方法。實(shí)驗(yàn)結(jié)果表明，該方法對(duì)人臉特征識(shí)別的準(zhǔn)確率較高，但是在光照等客觀因素的影響下，該方法的識(shí)別效率不高。

為了解決傳統(tǒng)方法存在的人臉特征識(shí)別準(zhǔn)確率不高于特征識(shí)別時(shí)間較長(zhǎng)的問(wèn)題，將廣義對(duì)稱變換方法應(yīng)用至多模態(tài)人臉特征識(shí)別中，旨在提升識(shí)別方法的識(shí)別效果。對(duì)稱性作為物體的一項(xiàng)基本特征，其能夠?qū)ξ矬w形狀進(jìn)行準(zhǔn)確描述，而人的面部結(jié)構(gòu)中，眼、鼻、嘴等均具有對(duì)稱性質(zhì)。廣義對(duì)稱變換主要以人臉的生理幾何分布特征為理論依據(jù)，該方法具有受客觀因素影響較小的優(yōu)勢(shì)，因此，本文先提取出面部的主要對(duì)稱成分信息，然后通過(guò)廣義對(duì)稱變換法實(shí)現(xiàn)面部特征的識(shí)別。

1 多模態(tài)人臉面部特征提取

通過(guò)積分投影[3]獲取人臉的最低點(diǎn)C(xc,yc)、 鼻子和嘴唇的MBR，即人臉含有特征點(diǎn)的最小邊界矩形[4]。通過(guò)點(diǎn)C(xc,yc) 將人臉面部輪廓分為左右兩個(gè)部分，左臉與右臉存在一定的對(duì)稱性，但不完全對(duì)稱。自下而上搜尋面部輪廓點(diǎn)，直至搜索部位的水平方向與鼻尖部位相齊時(shí)停止搜索，具體操作如下：

(1)首先通過(guò)能量函數(shù)獲得下巴最低點(diǎn)。作一條以C(xc,yc) 為中心的水平直線段LR，令LC=CR=δ。 假設(shè)L的坐標(biāo)記作 (xl,y)， R坐標(biāo)記作 (xr,y)， 則定義能量函數(shù)可以表示為

Etotal=Eupper+Eedge

(1)

其中，Eedge(x,y)表示像素 (x,y) 的Sobel算子[5]在不同方向上的最大值；Eupper表示像素灰度值。圖1為不同方向上Sobel算子的分布。

圖1 不同方向上的Sobel算子

令y在 (yc-α,yc+α) 范圍內(nèi)變化，α為一個(gè)固定值，則當(dāng)Etotal最小時(shí)，完成校驗(yàn)，并且將此時(shí)的y值賦予給yc。

(2)提取面部輪廓。根據(jù)面部輪廓[6,7]，定義3種先驗(yàn)?zāi)０澹瑘D2為面部左輪廓。

圖2 面部左輪廓

先驗(yàn)?zāi)０逯兴械臄?shù)字主要用來(lái)描述像素優(yōu)先級(jí)的高低，根據(jù)不同面部區(qū)域的實(shí)際情況，應(yīng)該選擇不同類型的先驗(yàn)?zāi)０澹瑘D2中粗線條部分即為需要提取的左臉特征，左臉先驗(yàn)?zāi)０迮c相應(yīng)區(qū)域的描述如下：

步驟1 若xL_mMBR

上述yT_mMBR，yB_nMBR，xL_mMBR，y_mMBR分別代表嘴部上界、嘴部下界、嘴部左邊界、鼻子下邊界，以上參數(shù)通過(guò)積分投影獲得。

面向臉部的不同區(qū)域，首先設(shè)定標(biāo)志量ImagineDot=FALSE。 在面部的二值邊界圖[8]中，以點(diǎn)C為起點(diǎn)，在區(qū)域1中通過(guò)模板1對(duì)邊界點(diǎn)進(jìn)行依次選取。假設(shè)Ci-1(xi-1,yi-1) 為目標(biāo)點(diǎn)，如果優(yōu)先級(jí)是1，2，3的點(diǎn)內(nèi)含有至少一個(gè)邊界點(diǎn)，那么下一點(diǎn)Ci(xi,yi) 的順序即為模板LPT-1。 令I(lǐng)maginDot=FALSE， 如果模板中出現(xiàn)斷點(diǎn)，證明優(yōu)先級(jí)是1，2，3的面部輪廓點(diǎn)為非邊界點(diǎn)，則選用如下補(bǔ)償機(jī)制進(jìn)行處理：如果ImaginDot=FALSE， 將優(yōu)先級(jí)為1的點(diǎn)定義為Ci， 此時(shí)LPT-1有：xi=xi-1-1，yi=yi-1， 同時(shí)使ImaginDot=FALSE。

如果ImaginDot=FALSE， 則將優(yōu)先級(jí)是1，2，3的點(diǎn)定義為Ci， 所采用的判據(jù)如下

E=-w1Eedge(x,y)-w2g(xin,yin)+w3g(xout,yout)

(2)

式中：g(xin,yin) 表示像素 (x,y) 在面部輪廓的法線正方向上指向唇部部分的相鄰像素；g(xout,yout) 表示像素 (x,y) 法線正方向上背離唇部部分的相鄰像素。這里以區(qū)域1的先驗(yàn)?zāi)０迮e例，xin=xout=x，yin=y-1，yout=y+1。 計(jì)算出優(yōu)先級(jí)是1，2，3點(diǎn)的E值，并且將E值最小的點(diǎn)視為Ci， 同時(shí)令I(lǐng)maginDot=FALSE。 在區(qū)域2、區(qū)域3中分別使用先驗(yàn)?zāi)０錖PT-2、 LPT-3， 發(fā)現(xiàn)斷點(diǎn)時(shí)使用與LPT-1相似的補(bǔ)償機(jī)制[9]。不同之處在于，區(qū)域2中，xin=x+1，xout=x-1，yin=y-1，yout=y+1； 區(qū)域3中，xin=x+1，xout=x-1，yin=yout=y。

同理，右臉的面部特征提取方法和左側(cè)基本相似，只有以下參數(shù)的取值略有不同，對(duì)于區(qū)域2，xin=x-1，xout=x+1，yin=y-1，yout=y+1。 對(duì)于區(qū)域3，xin=x-1，xout=x+1，yin=yout=y。

2 基于廣義對(duì)稱變換的面部特征識(shí)別

廣義對(duì)稱變換方法主要描述圖像中各個(gè)點(diǎn)的對(duì)稱性，面向的具體對(duì)象是圖像中的局部算子[10]，因此以上文特征提取獲得的人臉左右部分特征結(jié)果為基礎(chǔ)，運(yùn)用廣義對(duì)稱變換方法對(duì)面部特征進(jìn)行識(shí)別。

vk=(ηk,θk)

(3)

設(shè)置aij為pi和pj兩點(diǎn)之間連線與水平線形成的逆時(shí)針夾角，由于兩點(diǎn)之間存在無(wú)序性，因此，將aij的值域設(shè)定為 [0,π]。 定義以點(diǎn)p為中心的點(diǎn)對(duì)集合為Γ(p)， 距離權(quán)重函數(shù)為Dσ(i,j)， 那么相位權(quán)重函數(shù)p(i,j) 可以表示為

p(i,j)=(1-s(θi+θj-2aij))×(1-cos(θi-θj))

(4)

式中：θi表示與各點(diǎn)梯度值成反比的權(quán)函數(shù)；θj表示與各點(diǎn)梯度值成正比的權(quán)函數(shù)；s表示特征向量。定義點(diǎn)pi與點(diǎn)pj的對(duì)稱性貢獻(xiàn)如下

一輛2014款上汽通用別克君威，搭載排量為2.4L的LE5發(fā)動(dòng)機(jī)，行駛里程為145 800km，據(jù)車主反映：該車發(fā)動(dòng)機(jī)能正常啟動(dòng)，但怠速運(yùn)行一段時(shí)間后，發(fā)動(dòng)機(jī)會(huì)發(fā)出“嘩啦、嘩啦”異響，同時(shí)發(fā)動(dòng)機(jī)抖動(dòng)嚴(yán)重，踩下加速踏板，發(fā)動(dòng)機(jī)轉(zhuǎn)速不上升，發(fā)動(dòng)機(jī)故障燈點(diǎn)亮。該車進(jìn)4S店檢修，被維修人員告知應(yīng)更換正時(shí)鏈條，因?yàn)檎龝r(shí)鏈條可能出現(xiàn)拉長(zhǎng)的問(wèn)題，考慮到更換正時(shí)鏈條需要8 000多元，所以車主將車送到我店維修。

C(i,j)=Dσ(i,j)P(i,j)rirj

(5)

式中：Dσ(i,j) 表示左右臉對(duì)稱系數(shù)；ri和rj均表示對(duì)稱面。則點(diǎn)p的對(duì)稱系數(shù)可以表示為

(6)

式中：n表示對(duì)稱點(diǎn)個(gè)數(shù)。對(duì)人臉的對(duì)稱主成分進(jìn)行分析，利用人臉鏡像對(duì)稱性結(jié)合廣義對(duì)稱變換對(duì)人臉特征進(jìn)行識(shí)別。將所得特征樣本帶入到人臉特征識(shí)別中，對(duì)人臉圖像進(jìn)行分解，不僅考慮不同面部特征在人臉圖像中所占比例各異的問(wèn)題，同時(shí)，充分考慮視角、光照等因素對(duì)特征選擇的影響，對(duì)特征項(xiàng)進(jìn)行奇偶正交重構(gòu)，并借助鏡像樣本提升樣本容量，增強(qiáng)識(shí)別性能。對(duì)稱主成分原理如下：

對(duì)任意函數(shù)進(jìn)行分解如式(7)所示

f(x)=fe(x)+fo(x)

(7)

式中：fo(x)、fe(x) 分別表示奇偶對(duì)稱函數(shù)。對(duì)fo(x)、fe(x) 進(jìn)行進(jìn)一步分解，并將其表示成一組偶對(duì)稱函數(shù)和一組奇對(duì)稱函數(shù)，這就表明任意函數(shù)均可由偶對(duì)稱函數(shù)和奇對(duì)稱函數(shù)組成。將以上理論應(yīng)用于面部圖像特征識(shí)別中，定義各特征量是以圖像中心垂直線為對(duì)稱軸的鏡像對(duì)稱。則可將面部圖像分解為

Γ=Γo+Γe

(8)

(9)

(10)

其中，Γe和Γo分別表示鏡像的偶對(duì)稱和奇對(duì)稱；Γm表示鏡像圖像。

設(shè)Γe、Γo及Γm的樣本集合分別表示為ΓE、ΓO及ΓM，其樣本均值分別表示為me，mo，mm， 樣本的總體協(xié)方差矩陣為E、O及M，E、O矩陣中的非零本征值為λei(i=1,2,…re)、λoj(j=1,2,…,ro)， 其本征向量分別可以表示為uei、uoj。re與ro分別表示E、O的秩，即re=rank(E)、ro=rank(O)。 令

Φe=[Uel,…,Uen]∧e=diag(λel,…,λen)

(11)

Φo=[Uol,…,Uon]∧e=diag(λol,…,λon)

(12)

其中， Φe， Φo分別表示面部鏡像奇偶對(duì)稱的KL特征分量。

隨后通過(guò)對(duì)稱性分析和廣義對(duì)稱變換完成人臉識(shí)別，具體步驟如下：

步驟2 以Φ*=[Φe,Φo] 為特征變換矩陣，提取圖像的鏡像奇偶對(duì)稱特征分量。

步驟3 按照方差將提取所得特征分量降序排序，并且將方差相對(duì)較大的分量作為特征[11]。在對(duì)人臉特征識(shí)別的過(guò)程中，根據(jù)各特征向量間的對(duì)稱關(guān)系，對(duì)廣義對(duì)稱向量進(jìn)行加權(quán)處理，隨后對(duì)人臉圖像進(jìn)行重構(gòu)，重構(gòu)后的奇、偶面部圖像與待識(shí)別的人臉圖像作歐氏距離[12]處理，將所得的兩個(gè)距離相加獲得最后距離，識(shí)別過(guò)程中根據(jù)實(shí)際情況對(duì)該距離設(shè)置一個(gè)閾值T，當(dāng)距離大于該閾值時(shí)，則采用奇矯正方法進(jìn)行識(shí)別，反之則使用偶矯正方法完成識(shí)別。

3 仿真實(shí)驗(yàn)

為了驗(yàn)證所提基于廣義對(duì)稱變換的多模態(tài)人臉面部特征識(shí)別方法的有效性，將特征識(shí)別準(zhǔn)確率與識(shí)別時(shí)間作為實(shí)驗(yàn)指標(biāo)，進(jìn)行仿真實(shí)驗(yàn)驗(yàn)證。

3.1 實(shí)驗(yàn)樣本選取

在實(shí)驗(yàn)過(guò)程中，通過(guò)手工標(biāo)定的方法對(duì)人臉圖像的眼睛位置進(jìn)行對(duì)齊，在特征提取的過(guò)程中，人臉圖像大小為64×80，人臉的兩眼間距為28 mm。考慮到圖像的對(duì)稱性質(zhì)，將變換的頻譜寬度設(shè)置為64。

實(shí)驗(yàn)所用圖像均來(lái)自于FRGC v2.0數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)具有較大規(guī)模的人臉數(shù)據(jù)，用于測(cè)評(píng)面部特征識(shí)別的性能。因此本文在該數(shù)據(jù)庫(kù)中對(duì)不同方法進(jìn)行人臉特征識(shí)別效果的驗(yàn)證。具體選取40人作為實(shí)驗(yàn)對(duì)象，分別對(duì)40人每人采集10幅圖像，其中包括不同的表情和尺度變化圖像。為測(cè)試各特征的泛化能力，在實(shí)驗(yàn)過(guò)程中將每人的第1、第3、第5幅圖像作為訓(xùn)練樣本，剩下圖像為測(cè)試樣本。

3.2 實(shí)驗(yàn)結(jié)果分析

采用上述實(shí)驗(yàn)數(shù)據(jù)，分別利用本文方法與文獻(xiàn)[1]、文獻(xiàn)[2]方法同時(shí)進(jìn)行識(shí)別測(cè)試，對(duì)比不同方法的識(shí)別準(zhǔn)確率，結(jié)果見(jiàn)表1。

表1 不同方法識(shí)別準(zhǔn)確率對(duì)比結(jié)果

根據(jù)表1中的數(shù)據(jù)可以看出，傳統(tǒng)方法的識(shí)別準(zhǔn)確率明顯較低，而本文方法針對(duì)不同的訓(xùn)練樣本均能保持較高的識(shí)別準(zhǔn)確率，識(shí)別準(zhǔn)確率明顯高于傳統(tǒng)方法，這表明本文方法提取的特征更具有鑒別性，能夠更好地克服表情變化、角度變化、光照等不同因素影響。這是由于通過(guò)廣義對(duì)稱變換處理面部特征后，在一定程度上消除了面部各特征點(diǎn)的變化誤差，使本文方法能夠在不依賴訓(xùn)練樣本數(shù)據(jù)的情況下，可以獲得較高的識(shí)別準(zhǔn)確率。

以特征識(shí)別時(shí)間為指標(biāo)，對(duì)比不同方法的識(shí)別效果，結(jié)果如圖3所示。

圖3 不同方法識(shí)別時(shí)間對(duì)比

分析圖3可知，隨著迭代次數(shù)的增加，不同方法的人臉面部特征識(shí)別時(shí)間均呈現(xiàn)出持續(xù)增加的趨勢(shì)，但是相比較之下，本文方法的識(shí)別時(shí)間明顯低于文獻(xiàn)[1]方法和文獻(xiàn)[2]方法，其識(shí)別時(shí)間最長(zhǎng)僅為0.6 s，而文獻(xiàn)[1]方法和文獻(xiàn)[2]方法的識(shí)別時(shí)間最大值達(dá)到了3.0 s以上，通過(guò)對(duì)比可知，本文方法的識(shí)別時(shí)間更短，即該方法的識(shí)別效率更高。

為了進(jìn)一步驗(yàn)證本文方法的有效性，以識(shí)別結(jié)果的全面性為實(shí)驗(yàn)指標(biāo)，對(duì)不同方法進(jìn)行對(duì)比分析，識(shí)別結(jié)果的全面性用數(shù)值進(jìn)行表示，具體區(qū)間為0.1～1.0，數(shù)值越大，說(shuō)明識(shí)別結(jié)果越全面，反之，識(shí)別結(jié)果不夠全面。對(duì)比結(jié)果如圖4所示。

圖4 不同方法識(shí)別全面性對(duì)比

分析圖4可知，隨著迭代次數(shù)的增加，不同方法的識(shí)別結(jié)果全面性均呈現(xiàn)出不斷增加的趨勢(shì)，但是相比較之下，本文方法的全面性系數(shù)更高，其最高值達(dá)到了9.2，說(shuō)明本文方法的多模態(tài)人臉面部特征識(shí)別結(jié)果更加全面。

4 結(jié)束語(yǔ)

為降低外界各相關(guān)因素對(duì)識(shí)別準(zhǔn)確率的影響，本文提出一種基于廣義對(duì)稱變換的多模態(tài)人臉面部特征識(shí)別方法。實(shí)驗(yàn)結(jié)果表明本文方法能夠在不依賴訓(xùn)練樣本數(shù)據(jù)的前提下，依然保持較高的準(zhǔn)確率，且在不同訓(xùn)練樣本數(shù)量下的識(shí)別準(zhǔn)確率均優(yōu)于傳統(tǒng)方法，且識(shí)別結(jié)果的全面性更好，這是由于廣義對(duì)稱變換識(shí)別法主要以人臉的生理幾何分布的對(duì)稱性為理論基礎(chǔ)，使識(shí)別結(jié)果受表情變化、角度和光照情況等因素的影響較低。雖然本文研究在一定程度上對(duì)傳統(tǒng)方法的人臉特征識(shí)別效果進(jìn)行了改進(jìn)，但是本文研究的場(chǎng)景不夠廣泛，接下來(lái)將針對(duì)不同場(chǎng)景下的人臉特征識(shí)別問(wèn)題進(jìn)行深入研究，以提升方法的應(yīng)用范圍。