特征融合在人臉識(shí)別中的應(yīng)用研究

姜文秀

（揚(yáng)州市職業(yè)大學(xué) 信息工程學(xué)院，江蘇 揚(yáng)州 225009）

0 引 言

目前，人臉識(shí)別和分析已經(jīng)在多個(gè)領(lǐng)域有了廣泛的應(yīng)用。例如，醫(yī)療領(lǐng)域中能夠應(yīng)用人臉表情的變化判斷臨床中各種疾病引發(fā)的病痛；教育應(yīng)用領(lǐng)域可以借助人臉識(shí)別完成各種考試考場(chǎng)的監(jiān)控，根據(jù)考生的表情變化判斷是否存在舞弊行為；生活?yuàn)蕵?lè)領(lǐng)域和虛擬現(xiàn)實(shí)等體驗(yàn)類游戲可以根據(jù)玩家的表情增強(qiáng)游戲的反饋性。此外，人臉識(shí)別還被廣泛應(yīng)用于安全支付、管理監(jiān)控以及教育軟件等領(lǐng)域。

隨著移動(dòng)終端和圖像處理技術(shù)的迅速發(fā)展，人臉識(shí)別方面的研究也越來(lái)越常見，基于幾何特征、人臉局部特征以及統(tǒng)計(jì)特征的二維人臉識(shí)別技術(shù)越來(lái)越成熟[1]。然而，傳統(tǒng)的人臉識(shí)別技術(shù)大多是根據(jù)單一的人臉特征進(jìn)行識(shí)別，很容易受到光照、表情、所處背景以及姿態(tài)等因素的影響。

多特征融合技術(shù)可以從特征提取的原始數(shù)據(jù)中得到多種特征向量，并根據(jù)特定的融合方法將這多個(gè)低維度的特征向量融合為高維度的聯(lián)合特征向量。將特征融合應(yīng)用到人臉識(shí)別中能夠有效克服光照和姿態(tài)變化等因素的影響，具有光照不變性和姿態(tài)無(wú)關(guān)性，且不易受飾品、衣物以及毛發(fā)等的影響。

人臉識(shí)別中應(yīng)用多特征融合時(shí)，首先需要進(jìn)行人臉特征的提取，并進(jìn)行初步的建模與處理，其次將提取的多種特征用一定的方式表示出來(lái)，最后對(duì)多種特征進(jìn)行融合。

1 人臉特征提取及模型預(yù)處理

人臉特征指的是和其他人臉進(jìn)行區(qū)別的本質(zhì)。人臉特征提取就是提取出能夠和其他人臉進(jìn)行區(qū)別的信息，同時(shí)還需要剔除人臉特征中存在的不必要信息和干擾信息等。在進(jìn)行特征提取前需要先進(jìn)行人臉模型預(yù)處理。常見的人臉模型預(yù)處理方式包括人臉區(qū)域裁切、人臉姿態(tài)校正以及三維曲面重建等[2]。

人臉表情多種多樣，因此可用于特征提取的方法也很多。目前常見的人臉特征提取的方法包括基于特征降維提取、原始特征提取以及局部特征提取等。

基于特征降維提取的目的是有效降低原始人臉特征的數(shù)據(jù)量，從所有人臉數(shù)據(jù)中抓取主要的人臉特征。最常用的特征降維方法是主成分分析法（Principal Component Analysis，PCA）。PCA會(huì)對(duì)人臉統(tǒng)計(jì)特征進(jìn)行正交運(yùn)算，以此降低不同分量間的相關(guān)性，并從降維后的所有特征向量中提取相關(guān)性最大的幾個(gè)特征，從而在實(shí)現(xiàn)降維的同時(shí)保留人臉的絕大部分特征信息。和特征降維方法不同的是，局部特征提取方法并不是基于人臉的全局特征提取。因?yàn)槿痔卣魅菀资艿焦庹蘸妥藨B(tài)變化等因素的影響，不能區(qū)分人臉本身的特征和人臉圖像噪聲。使用局部特征提取方法對(duì)人臉特征進(jìn)行歸一化處理，能夠有效降低外界干擾，提高識(shí)別效果。

人臉識(shí)別時(shí)最關(guān)注的是人臉中心區(qū)域，包括眼睛、眉毛、嘴巴以及鼻子等。其他區(qū)域的數(shù)據(jù)對(duì)人臉識(shí)別作用不大，而且會(huì)增加識(shí)別過(guò)程中的計(jì)算量，所以人臉模型預(yù)處理的首要步驟就是對(duì)人臉進(jìn)行區(qū)域裁切，只保留人臉中心區(qū)域。人臉的姿態(tài)除了正面外，還有可能是側(cè)面或背面，此時(shí)就需要進(jìn)行人臉模型姿態(tài)校正，目的是將側(cè)面和背面的人臉變換到一個(gè)僅僅依賴人臉曲面分布的姿態(tài)坐標(biāo)系中。經(jīng)過(guò)裁切后的人臉可以近似看作是一個(gè)上下方向長(zhǎng)、左右方向短的橢球，以分析人臉主成分，并提取人臉縱向、橫向以及深度方向的3個(gè)主要特征，然后利用提取出的特征向量構(gòu)建姿態(tài)坐標(biāo)系。

2 多特征表示算法

根據(jù)人臉不同區(qū)域?qū)ψR(shí)別的貢獻(xiàn)度不同，將人臉區(qū)域劃分成5個(gè)感興趣區(qū)域（Region of Interest，ROI）[3]。先手工將五官區(qū)域的中心點(diǎn)作為區(qū)域特征點(diǎn)，然后確定感興趣區(qū)域的大小，再將子區(qū)域進(jìn)行雙線性插值操作以完成歸一化處理。子區(qū)域的劃分不是任意的，其個(gè)數(shù)和分快數(shù)對(duì)特征維數(shù)和人臉識(shí)別的性能都有影響。子區(qū)域數(shù)目越多能夠得到越好的人臉特征表示，但同時(shí)也會(huì)降低人臉識(shí)別的性能。

將人臉圖像劃分成左眼、右眼、眉心、嘴以及鼻子5個(gè)子區(qū)域后，再將每個(gè)子區(qū)域分成不同大小的分塊，分塊的個(gè)數(shù)及大小如表1所示。

表1 人臉子區(qū)域大小及塊數(shù)

局部二值模式（Local Binary Pattern，LBP）能夠有效表達(dá)人臉圖像局部特征，具有旋轉(zhuǎn)不變性和灰度不變性等特點(diǎn)，不會(huì)受到光照等因素的影響。其人臉圖像處理算法是定義一個(gè)3×3的窗口，將窗口內(nèi)部像素點(diǎn)的灰度值作為閾值，并將每個(gè)像素點(diǎn)相鄰的8個(gè)像素點(diǎn)的灰度值和當(dāng)前像素點(diǎn)進(jìn)行比較，如果相鄰像素點(diǎn)的像素值比當(dāng)前像素值大，則設(shè)置為1，否則設(shè)置為0。窗口內(nèi)的像素點(diǎn)按照順序生成一個(gè)8位的二進(jìn)制數(shù)，即為L(zhǎng)BP碼。

LBP描述算法僅僅比較了中心像素點(diǎn)和其相鄰區(qū)域的灰度值，忽略了像素間的差異，因此無(wú)法表示對(duì)比度不變時(shí)非線性變換前后的差異，會(huì)導(dǎo)致部分人臉信息丟失。針對(duì)中心像素值信息丟失的問(wèn)題，對(duì)LBP描述算法的改進(jìn)如下[4]。增加一個(gè)閾值T，人臉像素點(diǎn)的值不再只是0或1。三值模式的閾值采用基于中心像素的動(dòng)態(tài)調(diào)節(jié)方式，從而降低人臉像素值變化對(duì)人臉識(shí)別的影響，提高了人臉識(shí)別的抗光照變化和噪聲干擾的能力。此外，局部三值模式使用正負(fù)二值模式進(jìn)行表示。如果直接使用局部三值模式會(huì)導(dǎo)致人臉特征維度由原來(lái)的256維（28）增加到6 561維（38），會(huì)大大增加識(shí)別復(fù)雜度。此時(shí)，可以將局部三值模式表示為正負(fù)二值模式，即正256維（28）和負(fù)256維（28），使得特征維度只有512維，既保留了加入閾值T后的人臉細(xì)節(jié)信息，又降低了特征維數(shù)。

預(yù)處理最后需要對(duì)人臉圖像進(jìn)行灰度值均衡化。由于在人臉采集過(guò)程中光照、背景以及膚色等差異會(huì)導(dǎo)致人臉圖像存在不同程度的明暗現(xiàn)象，如果不對(duì)其進(jìn)行灰度均衡化處理，則會(huì)使人臉的灰度等級(jí)分布范圍較廣，無(wú)形中增加了計(jì)算量。

3 多特征稀疏表示人臉識(shí)別

利用上面的多特征表示算法提取到人臉的特征后，可以將所有的特征向量表示為系數(shù)矩陣，在進(jìn)行稀疏重構(gòu)后將人臉識(shí)別問(wèn)題轉(zhuǎn)化為多個(gè)線性回歸模型的分類問(wèn)題。

多特征稀疏表示方法首先通過(guò)人臉關(guān)鍵點(diǎn)定位和特征提取得到人臉的局部紋理特征和人臉全局信息，其次借助人臉局部紋理特征和全局信息構(gòu)建訓(xùn)練字典進(jìn)行字典學(xué)習(xí)，再次將人臉識(shí)別問(wèn)題表示為多特征稀疏表示的目標(biāo)函數(shù)，并用加速梯度算法（Accelerated Proximal Gradient，APG）進(jìn)行求解，最后將目標(biāo)函數(shù)的稀疏系數(shù)矩陣傳給SVM進(jìn)行人臉識(shí)別[5]。主要過(guò)程如圖1所示。

對(duì)于不同類別的人臉表情，可以將每類表情的樣本特征表示為稀疏表示字典及稀疏向量乘積。假設(shè)D={d1,d2,…,dn}為稀疏表示字典，并定義w為稀疏向量，則可以將第k類表情的第i個(gè)樣本的特征yki表示為：

基于多特征稀疏表示方法進(jìn)行人臉識(shí)別系統(tǒng)在實(shí)現(xiàn)上可以分成預(yù)處理模塊、特征提取模塊、特征訓(xùn)練模塊以及表情識(shí)別模塊4大模塊，用例圖表示如圖2所示。

在實(shí)際進(jìn)行人臉識(shí)別時(shí)，采用Holdout策略將人臉樣本分成一個(gè)訓(xùn)練學(xué)習(xí)組和一個(gè)識(shí)別測(cè)試組，并從這兩個(gè)組中隨機(jī)選擇每人每類表情的2～3張圖片作為訓(xùn)練樣本，每人每類表情中的1張圖片作為測(cè)試樣本，隨機(jī)進(jìn)行4次識(shí)別試驗(yàn)，得到人臉識(shí)別結(jié)果如表2所示。

圖1 多特征稀疏表示人臉識(shí)別示意圖

圖2 多特征稀疏表示人臉識(shí)別系統(tǒng)用例圖

表2 4次人臉識(shí)別結(jié)果的識(shí)別率

從試驗(yàn)結(jié)果可以看出，應(yīng)用多特征稀疏表示進(jìn)行人臉識(shí)別的平均識(shí)別率接近90%。另外，識(shí)別率最高的人臉表情為“驚訝”，這是因?yàn)榇藭r(shí)人臉的眉毛抬高并彎曲、眼睛睜大，而且可能會(huì)出現(xiàn)嘴巴張開和唇齒分離等現(xiàn)象。這種明顯的特征變化使得多特征稀疏矩陣更加豐富，從而得到優(yōu)秀的識(shí)別效果。

4 結(jié) 論

研究特征融合在人臉識(shí)別中的應(yīng)用，首先介紹了人臉識(shí)別的基礎(chǔ)人臉特征提取和模型預(yù)處理，其次分析了改進(jìn)的多特征融合算法，增加閾值和正負(fù)二值模式兩種方式在保留人臉細(xì)節(jié)信息的情況下降低了特征維數(shù)，提高了人臉識(shí)別的抗光照變化和噪聲干擾的能力，最后使用多特征稀疏表示方法進(jìn)行人臉識(shí)別，并給出了人臉識(shí)別結(jié)果。