基于局部特征和全局特征相融合的人臉識(shí)別技術(shù)研究

徐 飛

（閩西職業(yè)技術(shù)學(xué)院，福建龍巖 364030）

人臉識(shí)別是綜合模式識(shí)別和計(jì)算機(jī)視覺的識(shí)別技術(shù)。在識(shí)別領(lǐng)域，通常把面部信息作為判別身份依據(jù)。盡管人類數(shù)目極其龐大，同人的指紋類似，人臉最顯著的特性就是具有唯一性，世界上不存在一模一樣的臉，因此人臉識(shí)別技術(shù)對(duì)于身份鑒別具有重大的意義〔1〕。人臉識(shí)別技術(shù)已經(jīng)滲透在人們出行、辦公、生活中。數(shù)字化、便捷化和信息化是社會(huì)發(fā)展的趨勢(shì)，研究人臉識(shí)別技術(shù)不僅有利于保障公民信息安全，同時(shí)也促進(jìn)計(jì)算機(jī)視覺、神經(jīng)生理學(xué)、腦神經(jīng)學(xué)等學(xué)科發(fā)展〔2〕。目前國(guó)際常用的靜態(tài)人臉圖像識(shí)別方法有特征臉方法、幾何特征分析法、彈性匹配方法、人工神經(jīng)網(wǎng)絡(luò)方法、局部特征分析法和柔性形狀模型分析法等〔3-4〕。諸多外界因素同時(shí)或者單獨(dú)影響著識(shí)別效率和準(zhǔn)確度〔5〕。人臉表情識(shí)別過程包括圖像輸入、圖像定位、圖像匹配。識(shí)別工作大部分都會(huì)受到光照、表情姿勢(shì)、尺度大小的影響，因此需要對(duì)人臉圖像進(jìn)行歸一化、灰度變換和去噪等處理，將外界的影響降至最低〔6〕。設(shè)計(jì)一個(gè)具有魯棒性的人臉識(shí)別系統(tǒng)是最關(guān)鍵的任務(wù)。本文采用主成分分析（principal compoent analysis，PCA）、K-L（Karhunen-Loeve）變換和局部二值模式（local binary pattern，LBP）算法提取紋理特征，將局部特征和全局特征融合，實(shí)現(xiàn)人臉圖像的特征值提取，利用Matlab軟件設(shè)計(jì)圖形用戶GUI界面，并進(jìn)行測(cè)試，為復(fù)雜人臉識(shí)別技術(shù)的研究與利用提供理論基礎(chǔ)。

1 相關(guān)理論概述與實(shí)現(xiàn)過程

1.1 PCA特征提取

1.1.1 基于K-L變換的特征值矩陣K-L變換，由Karhunen和Loeve等提出〔7〕，是一種特殊的正交變換，可以將離散或者連續(xù)信息變換為一組不相關(guān)數(shù)列；變換的核心由圖像陣列的協(xié)方差矩陣的特征值和特征向量決定。假設(shè)一幅N×N的圖像在傳輸過程中受到干擾，接收到的圖像數(shù)字集合為{f（1x，y），f（2x，y），…，f（nx，y） }，寫成向量形式，令{f（1x，y），f（2x，y），…，f（nx，y） }＝{X1，X2，…，Xn}。因此X向量的協(xié)方差矩陣定義為：

Cf是一個(gè)n×n階實(shí)對(duì)稱矩陣，E為求期望，平均值向量mf＝E{X}。對(duì)于M幅數(shù)字圖像，可以采用近似法求取：

定義Cf特性向量正交變換矩陣為A矩陣，得到K-L變換表達(dá)式：

可以得到Y(jié)向量的協(xié)方差矩陣CY：

X-mf得到中心化圖像向量，協(xié)方差CY矩陣是對(duì)角矩陣，對(duì)角線上的元素等于Cf的特征值λi；CY非對(duì)角線上的元素為0，Cf非對(duì)角線上的元素不為0。

1.1.2 PCA提取全局特征PCA提取全局特征〔8〕，理論基礎(chǔ)是K-L變換。首先對(duì)于一個(gè)訓(xùn)練樣本，變換圖像的矩陣，新矩陣的第一個(gè)向量為原矩陣最大特征值對(duì)應(yīng)的特征向量，第二個(gè)向量為原矩陣第二大特征值對(duì)應(yīng)的特征向量，按照此規(guī)律，可以發(fā)現(xiàn)新的矩陣的特征向量按照從大到小的順序排列，圖像的特征臉信息大部分在新矩陣前面幾個(gè)向量中，越往后的特征向量所含有的信息可以忽略不計(jì)。因此選擇排列靠前信息量較大的來代表整個(gè)圖像數(shù)據(jù)，這就完成了降維處理。運(yùn)用線性運(yùn)算，得到了新的特征序列，將原始矩陣和新矩陣轉(zhuǎn)置相乘，得到新方陣，求方陣特征值，得到最大特征值對(duì)應(yīng)的特征向量，叫第一主成分，所包含的圖像信息也是最多的；依次定名特征值對(duì)應(yīng)的特征向量為第二主成分、第三主成分直至第N個(gè)主成分〔9〕。

1）設(shè)d維空間有n個(gè)訓(xùn)練樣本，由向量構(gòu)成樣本訓(xùn)練集{X1，X2，X3，…，Xn}，d=寬×高。假如一幅圖像的像素為50×60，那么d=3 000，樣本像素點(diǎn)的灰度值可以用d行向量表示，比如一個(gè)3×3維向量可以表示成：X=［3 5 2 1 6 7 9 4 8］T。這就是訓(xùn)練圖片的原始數(shù)據(jù)庫(kù)。

3）求投影矩陣：求S的特征向量λi，特征值αi，大小排序λi、λi{λ1＞λ2＞λ3＞…＞λd，（?1，?2，?3，…，?）n}。選取其中最大k個(gè)特征向量作為一個(gè)列向量，組成一個(gè)新的特征向量矩陣U=（α1，α2，α3，…，αk）。矩陣U為k×d階，定義為投影矩陣，每一幅樣本圖像可以投影在矩陣U構(gòu)成的特征子空間中；特別注意如果圖像的維度很大，會(huì)導(dǎo)致計(jì)算機(jī)處理計(jì)算量較大，耗時(shí)較多，因此可以使用奇異值分解定理，求取BTB的特征值和特征向量來獲取BBT的特征值和特征向量。

4）特征矩陣：降維后，B的轉(zhuǎn)置矩陣乘上投影矩陣U得到降維后矩陣V：V=BTU，每一行的k個(gè)數(shù)據(jù)代表一幅圖像的主成分特征信息。

5）檢測(cè)：待識(shí)別對(duì)象圖像的檢測(cè)，只需要重復(fù)步驟1）的過程，得到一個(gè)含有圖像數(shù)據(jù)的d×1階矩陣X，X矩陣減去后用（X-）轉(zhuǎn)置乘上投影矩陣U，求得1×k階特征矩陣Y：

這時(shí)矩陣Y所含有的數(shù)據(jù)就是訓(xùn)練圖像的主要特征，運(yùn)用分類器，和數(shù)據(jù)庫(kù)的特征進(jìn)行對(duì)比輸出。

1.2 LBP算法提取局部特征LBP算子是以分割目標(biāo)圖像成局部3×3鄰域，以各鄰域的中間值為對(duì)比參數(shù)對(duì)象，對(duì)比中心的周圍8個(gè)像素灰度值，如果周圍某個(gè)像素點(diǎn)的灰度值大于中心點(diǎn)的值，則該像素位置用1進(jìn)行標(biāo)記，否則用0進(jìn)行標(biāo)記。這樣的規(guī)律表示，該局部區(qū)域3×3鄰域生成8位的二進(jìn)制數(shù)，然后將二進(jìn)制轉(zhuǎn)十進(jìn)制得到256個(gè)灰度值，即可得到該局部區(qū)域中心像素的LBP值，可以使用公式表示計(jì)算〔10〕：

其中，N為鄰域中心相鄰的像素個(gè)數(shù)，X為中心元素，gi為像素中心第i個(gè)鄰域的灰度值，gX為中心像素的灰度值。S（x）是符號(hào)函數(shù)：

1.3 實(shí)現(xiàn)過程 檢測(cè)出待識(shí)別目標(biāo)的圖像信息，為了達(dá)到準(zhǔn)確識(shí)別的效果，在采樣中考慮正面特征和側(cè)面特征，在特征空間內(nèi)的特征向量會(huì)含有很多的人臉信息，因此就需要一些處理提取有用信息，排除掉無用的特征向量。首先，對(duì)于訓(xùn)練樣本變換圖像的矩陣，運(yùn)用PCA算法語句將按照從大到小排列的K個(gè)特征值對(duì)應(yīng)的K個(gè)特征向量提取出來，組成一個(gè)新的向量矩陣U=（α1，α2，α3，…，αk）。矩陣U為k×d階，這樣完成人臉信息投影在新的特征向量矩陣上，實(shí)現(xiàn)全局特征的提取。然后，提取人臉圖像的LBP特征。圖像分成m×n個(gè)小區(qū)域，讀取每一子塊人臉圖像的LBP算子，得到1×N維行向量，將各個(gè)子塊的LBP特征向量按照一定的順序合并為一個(gè)新的特征向量，用它代表人臉的紋理信息。整個(gè)圖像的LBP特征向量是N個(gè)m×n維向量集合。最后，將人臉圖像的PCA、LBP特征向量集合成新矩陣，完成融合，用支持向量機(jī)（support vector machines，SVM）決策分類識(shí)別，輸出目標(biāo)臉身份信息。

2 結(jié)果分析

2.1 數(shù)據(jù)來源 本文實(shí)驗(yàn)測(cè)試基于ORL（olivetti research laboratory）數(shù)據(jù)庫(kù)（由英國(guó)劍橋大學(xué)AT&T實(shí)驗(yàn)室創(chuàng)建）進(jìn)行〔11〕，因?yàn)镺RL人臉庫(kù)包含40位志愿者，合計(jì)400張人臉圖像，每張照片均十分具有代表性，他們來自不同的國(guó)家，不同的年齡、性別、表情，部分示例人臉圖見圖1。在不同姿勢(shì)角度下采集，并且通過大小歸一為92×112。它的維度不高，ORL人臉圖是使用最多的人臉數(shù)據(jù)庫(kù)，在這個(gè)庫(kù)測(cè)試到的識(shí)別正確率高，特別適合檢驗(yàn)各算法的魯棒性。本次設(shè)計(jì)需要提取局部和全局特征融合識(shí)別，利用SVM分類器把訓(xùn)練圖像和測(cè)試圖像相結(jié)合，進(jìn)行分類。通過數(shù)據(jù)分析直觀得到單獨(dú)運(yùn)行PCA和PCA+LBP算法融合后的特性的提取，最后與測(cè)試樣本進(jìn)行匹配輸出識(shí)別結(jié)果。

圖1 ORL數(shù)據(jù)庫(kù)部分示例人臉圖

2.2 識(shí)別結(jié)果

2.2.1 不同維度下識(shí)別結(jié)果 從圖2可知，PCA算法在低維（維度為30～70）時(shí)，識(shí)別率在60.0%左右；當(dāng)圖像維度在80以上時(shí)，識(shí)別率可以達(dá)到70.0%乃至以上。可以得出結(jié)論：采用PCA算法，維度越大時(shí)識(shí)別率越高。而采用PCA+LBP提取全局和局部特征在低維時(shí)，識(shí)別率在70.0%～80.0%；當(dāng)圖像維度在80以上時(shí)，識(shí)別率可以達(dá)到80.0%乃至以上。因此可以得出結(jié)論：采用局部和全局特征相融合能夠提高識(shí)別準(zhǔn)確度，維度越高越精確。

圖2 不同維度下算法的識(shí)別率

2.2.2 不同樣本數(shù)下識(shí)別結(jié)果 從表1可以分析得到：采集人臉的全局特征，用SVM也能夠識(shí)別出來，但是識(shí)別率并不是特別高，均在85.0%以下；加入LBP算法后，彌補(bǔ)了PCA不能采集到紋理特征的缺點(diǎn)。PCA降維過后，結(jié)合LBP紋理特征，在低維空間用SVM，隨著訓(xùn)練樣本的增加系統(tǒng)正確性逐漸提高。在樣本數(shù)為6時(shí)，PCA+LBP+SVM算法的識(shí)別率達(dá)到95.0%。因此在實(shí)際應(yīng)用中，可以通過增加訓(xùn)練樣本來提高識(shí)別率。但是在訓(xùn)練耗時(shí)方面，PCA+LBP+SVM算法比PCA+SVM耗時(shí)更長(zhǎng)。主要是因?yàn)樵黾覮BP算法，從而增加了圖像局部特征提取的過程。

表1 不同樣本數(shù)下算法的識(shí)別結(jié)果

2.3 構(gòu)建人臉識(shí)別系統(tǒng) 利用Matlab進(jìn)行人臉識(shí)別系統(tǒng)的GUI為圖像用戶界面設(shè)計(jì)。用戶界面共包括以下幾部分：靜態(tài)文本框中顯示用戶界面的標(biāo)題“PCA+LBP+SVM”；軸模塊區(qū)域顯示載入的測(cè)試圖片、預(yù)處理后的圖片，界面上分別有訓(xùn)練、測(cè)試、打開圖片、識(shí)別結(jié)果4個(gè)按鍵，實(shí)現(xiàn)分類器訓(xùn)練，測(cè)試，打開待識(shí)別對(duì)象圖像輸入顯示并輸出識(shí)別結(jié)果。當(dāng)按鈕被點(diǎn)擊時(shí)，圖形會(huì)凹陷，執(zhí)行對(duì)應(yīng)的回調(diào)子函數(shù)。打開待測(cè)目標(biāo)圖像首先訓(xùn)練，讀入測(cè)試集合，載入訓(xùn)練參數(shù)的結(jié)果見圖3。

圖3 示例識(shí)別結(jié)果

3 結(jié)語

本文結(jié)合PCA算法和LBP算法提取局部與全局特征，提高人臉識(shí)別的準(zhǔn)確率。首先將人臉圖像進(jìn)行預(yù)處理。其次通過PCA算法以及K-L變換，將圖像信息通過低維的向量集來表達(dá)，求取協(xié)方差，在特征空間線性提取到能夠代表人臉的特征向量。使用PCA算法提取全局特征，在訓(xùn)練樣本維數(shù)高、數(shù)量多的情況下正確率高，但是當(dāng)人臉表情、姿態(tài)、光照度等變化時(shí)，對(duì)一張人臉圖預(yù)處理識(shí)別，它的局部發(fā)生變化而人臉整體并沒有變化，這時(shí)可能會(huì)提取無益特征向量，導(dǎo)致分類器匹配人臉庫(kù)時(shí)所輸出的結(jié)果不準(zhǔn)確。因此需要結(jié)合LBP算法局部特征，將人臉圖像分割，通過數(shù)學(xué)的矩陣變換分析得到人臉的紋理等局部特征，有效彌補(bǔ)PCA算法的不足。但PCA加上LBP來識(shí)別人臉費(fèi)時(shí)費(fèi)力，因此就需要更多的線性、非線性算法，提取面部特征和紋理信息，對(duì)不同光照、姿態(tài)、表情、尺度、圖像質(zhì)量等其他因素干擾下的人臉圖像進(jìn)行有效特征值提取。此外，在訓(xùn)練樣本基數(shù)較多時(shí)，需要考慮改進(jìn)SVM投票策略或者選擇其他分類器。