圖像預處理對人臉識別系統性能影響研究

金 欣，文成玉，杜 鴻

(成都信息工程學院通信工程學院，四川成都610225)

0 引言

從Lades等[1]首次提出將主成分分析法(Principal Component Analysis，PCA)應用于人臉識別之后，子空間法就得到極大的關注，子空間法的優勢在于它通過空間的變換，將線性的或者非線性的圖像特征進行壓縮，從高維空間降維至低維的特征子空間，從而降低算法的復雜度。到目前為止，基于PCA的特征臉算法(Eigenface)有了深遠的發展且已經趨于成熟，并延伸出其他的變種算法，最有代表性的就是 Belhumeur提出的 Fisherface算法[2]，是將線性鑒別分析理論[3](Linear Discriminant Analysis，LDA)與 PCA 相結合，將經過PCA降維后的表觀特征的主成分，采用LDA進行變換，使系統可以獲得盡量大的類間散度和盡量小的類內散度。這兩種識別算法是目前較為主流的基于子空間的人臉識別算法[4]?，F今，多數可以實現工程化的人臉識別系統仍是基于子空間算法的，想要得到一個具有非常高識別率的系統，已經不能單純的只改進算法的原理，從獲取到的人臉圖像的源頭進行預處理，才是提高一個識別系統識別率非常重要的環節。

根據山世光教授[5]提到的人臉識別系統中存在的若干問題，一個強壯的人臉識別系統對于人臉庫和輸入到系統的待識別圖像會有不同的要求，例如一個龐大的人臉庫會對識別的效率和算法復雜度產生高要求，有時為了降低識別計算的時間，在算法原理上無法得到改進的情況下，就會在獲取圖像時就對圖像進行像素和尺寸的降低，像素降低的優勢在于可以同時減小人臉庫的存儲空間，在實際應用中，有非常大的工程實用性。圖像預處理往往只有短短幾行代碼，卻能實現極大的改善一個系統的識別率，下面將從分析子空間算法的類間距離和類內距離入手，通過加入預處理，使其作用于圖像的類，分析其類的變化加以判斷Eigenface和Fisherface所需要的預處理方法。

1 圖像預處理技術方法

人臉圖像的預處理的目的是使不同成像條件下拍攝的所有進入識別系統的照片具有一致性。后續將重點介紹幾何歸一化中的圖像掩模技術[6]和圖像增強中的直方圖均衡[7]，并且加入可以去除噪聲的維納濾波法[8]。

1.1 圖像掩模

一般獲取的圖像都存在干擾信息，圖像掩模為了解決這種負面的影響，摳出主要的人臉部分。具體的基本步驟就是首先將人臉圖像進行幾何校正處理，就是將人臉圖像實施人像扶正，根據標定的人眼坐標進行圖像縮放和圖像切割等操作后，然后產生一個固定的矩形模板，該模板的中心有個與人臉大小大致相同的橢圓區域，其內部的值都為1，橢圓區域以外的值都為0，模板的大小與人臉圖像大小相同，其次，人眼在校正過的人臉圖像中位置固定，且中心軸對稱，將兩個圖像矩陣相與計算，就會得到經過掩模后的圖像。

1.2 直方圖均衡

由于子空間算法對于光照的魯棒性非常低，這也是解決影響子空間算法識別率一大問題的主要方法。在人臉識別的過程中，增加灰度對比度可以突出人臉重要的特征。

直方圖均衡化是通過改變每個灰度級上像素點分布，使其都具有相同的象素點數，目的是使圖像在整個灰度值動態變化范圍內分布均勻化，改善圖像的亮度分布狀態，增強圖像的視覺效果。均衡化的原理是根據熵理論[9]，可知當 H(0)，H(1)…，H(n－1)相等時，圖像信息量最大。

1.3 維納濾波

圖像在采集的過程中難免會產生噪聲，維納濾波的優勢在于適應面較廣，無論平穩隨機過程是離散還是連續，標量還是向量。在一個線性系統中，輸入的隨機信號x(n)，輸出為y(n)，在x(n)中包含信號s(n)和噪聲v(n)，當x(n)通過線性系統h(n)后得到的y(n)盡量接近于s(n)，用^s(n)表示估計值，維納濾波是從過去的觀察值估計過去的信號值y()n=^s(n+N)(N≥1)。維納濾波常被稱為最佳線性過濾預測或線性最優估計[10]，因其是以最小均方誤差為準則的。

2 子空間算法的圖像差值模型

從最近鄰法分類[11](Nearest Neighbor，NN)的角度出發，人臉圖像差值分為兩類:人臉的類內差值△I(intra-class difference)和人臉的類間差值△E(extraclass difference)。

2.1 Eigenface的類內類間距離模型

設N個模式樣本{χl}分屬c類，記為ωi=，i=1，2，…，c，則ωi類模式的樣本均值矢量為各類模式的樣本總體均值矢量為

C 類的樣本均值矢量為m(i)，則類內均方歐式距離[12]為

2.2 Fisherface的類內類間散度模型

Fisherface對數據首先采用PCA進行降維處理，計算PCA投影子空間WPCA，求出空間的類內平均圖像mi及總的平均圖像m。隨后計算第i類的類內散布矩陣Si和總的類內散布矩陣Sw，公式如下

計算類間散布矩陣

通過降維可以保證類內離散度矩陣的非奇異性[13]。然后根據散度差準則求解目標函數[14]。

其中，a為Sb－Sw的最大特征值對應的單位特征矢量。

3 Matlab仿真實驗

實驗采用美國FERET人臉庫[15]，總共采集200人的人臉信息，每人7幅圖像，總共1400幅人臉圖像作實驗人臉庫。原始人臉庫中的像素尺寸為80×80，在此基礎上將像素尺寸縮小成40×40的人臉庫，形成高像素人臉模型和低像素人臉模型。下面將深入研究圖像掩模、直方圖均衡和維納濾波對于類的差值影響。

圖1 圖像預處理效果圖

圖1展示了原始圖像經過了不同預處理后的效果，圖1(a)是原始人臉圖像，圖1(b)、(c)、(d)三幅圖像依次是經過圖像掩模、直方圖均衡和維納濾波后的效果圖，圖1(e)圖展示了直方圖均衡和維納濾波疊加效果，而圖1(f)圖像則是3種預處理方法疊加的真實效果圖。直觀上可以看出，直方圖均衡可以提高圖像對光照的魯棒性，維納濾波可以去除噪聲的干擾，而掩模則徹底排除了一切與背景無關信息量的干擾，這種對于圖像的改善從一定程度上提高了人臉識別系統對于光照和采集環境的魯棒性，從而在一定程度上提高了系統抗干擾能力。

3.1 Eigenface的仿真實驗

根據Eigenface算法基于全局提取特征的特點，分別在高像素和低像素模型上進行3種預處理的組合處理，然后從類間差值和類內差值兩個方面考慮預處理方法對算法的影響。

3.1.1 Eigenface 的類間差值模型

圖2 80×80尺寸的類間歐式距離比較仿真圖

圖3 40×40尺寸的類間歐式距離比較仿真圖

圖2所取得的曲線是根據人臉庫中第一個人的首幅圖像與剩余所有人的1393張圖像的類間歐式距離的走勢圖。對比圖2的高像素模型和圖3的低像素模型，相同之處在于直方圖均衡后所得到的類間距離是最大的，形成對比的是掩模技術將背景的差值歸于零，經過圖像掩模技術處理后的圖像的類間距離是最小的。為了減小噪聲對于類間差值的干擾，實驗引入維納濾波，無論像素大小在原始圖像上進行維納濾波，消除噪聲效果都不理想，而在進行了直方圖均衡處理后的圖像上進行維納濾波，類間距離下降明顯，圖2高像素中類間距離平均下降1×106，下降比例為4%;圖3中的低像素模型效果更加顯著，類間距離約也下降了1×106，下降比例為16%。經過均衡和濾波后，加入圖像掩模獲得距離曲線位置適中，且仍高于原始圖像曲線的位置，低像素模型的曲線走勢更加平緩，高像素模型相對于原始圖像類間距離平均提升了6.94×106，約為79%的漲幅，低像素模型相對于原始距離平均提升1.93×106，約為89%的漲幅。

換句話說，經過3種圖像預處理后的類間距離整體有顯著的提升，同時去除掉一些因噪聲和無關信息干擾所造成的類間距離突變，有利于Eigenface進行識別，并且預處理對低像素圖像的類間差值處理效果較高像素圖像更加明顯。

3.1.2 Eigenface 的類內差值模型

從圖4不難發現，圖像掩模是對類內距離的降低是最有幫助的一種預處理方法，并沒有改變原始圖像類內距離的基本走勢和形態。直方圖均衡極大地突出了類內特征，使得類內距離起伏增大，但是造成類內距離增加幅度較大，引入維納濾波來降低噪聲的干擾，雖然在原始圖像上沒有起到明顯的作用，但是引入到經過直方圖均衡后的圖像中去，類內差值降低的效果較為突出，在此基礎上再加入的圖像掩模處理使得類內差值進一步得到了降低。

圖4 80×80尺寸的類內歐式距離比較仿真圖

圖5 40×40尺寸的類內歐式距離比較仿真圖

與此相對比的圖5所示的低像素模型，差異之處在于低像素環境中的類內差值的最大值下降明顯，高像素模型類內距離下降1.83×107，幅度約為26%，低像素模型下降了6.13×106，降幅為33%。同時在低像素的環境中引入維納濾波，高像素模型在3種預處理方法下相較于原始圖像類內距離增加1.172×107，增幅為61%，而低像素模型增加2.39×106，增幅為50%，低像素模型經過預處理后增幅小于高像素模型，這對于識別更為有利。

為進一步驗證上述仿真結論和預處理實際應用效果，在加入不同的預處理方法后形成多個人臉庫，在CUP為Intel Core2 Duo T7250(2.0 GHz)的計算機條件下下進行識別率和效率測定，取200人的各2幅圖像共400幅圖像作為帶識別人臉庫，同其余1000幅圖像進行識別率計算，得到了表1中的識別率和識別時間。

表1 Eigenface在高像素與低像素下不同預處理的識別率和識別時間

綜合Eigenface的類間差值模型和類內差值模型的預處理實驗，經過了直方圖均衡、維納濾波和圖像掩模后的人臉識別率是最高的，并且低像素模型的識別率高于高像素模型，在表中另一項明顯的特點就是低像素模型在同等的預處理條件下，要顯著小于高像素模型。這就使低像素模型表現出高識別率和高識別效率的特點，這在工程上有一定的優勢，兩種模型經過預處理后的識別時間都有所下降，幫助算法從另外一個途徑上降低了復雜度，提高了運行效率。

3.2 Fisherface的仿真實驗

圖6和圖7分別展示了高像素模型和低像素模型的類的散度刻畫比較，圖中數據通過計算matlab仿真出的散度矩陣的跡而獲得的。

圖6 80*80尺寸類的散度刻畫比較

圖7 40*40尺寸類的散度刻畫比較

根據公式(6)，期待獲得較大的目標函數Js(a)。高像素模型如圖6所示，圖像掩模技術雖然降低了類內散度，但是降低的類間散度幅度過大，造成了目標函數的值得下降。直方圖均衡技術在大幅度增加類間散度矩陣的同時，也極大地增加了類內散度，所得目標函數是最小的一個，在原始圖像上進行的維納濾波對于3種矩陣的跡的影響都較為微弱，但在進行直方圖均衡后引入維納濾波后，濾波的效果更為明顯，修正了單純直方圖均衡后類內散度過大的缺陷，使目標函數Js(a)有小幅度提升。但在此基礎上再引入圖像掩模技術，使類間散度下降過大，適得其反地造成了目標函數的降低。圖7所示的各種預處理方法對于Sb和Sw的變化總體趨勢與圖6中類似，但是目標函數Js(a)的跡的值的變化卻有很大的不同，如表2中所示低像素模型中單一的維納濾波后的目標函數獲得最大值，加入圖像掩模后更是使目標函數Js(a)在兩種模型下都有所降低。

表2 高像素與低像素下不同預處理的目標函數矩陣的跡

表3 Fisherface在高像素與低像素下不同預處理的識別率和識別時間

在同樣硬件條件下用和Eigenface相同的人臉庫進行識別率測定，得到Fisherface的識別率和識別時間如表3所示，從各種預處理對于目標函數Js(a)的影響來看，圖像掩模并不適合Fisherface，先用直方圖均衡進行圖像增強后，再引入維納濾波所獲得Js(a)最符合Fisherface準則的要求，高像素下此時Js(a)值最大，而低像素在維納濾波下Js(a)提高的最多。同時從處理效果來看，高像素模型下類間散度矩陣的跡在直方圖均衡和維納濾波兩種預處理下相較于原始圖像提高了70%，而低像素模型之提升了62%，高像素模型的類內散度矩陣的跡同低像素模型的變化相同，同時提升了3倍之多，目標函數方面，高像素模型增加了5%，低像素模型減少了0.3%，而低像素模型在維納濾波處取得了最大的值，也只提升了3.6%。再結合表3中得到的識別率，高像素模型在直方圖均衡和維納濾波條件下得到的識別率高于其他情況，Fisherface在高像素模型的情況下處理效果明顯優于低像素模型的情況，但是低像素模型的識別時間卻明顯少于高像素模型。

4 結束語

經過分析和比較，直方圖均衡、圖像掩模和維納濾波3種預處理方式的組合適合處理Eigenface算法的人臉庫，獲得的類間距離較大的同時得到較小的類內歐式距離，與此同時，低像素模型也更加適合用于Eigenface算法，在獲取到的人臉圖像像素質量不佳的情況下更適合選擇Eigenface算法。而Fisherface算法的預處理應選擇直方圖均衡和維納濾波技術的組合，在這兩種方法的組合下獲得的目標函數最大，得到了較高的識別率，同時Fisherface應選擇像素較高的人臉庫進行匹配識別，得到的識別效果會更好。Eigenface在3種預處理方法下，識別率提高了15.8%，識別效率增加了10.2%，Fisherface識別率提高了13.5%，識別效率則提高了11.6%。識別率的提高，也從另一個側面驗證了預處理技術對于人臉識別系統抗干擾能力的提升及系統強壯性的增加。

實驗展現出了更多問題，例如高低像素對于不同算法的影響的原理性解釋，還有在識別過程中發現的識別率和效率不能兼得的問題，仍有待繼續深入的探索研究。

致謝:感謝成都信息工程學院基金項目(J201206)對本文的資助

[1] Lades M.Distortion invariant object recognition in the dynamic link architecture[J].IEEE Trans on Computer，1993，42(3):300－310.

[2] Belhumeur P N，Hespanha J P，Kriegman D J.Eigenfaces vs.Fisherfaces:Recognition using class special linear projection[J].IEEE Transactions on Pattern Analysis and Maehine Intelligence，1997，19(7):711－720.

[3] 謝永林.LDA算法及其在人臉識別中的應用[J].計算機工程與應用，2010，46(19):189－192.

[4] 李曉東.基于自空間和流形學習的人臉識別算法研究[M].山東:山東人民出版社.2013:47－64.

[5] 山世光.人臉識別中若干關鍵問題的研究[D].北京:計算機研究所，2004.

[6] 徐琳俊.數字圖像分割算法研究[D].鎮江:江蘇科技大學，2011.22－36.

[7] 李慧元，姜心蕊，徐國賢，等.基于直方圖的圖像增強技術在圖像處理中的應用[J].科技信息，2014，(11):83－84.

[8] 張然，湯全武，史崇升.基于遞推最小二乘自適應濾波算法的圖像去噪[J].計算機應用與軟件，2014，(4):194－196.

[9] 苑娟，萬焱，褚意新.熵理論及其應用[J].中國西部科技，2011，(5):42－44.

[10] 王志勝，甄子洋.非線性信息融合估計理論[J].宇航時報，2009，30(1):8－12.

[11] Wang X G，Tang X O.A unified framework for face recognition[J].IEEE Trans.PAMI，2004，26(9):1222－1228.

[12] 孫越泓，魏建香，夏德深.基于互信息與類距離測度最優的圖像聚類[J].計算機工程與應用，2011，(34):199－202.

[13] 郭微，孫玉祥.矩陣非奇異性的判定[J].北華大學學報(自然科學版)，2006，(3):93－96.

[14] 孫即祥.模式識別中的特征提取與計算機視覺不變量[M].北京:國防工業出版社，2001.

[15] Counterdrug Technology Transfer Program(CTTP).The FERET Database[EB/OL].http://www.itl.nist.gov/iad/huinanid/feret/feret－master.html.2001－2004.