模糊二維線性鑒別分析算法

林宇生,房福龍,楊萬扣

(1.中國電子科技集團公司第五十四研究所,河北石家莊050081;2.北京理工大學,北京100081;3.江蘇省水利網絡數據中心,江蘇南京210029;4.東南大學,江蘇南京210096)

0 引言

人臉識別是模式識別中一個重要的研究領域[1]。基于代數的人臉識別方法是當前人臉識別方法的主流,并且取得了較好的實驗效果。在此類方法中,基于主成份分析(Principal Component Analysis,PCA)的特征臉識別方法[2]、基于線性鑒別分析(Linear Discriminant Analysis,LDA)的識別方法以及[3]二維線性鑒別分析(Two Linear Discriminant Analysis,2DLDA)[4]的識別方法使用較廣。

在二維線性鑒別分析中,對于給定一個樣本,在特征提取過程中的判別依據是要么這個樣本屬于某個類,要么不屬于某個類,每次執行的是一個硬分類標準。而在特征抽取的具體問題中,由于當前訓練樣本往往受不同的表情和光照等復雜條件的影響,不能簡單地將樣本劃入某一類。在模糊數學指導下,引入模糊隸屬的概念,提出模糊二維線性鑒別分析,并運用于人臉識別中,取得了較好的識別率。

1 二維線性鑒別分析

線性鑒別分析方法的目的是從高維空間中提取出最具有分類能力的低維特征,希望投影后的特征數據在低維空間里不同類別間的樣本盡可能分得開些,而每個類別內的樣本盡可能密集,也就是說,樣本類間離散度越大越好,而類內離散度越小越好。

設 ω1,ω2,…,ωc為c個模式類,{X1,X2,…,XN}為圖像樣本(Xi∈Rm×n),設每類含有樣本數為li(∑li=N),圖像類間散布矩陣Gb、類內散布矩陣Gw和總體散布矩陣Gt分別定義為:

式中,mi為第i類訓練樣本的均值;mo為全體訓練樣本的均值。

由式(1)、式(2)和式(3)的定義知,Gb、Gw和Gt均為非負定矩陣。一般情況,類內散布矩陣是非奇異矩陣,最優的投影方向 WLDA就是使得樣本類間散布矩陣和類內散布矩陣的行列式比值最大的那些正交特征向量。因此二維線性準則函數定義為:

通過線性代數理論,可知 W2DLDA就是滿足式(5)的解:

二維線性準則函數通過求得矩陣(Gw)-1Gb大于零的特征值λi所對應的特征向量以得到投影空間,此時注意到該矩陣最多只有c-1個非零特征值,其中c為原始模式數據的類別數。

2 模糊二維線性鑒別分析

在二維線性鑒別分析中,構造散布矩陣時執行的是二值情況下的判別標準,即該樣本或屬于這類或不屬于這類,每次執行的是一個硬分類標準。而在特征抽取的具體問題中,由于當前訓練樣本受表情和光照等復雜條件的影響,原始樣本的分布通常是復雜的,若簡單地將樣本劃入某一類的做法是不科學的。可以利用模糊C均值的思想,通過模糊隸屬度函數表示樣本的分布信息,進而給出模糊二維線性鑒別分析。首先利用模糊K近鄰算法[5,6]得到相應的類中心點和隸屬度信息,利用這些信息表示相應樣本物理分布,并且將這些信息融入到特征提取過程中,得到更能代表原始樣本的有效分類特征。

2.1 模糊K近鄰方法

假定訓練樣本{X1,X2,…,XN}相應的向量形式為X=(x1,x2,…,xn),那么相應的模糊隸屬度函數就表示了當前某一樣本對于所有類別的依賴程度。設隸屬度矩陣為 U=uij,其中 i=1,2,…,c,j=1,2,…,n。矩陣中的元素uij表示訓練樣本中的第j個樣本對于第i類的依賴程度,并且這個隸屬函數必須滿足以下的2個條件:

則相應的隸屬函數可以通過模糊K近鄰準則得到:

第1步,計算訓練樣本集中任意2個樣本之間的歐氏距離,構成一個n×n的距離矩陣;

第2步,將得到的距離矩陣中對角線上的元素置為無窮大;

第3步,對上述步驟得到的距離矩陣的每一列按照距離值從小到大排列。根據新的距離矩陣得到k個最近鄰點及這k個最近鄰點的類別信息;

第4步,根據式(8)計算第j個樣本跟第i類的隸屬度。

式中,nij表示第j個樣本的k個最近鄰點中屬于第i類的樣本個數。

由此可以得到所有樣本對于所有類別的隸屬度函數。

2.2 模糊二維線性鑒別分析

根據各個樣本對于各類的隸屬度函數,重新計算樣本的均值、模糊圖像類間散布矩陣和模糊圖像類內散布矩陣[5]。

至此得到所有新的散布矩陣,根據新的散布矩陣的定義,利用二維線性鑒別準則,得到相應的特征向量集,此時模糊二維線性鑒別準則如下:

模糊二維線性準則函數通過求得矩陣(Gfw)-1·Gfb大于零的特征值λi所對應的特征向量來得到投影空間,矩陣中最多只有c-1個非零特征值,其中c為原始模式數據的類別數。

模糊二維線性鑒別準則在構造散布矩陣時將樣本的隸屬信息融入到相應的散布矩陣的定義中,因此可以抽取得到更有利于分類的鑒別信息。采用模糊二維線性鑒別分析方法比二維線性鑒別分析多了2步:一是隸屬度函數的計算;二是根據隸屬度函數重新計算散布矩陣。

基于模糊二維線性鑒別分析的算法如下所述:

第1步,根據模糊K近鄰算法計算隸屬度矩陣;

第2步,根據式(6)、式(7)和式(8)計算模糊圖像類間散布矩陣 Gfb和模糊圖像類內散布矩陣Gfw,計算(Gfw)-1Gfb前d個最大特征值對應的特征向量作為投影矩陣W;

第3步,將樣本投影到 W,并進行分類。

3 實驗分析

實驗中分別用以下方法進行特征提取:PCA[2]、LDA[3]、文獻[5]方法和新提出的模糊二維線性鑒別分析方法。分類器采用的是最小余弦距離分類器。在模糊K近鄰算法執行過程中,可認為每個樣本主要近鄰為同類別剩余的樣本,分類器采用最小余弦距離分類器。

3.1 實驗1

在ORL人臉庫上進行。ORL人臉數據庫由40個人的臉部圖像組成,每人由不同的10幅圖像所構成,人臉圖像原始維數為112×92像素。

實驗中,在不同訓練樣本數目下,每次隨機挑選S張用于訓練,剩余圖像用于測試。在LDA和文獻[5]方法的第1步PCA變換和PCA中,保持95%的能量左右,循環10次得到的平均識別率如表1所示。

表1 在 ORL人臉庫上的識別結果

從表1中可以看到模糊二維線性鑒別分析方法具有最高的識別率。能夠取得如此好的識別率主要有以下2個原因:①在新定義的模糊類間散布矩陣和模糊類內散布矩陣中充分利用了樣本分布信息,而在PCA和LDA中則沒有考慮樣本分布信息;②模糊二維線性鑒別分析方法考慮了樣本的結構信息。

3.2 實驗2

在耶魯人臉庫上進行。耶魯人臉庫中包括了15個人的165幅灰度人臉圖像。每個人由11幅照片構成,這些照片在不同的表情和光照等條件下拍攝。實驗中,圖像維數被處理成100×80像素。

在實驗中,每次隨機挑選6張用于訓練,剩余圖像用于測試。在LDA和文獻[5]的方法第1步PCA變換和PCA中,保持95%的能量左右。循環10次得到的平均識別率和標準方差如表2所示。從表2可以發現,新給出的方法仍然具有最優的識別結果。

表2 在耶魯人臉庫上的識別結果

4 結束語

二維線性鑒別準則在特征提取過程中使用的是一個硬分類標準,因此在樣本分布比較復雜的情況下缺乏更有效的描述能力。提出的模糊二維線性鑒別分析吸收了模糊C均值的思想,通過隸屬度函數將樣本歸入所有的類別之中,而不是簡單的二值處理,并且將樣本的原始分布信息通過相應的隸屬度函數融入到最后提取到的特征之中,這樣有效抑制了圖像由于光照和表情等變換帶來的影響,增強了算法的魯棒性,提高了識別效率。

[1]李武軍,王崇駿,張 煒,等.人臉識別綜述[J].模式識別與人工智能,2006,19(1):58-66.

[2]TUR K M,PENTLAND A.Eigenfaces for Recognition[J].Journal of Cognitive Neuroscience,1991,3(1):71-86.

[3]SWETS D L,WENG J.Using Discriminant Eigenfeatures for Image Retrieval[J].IEEE Trans on Pattern Analysis and Machine Intelligence,1996,18(8):831-836.

[4]LI M,YUAN B.2D-LDA:A Statistical Linear Discriminant Analysis for Image Matrix[J].Pattern Recognition Letters,2005,26(5):527-532.

[5]KW K C,PEDRY W.Face Recognition Using a Fuzzy Fisher Classifier[J].Pattern Recognition,2005,38(10):1 717-1 732.

[6]KELLER J M,GR AY M R,GIVERN J.A.A Fuzzy k-nearest Neighbour Algorithm[J].IEEE Trans.Syst.Man Cybernet,1985,15(4):580-585.