摘 要:本文提出一種基于散度差準則的人臉鑒別分析方法。最大散度差利用樣本模式的類間散布與類內(nèi)散布之差(Sb-C*Sw)大特征值對應(yīng)的特征向量,而不是它們的熵比作為鑒別準則,這樣,從根本上避免了類內(nèi)散布矩陣奇異帶來的困難。另外,分析了當參數(shù)C趨向無窮大時,最大散度差分類器的極限情況,得到了大間距線性投影分類器。
關(guān)鍵詞:最大散度差 特征向量 大間距線性投影 人臉鑒別
中圖分類號:TP391.41 文獻標識碼:A 文章編號:1672-3791(2013)02(c)-0240-01
1 問題的提出
傳統(tǒng)的Fisher線性鑒別分析(LDA)[1]在高維圖像人臉等方面的識別應(yīng)用中無法避免出現(xiàn)小樣本問題。而本文主要提出來一種基于散度差準則人臉鑒別分析的方法。該方法與LDA存在的不同是最大散度差所運用樣本模式的類內(nèi)和類間的散布之差(Sb-C*Sw)大特征值對應(yīng)的特征向量,而不是它們的熵比作為鑒別準則,這樣,從根本上避免了類內(nèi)散布矩陣奇異帶來的困難。又通過分析說明當參數(shù)C趨向無窮大時,最大散度差分類器的極限情況,得到了大間距線性投影分類器。
2 最大散度差準則和大間距線性投影
2.2 大間距線性投影(LMLP)
隨著參數(shù)C值的增大,識別率也相繼的增大。而當參數(shù)C值增大到C0時,則識別率也將會達到最大值。另外根據(jù)以往的研究成果知道:當類內(nèi)散布矩陣出現(xiàn)奇異時,最大散度差的鑒別準則將逐漸的逼近大間距的線性投影準則。同時,隨著參數(shù)C值的不斷增大,其中最大散度差分類算法的識別率也將會隨之單調(diào)增大,且最終將穩(wěn)定到大間距的線性投影分類算法識別率上。
根據(jù)上面分析,顯然,確定的最優(yōu)投影方向W與參數(shù)C的取值密切相關(guān)。若Sw為奇異矩陣,則當參數(shù)C趨向無窮大時,確定的最優(yōu)投影方向等價于下面的式子:
這個結(jié)論同樣可以被定理證明。
我們知道,如果類內(nèi)散布矩陣Sw為奇異矩陣,則其零空間N(Sw)的維數(shù)不小于1。根據(jù)零空間的性質(zhì),對于任意一個投影方向W∈N(Sw),均有,WTSwW=0。這意味著,當訓練樣本沿這些方向投影后,來自同一類別的訓練樣本都集中到一個點上。這是比較理想的一種情況。大間距線性投影準則[4]試圖在這些比較理想的投影方向中再找到一個同時使得類間散度WTSbW/ WTW達到最大的方向。
3 結(jié)論
Fisher鑒別準則和大間距線性投影準則均不帶參數(shù),分別適應(yīng)于類內(nèi)散布矩陣非奇異和奇異兩種特殊場合。最大散度差鑒別準則實際上將僅適用于凡非奇異場合的Fisher鑒別準則和僅適用于Sw奇異場合的大間距線性投影鑒別準則有機地統(tǒng)一了起來。但這種統(tǒng)一的前提是:當Sw非奇異時,參數(shù)C應(yīng)充分接近矩陣Sw-1Sb的最大特征值,使得MSDC的最優(yōu)投影方向與Fisher最優(yōu)投影方向相一致;當Sw-1奇異時,參數(shù)C應(yīng)充分大,使得MSDC的最優(yōu)投影方向與大間距線性投影的最優(yōu)投影方向相一致。
參考文獻
[1]邊肇祺,張學工.模式識別[M].2版.北京:清華大學出版社,1999.
[2]宋楓溪,程科,楊靜宇.最大散度差和大間距線性投影與支持向量[J].自動化學報,2004,30(11):890-896.
[3]程云鵬.矩陣論[M].西安:西北工業(yè)大學出版社,1999.
[4]劉永俊,陳才扣.基于差空間的最大散度差鑒別分析及人臉識別[J].計算機應(yīng)用,2006,26(10):2460-2462.