基于混合核函數(shù)的支持向量機(jī)在人臉識(shí)別中的應(yīng)用研究

房 菲，趙犁豐

（中國(guó)海洋大學(xué) 山東 青島 266100）

支持向量機(jī)（Support Vector Machine，SVM）[1]是由Vapnik等人在統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)之上發(fā)提出的一種新型機(jī)器學(xué)習(xí)方法，解決了傳統(tǒng)學(xué)習(xí)方法中的“維數(shù)問(wèn)題”，對(duì)樣本依賴小，其解全局最優(yōu)且泛化能力強(qiáng)，在解決非線性、有限樣本、回歸估計(jì)和高維的分類等問(wèn)題中表現(xiàn)出特有的優(yōu)勢(shì)，并且不存在局部最小點(diǎn)問(wèn)題，解決了神經(jīng)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)問(wèn)題涉及到的過(guò)學(xué)習(xí)、局部最小點(diǎn)等問(wèn)題。支持向量機(jī)現(xiàn)已被廣泛應(yīng)用于模式識(shí)別和預(yù)測(cè)的領(lǐng)域。

利用支持向量機(jī)實(shí)現(xiàn)分類，首先要從原始空間中抽取特征，將原始空間中的樣本映射為高維特征空間中的一個(gè)向量，以解決原始空間中線性不可分的問(wèn)題，因此，SVM可以處理線性不可分的問(wèn)題。SVM能夠推廣到函數(shù)擬合等其它機(jī)器學(xué)習(xí)問(wèn)題中，所以將其作為人臉特征分類器是也是一種合理的選擇。但是，在實(shí)際應(yīng)用中，支持向量機(jī)的泛化性能取決于其核函數(shù)的類型、核函數(shù)的參數(shù)以及懲罰系數(shù)C。所以，核函數(shù)的選取成為SVM的技術(shù)關(guān)鍵。

人臉識(shí)別（Face Recognition）是利用計(jì)算機(jī)對(duì)人臉圖像進(jìn)行特征提取和識(shí)別的模式識(shí)別技術(shù)[2-4]。人臉是非剛體，形變大，而且光照、年齡、毛發(fā)等因素使得人臉模式具有很強(qiáng)的高維非線性特性，在實(shí)際條件下通常不能采集到大量的圖像樣本，這決定了人臉識(shí)別是小樣本、非線性、高維問(wèn)題。所以，基于SVM的人臉識(shí)別算法具有很好的特性。本文主要討論支持向量機(jī)的多項(xiàng)式核函數(shù)和高斯核函數(shù)及二者構(gòu)成的混合核函數(shù)的參數(shù)尋優(yōu)和對(duì)應(yīng)的識(shí)別率，通過(guò)對(duì)比仿真實(shí)驗(yàn)證明混合核函數(shù)在人臉識(shí)別中具有較高的識(shí)別率。

1 支持向量機(jī)

SVM方法是在統(tǒng)計(jì)學(xué)習(xí)理論之上的一種機(jī)器學(xué)習(xí)方法，它建立在VC理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理基礎(chǔ)上，根據(jù)有限樣本信息在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最佳折中，以期獲得更好的泛化能力。用SVM算法來(lái)估計(jì)回歸函數(shù)時(shí)，其基本思想就是通過(guò)一個(gè)非線性映射φ，把輸入空間的數(shù)據(jù)x映射到一個(gè)高維特征空間中，然后在這一高維空間中作線性回歸，使得不僅能夠把兩類分開(kāi)，而且使兩類的分類間隔最大。

設(shè)樣本集為G={（xi，yi）}，i=1，…，n，其中，x∈Rn是輸入向量，對(duì)于二分類問(wèn)題，y∈{-1，1}，約束條件：

這樣，（w，b）定義了一個(gè)超平面，此時(shí)的分類間隔為2/‖w‖2。當(dāng)此間隔最大等價(jià)于最小化‖w‖2/2，同時(shí)滿足上述約束條件，則體現(xiàn)了SVM最大間隔的思想。

由最佳（w，b）問(wèn)題歸結(jié)出的二次規(guī)劃問(wèn)題可由Lagrange方法求解，函數(shù)如下：

其中，αi為每個(gè)樣本對(duì)應(yīng)的Lagrange乘子。將上式分別w，b求偏微分，可得：

對(duì)于非線性問(wèn)題，可以通過(guò)非線性變換轉(zhuǎn)化為某個(gè)高維空間中的線性問(wèn)題，在變換空間中求得最優(yōu)分類面，支持向量機(jī)對(duì)于此類的非線性變換，采用核函數(shù)的思想來(lái)實(shí)現(xiàn)高維空間的點(diǎn)積。式（7）中K（x，xi）稱為核函數(shù)，核函數(shù)的值等于兩個(gè)向量x和xi，在其特征空間φ（x）和φ（xi）中的內(nèi)積。任何函數(shù)只要滿足Mercer條件[5]都可用做核函數(shù)，采用不同的函數(shù)作為核函數(shù)，可以構(gòu)造實(shí)現(xiàn)輸入空間中不同類型的非線性決策面的學(xué)習(xí)機(jī)器。

2 核函數(shù)

2.1 常用核函數(shù)

核函數(shù)的引入使SVM得以實(shí)用化，因?yàn)樗苊饬孙@示高維空間中向量?jī)?nèi)積而造成的大量運(yùn)算。目前研究最多的核函數(shù)主要有4種：

1）高斯核函數(shù)

高斯核函數(shù)又稱為高斯徑向基核函數(shù)。由于其特征空間為無(wú)限維的特點(diǎn)，理論上任何分類數(shù)據(jù)集總能用高斯核來(lái)區(qū)分。也正是該原因，高斯核為支持向量機(jī)中應(yīng)用最廣泛的核函數(shù)。

2）多項(xiàng)式核函數(shù)

當(dāng)λ＞0時(shí)稱為非齊次多項(xiàng)式核函數(shù)；當(dāng)λ=0時(shí)為齊次多項(xiàng)式核函數(shù)。多項(xiàng)式核函數(shù)的實(shí)質(zhì)是衍生多項(xiàng)式核函數(shù)的一種特殊情況。

3）Sigmoid核函數(shù)

4）傅立葉核函數(shù)

文中主要介紹高斯核函數(shù)、多項(xiàng)式核函數(shù)及二者構(gòu)成的混合核函數(shù)。

2.2 混合核函數(shù)

在支持向量機(jī)中，通常所選的核函數(shù)必須滿足Mercer條件。核函數(shù)的類型有許多，歸結(jié)起來(lái)，核函數(shù)有兩種主要類型，即：局部性核函數(shù)和全局性核函數(shù)。局部性核函數(shù)插值能力較強(qiáng)，比較善于提取樣本的局部特性，因此，僅僅在測(cè)試點(diǎn)附近小領(lǐng)域類對(duì)數(shù)據(jù)點(diǎn)有影響。高斯核函數(shù)屬于典型的局部核函數(shù)。相對(duì)局部核函數(shù)而言，全局核函數(shù)是一種插值能力較弱，善于提取樣本全局特性的函數(shù)。多項(xiàng)式核函數(shù)就是一種全局核函數(shù)。

因?yàn)榫植啃院撕瘮?shù)學(xué)習(xí)能力強(qiáng)、泛化性能較弱，而全局性核函數(shù)泛化性能強(qiáng)、學(xué)習(xí)能力較弱，因此考慮把這兩類核函數(shù)混合起來(lái)構(gòu)成混合核函數(shù)[6]：

其中，Kgauss（x，xi）表示高斯核函數(shù)，Kpoly（x，xi）表示多項(xiàng)式核函數(shù)。當(dāng)m=0時(shí)，混合核函數(shù)退化為多項(xiàng)式核函數(shù)，當(dāng)m=1時(shí)，混合核函數(shù)退化為高斯核函數(shù)。

3 仿真實(shí)驗(yàn)

3.1 實(shí)驗(yàn)過(guò)程

本文實(shí)驗(yàn)數(shù)據(jù)來(lái)自MIT-CBCL人臉數(shù)據(jù)庫(kù)，實(shí)驗(yàn)在MATLAB 7.1平臺(tái)下編寫(xiě)了基于主成分分析法 （PCA）[7]和SVM的人臉識(shí)別系統(tǒng)，并結(jié)合libsvm工具包進(jìn)行實(shí)驗(yàn)[8]。實(shí)驗(yàn)步驟如下：

1）采集人臉圖像，選取訓(xùn)練樣本和測(cè)試樣本；

2）采用主成分分析法對(duì)訓(xùn)練樣本進(jìn)行特征提取，同時(shí)達(dá)到降維的目的；

3）將人臉特征向量作為SVM分類器的輸入，利用參數(shù)優(yōu)化后的SVM分類器并進(jìn)行訓(xùn)練；

4）測(cè)試樣本進(jìn)入SVM分類器中進(jìn)行分類識(shí)別。

3.2 參數(shù)優(yōu)化

以高斯核函數(shù)為例，設(shè)參數(shù)gamma=21σ2，對(duì)參數(shù)gamma和懲罰系數(shù)C進(jìn)行參數(shù)優(yōu)化，得到在gamma=0.1，C=10的條件下，人臉識(shí)別率最高達(dá)到86%。

3.3 實(shí)驗(yàn)結(jié)果及分析

本文采用了多項(xiàng)式核函數(shù)、高斯核函數(shù)和混合核函數(shù)構(gòu)成的3種分類器進(jìn)行實(shí)驗(yàn)，通過(guò)參數(shù)優(yōu)化得到了最優(yōu)參數(shù)和對(duì)應(yīng)的最佳識(shí)別率如表1所示。從實(shí)驗(yàn)數(shù)據(jù)中可以看出，高斯核函數(shù)的訓(xùn)練速度和識(shí)別率明顯優(yōu)于多項(xiàng)式核函數(shù)?；旌虾撕瘮?shù)插值能力較強(qiáng)，并善于提取樣本的全局特性，使得其在人臉識(shí)別中的取得了更高的識(shí)別率，證明了混合核函數(shù)比其他單核函數(shù)具有優(yōu)越性。

表1 3種分類器對(duì)應(yīng)的最優(yōu)參數(shù)和識(shí)別率Tab.1 Optimal parameters of three classifiers

圖1 參數(shù)優(yōu)化結(jié)果3D視圖Fig.1 3D view of parameters optimization

圖2 參數(shù)優(yōu)化結(jié)果等高線視圖Fig.2 Contour map of parameters optimization

4 結(jié)束語(yǔ)

本文主要采用單核和混合核函數(shù)SVM方法進(jìn)行人臉識(shí)別研究，將學(xué)習(xí)能力強(qiáng)、泛化能力弱的局部性核函數(shù)與泛化能力強(qiáng)、學(xué)習(xí)能力弱的全局性核函數(shù)結(jié)合起來(lái)構(gòu)成了混合核函數(shù)，并將SVM推廣到人臉識(shí)別中這一典型的多分類問(wèn)題中，通過(guò)仿真實(shí)驗(yàn)證明了混合核函數(shù)支持向量機(jī)在解決小樣本及多分類問(wèn)題上的優(yōu)越性。

[1]VAPNIK V N.The nature of statistical learning theory[M].New York：Springer Verlag，1995：4－80.

[2]Yang M H，Kriegman D and Senior A N.Detecting faces in images：a survey[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（1）：34－58.

[3]劉向東，陳兆乾.基于支持向量機(jī)方法的人臉識(shí)別研究[J].小型微型計(jì)算機(jī)系統(tǒng)，2004，25（12）：2261－2263.LIU Xiang-dong，Chen Zhao-qian.Face recognition based on support vector machines[J].Mini-Micro Systems，2004，25（12）：2261－2263.

[4]Bledsoe W.Man-machine facial recognition[R].Panoramic Research Inc.Palo Alto，CA，1966：22.

[5]鄧乃揚(yáng)，田英杰.數(shù)據(jù)挖掘中的新方法支持向量機(jī)[M].北京：科學(xué)出版社，2004.

[6]ZHANG Sheng，LIU Jian，TIAN Jin-wen.A SVM-based small target segmentation and clustering approach[C]//Proceedings of the Third International Conference on Machine Learning and Cybernetics，Shanghai：IEEE，2004：3318－3323.

[7]Turk M，Pentland A.Eigenfaces for Recognition[J].Cognitive Neuroscience J.1991，3（1）：71－86.

[8]libsvm－3.1－FarutoUltimate3.1Mcode[EB/OL].http：//www.matlabsky.com/thread－17936－1－1.html.