基于主元分析與支持向量機超參數調節的人臉識別研究

摘要：該文闡述了基于主元分析和支持向量機的人臉識別算法，并對算法進行了改進。實驗使用的是ORL人臉庫，該方法先用PCA方法進行特征提取，再用支持向量機構造分類器進行分類，最后利用支持向量機超參數調節的方法進一步提高了識別率，實驗結果驗證了該算法的可行性并得到了較好的識別率。

關鍵詞：人臉識別；主元分析；支持向量機；超參數

中圖分類號：TP311文獻標識碼：A文章編號：1009-3044(2008)36-2703-03

Researches of Face Recognition Based on PCA and SVM Hyperarameters

LI Lan-lan， CUI Lian-yan， LI Na

(Electronics and Informatics Engineering Collage， Liaoning University of Techology， Jinzhou 121001， China)

Abstract: This paper introduced the algorithm of face recognition based on Primary Component Analysis Support Vector Machine，and improve it. The ORL face database was used to this paper. Firstly， it used PCA to reduce the dimension and extract the feature. Secondly the SVM was used for classification. At last SVM hyperparameters are used to improve the classification recognition rate. This experiment improved that the algorithm is efficient.

Key words: face recognition; primary component analysis(PCA); support vector machine; hyperparameters

身份認證是我們在日常生活中經常遇到的問題，進入21世紀之后，信息技術飛速發展，電子商務，網絡銀行，網上購物，公共安全等領域都對身份認證的可靠度和識別方式提出了更高的要求，傳統的身份認證很難滿足這些要求。所謂人臉識別，是指對輸入的人臉圖像或者視頻，判斷其中是否存在人臉，如果存在人臉，則進一步給出每張人臉的位置、大小和各個主要面部器官的位置信息，并且依據這些信息，進一步提取每張人臉蘊含的身份特征，并將其與已知人臉庫中的人臉進行對比，從而識別每張人臉的身份[1]。本文簡要介紹基于主元分析和支持向量機的人臉識別方法，并運用支持向量機超參數調節的方法提高了識別率。

1 基于主分量分析

主分量分析(Primary Component Analysis，PCA)也稱K-L變換、Hotelling變換，是圖像壓縮里的一種最優正交線性變換．可以有效去掉一個隨機向量中各元素間的相關性。

主成分分析是在統計學中分析數據的一種有效的方法，其主要目標是在大的輸入空間中尋找合適的特征向量，并在所有的特征中提取主要特征。特征選擇是指從數據空間變換到特征空間的過程。在理論上，特征空間和數據空間的是一樣的。但是，當變換后的特征中的有效的幾個能夠包含原有變量的主要信息時，就可以考慮減少特征的個數而提取主要的特征，即降低特征空間的維數(簡稱降維)。在具體的計算過程中，可以把主成分分析的主要過程分為特征選擇過程和特征提取過程。在特征選擇過程中，主要將數據空間映射到輸出空間，從而獲得輸入的特征，即輸入的主成分；而特征提取過程也就是降維過程，在該過程中選取主要的特征而舍棄其他特征成分[2]。

2 支持向量機基本原理

支持向量機（Support Vector Machine，SVM）有Vapnik及其合作者在1992年計算學習理論會議上引入機器學習理論，并且在模式識別領域已得到了非常廣泛的應用，成為機器學習和數據挖掘的標準工具。

SVM的基本思想：首先通過選擇適當的核函數降原始空間變換到一個高維空間，一般是Hilbert空間。然后再這個新的空間中尋找最大Margin的最優化線性分類面。在線性可分情況下，最優線性分類面將待分類的兩類無錯誤的分開，且Margin最大。可以說明SVM既可以保證經驗風險最小，也可以使推廣性的界中置信范圍最小，而使期望風險最小。

對于一個二分類問題，設給定的樣本點：(x1，y1)……(xn，yn)，xi∈Rn，i=1…n，

yi∈｛+1，-1｝是類別標號。其中向量xi可能是從對象樣本集中直接抽取得到的某些特征構造的，也可能是原始向量通過某個核函數映射到特征空間中形成的特征向量。在特征空間中分類面方程為：

(w#8226;x)+b=0（1）

使得

yi[(w#8226;x)+b] ≥1i=1，2，……，n （2）

可以使得分類間隔（Margin）為2/||ω||。求解問題可以簡化為滿足條件（2）下，計算使Margin最大的分類面法向量w和偏移量b。Vapnik.等人證明了最優分類面的法向量ω’是所有訓練集特征向量的線性組合，若α’為最優解，則

（3）

定義判別函數

f(x)=w*#8226;x+b'（4）

引入拉格朗日乘子αi， i=1，2，…..n

（5）

對于線性不可分的情況，即某些訓練樣本不能滿足（2）的條件，因此需要在條件中增加一個松弛項（ ）。其中，C為某個指定的常數，它起到控制對錯樣本懲罰程度的作用，即實現在錯分樣本的比例與算法復雜度之間的折中。同樣構造決策函數為[3]

（6）

圖1二類分類算法圖2Nu—SVC二類分類算法

圖3 One-class支持向量機圖4Nu_SVR回歸算法

SVM分類器設計的核心問題是如何選擇SVM算法的各種參數使其或得優化的泛化能力。一般將懲罰因子C以及SVM核函數的參數統稱為SVM超參數，超參數調節就通過最小化某個預測泛化誤差或其他相關性能參數獲得SVM的超參數[3]。

在SVM中，懲罰因子C的作用是控制分類偏差與泛化能力之間的平衡。不同樣本子空間中的最優的C是不同的，在一個確定的樣本之空間中，C的取值小表示對經驗誤差的懲罰小，學習機器的復雜度小而經驗風險大；反之亦然。但是每個樣本之空間至少存在一個合適的C使得SVM推廣能力最好，這就是需要選擇C的原因。

對核函數的分析可知，選擇不同的核函數意味著選擇不同的空間轉換方式，在確定了核函數之后，不同的核函數就起到控制樣本從原始空間映射到不同特征空間的作用，如多項式K（x，x’）=((x﹒x’)+c)d。

本文對超參數調節方法如下：

1）經驗性的給定超參數變化范圍A，將超參數（C，d）表示成向量θ（C，d），初始化θ，θ=θ1，其中θ1∈A。

2）對于確定的θ=θ1，用標準的SVM進行人臉識別，計算識別率R1。

3）利用網格法更新超參數θ。

4）返回第（2）步，直至遍歷所有情形。

5）最大識別率對應的超參數θ即為最優超參數。

3 實驗過程

完整人臉識別系統包括人臉圖像的檢測與定位，特征提取和人臉識別。人臉的檢測與定位，即預處理過程，由于獲取人臉圖像時可能存在傾斜和光照等等問題，就需要對人臉圖像進行處理和光照歸一化等，從而把人臉從圖像中定位出來。

本文在英國劍橋大學ORL人臉庫上進行測試，該人臉庫包含40人，每人有10幅不同表情的正面圖像，但臉部的光照、角度各有差異，每幅圖像的精度112×92。

首先構造子人臉庫，如表1所示。

在核函數及參數選擇中，采用的核函數為多項式核函數，即：

K（x，x'）=((x#8226;x')+c)d

步驟：1）執行標準支持向量機；2）固定懲罰因子C(C=10～1000)，調節多項式參數d；3）固定多項式參數d(d=0.1～2)，調節懲罰因子C。

表2 多項式參數d與分類識別率

由上表可以看出，對于第一種樣本組合，當d=0.3時，分類識別率較高；對于第二種樣本組合，d=1時，分類識別率較高，因此固定兩種樣本組合的d不變，調節懲罰因子C，得到使分類識別率最高的懲罰因子C，如表3所示：

表3 SVM超參數（C，d）調節前后的分類識別率

4 結束語

從實驗的結果可以看出，對于實驗的2種人臉圖像子庫，SVM超參數調節后，分類識別率在不同程度上得到提高，說明在人臉識別中SVM的模型選擇是十分必要的。當懲罰因子C很小的時候分類識別率較低，而隨著懲罰因子C的增加分類識別率迅速增加。然而，當懲罰因子C達到一定的值的時候，再繼續增加時，分類識別率在一個較大的范圍保持不變，即在一定范圍內，懲罰因子C對分類識別率不敏感。

參考文獻：

[1] 陳雅茜，雷開彬.人臉識別技術綜述[J].西南民族大學學報:自然科學版，2007，33(4):41-42.

[2] 潘慧峰，杜干.多姿態人臉識別的改進PCA方法[J].微計算機信息，2006(6Z):297-298.

[3] Cnstianini N， Shawe-Taylor J. An Introduction to Support Vector Machines and other Kerenl–Based Learning Methods[M]. Cambridge University Press，2004.

[4] 李偉紅，龔衛國，陳偉民，等.基于小波分析與KPCA的人臉識別方法[J].計算機應用，2005，10(25):127-129.

[5] 孫大瑞，吳樂南.基于非線性特征提取和SVM 的人臉識別算法[J].電子與信息學報，2004，26(2):307-311.

[6] 張燕昆，杜平，劉重慶.基于主元分析與支持向量機的人臉識別方法[J].上海交通大學學報，2002，36(6):884-886.

[7] 劉顯貴，謝云敏，陳無畏.一種基于核主元分析的支持向量機識別方法[J].南昌大學學報:理科版，2007，31(1):149-52.

注：“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文。”