基于RLS的特征提取算法研究

王海賓,王展青（武漢理工大學理學院數學系，湖北武漢,430070）

?

基于RLS的特征提取算法研究

王海賓,王展青*
（武漢理工大學理學院數學系，湖北武漢,430070）

摘要：針對主成分分析在提取特征臉時需要計算各個特征值和對應的特征向量，而導致的計算量大的問題，提出了一種基于遞歸最小二乘（RLS ）的特征提取算法。該算法每迭代一次，只需計算一個特征值和其對應的特征向量，使得計算量大大減少。實驗表明：在一定迭代次數內，選取的主成分越多，RLS算法得到的圖像的重構率就越大。

關鍵詞：遞歸最小二乘;特征提取;人臉重構

0　引言

隨著人臉識別技術的發展，相繼產生了許多人臉特征提取和識別方法，如主成分分析、獨立成分分析（ICA ）、線性判別分析（LDA） 和核方法等。在這些方法中，由于PCA 實現簡單，所以它就成為了比較流行的特征提取方法之一。本文先考慮Turk等提出的基于PCA 的人臉識別方法。該方法的思想是將一幅人臉圖片轉換為一組N×N維的向量，再提取出一組降維后的p 維主成分。但是該方法的計算復雜度很大，不利于特征的提取。

為了解決這一問題，本文在文獻[5]的基礎上提出了一種改進的方法，直接從訓練集中訓練出一個只含有輸入層的線性機，這樣的好處是，一次迭代只需提取出一個特征向量和特征值，從而加快了算法收斂的速度。

1　RLS 算法分析

則重構后的均方最小誤差為

為了使J1(n)最小，用RLS 方法可以得出最優的權重向量W1( n)。迭代如下：

為了提取后續的主特征向量，不妨假設第m?1個節點的權重向量Wm?1(n)已經收斂到最優權重向量Wm

o?1，則可以求出第m個節點的權重向量Wm(n )，過程如下：

基于RLS的特征臉提取算法步驟如下：

用公式（13）計算特征值以確定何時停止向第一層添加節點；

2　實驗結果分析

本文選取了Yale人臉庫中的人臉圖像進行實驗，從中選出15張進行重構。在用RLS算法進行迭代的過程中發現，當迭代20次左右時，第一個和第二個權重向量基本收斂到其最初的主成分。當迭代次數達到60次時，兩個權重向量就已經完全收斂。而估計的特征值也會收斂到特征臉方法得出的特征值，其MSE也基本趨于0，而且收斂的速度也很快。該實驗充分表明：與特征臉方法相比，RLS在提取人臉特征時收斂速度更快，減少了計算復雜度。

圖1　第1個主成分的MSE和特征值的收斂性

表1　不同的主成分個數得出的重構率的實驗結果

3　小結

本文討論了基于遞歸最小二乘法的特征臉提取算法。實驗結果表明：隨著迭代次數的增加，RLS 算法得到的主成分會收斂到與其對應的特征向量，估計的方差也接近于該特征值，表明了RLS 算法在人臉特征的提取上具有較好的優越性。

參考文獻

[1] M.Turk,A.Pentland,“Eigenfaces for Recognition”, Journal of Cognitive Neurosicence,Vol. 3, No.1,1991,pp.71-86.

[2] M.S.Bartlett,J.R.Movellan,T.J.Sejnowski, “Face Recognition by Independent Component Analysis”,IEEE Trans. on Neural Networks,Vol.13,No.6,November 2002, pp. 1450-1464.

[3] K. Etemad,R.Chellappa,“Discriminant Analysis for Recognition of Human Face Images”,Journal of the Optical Society of America A,Vol.14,No. 8,August 1997, pp. 1724-1733.

[4] M.H.Yang,“Kernel Eigenfaces vs.Kernel Fisherfaces: Face Recognition Using Kernel Methods”, Proc.of the Fifth IEEE International Conference on Automatic Face and Gesture Recognition, 20-21 May 2002, Washington D. C.,USA, pp. 215-220.

[5] S.Bannour and M. R. Azimi-Sadjadi, Principal component extraction using recursive least squares learning, IEEE Trans. On Neural Networks, Vol.6, No.2, 1995, pp 457-469.

作者簡介

王海賓(1989年-)，男，漢族，河南汝南縣人，武漢理工大學理學院，在讀碩士研究生，研究方向為圖像處理；

*通訊作者：王展青（1965年-），男，漢族，湖北咸寧人，武漢理工大學理學院，教授，博士，研究方向為模式識別與圖像處理

The Research of Feature Extraction Algorithm Based on RLS

Wang Haibin,Wang Zhanqing
(Department of Mathematics,Wuhan University of Technology,Wuhan,430070,Hubei Province,China)

Abstract：Aiming at the problem of PCA when it is used to calculate various Eigen values and the corresponding eigenvectors which may led to large computational problems,we study the recursive least squares (RLS) method to extract the features.For each iteration,we just to calculate one Eigen value and it corresponding eigenvector, so the calculation will be greatly reduced.The experimental result shows that in a certain number of iterations, the more main component we select,the larger reconstructed rate of face we will get when use the RLS algorithm.

Keywords：Recursive least squares;feature extraction;face reconstruction