基于FLPP的極端學習機人臉識別方法

劉佳奇 閆德勤 何陽

摘 要：極端學習機（ELM）訓練速度快、分類率高，已被廣泛應用于人臉識別領域，但是在實際問題中由于數據具有較高維數，導致ELM在有限樣本下存在學習不充分的問題。傳統對數據進行有效維數約簡的方法，沒有考慮到數據之間判別信息和小樣本問題。為此，提出一種強制性保留算法（FLPP），以保持全部樣本與局部樣本之間的幾何結構，同時類間離散度矩陣加入判別信息，因此避免了樣本點重疊和小樣本問題。實驗結果表明，該算法有效提高了極端學習機的泛化性能和分類準確率。

關鍵詞：維數約簡；強制性保留；極端學習機；人臉識別

DOI：10.11907/rjdk.172672

中圖分類號：TP301

文獻標識碼：A 文章編號：1672-7800（2018）004-0028-04

Abstract：The extreme learning machine （ELM） has a very fast training speed and high classification rate. It has been widely used in the field of face recognition. However， the ELM has a high dimension that leads to learning sufficiency with limited samples in practice. The traditional method of efficient dimension reduction on data does not take the discriminant information between data and small sample problem into consideration. In view of the above problems， we propose a force-locality preserving projections （FLPP） to maintain the geometric structure between the whole sample and the local sample. In the meantime， we add the discriminant information to between-class scatter matrix， which avoids the sample points overlap and the small sample problem. The results show that the proposed algorithm improves the generalization performance and classification accuracy of extreme learning machines efficiently.

Key Words：dimension reduction； force-locality preserving projections； extreme learning machine； face recognition

0 引言

人臉識別在生物、航空、遙感、公安等領域有著廣泛應用，目前已成為人工智能領域的研究熱點。但在實際應用過程中，數據通常具有較高的維數，并且分布不均勻，所以通常用神經網絡等算法結合維數約簡技術以提高識別率。

單隱層前饋神經網絡[1]（Single-hidden Layer Feed Forward Networks，SLFNs）具有較好的容錯性，網絡連接權值和連接方式都可以通過學習得到，網絡所學習的內容采用分布式存儲方式。但是，傳統的SLFNs方法經過多次迭代，利用梯度下降調整權值，收斂慢，容易陷入局部最小解。支持向量機[2]（Support Vector Machine，SVM）全局收斂，有更快的學習速度，其模型結構是找到一個最優的分類超平面區分兩類樣本。為了找到最優分類面，出現了很多經典算法，如：分解算法[3，4]、序列最小優化算法[5，6]、光滑支持向量機[7，8]。因此，求解不同二次凸規劃問題成了支持向量機的關鍵，算法的復雜性影響其應用。Huang[9]提出一種求解線性方程組的方法——極端學習機（Extreme Learning Machine，ELM），該方法隨機產生隱層節點的輸入權值和偏置值，不需要迭代，避免了收斂速度慢，不會陷入局部最優解。而且在處理分類問題中，ELM比SVM具有更好的測試精度和更短的訓練時間[10]。但ELM在分類過程中沒有考慮到數據集對其影響，而維數約簡是對數據預處理的一個重要步驟。

傳統的線性降維方法：主成分分析（Principal Component Analysis，PCA） [11]盡可能多地保留數據主要成分，最大化總體方差，但沒有利用樣本點之間的判別信息；線性判別分析（1inear Discriminant Analysis，LDA） [12]是找尋一組最優的鑒別矢量，將原始數據投影到特征空間，該準則在處理多種類樣本時，不能找到最佳投影方向，過于重視較大類間離散度矩陣，忽略了小樣本問題，可能會出現樣本點重疊問題。為了保持原有數據之間的拓撲結構，出現了非線性降維方法。等距映射法 （Isometric Feature Mapping，Isomap） [13]是一種有效保證全局特征的算法，先用近鄰圖中的最短路徑計算出接近的測地線距離，再用MDS [14]算法構建低維坐標，而鄰域大小選取不確定性會導致算法不穩定性。Sam等[15]又提出一種新的局部線性嵌入算法（Locally Linear Embedding，LLE），使其保持了數據間的局部幾何結構，可是在降維過程中關聯較弱的數據集很可能會將相距較遠的點映射到近鄰點處。為了克服這個缺點，出現了LE（Laplacian eigenmaps）算法，其通過流行的思想把無向有權圖嵌入到低維空間[16]。如果數據出現離群值，該算法具有很高的魯棒性，但其沒有考慮到有些數據具有線性關系。因此，He等[17]提出局部保留算法（Locality Preserving Projections，LPP），此算法利用拉普拉斯算子的概念，結合線性數據和非線性數據的特征進行數據降維。為了使數據具有監督性，Yu等[19]提出一種有監督的LPDP算法，降低了噪聲干擾和能量轉換。

為保留樣本點之間的結構信息，提出一種強制性保留算法（Force-Locality Preserving Projections，FLPP），將類間離散度矩陣加入判別信息，用最大化邊際準則解決樣本點重疊問題，克服小樣本問題[19]。為驗證方法的有效性，使用Yale、Yale B及ORL等3個數據集進行實驗，并且將本文方法與LPP、LPANMM及RAF-GE算法進行對比，實驗結果表明該算法顯著提高了ELM的識別率。

1 FLPP算法

在特征提取過程中，傳統的LPP算法只能提取某些局部差異，如表情、光照、姿勢等，忽略了不同人間的差異，如性別、面部形狀、種族等。為使不同類樣本點在低維空間里被映射得盡可能遠，并且還能保持同一類樣本點的內部幾何結構，因此提出一種新的FLPP算法解決這一問題。

3 實驗結果

為了證明本文提出FLPP算法的有效性，用sigmoid作為統一的激活函數，分別在Yale人臉庫、Yale B人臉庫和ORL人臉庫上進行實驗。在每組數據庫中分別隨機選取每類樣本點的訓練個數為trainnum=（3，4，5，6），其余為測試樣本。并且對比了LPP、LPANMM 和RAF-GE方法降至不同維數下的識別率。不同的數據庫參數設置如表1所示，所使用的不同人臉庫圖像如圖1所示。

圖2-圖4分別給出Yale、Yale B及ORL數據集在不同降維算法上的識別率曲線。表2-表4分別給出Yale、Yale B及ORL的具體識別率以及平均識別率和相對誤差。從圖2-圖4可以看出，利用FLPP降維算法的識別率曲線明顯高于其它算法，因為FLPP結合ELM算法充分考慮了樣本點之間的結構信息，因此圖3-圖4中FLLP算法的識別率幾乎接近100%。雖然在Yale數據集中，每類訓練樣本個數為4、維度降至60時出現波動，但是從表2可以看出其識別率仍在88.34%左右，明顯高于LPP算法、LPANMM算法和RAF-GE算法的識別率。由此實驗表明該算法十分有效，同時具有良好的穩定性。

4 結論

本文提出一種顯著提高ELM分類率的算法，此算法將類間離散度矩陣加入判別信息，并且采用最大邊際準則，避免了樣本點重疊和小樣本問題。同時在分類過程中，不僅提取了人臉表情、光照、姿勢等局部特征，還考慮到人的面部形狀、性別、種族等類別特征。由實驗結果看出，FLPP算法消除了數據包含的冗余屬性，降低了能量轉化，提高了ELM的泛化性能。

參考文獻：

[1] HUANG G B， ZHU Q Y， SIEW C K. Extreme learning machine： a new learning scheme of feedforward neural networks[C]. Budapest， Hungary： Proceedings of the IJCNN，2004.

[2] CORTES C， VAPNIK V. Support vector networks[J]. Machine Learning，1995，20（3）：273-297.

[3] OSUNA E， FREUND R， GIROSI F. Training support vector machines： an application to face detection[C]. Puerto Rico ： Proc IEEE Conf Computer Vision and Pattern Recognition，1997.

[4] OSUNA E， FREUND R， GIROSI F. An improved training algoirthm for support vector machines[C]. New York： Proceedings of the 1997 IEEE Workshop on Neural Networks for Signal Processing，1997.

[5] PLATT J C. Fast training of support vector machines using sequential minimal optimization[C]. Advance in Kernel Methods： Support Vector Learning，1999：185-208.

[6] PLATT J C. Using analytic QP and sparseness to speed training of support vector machines[C]. Advances in Neural Information Processing Systems 11，1999：557-563.

[7] LEE Y J， MANGASARIAN O L. SSVM： a smooth support vector machine[J]. Computational Optimization and Applications，2001，20（1）：5-22.

[8] LEE Y J， HSIEH W F， HUANG C F. E-SSVR： a smooth support vector machine for e-insensitive regression[J].IEEE Transactions on Knowledge and data Engineering，2005，17（5）：678-685.

[9] HUANG G B， ZHU Q Y， SIEW C K. Extreme learning machine： theory and applications[J]. Neurocomputing，2006，70（1）：489-501.

[10] ZONG W W， HUANG G B. Face recognition based on extreme learning machine[J]. Neurocomputing，2011，74（16）：2541-2551.

[11] TURK M A， PENTLAND A P. Face recognition using eigenfaces[C]. IEEE International Conference on Computer Vision and Pattern Recognition （CVPR），1991：586-591.

[12] BELHUMEUR P， HEPANHA J， KRIEGMAN D. Eigenface vs fisherfaces： recognition using class specific linear projection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19：711-720.

[13] TENENBAUM J B， SILVA V DE， LANGFORD J C. A global geometric framework fornonlinear dimensionality reduction[J]. Science，2000，290（22）：2319-2324.

[14] COX T F， COX M A A. Multidimensional scaling [M]. London： Chapman & Hall，1994.

[15] ROWEIS S T， SAUL L K. Nonlinear dimensionality reduction by locally linearembedding [J]. Science，2000，290（22）：2323-2326.

[16] BELKIN M， NIYOGI P. Laplacian eigenmaps for dimensionality reduction anddata representation [J]. Neural Computation，2003（15）：1373-1396.

[17] HE X， NIYOGI P. Locality preserving projections[C]. Advances in Neural Information Processing Systems 16. Cambridge MA： MIT Press，2004：585-591.

[18] 張海英，閆德勤，楊伊，等.基于流形學習的極端學習機及其在人臉識別中的應用[J].計算機測量與控制，2016，24（12）：158-161.

[19] LI H， JIANG T， ZHANG K. Efficient robust feature extraction by maximum margin criterion[J]. Advances in Neural Information Processing Systems，2003，16：71-78.

（責任編輯：何 麗）