基于自適應FCM—NMF的人臉識別研究

劉偉 侯向丹 顧軍華 董永峰 王元全

摘要 非負矩陣分解（NMF）是一種有效提取特征的方法，但算法中參數的隨機初始化使得迭代求解速度慢，且易陷入局部極小的問題。針對以上問題，提出了一種自適應FCM-NMF的方法，該方法利用模糊C聚類方法（FCM）獲得相似性關系矩陣，能為NMF參數的初始化提供較好的初值，從而有效解決了上述問題。通過在兩個人臉庫的實驗結果顯示，收斂速度明顯高于隨機賦初值的方法，識別率也有所提高。

關 鍵 詞 非負矩陣分解；模糊C均值聚類；相似性；自適應；人臉識別

中圖分類號 TP391 文獻標志碼 A

人臉識別過程可以分為人臉檢測、預處理、提取特征和人臉識別4個部分，其中提取特征是人臉識別的關鍵，受到了國內外學者的廣泛關注。特征提取的方法[1]一般分為2類：基于全局特征的方法和基于局部特征的方法。全局特征是從整體上分析人臉的屬性，每一個特征向量包含整個人臉的信息，主要方法有主成分分析法（Principal Component Analysis，PCA）[2]、線性判別分析方法（Linear Discriminant Analysis，LDA）[3]等。局部特征充分考慮人臉的細節變化，主要方法有局部二值模式（Local Binary Patterns，LBP）[4]、非負矩陣分解（Non-negative matrix factorization，NMF）等。由于全局特征的方法對光照、姿態等外部條件比較敏感，而基于局部特征的方法更具魯棒性，能更好的分類，因此局部特征的方法應用更廣。

NMF是一種有效的提取局部特征的方法，自1999年Lee和Seung[5-6]在Nature上提出以來已經在諸如圖像處理、機器學習、計算機視覺等諸多領域廣泛應用。NMF使分解后的所有分量均為非負值，并且實現非線性的維數約減，其構造依據是對整體的感知由對組成整體的部分感知構成的，這也符合直觀的解釋：部分構成整體。這種解釋符合實際的需要，如人臉是由眼睛、鼻子和嘴巴等器官組成的，因此這種算法在某種意義上描述了事物的本質特征。此外，這種非負性的限制使得數據描述更加具有現實的意義，圖片的像素值或灰度值如果是負數就失去了意義，因此這種限制的描述使得對數據的解釋變得方便與合理。所以NMF逐漸成為各個領域中比較受歡迎的降維處理的研究方法。

為了進一步提高NMF算法的識別率，大量的改進算法被提出。Li等[7]在原有的非負矩陣分解算法的基礎上添加稀疏限制，提出了局部非負矩陣分解算法，使得其結果進一步稀疏，從而進一步提高了算法的識別率；Wang等[8]提出了基于Fisher限制的非負矩陣分解算法，從而將判別引入到NMF算法中；Cai等[9]提出了基于流形的非負矩陣分解算法，從而將流形思想引入到NMF中來。雖然這些改進的算法對于識別率有一定程度的提高，但是這些改進算法都是對NMF的目標函數添加限制信息，而對于NMF算法的初始矩陣W、H都是隨機給定的，算法運行后使得迭代求解速度慢且易陷入局部極小的問題。因此本文提出了一種基于自適應模糊C均值聚類（fuzzy c-means clustering，FCM）的初始化方法，FCM方法得到的隸屬度表示樣本屬于某個類中心的程度，相似性矩陣代表樣本與類中心的相似程度，將兩者結合起來得到的最優參數對應的結果作為NMF的初始值，通過該參數的自主選擇能實現自動確定初始矩陣的維數，基本的NMF算法是以不同的維數進行嘗試，經過計算、比較之后再選擇合適的維數，本文提出的自適應FCM-NMF算法提供有效的初值的同時能自動確定矩陣的最佳維數，通過在兩種人臉庫上的實驗結果顯示，本文的方法能為NMF算法的參數提供有效的初值，方法行之有效。

1 自適應FCM-NMF算法

本文以NMF算法為基本方法進行特征提取，基于NMF算法的人臉識別流程圖如圖1所示。首先采集人臉庫，共14個對象，包含每個對象10張照片，其中涉及到姿態、表情均有變化的信息采集。將圖像進行預處理來改善圖像的質量，預處理操作包括大小裁剪為92×112、圖片的水平垂直分辨率均設為71以及位深度的設置為8等。然后將樣本分為訓練樣本和測試樣本，隨機初始化矩陣W、H，將訓練樣本的初始矩陣X輸入到NMF算法，經過多次迭代得到基矩陣，測試樣本經基矩陣變換成低維形式，然后與訓練樣本的低維表示進行比較，獲得測試樣本的所屬類別。NMF算法使得后期處理低維矩陣計算簡單，縮短運算時間，起到較好的作用。但由于需要多次隨機取值，對不同的隨機初始值多次運行NMF算法，然后從算法運行的結果中選取一組最優W和H作為矩陣分解的結果，每一次運行分解算法都需要多次迭代才能達到收斂。因此在NMF算法的基礎上，本文提出一種基于自適應FCM-NMF（Non-negative matrix factorization-fuzzy c-means clustering，FCM-NMF）的人臉識別方法，本文的算法流程圖如圖2所示。

本文提出的自適應FCM-NMF的人臉識別算法主要步驟如下：首先，將樣本分為訓練樣本和測試樣本，設置模糊C均值聚類（fuzzy c-means clustering，FCM）的參數C的范圍，利用FCM方法獲得訓練樣本的隸屬度矩陣和聚類中心，計算各樣本與中心的夾角余弦值，獲得相似性關系矩陣，判斷參數是否收斂，如果沒有收斂，調整參數重復上面步驟；如果已經收斂，通過比較相似性程度即可以獲得最優的參數值及相應的隸屬度矩陣和類中心，將最優結果作為NMF參數的初值，然后進行NMF算法降維，用降維后的低維形式訓練分類器，本文采用最簡單的分類器最近鄰分類器，歐氏距離作為度量標準，獲得被測樣本的類別。由于W、H中蘊含了輸入訓練樣本的信息，從而有效的解決了NMF算法收斂速度慢和易于陷入局部極小的問題。通過在人臉庫上的實驗結果顯示，收斂速度明顯高于隨機賦初值的方法，識別率也有所提高。下面將對算法中的幾個重點內容進行說明，包括：基本的NMF算法、FCM算法以及相似性關系矩陣的計算方法。

1.1 非負矩陣分解（NMF）

非負矩陣分解[10-13]（NMF）降維處理效果明顯，它的主要貢獻是高維空間的矩陣X經過非負矩陣分解算法進行降維處理，使X能被非負且低維空間的W和H的乘積W×H近似表示，即X≈W×H。其中W稱為基矩陣，H稱為因子矩陣或系數矩陣。這樣即可達到降低維數的效果，處理低維矩陣計算簡單，相比處理高維數據大大縮短的運算時間，起到較好的作用。

為了求得W和H矩陣分解，本文應用的是基于Kullback-Leibler商的誤差函數。因此，NMF的目標函數可以描述為公式（1）

[minW，H≥0D（X||WH）=minW，H≥0i，j（XijlogXij（WH）ij-Xij+（WH）ij） 。] （1）

通過求得使得上式最小的W和H即可，得到的迭代公式（2）和（3）分別為

[Wij=Wij?uHju?Xiu（WH）iuvHjv]， （2）

[Hij=Hij?aWai?Xaj（WH）ajbWbi]。 （3）

NMF算法的非負約束使得得到的基矩陣W和系數矩陣H具有一定的稀疏性，而且加入非負的條件更加符合實際圖片對像素值的要求，是降維的有效方法。

1.2 模糊C均值聚類（FCM）

模糊C均值聚類[14-17]（fuzzy c-means clustering，FCM），是用隸屬度確定每個數據點屬于某個聚類的程度的一種聚類算法。FCM把n個向量xi（i=1，2，…，n）分為C個模糊組，并求每組的聚類中心，使得非相似性指標的價值函數達到最小。用模糊劃分，使得每個給定數據點用值在0，1間的隸屬度來確定其屬于各個組的程度。隸屬矩陣U允許有取值在0，1間的元素。不過，加上歸一化規定，一個數據集的隸屬度的和總等于1。FCM的目標函數就是所有各點隸屬度乘以該點與中心的歐氏距離之和，目標函數公式如式（4），其中，m為加權指數[18]，一般設m=2，uik∈[0，1]，且任意的k=1，2，…，n。

[（min）Jm=i=1ck=1numikxk-vi2]， （4）

[i=1Cuik=1]。 （5）

通過使目標函數最小得到迭代公式（6）和（7）。

其中，聚類中心：

[vi=j=1n（uij）mxjj=1n（uij）m，1≤i≤C]。 （6）

隸屬度：

[uij=k=1C（xj-vixj-vk）-2m-1，1≤i≤C，1≤j≤n]。 （7）

FCM算法是比較流行的聚類方法，原因主要是加入了模糊的概念，使得分類更具現實意義。隸屬度表示樣本屬于某個類中心的程度，其實可以理解為權值，因此隸屬度的和永遠是1。

1.3 相似性關系矩陣

余弦相似度，是用向量空間中2個向量夾角的余弦值作為衡量2個個體間差異的大小的度量。如果2個向量的方向一致，即夾角接近零，那么這2個向量就相近。在本文中，即是應用上面步驟1.2小節中得到的結果式（6）和式（7）來計算每個樣本與類中心的余弦相似度，采用兩者之間的夾角余弦值來表示對象間的差異度。余弦值越接近于1，表示兩個對象相似度越高。向量余弦計算公式（8）為

[cosθ=x→?y→xy]。 （8）

該公式應用在本文中為

[cos（xj，vi）=xjvixjvi=k=1nxjk?vikk=1nxjk2k=1nvik2]。 （9）

由公式（9）可以得到樣本與各個類中心的相似程度，并且隸屬度矩陣也用來表示數據元素與類之間的相似程度。因此本文將兩個相似性度量矩陣結合，用于更加準確的描述某個樣本與類之間的相似程度。

根據FCM算法C值的范圍，不斷循環FCM過程，會得到不同的聚類結果以及相似性度量矩陣，根據相似度關系實現自動選取FCM方法的最優參數，獲得最優參數對應的隸屬度矩陣和類中心，然后將隸屬度矩陣的轉置和類中心分別賦值給NMF的初始矩陣W和H，初始矩陣含有訓練樣本的信息，為NMF參數的初始化提供了較好的初值，然后應用NMF算法獲得基矩陣，本文的算法對于提高識別率和加快收斂速度有明顯效果。

本文采用最簡單的分類器最近鄰分類器，歐氏距離作為度量標準，通過計算測試樣本的低維表示和訓練樣本的低維表示之間的歐氏距離進行分類，將距離最小的訓練樣本所屬類作為測試樣本的的類別。最近鄰分類器理論簡單，易于理解，容易實現，常被用來進行人臉分別。

2 實驗與分析

為評價本文算法的有效性，我們在標準ORL人臉庫和實驗室自己采集的人臉庫上分別采用NMF算法和本文提出的自適應FCM-NMF算法進行實驗驗證。實驗均在2.6 GHz CPU，4 GB內存的個人計算機，Matlab2012a環境上實現。

2.1 識別率

2.1.1 ORL人臉庫的識別率實驗

首先是在標準ORL人臉庫上實驗，ORL人臉庫共有40個對象，每個對象10幅圖像，共400幅灰度圖像組成，圖像尺寸是92×112，背景為黑色。其中人臉部分表情和姿態均有變化。該庫是目前使用最廣泛的標準數據庫。ORL人臉庫的部分人臉樣本圖像如圖3所示。在ORL人臉庫上，比較了本文提出的算法與其他4種算法識別率的比較，分別是非負矩陣分解（NMF）、局部非負矩陣分解（Local non negative matrix factorization，LNMF）、基于Fisher限制的非負矩陣分解（Fisher non negative matrix factorization，FNMF）、基于圖形正則化的非負矩陣分解（Graph regularized non negative matrix factorization，GNMF），其實驗結果如圖4所示。

由圖4可見，在ORL人臉庫上的實驗表示本文提出的自適應FCM-NMF算法的人臉識別算法的結果要優于基本的NMF算法以及幾種改進算法的結果。幾種NMF的改進算法相比較基本的NMF算法在識別率上都有提高，但這些算法的初始矩陣都是隨機的，本文提出的自適應FCM-NMF算法相比較前面幾種算法在識別率上也有一定程度的提高，在ORL人臉庫上的識別率最高達到了98.3%，其原因可能是本文算法在矩陣的初始化上有一定優勢，由于初值中包含有樣本的信息，因此能為初始矩陣提供良好的初值，在迭代完成后能獲得效果更好的基矩陣和系數矩陣，進而提高了識別率，使得實驗結果優于其他基于NMF改進算法的識別結果。

2.1.2 采集人臉庫的識別率實驗

為進一步驗證本文算法，采集實驗室人臉數據庫，圖片采集來源于手機拍攝，背景為白色，采集了實驗室人員共計14個人的樣本信息，每個對象10張照片，涉及到人臉表情和姿態的變化，先對圖片進行預處理再進行實驗。采集的人臉庫樣本圖片如圖5所示，應用幾種算法取得的最高識別率結果如圖6所示。

在實驗室采集的人臉庫上進行的實驗，進一步表明本文提出的自適應FCM-NMF算法相比較基本的NMF算法和其改進算法在識別率上的優勢，原因可能是該算法的初始化矩陣中包含有樣本的信息，在迭代完成后能獲得效果更好的基矩陣和系數矩陣，進而提高了識別率。在實驗室自己采集的人臉庫上最高能達到95.2%，達到了預期的目的，具有一定的優勢，實用性較強。

2.2 收斂效果

NMF問題本身是非凸的，它的分解結果依賴于初始值，并且不是唯一的。初始值W和H的選取直接影響到分解算法的迭代結果。針對NMF算法中參數的隨機初始化使得迭代求解速度慢，且易陷入局部極小的缺點，本文提出的自適應FCM-NMF的方法有效地解決了NMF參數初始化的問題，加快了收斂速度，在2個人臉庫上的實驗結果圖分別如圖7、8所示。

NMF算法以及許多改進的算法多采用參數隨機賦初值的方法，使得迭代求解速度偏慢。實驗結果顯示，本文提出的自適應FCM-NMF算法比原算法具有一個更小的初值，說明經過本文方法的初始化處理后，目標函數值更接近于收斂值。曲線在趨于平緩之前，自適應FCM-NMF算法比原算法具有更快的下降速度，說明本文算法收斂速度比原算法要快，縮短了收斂時間，說明了自適應FCM-NMF能為NMF參數的初始化能提供較好的初值，使得收斂速度加快，而且由圖可以看出本文算法可以使目標函數較快的收斂到一個更小的目標值。

3 結束語

本文考慮到NMF算法中參數的隨機初始化使得迭代求解速度慢，且易陷入局部極小的問題，提出了一種自適應FCM-NMF的人臉識別方法，該方法首先對訓練樣本矩陣應用FCM的方法獲得隸屬度矩陣和類中心，然后計算每個樣本與類中心的夾角余弦關系，通過結合隸屬度矩陣和夾角余弦關系得到相似性度量矩陣，利用該方法為NMF參數的初始化提供較好的初值，從而有效的解決了迭代速度和局部極小的問題。經過在人臉數據庫上的實驗表明本文的算法在識別率和收斂速度都有一定程度的優勢。

參考文獻：

[1] NAZMEEN B B，SUNILDUTH B. Fusion of local and global features for face recognition [C]// 2015 International Conference on Computing，Communication and Security （ICCCS）. Mauritius：IEEE Conference Publications ，2015：1-8.

[2] EYAD I A，MOHAMMED E S，KHALIDA S R. Face recognition rate using different classifier methods based on PCA[C]// 2017 International Conference on Current Research in Computer Science and Information Technology （ICCIT）. Lebanon：IEEE Conference Publications，2017：37-40.

[3] HUWEDI A S，SELEM H M. Face recognition using regularized linear discriminant analysis under occlusions and illumination variations[C]//2016 4th International Conference on Control Engineering & Information Technology （CEIT），Hammamet，Tunisia，2016：1-5.

[4] ZE L，XU D J，ALEX K. A novel LBP-based color descriptor for face recognition，2017[C]//2017 IEEE International Conference on Acoustics，Speech and Signal Processing （ICASSP）. Shanghai：IEEE Conference Publications，2017：1857-1861.

[5] LEE D D，SEBASTIAN S H. Learning the parts of objects by non negative matrix factorization[J]. Nature，1999，401（6755）：788-791.

[6] LEE D D，SEBASTIAN S H. Algorithms for non negative matrix factorization[C]// Neural Information Processing Systems. 2000：556-562.

[7] LI S，HOU X W，ZHANG H J，et al. Learning spatially localized parts-bases representation[C]// Computer Vision and Pattern Recognition. 2001：1063-6919.

[8] WANG Y，JIA Y D，HU C B，et al. Fisher Non-negative Matrix Factorization for learning local features[C]// In Proc Asian Conf On Comp Vision. 2004：27-30.

[9] CAI D，HE X F，WU X Y，et al. Non-negative matrix factorization on manifold[C]// IEEE International Conference on Data Mining. 2008：63-72.

[10] 劉昱昊. 基于基于非負矩陣分解算法的人臉識別技術的研究[D]. 吉林：吉林大學. 2014.

[11] 楊宏偉. 基于非負矩陣分解的人臉識別研究[D]. 蘭州：西北師范大學. 2015.

[12] LI B F，TANG Y D，HAN Z. Research on face recognition algorithm based on improved non negative matrix factorization[J]. Computer Simulation，2016，33（3）：428-432 .

[13] CHEN W S，ZHAN Y，PAN B，et al. Supervised kernel nonnegative matrix factorization for face recognition [J]. Neurocomputing，2016，205：165-181.

[14] BEZDEL J C. Pattern recognition with fuzzy objective function algorithms[M]. New York：Plenum，1981.

[15] WANG W N，ZHANG Y J，et al. 2006 6th World Congress on Intelligent Control and Automation：The Global Fuzzy c-means Clustering Algorithm，2006[C]// Dalian：IEEE Conference Publications，2006：3604-3607.

[16] ZARINBAL M，FAZEL Z M H，TURKSEN I B. Relative entropy fuzzy c-means clustering[J]. Information Sciences，2014，260：74-97.

[17] 鐘毅. 一種基于相關系數的模糊C均值聚類算法[J]. 軟件產業與工程，2016（6）：50-53.

[18] PAL N R，BEZDEK J C. On cluster validity for the fuzzy C-means model[J]. IEEE Transactions on Fuzzy Systems，1995，3（3）：370-379.

[責任編輯 田 豐]