基于改進核范數的2DPCA人臉識別算法研究

劉 輝，馬 文，何 強

(1.重慶郵電大學 通信新技術應用研究中心，重慶 400065； 2.重慶信科設計有限公司，重慶 400065)

?

基于改進核范數的2DPCA人臉識別算法研究

劉 輝1，2，馬 文1，何 強1

(1.重慶郵電大學 通信新技術應用研究中心，重慶 400065； 2.重慶信科設計有限公司，重慶 400065)

傳統的二維主成分分析法廣泛應用于圖像特征提取，為了使此算法更加有效，提出了一種結構化二維算法，即核范數2DPCA算法(N-2-DPCA)。該算法基于核范數重構誤差準則，將核范數最優化問題轉化為基于F范數的最優化問題，然后通過采用迭代方法尋找到最佳投影矩陣，最后運用最小歐氏距離規則識別出待識別人臉的身份。在此基礎之上，將N-2-DPCA擴展到基于雙邊投影的算法(N-B2-DPCA)，采用曲線搜索算法尋找到雙邊投影矩陣，繼而進行識別。最后將提出的算法在FERET和Yale B人臉數據庫中進行人臉識別評估，實驗結果表明所提出的算法與L1-2DPCA相比，重建誤差降低了2.19%，識別率提高了2.03%，性能更好。

二維主成分分析法；特征提取；核范數；重建誤差；雙邊投影

主成分分析法是一種經典的特征提取算法，它廣泛應用于模式識別和計算機視覺等領域[1]。因此得到了深入的研究，從而擴展了大量版本。如加權主成分分析法(WPCA)和獨立主成分分析法(ICA)。WPCA采用加權距離緩解異常值在投影方向的影響，ICA作為PCA算法的推廣，不僅與變量的二階相關，而且對它們的高階存在依賴關系。PCA使數據不相關，而ICA使數據盡可能獨立，PCA和ICA均是非監督算法[2]。

由于主成分分析法通常是將圖像轉換為一維向量，從而忽略了圖像的結構信息。為了充分利用圖像的結構信息，Yang等人提出了基于二維圖像矩陣的主成分分析法(2-DPCA)，目前，2-DPCA廣泛應用于模式識別和人臉識別當中。眾所周知，2-DPCA在圖像行上進行操作，而忽略了列上面的信息，為了能考慮到行和列上面的信息，提出了基于雙邊的2-DPCA算法。他們尋求到的投影矩陣可以提取行信息和列信息。PCA和2DPCA都是基于L2范數度量，對異常值不穩定，考慮到基于L1范數的算法對于異常值的穩健性更好，李等人提出了基于L1范數的二維主成分分析法(L1-2DPCA)，而此算法需要對每一個投影向量進行迭代優化，因此識別時間較長。

基于Frobenius范數(F范數)的方法基本上是采用歐氏距離來衡量不同圖像之間的相似性。然而，同一個人的圖像由于光照和視覺的不同，圖像種類很多，基于F范數的算法對于這些干擾的魯棒性很差，致使影響識別效果。為了緩解這個問題，顧等人提出了利用核范數度量代替F范數度量圖像間的相似性。實驗表明，核規范對光照變化不太敏感。因此，他們提出了一種基于PCA核范數算法，即Schatten 1-PCA[3]。

目前，基于核范數的最小化問題在模式識別和壓縮感知領域引起了人們的廣泛興趣，核范數在本質上是矩陣秩的凸包絡。基于核范數的優化方法已被用于低階矩陣的恢復、人臉圖像的自陰影去除等問題，福納西爾等人提出將核范數問題轉化成F范數，然后結合迭代加權策略解決核范數最小化問題[4]。

由文獻[5]啟發，本文提出了基于核范數的2DPCA算法(N-2-DPCA)，不同于2DPCA算法，本文模型使用核范數度量重構誤差。此外，本文提供了足夠的證據說明采用核范數來描述重構誤差是有理論依據的。眾所周知，顧等人也用范數描述變換后的數據，然而，在最大限度地提高標準算法中，他們對預期獲得的投影矩陣強加了額外的約束，即PTP=PPT=I，這就要求投影矩陣是一個正交矩陣。在本文，筆者提出了精確的N-2-DPCA算法，由文獻[5]和[6]啟發，繼而將N-2-DPCA擴展到基于雙邊投影的核算法(N-B2-DPCA)。

1 算法相關理論

(1)

投影矩陣P通過計算協方差矩陣G最大的前r個特征值對應的特征向量可以獲得。

圖像矩陣的方法在模式識別中產生了一系列研究成果，具有代表性的是基于L1范數的2DPCA算法，其在低維特征空間中最大化L1范數方差。即為

(2)

眾所周知，基于L1范數的2DPCA算法對于異常值的魯棒性更好。然而，與2DPCA相比較，基于L1范數的2DPCA算法的每個主向量通過迭代運算獲得，因此，此算法消耗更多時間。

在接下來的講述中，筆者主要探討基于核范數的2DPCA算法，采用迭代策略解決問題[7]。

2 研究核算法的動因

采用核算法獲取投影向量最有力的一個理由是作為度量距離算法，核范數比L1和L2范數更加穩定可靠。例如，圖1a和圖1b為同一個人的圖像，圖1c為另外一個人的圖像。然后通過采用核范數、L2范數和L1范數計算出相同人臉或不同人臉的圖像距離。表1為不同范數下的圖像間距離比較表。由表1可知，采用L1和L2范數，得到圖1a和圖1b之間的距離均大于圖1a和圖1c之間的距離，分類錯誤，然而，基于核范數得出的結論恰好相反，得出圖1a和圖1b之間的距離小于圖1a和圖1c之間的距離，分類正確。即可以對圖像進行準確的分類。這個實驗促使筆者采用核范數的標準。因此，對N-2-DPCA目標函數定義如下

(3)

圖1 3張不同的圖像

表1 不同范數下的圖像間距離比較表

3 核算法研究

3.1 單邊核算法

接下來將研究如何解決問題(1)，由文獻[8]啟發，將公式中的核范數優化問題轉換為F范數優化問題，為此，給出下面的引理。

引理1：對于矩陣X∈Rp×q，

(4)

引理1表明核范數可以用F范數表示，為解決問題開避了一條新的道路。引理1中假定矩陣X的秩為r，其第a次權重可得

UΣVT是X的奇異值分解，Σ=diag(σ1,…,σr)，由引理1得，目標函數(1)可以改寫為

(5)

Wi是權重矩陣，定義為

Wi=((Ai-AiPPT)(Ai-AiPPT)T)-1/4

(6)

采用迭代加權的方法來解決目標函數，該過程包括以下迭代。

約束條件PPT=Ir

(7)

2)設定P=Pk+1，更新Wi如下

(8)

(9)

(10)

通過算法1獲得投影矩陣P后，對于任意給定的測試樣本A，它的特征矩陣B通過B=AP可以獲得，特征矩陣B代替圖像A進行分類。

算法1：N-2-DPCA迭代加權算法

輸入：訓練數據A1,…,As，投影維數為r。

3)更新P:Pk+1=[d1,…,dr]，di是Dk+1的i個最大的特征值對應的特征向量。

4)計算Xi和εi：

6)如果εi=0，執行第2)步，否則，從第2)步開始執行。

7)輸出：最佳投影矩陣Pk+1。

3.2 基于雙邊核算法

N-2-DPCA采用單側投影方案，該算法比PCA需要更多的系數來表示圖像。N-B2-DPCA作為N-2-DPCA的延伸被提出來了，該算法左右投影方向均需要計算，此外采用N-B2-DPCA表示圖像比N-2-DPCA需要更少的系數。雙邊N-B2-DPCA定義如下：

QTQ=It

(11)

在式(6)中，P∈Rn×r和Q∈Rt×m分別為左右乘積投影矩陣，接下來更新變量P和Q。

指定Q=Qk，更新P如下

(12)

指定P=Pk+1，更新Q如下

(13)

與解決N-2-DPCA算法類似，同樣采用迭代加權法解決問題(12)和(13)。

對于式(12)，迭代包括以下過程：

約束條件PPT=Ir

(14)

2)令P=Pk+1，更新Wi如下：

(15)

最關鍵的一步是解決方程(14)的最優化問題。目標函數(14)可以改寫為

(16)

(17)

在方程(17)中，矩陣D是不對稱，通過尋找特征向量，不能找到問題(17)的解決方案，因為非對稱矩陣的特征值和特征向量不能全面表示圖像信息。

(18)

(19)

基于算法2，問題(12)的解決步驟總結后得到算法3。

算法2 ：解決問題(15)的曲線搜索算法

1)初始化：P0，r，終止誤差因子ε，k=0。

2)搜索方向Y(τ)如方程(18)。

3)選擇合適的步長τk如方程(19)。

4)更新Pk+1=Y(τk)。

6)輸出：最優矩陣Pk+1。

算法3：解決問題(12)的迭代加權算法

輸入：訓練數據A1,…,As，投影數量r，左投影矩陣Q。

2)通過算法2更新P。

4)如果εi=0，執行步驟5，否則，從第2)步執行。

5)輸出：最優矩陣Pk+1。

算法4：解決問題(11)的交替迭代算法

輸入：訓練數據A1,…,As，投影數量r，t。

1)初始化：Q0=I，k=0。

2)采用算法3更新Pk+1。

3)采用算法3更新Qk+1。

4)如果標準(21)滿足，執行步驟5)，否則，從第2)步執行。

5)輸出：最優矩陣Pk+1，Qk+1。

算法4總結了N-B2-DPCA的詳細步驟，在算法4中，使用平均重建誤差相對率來檢查N-B2-DPCA的收斂性，平均重建誤差在第k步定義為

(20)

算法4的收斂性可以通過相對差分為基礎的收斂準則來判斷[11]。

(21)

通過算法4獲得投影矩陣P和Q，對于任意給定的訓練樣本A，圖像A的特征矩陣C通過C=QTAP獲得，特征矩陣C用來表示圖像進行分類識別。

4 實驗與分析

作為一種非監督子空間分析算法，最新提出的2DPCA-L1算法不利用標記信息。因此，為了公平比較，在方法性能比較中均采用非監督子空間算法。比較的算法包括2DPCA-L2，MPCA，PCA-L2，PCA-L1，2DPCA-L1以及本文算法。其中，2DPCA-L1，2DPCA-L2和MPCA是以圖像矩陣為基的算法，而PCA-L1和PCA-L2是以圖像向量為基的算法，這里的PCA-L2算法即是經典的PCA算法。

(22)

圖2 歸一化的FERET人臉數據庫樣本圖像

圖3 經矩形噪聲處理后的部分FERET圖像

表2 不同算法下平均重建誤差隨特征向量數變化表

表2為L2-PCA、L1-PCA、MPCA、L2-2DPCA、L1-2DPCA以及N-B2-DPCA這6種算法下平均重建誤差隨特征向量變化表。圖4展示了這六種算法的平均重建誤差隨特征量個數的變化規律。可以發現，當特征值個數大于10，N-B2-DPCA性能優越性體現的更加明顯。L1-2DPCA和L2-2DPCA性能好于L1-PCA、L2-PCA和MPCA，與L1-2DPCA相比，重建誤差降低了2.19%。圖4為平均重建誤差與特征量個數關系圖。

圖4 平均重建誤差與特征量個數關系圖

在第二個實驗中，采用了擴展的Yale人臉數據庫，此數據庫包含38個主題，每個主題有32張圖片，每張圖像重塑為96×84。根據光照條件不同，將數據庫圖像分為5個子集。每個子集中的2個樣本圖像如圖5所示。對于每一個主題，一半的圖像被隨機選擇出來作為訓練圖像，余下的作為測試圖像。圖6顯示了2DPCA、L1-2DPCA以及N-B2DPCA這3種算法識別率隨特征向量數的變化曲線圖。由圖可知，采用本文算法識別率更高，與L1-2DPCA相比，識別率提高了2.03%，這是由于采用搜索算法獲得的投影向量提取圖像信息的能力更強，最終保障了較高的識別率[13]，表3為3種人臉識別算法不同特征向量數對應的識別率表。

圖5 擴展Yale B的5個子空間的樣本圖像

圖6 3種算法識別率隨特征向量數變化曲線圖

表3 3種人臉識別算法不同特征向量數對應的識別率表

5 結論

本文提出了一種基于二維的子空間模型，即基于核范數的2DPCA核范數圖像特征提取算法。該模型的核心思想是利用核范數代替常規的L2-范數度量重構誤差。該模型通過迭代加權算法求解。此外，N-2-DPCA進一步擴展到N-B2-DPCA，基于雙邊投影的2DPCA核算法壓縮率比單邊投影的2DPCA核算法更高。在人臉數據庫上的實驗結果表明所提出的方法優于其他特征提取方法，與L1-2DPCA相比，重建誤差降低了2.19%，識別率提高了2.03%。

[1]JOLLIFFE I T. Principal component analysis[M].2nd ed. New York： Springer-Verlag，2002.

[2]趙慶苓. 主成分分析在人臉識別研究中的應用[J]. 貴州大學學報(自然科學版)，2010，27(5)：67-71.

[3]焦斌亮，陳爽. 基于PCA算法的人臉識別[J]. 計算機工程與應用，2011，47(18)：201-203.

[4]鐘秀峰. 基于改進的主成分分析的人臉識別算法研究[D]. 汕頭：汕頭大學，2012.

[5]KONG H，WANG L，TEOH E K， et al. Generalized 2D principal component analysis for face image representation and recognition[J]. Neural networks，2005，18(5/6)：585-594.

[6]YANG J， LIU C. Horizontal and vertical 2DPCA-Based discriminant analysis for face verification on a large-scale database[J]. IEEE transactions on information forensics & security， 2008， 2(4)：781-792.

[7]CANDES E J，RECHT B. Exact matrix completion via convex optimization[J]. Communications of ACM，2012，55(6)：111-119.

[8]FORNASIER M，RAUHUT H，WARD R. Low-rank matrix recovery via iteratively reweighted least squares minimization[J]. Siam journal on optimization， 2010， 21(4)：1614- 1640.

[9]WEN Z，YIN W. A feasible method for optimization with orthogonality constraints[J].Mathematical programming， 2013， 142(1/2)：397-434.

[10]LIWICKI S，TZIMIROPOULOS G，ZAFEIRIOU S，et al. Euler principal component analysis[J]. International journal of computer vision，2013，101(3)：498-518.

[11]MASHHOORI A，JAHROMI M Z. Block-wise two-directional 2DPCA with ensemble learning for face recognition[J]. Neurocomputing，2013，108(2)：111-117.

[12]WANG H. Block principal component analysis with L1-norm for image analysis[J]. Pattern recognition letters，2012，33(5)：537-542.

[13]GAO Q，GAO F，ZHANG H，et al. Two-dimensional maximum local variation based on image Euclidean distance for face recognition[J]. IEEE transactions on image processing， 2013， 22(10)：3807-3817.

劉 輝(1966— )，教授級高工，碩士生導師，主要從事通信新技術研究；

馬 文(1988— )，碩士生，主研嵌入式方向；

何 強(1991— )，碩士生，主研計算機視覺、機器學習。

責任編輯：閆雯雯

Human face recognition based on improved nuclear norm 2DPCA algorithm

LIU Hui1，2，MA Wen1，HE Qiang1

(1.ResearchCentreforApplicationofNewCommunicationTechnologiesn，ChongqingUniversityofPostsandTelecommunications，Chongqing400065，China；2.ChongqingInformationTechnologyDesigningCo.，Ltd.，Chongqing400065，China)

The traditional two dimensional component analysis is widely used for image feature extraction. In order to make the algorithm more effective， a structural 2-D method is presented， namely， nuclear norm-based 2-DPCA(N-2-DPCA).The algorithm is based on nuclear norm reconstruction error criterion， by means of converting the nuclear norm-based optimization problem into a series of F-norm-based optimization problems， then by using iterative method to find out the optimal projection matrix， finally adopting the minimum Euclidean distance rule to identify the identity of face recognition. In addition， the N-2-DPCA is extended to a algorithm based on bilateral projection(N-B2-DPCA)， by using the curvilinear search algorithm to find the bilateral projection matrix， then recognize the identity of face recognition. Finally， the proposed algorithm is evaluated in FERET and Yale B face database， the experimental results show that the proposed algorithms compared with L1-2DPCA， the reconstruction error is lower 2.19%， the recognition rate is increased by 2.03% and it performs better.

2-D principal component analysis； feature exaction； nuclear norm； reconstruction error； bilateral projection

劉輝，馬文，何強. 基于改進核范數的2DPCA人臉識別算法研究[J]. 電視技術，2016，40(11)：126-131. LIU H，MA W，HE Q. Human face recognition based on improved nuclear norm 2DPCA algorithm [J]. Video engineering，2016，40(11)：126-131.

TP391

A

10.16280/j.videoe.2016.11.026

重慶市研究生科研創新項目(CYS14143)；重慶市研究生創新基金資助項目(CYS151166)

2016-01-12