基于結構化低秩表示和低秩投影的人臉識別算法*

劉作軍，高尚兵

(淮陰工學院計算機工程學院,江蘇 淮安223003)

1 引言

人臉識別一直是計算機視覺及模式識別等領域研究的熱點課題，它有很多實際的應用，比如視頻監控、智能門禁、人機交互技術等。人臉圖像有很高的維數，所以在識別前常常需要對圖像進行降維。子空間學習方法，比如主成分分析[1]、線性判別分析[2]、局部保持投影[3]、邊界Fisher分析[4]等成為人臉識別領域經典的方法。盡管子空間方法得到成功的應用，但它們對于圖像污損(遮擋、偽裝等)不具有魯棒性。

近年來，基于稀疏表示分類SRC(Sparse Representation Classification)[5]的方法得到廣泛研究。SRC方法的主要思想是將所有訓練樣本作為字典，得到測試樣本在字典矩陣上的編碼系數，然后通過最小殘差法分類。SRC處理遮擋或隨機像素破壞時在原始字典上添加了單位矩陣作為遮擋字典，這樣可以很好地處理測試樣本中存在的遮擋和像素破壞。然而，當樣本維數比較高時，SRC的時間復雜度隨之升高。為了解決這個問題，Yang等人[6]提取圖像的Gabor特征，然后對遮擋部分進行字典學習，這樣遮擋字典的規模會降低，加快了稀疏編碼的速度。Ou等人[7]提出了遮擋字典學習方法，使得測試樣本在原始訓練樣本矩陣和遮擋字典上的編碼均是稀疏的，這樣可以提升SRC方法的性能。Shi等人[8]提出使用L2范數來對表示系數進行約束，這樣可以有效地處理高維數據(超過10 000維)。同樣地，Zhang等人[9]提出協同表示分類CRC(Collaborative Representation based Classification)，指出是樣本間的協同表示而不是L1范數約束提升了人臉識別的性能。CRC可以得到解析解，因此計算復雜度大大降低，并且可以取得和SRC相當的識別結果。

SRC及其改進方法的一個問題是它們要求訓練數據是干凈的，即不存在遮擋等情形，因此限制了它們在實際中的應用。最近的研究表明，視覺數據具有低秩結構，低秩矩陣恢復技術成為研究熱點問題。Candès 等人[10]提出的魯棒主成分分析RPCA(Robust Principal Component Analysis)可以從受噪聲污染的觀測數據中恢復出原始數據的低秩矩陣；隨后Liu等人[11]提出了低秩表示LRR(Low Rank Representation)方法，RPCA可以看作是LRR的一種特殊形式。基于RPCA和LRR，研究者提出了很多方法來處理訓練數據中存在的污損情形。胡正平等人[12]將RPCA恢復后的低秩矩陣和誤差矩陣分別作為樣本字典和遮擋字典。Wei等人[13]使用RPCA對原始訓練樣本進行低秩分解，得到干凈的數據矩陣。另外，在RPCA的基礎上引入了不相關項。Nguyen等人[14]將低秩表示用于人臉識別。受Fisher準則啟發，張海新等人[15]提出了帶有Fisher判別準則的低秩矩陣恢復算法，在有監督學習模式下對低秩矩陣進行恢復。Du等人[16]提出圖正則化低秩稀疏表示恢復GLRSRR(Graph regularized Low Rank Sparse Representation Recovery)方法，GLRSRR在訓練樣本的表示系數上同時添加了低秩和稀疏約束，另外為了保持訓練樣本間的局部結構，GLRSRR引入了圖正則項(最近鄰圖)，使得恢復后的訓練樣本具有很好的判別能力。Chen等人[17]提出了一種鑒別低秩表示方法，提升類間散布矩陣的不相關性，使得恢復后的不同類別的訓練樣本盡可能獨立，因此測試樣本可以用更多同類別的訓練樣本來表示。為了加快低秩分解后測試樣本的分類，何林知等人[18]提出了基于RPCA和CRC的方法。

上述基于低秩矩陣恢復的人臉識別方法沒有很好利用訓練樣本的類別信息，此外在得到原始訓練樣本的低秩矩陣后，通常會使用降維方法(如PCA或隨機投影)對訓練樣本和測試樣本進行降維。如果測試樣本圖像中存在遮擋，經過投影后這些因素也不能很好地消除。受歸納式RPCA IRPCA(Inductive RPCA)[19]的啟發，本文在得到訓練樣本的恢復樣本后，根據恢復樣本和原始訓練數據，得到低秩投影矩陣，提出了一種基于結構化低秩表示和低秩投影的人臉識別算法。首先通過結構化低秩表示得到恢復后的訓練樣本，根據恢復出的訓練樣本和原始訓練樣本得到低秩投影矩陣；然后利用低秩投影矩陣消除測試樣本中可能存在的遮擋；最后使用SRC對恢復后的測試樣本進行分類。在AR和Extended Yale B人臉庫上的實驗結果驗證了本文方法的有效性和魯棒性。

2 相關工作

假設X=[x1,x2,…,xn]∈Rm×n表示C類訓練樣本圖像，共n幅，X的每列為一個樣本圖像，在本文中，也記為X=[X1,X2,…,XC]，其中Xi表示第i類訓練樣本，測試樣本y∈Rm。SRC的目標函數為：

(1)

當得到系數α后，測試樣本y可以通過最小殘差法分類，即:

(2)

其中,αi是第i類對應的系數。

當訓練樣本中存在遮擋和像素破壞等情形時，SRC的性能急劇下降。為了解決這一問題，Liu等人[11]提出了低秩表示，可以有效地將異常像素和遮擋等從訓練樣本中剝離，LRR的目標函數如下：

s.t.X=AZ+E

(3)

其中,A為字典矩陣，Z為表示系數。式(3)可以通過不精確的增廣拉格朗日乘子法求解。

3 基于結構化低秩表示和低秩投影的人臉識別

3.1 結構化低秩表示

SRC對表示系數添加了稀疏約束，但它沒有考慮數據的子空間結構，而結構信息對于分類是必要的。LRR的理論表明，低秩可以揭示數據的子空間結構。因此，低秩稀疏表示[20]對表示系數同時添加低秩和稀疏約束，目標函數為：

s.t.X=AZ+E

(4)

假設Q=[q1,q2,…,qn]∈RK×n為樣本的理想表示系數，其中樣本xi的編碼qi具有[0,…,1,1,1,…]T∈RK的形式,K為字典中原子個數，n為待表示樣本個數。假設樣本xi屬于類別L，那么qi在DL上的編碼均為1，其余全部為0。圖1給出了Q的形式，這兒給出了來自3個類別的10個樣本，其中x1,x2,x3屬于類別1，x4,x5,x6,x7屬于類別2，x8,x9,x10屬于類別3，字典矩陣A有6個原子，每個類別分別有2個。

Figure 1 An example for Q圖1 Q矩陣的示例

根據訓練樣本的類別信息，可以構造出具有塊對角結構的矩陣Q，在低秩表示的過程中，將Q引入進來，得到如下的目標函數：

s.t.X=AZ+E

(5)

本文將訓練樣本作為字典矩陣，因此式(5)即為:

s.t.X=XZ+E

(6)

為了求解優化問題(6)，引入輔助變量W，則式(6)可以寫成：

s.t.X=XZ+E,Z=W

(7)

式(7)對應的增廣拉格朗日函數為：

L(Z,E,W,T1,T2,μ)=

‖Z‖*+β‖W‖1+λ‖E‖1+

(8)

其中,〈A,B〉=tr(ATB)，T1，T2為拉格朗日乘子，μ>0為懲罰參數。

本文利用含有自適應懲罰項的線性交替方向法LADMAP(Linearized Alternating Direction Method with Adaptive Penalty)[21]來優化式(8)，為描述方便，式(8)可以寫成：

L(Z,E,W,T1,T2,μ)=

‖Z‖*+β‖W‖1+λ‖E‖1+

(9)

(10)

式(10)的解可以通過下式求解，即:

Zj+1=USVT=UTε[S]VT

(11)

其中,USVT是Ak的奇異值分解，Tε[S]是軟閾值算子[22]。

變量W的更新過程如下：

(12)

變量E的更新過程為：

(13)

算法1總結了結構化低秩表示的求解過程。

算法1結構化低秩表示

輸入：訓練數據樣本X=[X1,X2,…,XC]∈Rm×n，參數λ,β,α。

輸出：(Z,W,E)。

若不滿足終止條件，循環：

(1)根據式(10)更新Z；

(2)根據式(12)更新W；

(3)根據式(13)更新E；

(4)更新拉格朗日乘子:

(5)更新參數μ：μj+1=min(ρμj,μmax)；

(6)檢查收斂條件:

‖X-XZj+1-Fj+1‖∞

‖Zj+1-Wj+1‖∞

輸出(Z,W,E)。

3.2 低秩投影矩陣

雖然通過低秩矩陣恢復可以從原始訓練樣本中恢復出干凈數據，但是如何處理測試樣本中存在的遮擋仍是需要解決的問題。受文獻[19]的啟發，可以通過學習一個低秩投影矩陣，將受污染的測試圖像投影到相應的低秩子空間。

從原始訓練樣本X=[x1,x2,…,xn]∈Rm×n獲得一組主分量Y=[y1,y2,…,yn]∈Rm×n，其中稀疏噪聲部分已被有效地去除。可以通過求解以下問題得到低秩投影矩陣。

s.t.Y=PX

(14)

假設P*為上述優化問題的最優解，則上述優化問題的最優解為P*=YX+,X+為X的偽逆矩陣，可以通過X+=VΣ-1UT求解，UΣVT為X的瘦奇異值分解。

3.3 本文算法流程

輸入：C類訓練樣本X=[X1,X2,…,XC]∈Rm×n，測試樣本y∈Rm，正則化參數λ、β和α，稀疏表示的參數srcλ。

(1)對所有訓練樣本通過算法1進行結構化低秩表示，即求解如下問題:

s.t.X=XZ+E

(2)得到訓練樣本的恢復數據Y=XZ*;

(3)計算低秩投影矩陣P*=YX+，其中X+為X的偽逆矩陣；

(4)測試樣本y投影到相應子空間yr=P*y；

(5)計算Y的主分量W，W=PCA(Y)；

(6)訓練樣本恢復后的數據Y和測試樣本恢復后的數據yr分別投影到W，即D=W(Y),yp=W(yr)；

4 實驗結果與分析

本文在AR人臉庫[23]和Extended Yale B人臉庫[24]上進行人臉識別實驗，以驗證本文方法的有效性。為了更直觀地表示本文算法的識別率情況，本文做了一些對比實驗，包括NN(Nearest Neighbor)、LRC[25]、SRC[5]、CRC[9]、LRR_SRC[26]、LRSI[13]算法。訓練樣本和測試樣本中均有遮擋或像素破壞，PCA用來對樣本進行降維，SRC使用SolveDALM函數求解表示系數，正則化參數設為0.001。本文方法的參數β=15，λ=16，α=560。

4.1 AR人臉庫上的性能分析

AR人臉庫包括126個人超過4 000幅人臉圖像。對于每一類人臉，26幅圖像被分成了兩個階段。在每一階段，每類有13幅人臉圖像，其中3幅被墨鏡遮擋的圖像，3幅被圍巾遮擋的圖像，其余7幅為受到表情和光照變化的人臉圖像。本文實驗部分選取了50名男性和 50名女性共100類人臉圖像。考慮以下三種情形來測試本文方法性能：

(1)Sunglasses：在該情形下，考慮訓練樣本和測試樣本都受到墨鏡遮擋的情形。墨鏡大概遮擋了人臉圖像的20%。本文選用第一階段7幅無遮擋圖像和1幅墨鏡遮擋圖像(隨機選擇)作為訓練樣本，第二階段的7幅無遮擋圖像和余下的墨鏡遮擋圖像(第一階段的2幅和第二階段的3幅)為測試樣本，因此每類有8個訓練圖像和12個測試圖像。

(2)Scarf：在該情形下，考慮訓練樣本和測試樣本都受到圍巾遮擋的情形。圍巾大概遮擋了人臉圖像的40%。本文選用第一階段7幅無遮擋圖像和1幅圍巾遮擋圖像(隨機選擇)作為訓練樣本，第二階段的7幅無遮擋圖像和余下的圍巾遮擋圖像(第一階段的2幅加上第二階段的3幅)為測試樣本，因此每類有8個訓練圖像和12個測試圖像。

(3)Mixed：在該情形下，考慮訓練樣本和測試樣本都受到墨鏡遮擋和圍巾遮擋的情形。本文選用第一部分7幅沒有遮擋圖像，1幅墨鏡遮擋圖像(隨機選擇)以及1幅圍巾遮擋圖像(隨機選擇)作為訓練樣本，第二階段的所有圖像(7幅無遮擋圖像，3幅墨鏡遮擋圖像，3幅圍巾遮擋圖像)和第一階段余下的4幅遮擋圖像(2幅墨鏡遮擋圖像和2幅圍巾遮擋圖像)為測試樣本，因此每類有9個訓練圖像和17個測試圖像。

在本實驗部分，對比了各算法在維數為25、50、100、200和300時的識別性能，由于階段1中含有3幅戴墨鏡和3幅戴圍巾圖像，所以每種情形下各個算法重復3次，記錄3次實驗的平均值，如表1～表3所示。

Table 1 Recognition rate of differentmethods under sunglasses occlusion

從表1可以看到，本文算法在大多數維數下識別性能均優于其他算法(僅300維時稍低于CRC)；表2表明本文算法在維數較低時(25，50，100)性能明顯優于其他對比算法；表3表明隨著遮擋比例的增大，本文算法仍能取得較好的識別率。在上述三種遮擋情形下的實驗結果驗證了本文算

Table 2 Recognition rate ofdifferent methods under scarf occlusion

Table 3 Recognition rate of different methodsunder sunglasses and scarf occlusion

法的魯棒性。

為了更直觀地說明本文算法的有效性，圖2和圖3分別給出了部分原始訓練樣本圖像和對應的低秩恢復圖像，可以看出經過SLR分解后，表情變化、光照變化、遮擋等不利因素得到很好的去除，得到的干凈數據字典有利于后面的稀疏表示分類。同時，圖4和圖5給出了部分原始測試樣本圖像和對應的經過低秩投影矩陣恢復后的圖像，同樣可以看到，通過將測試樣本投影到對應的低秩子空間，測試圖像中的表情變化、遮擋等因素得到較好的去除，這有利于后面的分類識別。

Figure 2 Some training images圖2 部分訓練樣本圖像

Figure 3 Recovered training images by SLR圖3 結構化低秩表示恢復圖像

Figure 4 Some test images圖4 部分測試樣本圖像

Figure 5 Recovered test images by low rank projection matrix圖5 低秩投影矩陣恢復圖像

4.2 隨機像素破壞下的識別性能

本實驗使用Extended Yale B數據集，這個數據集包含38個人的2 414幅人臉圖像，每人有59～64幅不同光照下的圖像，圖像大小為192×168。實驗選擇10%和20%的樣本進行隨機像素破壞，對于待破壞樣本，隨機選擇10%的像素點，然后用均勻分布的值替換原始像素值，部分像素破壞后的樣本圖像如圖6所示。然后每個類別隨機選擇一半作為訓練樣本，其余為測試樣本，PCA維數為50、100和300。各個算法重復運行10次，記錄其均值，如表4所示。

Figure 6 Some sample images after pixel corruption圖6 部分像素破壞后的樣本圖像

算法維數(10%樣本像素破壞)50 100 300維數(20%樣本像素破壞)50 100 300NN58．7669．1276．7159．1868．4575．88LRC91．1593．7494．9991．8294．2495．24SRC88．0692．5795．6686．6491．0794．74CRC85．3194．9997．8386．9893．4197．66LRR＿SRC83．5692．7497．5883．1492．0796．41LRSI76．5490．5796．7476．7986．5694．32SLR＿LRP98．0098．0098．0095．9196．1696．24

從表4可以看出，本文算法在大多數情況下優于其他算法，這說明基于結構化低秩表示和低秩投影的方法對隨機像素破壞具有一定的魯棒性。

4.3 隨機塊遮擋下的識別性能

本實驗在Extended Yale B數據集上進行，實驗選擇10%和20%的樣本進行隨機塊遮擋，對于待遮擋樣本，隨機選擇遮擋位置，然后用占原始圖像10%大小的不相關圖像對原始圖像進行遮擋，部分塊遮擋后的圖像如圖7所示。然后每個類別隨機選擇一半作為訓練樣本，其余為測試樣本，PCA維數為50、100和300。各個算法重復運行10次，記錄其均值，如表5所示。

Figure 7 Some sample images after random block occlusion圖7 部分隨機塊遮擋后的樣本圖像

算法維數(10%樣本像素破壞)50 100 300維數(20%樣本像素破壞)50 100 300NN56．8467．5374．2156．5164．9471．62LRC88．7391．5792．8285．3189．3291．24SRC85．9890．6593．9183．6489．9893．57CRC83．5691．2496．6680．2291．6596．66LRR＿SRC80．5589．5796．1679．8091．1596．99LRSI74．6287．8197．1670．0387．3196．58SLR＿LRP98．0098．0898．0098．0898．3398．33

從表5可以看出，在維數比較低時，本文算法明顯優于其他對比算法，隨著遮擋樣本比例的增加，本文算法一直能取得最高的識別率。比如在維數為50時，本文算法的識別率分別為98.00%和98.08%，比SRC算法分別提高了12.02%和14.44%;當維數為300維時，本文算法比LRSI算法分別提高了0.84%和1.75%，這表明本文算法對隨機塊遮擋具有較好的魯棒性。

5 結束語

雖然SRC在測試樣本存在遮擋和像素破壞的情況下取得了優異的識別性能，然而當給定的訓練樣本中存在遮擋和像素破壞時，SRC的性能會下降。為了解決這個問題，近年來低秩矩陣恢復方法得到了廣泛研究，通過對樣本進行低秩分解，可以得到樣本的低秩矩陣。大多數低秩表示方法并沒有有效利用訓練樣本的類別信息，同時，在對測試樣本進行分類前，沒有考慮測試樣本中存在的遮擋和像素破壞。為了充分利用訓練樣本的類別信息和去除測試樣本中存在的遮擋和像素破壞，本文提出了基于結構化低秩表示和低秩投影的人臉識別算法。結構化低秩表示通過引入樣本的理想編碼正則項，使得同類別樣本的表示盡可能相似，這樣很好地保留了樣本的結構信息。同時根據原始訓練樣本和恢復后的訓練樣本得到低秩投影矩陣，通過將測試樣本投影到該低秩投影矩陣，可以很好地去除測試樣本中存在的遮擋和像素破壞，實驗結果表明本文算法具有很好的魯棒性。

本文算法在訓練樣本充足的情況下可以取得較好的識別結果，然而單訓練樣本在實際應用中經常遇到，如何將本文算法擴展到單訓練樣本人臉識別，將在后續的工作中進行研究。

[1] Turk M, Pentland A.Eigenfaces for recognition[J].Journal of Cognitive Neuroscience,1991,3(1):71-86.

[2] Belhumeur P N,Hespanha J P,Kriegman D.Eigenfaces vs.fisherfaces:Recognition using class specific linear projection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1997,19(7):711-720.

[3] He X,Yan S,Hu Y,et al.Face recognition using Laplacianfaces[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(3):328-340.

[4] Yan S,Xu D,Zhang B,et al.Graph embedding and extensions:A general framework for dimensionality reduction[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(1):40-51.

[5] Wright J,Yang A Y,Ganesh A,et al.Robust face recognition via sparse representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(2):210-227.

[6] Yang M,Zhang L,Shiu S,et al.Gabor feature based robust representation and classification for face recognition with Gabor occlusion dictionary[J].Pattern Recognition,2013,46(7):1865-1878.

[7] Ou W,You X,Tao D,et al.Robust face recognition via occlusion dictionary learning[J].Pattern Recognition,2014,47(4):1559-1572.

[8] Shi Q,Eriksson A,Van Den Hengel A,et al.Is face recognition really a compressive sensing problem?[C]∥Proc of IEEE Conference on Computer Vision and Pattern Recognition,2011:553-560．

[9] Zhang L,Yang M,Feng X.Sparse representation or collaborative representation:Which helps face recognition?[C]∥Proc of the IEEE 13th International Conference on Computer Vision,2011:471-478．

[10] Candès E J,Li X,Ma Y,et al.Robust principal component analysis?[J].Journal of the ACM,2011,58(3):11.

[11] Liu G, Lin Z, Yan S,et al.Robust recovery of subspace structures by low-rank representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(1):171-184.

[12] Hu Zheng-ping,Li Jing.Face recognition of joint sparse representation based on low-rank subspace recovery[J].Acta Electronica Sinica,2013,41(5):987-991.(in Chinese)

[13] Wei C,Chen C,Wang Y.Robust face recognition with structurally incoherent low-rank matrix decomposition[J].IEEE Transactions on Image Processing,2014,23(8):3294-3307.

[14] Nguyen H V, Huang R,Yang W,et al.Face recognition based on low-rank matrix representation[C]∥Proc of the 33rd Chinese Control Conference,2014:4647-4652.

[15] Zhang Hai-xin, Zheng Zhong-long, Jia Jiong,et al.Low-rank matrix recovery based on Fisher discriminant criterion[J].Pattern Recognition and Artificial Intelligence,2015,28(7):651-656.(in Chinese)

[16] Du H,Zhang X,Hu Q,et al.Sparse representation-based robust face recognition by graph regularized low-rank sparse representation recovery[J].Neurocomputing,2015,164(C):220-229.

[17] Chen J,Yi Z.Sparse representation for face recognition by discriminative low-rank matrix recovery[J].Journal of Visual Communication and Image Representation,2014,25(5):763-773.

[18] He Lin-zhi,Zhao Jian-min,Zhu Xin-zhong,et al.Face recognition algorithm based on low-rank matrix recovery and collaborative representation[J].Journal of Computer Applications,2015,35(3):779-782.(in Chinese)

[19] Bao B K,Liu G,Xu C,et al.Inductive robust principal component analysis[J].IEEE Transactions on Image Processing,2012,21(8):3794-3800.

[20] Du H,Hu Q,Qiao D,et al.Robust face recognition via low-rank sparse representation-based classification[J].International Journal of Automation and Computing,2015,12(6),579-587.

[21] Lin Z,Liu R,Su Z.Linearized alternating direction method with adaptive penalty for low-rank representation[C]∥Proc of the 2011 Neural Information Processing Systems Conference,2011:612-620.

[22] Lin Z,Chen M,Ma Y.The augmented Lagrange multiplier method for exact recovery of corrupted low-rank matrices[J].arXiv preprint arXiv:1009.5055,2010.

[23] Martinez A M.The AR face database[R].Cerdanyola del Valles:Autonomous University of Barcelona,1998.

[24] Georghiades A S,Belhumeur P N,Kriegman D J.From few to many:Illumination cone models for face recognition under variable lighting and pose[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(6):643-660.

[25] Naseem I,Togneri R,Bennamoun M.Linear regression for face recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(11):2106-2112.

[26] Du Hai-shun, Zhang Xu-dong, et al, Hou Yan-dong.Face recognition method based on low-rank recovery sparse representation classifier[J].Computer Science,2014,41(4):309-313.(in Chinese)

附中文參考文獻：

[12] 胡正平,李靜.基于低秩子空間恢復的聯合稀疏表示人臉識別算法[J].電子學報,2013,41(5):987-991.

[15] 張海新,鄭忠龍,賈泂,等.基于Fisher判別準則的低秩矩陣恢復[J].模式識別與人工智能,2015,28(7):651-656.

[18] 何林知,趙建民,朱信忠,等.基于低秩矩陣恢復與協同表征的人臉識別算法[J].計算機應用,2015,35(3):779-782.

[26] 杜海順,張旭東,侯彥東,等.一種基于低秩恢復稀疏表示分

類器的人臉識別方法[J].計算機科學,2014,41(4):309-313.