基于加權協同表示的人臉識別方法

楊章靜，王鏡宇，黃 璞，張凡龍

(1.南京審計大學 信息工程學院，江蘇 南京 211815；2.南京審計大學 江蘇省審計信息工程重點實驗室，江蘇 南京 211815)

0 引 言

過去幾十年，研究者提出了諸多的人臉識別方法[1]，其中基于表示學習的分類方法被提出并廣泛應用于人臉識別。常見的分類器有稀疏表示分類器(sparse representation based classification，SRC)、線性回歸分類器(linear regression based classification，LRC)、協同表示分類器(collaborative representation classification，CRC)。近些年，基于上述方法，研究者提出多種改進方法，并廣泛應用于圖像分類。如KCRC[2]、TCRC[3]、CCRC[4]、WDCCR[5]、Pro-CRC[6]、Bags CRC[7]均在圖像分類時取得較好的效果。

通過研究上述基礎分類和改進算法后，發現SRC在求解最優化問題時，需要基于L1范數，求解過程較為復雜，所耗費時間較長。LRC是假定待識別圖像可由某類樣本線性表示而成，其特征表達能力與每類樣本的數目相關。CRC在利用全體訓練圖像線性表示待識別圖像時，也沒有考慮不同類別樣本之間的差異性，導致特征表達能力較弱，識別能力同樣受到影響。

針對以上問題，本文將待識別圖像線性表示成全體訓練圖像的線性組合，同時將待識別圖像與每類樣本的距離信息作為先驗信息引入到特征表示函數中，提出了加權協同表示(weighted collaborative representation classification，WCRC)，在Yale B、CMU PIE及AR人臉庫上的實驗結果表明，WCRC較其它算法取得了更好的識別效果。

1 協同表示分類器

首先假設每幅圖像的大小為w×h， 訓練樣本來自c個圖像類，每類的樣本數量為n0， 訓練樣本表示為xi∈D， 其中D=w×h， 訓練集樣本表示為X=[x1,x2……xn]， 將待識別樣本表示為y， 其中n表示人臉圖像訓練樣本數n=n0×c。

根據協同表示分類器的思想，待識別樣本可以表示為全體樣本的線性組合

(1)

目標函數如下

(2)

式中：w=[w11,w12,…,w21,…wcn0]T∈n×1為線性重構系數，wab表示第a類的第b個樣本的表示系數。使用最小二乘法來求解w，其中λ為正則項參數

(3)

利用拉格朗日乘子法求解并化簡目標函數如下

(4)

式中：P=(XTX+λ·I)XT， 每個樣本的重構系數殘差為

(5)

待測試樣本歸類為第k類

γk=argminiγk

(6)

2 加權協同表示分類器

CRC使用全體訓練樣本作為字典集協同表示待識別樣本，將所有訓練樣本不加區別地利用，該算法沒有考慮到樣本間的區別性，同時算法引入了正則項系數，使得識別率不穩定，對含有遮擋的數據缺乏魯棒性。受CRC啟發，將待測試樣本與訓練樣本間的距離作為權重引入到協同表示過程中，提出了基于加權的協同表示方法。

2.1 算法思想

通過研究協同表示的多個改進算法[3-7]和稀疏表示原理[8,9]后，發現對協作表示系數的約束和加權是增強模型表示能力的簡單而有效的方法，通過引入權重增強樣本間區別性[10-13]。為克服正則項參數敏感問題，使用Bootstrap抽樣生成不同的樣本集，采用多分類器投票產生結果[14]，文獻[6,7]從增強樣本間的競爭角度出發，利用樣本的區別性提高識別率。為了增加樣本間差異性，同時減少正則項參數對結果的影響，加強模型對各種數據的魯棒性，提出基于加權的協同表示算法。算法首先對數據進行特征提取(PCA、LDA、LPP)；然后利用最小二乘法求解表示系數，并基于L2范數求解最優化問題，將距離作為先驗信息引入到目標函數構造中，使得模型表征能力增強；最后根據待識別圖像與每類訓練圖像的重構殘差大小判斷待識別圖像的類別。

考慮到類別間的區別度，通過引入距離作為權重的有效性驗證，根據樣本與類別間的距離遠近來弱化或增強對應類別在協同表示中的權重，假設待測試樣本y∈Xi， 其它樣本Xo， 目標函數可寫成

(7)

當di增加，do減小時，Xi在回歸中所占比重增加，Xo所占比重減小，導致Wi能以更小的變化，Wo需要更大的變化對協同表示結果產生影響，使得最后協同表示的結果更偏向于在距離上較近的分類。以Yale B數據庫為例，對比WCRC與CRC在同一類待識別樣本隨訓練樣本數目遞增情況下的平均重構殘差，計算公式如下

(8)

式中：y為待識別樣本，X為訓練樣本，W為重構系數，如圖1所示。

圖1 待測試樣本在CRC和WCRC算法下的重構殘差

由圖1可知，WCRC重構殘差整體保持在CRC的下方，隨著訓練樣本數增加，其對圖像的表示能力逐漸接近。因此引入距離作為加權可以明顯增強模型的表示能力，使得重構后的圖像與待測試圖像之間的殘差更小，可見將距離作為先驗信息可以增強模型的表示能力。

為了進一步驗證引入距離信息作為權重對分類結果有效，根據文獻[5]引入相似系數

Similar Corr(y,XiWi)=yTXiWi

(9)

式中：y為待識別圖像，Xi為第i類的訓練圖像，Wi為第i類的表示系數，待測試圖像與某一類線性表示結果越相似，則相似系數越大。以Yale B數據庫為例，圖2(a)、圖2(b)展示了CRC與WCRC對某類樣本的平均重構殘差和相似系數，其中實線代表重構殘差，虛線代表相似系數。

圖2 樣本在CRC和WCRC算法下的重構殘差和相似系數

從圖2中可以看出相似系數和重構殘差成反比關系，Gou等指出錯誤分類往往是由于錯誤類與正確類存在較大相關性所致[5]，對于這種問題解決辦法是增強類別間的競爭性，因此可通過引入樣本間的先驗信息，進而增強類別間的競爭性，從而使得正確類別能在協同表示中更具優勢。圖2(c)展示了CRC與WCRC對某類樣本的重構殘差對比情況，其中正三角代表CRC中錯誤的類別重構殘差，倒三角代表正確類別的重構殘差，圓形代表WCRC中錯誤類別的重構殘差，方形代表正確類別的重構殘差，從圖2(a)～圖2(c)可以看出WCRC算法在略微增加正確類別重構殘差的情況下，大幅增加錯誤類別的重構殘差，同時使正確類別的相似系數更大，增強了類別間的競爭性。圖2(d)展示了將不同類按距離從近到遠排序后，對某樣本不同類所占的重構系數比重。星形代表CRC的重構系數權重，圓形代表WCRC的重構系數權重，由圖2可知，引入距離作為先驗信息可以顯著增強協同表示下不同類的差異性，使距離較近的類樣本在重構系數中的權重增強，提高模型的協同表示能力，提高了最終識別率。

2.2 算法描述

設每幅圖像的大小為w×h， 訓練樣本來自c個圖像類，每類的樣本數量為n0，將訓練樣本表示為xi∈D， 其中D=w×h， 將訓練集樣本表示為X=[x1,x2,…,xn]， 將待識別樣本表示為y，其中n表示人臉圖像訓練樣本數n=n0×c。

(1)令di表示待識別樣本y與第i類樣本距離，則di計算式為

(10)

(2)令W=[w1,w2,…,w3]T∈Rn×1表示線性組合系數向量，其中wi表示訓練樣本xi對重構y的表示系數。根據樣本類別，可將W表示為W=[W1,W2,…,Wc]T∈Rn×1。 結合待識別樣本與每類樣本之間的距離信息，對于待識別樣本y可由全體訓練樣本協同表示為

(11)

式中：Λ為對角矩陣，對角線上的元素Xi(i=1,2,…,c) 為第i類樣本的集合且Xi=[X1,X2,…,Xc]。

(3)根據最小二乘法，線性重構向量W可通過求解以下目標函數獲得

(12)

式中：ε>0表示重構殘差。

(13)

求W偏導數，并將其設置為0，進一步化簡可得

(14)

式中：I∈Rn×n為單位矩陣。

(5)構造待識別樣本的類標判別規則，判斷待識別樣本類別，待識別樣本y與第i類樣本的重構殘差為

(15)

γk=argminiγi(i=1,2,…,c)

(16)

則可將待識別樣本y歸為第k類。

3 實驗結果與分析

本章節通過實驗驗證WCRC算法的有效性和可靠性，主要采用識別率作為評判標準驗證算法性能，對比算法有NNC、SRC、MDC、LRC、CRC。在Yale B、CMU PIE人臉庫上分別設置5組和3組實驗，用于檢驗WCRC對于不同光照條件和表情變化的分類性能；在CMU PIE人臉庫上設置1組運行時間對照實驗；在AR人臉庫上設置4組實驗，用于檢驗WCRC對于大幅表情變化的分類性能；同時設置2組關于正則項參數的實驗來檢驗正則項對WCRC識別率的影響。所有實驗均在MATLAB(2020a)環境下運行。

3.1 Yale B數據庫實驗

Yale B人臉庫包含38人的64種不同姿態和光照條件下的2432幅圖像，其中的姿態和光照變化圖像都在嚴格控制條件下采集的，Yale B數據庫上的部分人臉圖像如圖3所示。

圖3 Yale B數據庫上的部分人臉圖像

實驗時按順序選取前l(=8,12,16,20,24) 個樣本作為訓練樣本，剩余的作為測試樣本。所有樣本歸一化處理后，統一經過PCA降維處理，特征維數取值從80到150間隔為10，SRC、CRC和WCRC中的參數λ=0.01。實驗結果如圖4(a)～圖4(e)所示，表1為Yale B數據庫上幾種方法取得的最高準確率。

由表1可知，在大部分情況下，WCRC識別率都高于其它算法，且在訓練樣本較少時，相較于SRC與LRC，算法優勢明顯，證明了協同表示的有效性；相較于CRC，識別率也有一定幅度的提升。WCRC引入距離作為先驗信息增強模型的特征表示能力，有效地提高了識別率，算法識別性能隨樣本數和維數提升穩定，說明WCRC對于不同光照條件下的人臉具有較好的分類和表示能力。

3.2 CMU PIE數據庫實驗

CMU PIE人臉庫C29部分包含68人，每人24幅，共1632幅圖像，均為像素的灰度圖片，CMU PIE數據庫上的部分人臉圖像如圖5所示。

實驗選取前l(=4,6,8) 個樣本作為訓練集，剩余的訓練樣本作為測試集。所有樣本歸一化處理后，統一經過PCA降維處理，特征維數取值從80到150間隔為10，SRC、CRC和WCRC中的參數λ=0.01。實驗結果如圖6(a)～圖6(c)所示，表2、表3分別顯示CMU PIE數據庫上各算法的最高識別率及耗時。

CMU PIE數據庫的人臉圖像有強烈的明暗對比，且有一定的偏轉角度，WCRC在以上各種情況下都取得了較高的識別率，在l=8時識別率相較于CRC算法顯著增加。由表2可知，LRC和SRC的識別率依賴于樣本數量，這進一步說明在訓練數據較少情況下協同表示的有效性，以及WCRC在不同光照條件下的魯棒性。由表3可知，由于WCRC基于L2范數求解，相較于SRC，其運行時間大幅減少，但由于增加了測試樣本與訓練樣本的距離運算，所以相較于CRC運算稍慢。

3.3 AR數據庫實驗

AR人臉庫有3276幅圖像，包含126人，包含不同表情、光照、角度、遮擋等情況，每人26張，分兩部分，前后各13張，間隔14天采集。實驗中的圖像經過預處理采用不含遮擋的數據庫，一共120個類別，每個類別14幅圖像，一共1680個樣本，AR數據庫上的部分人臉圖像如圖7 所示。

實驗時選取前l(=3,5,7,9) 幅圖像作為訓練樣本，剩余的作為測試樣本，所有樣本經過歸一化處理后，特征維數取值從80到150間隔為10，SRC、CRC和WCRC中的參數λ=0.01，實驗結果如圖8(a)～圖8(d)所示，表4為AR數據庫上幾種方法的實驗對比結果。

由表4可知，WCRC表現出較好的分類性能，在各個訓練樣本數下，均取得最高識別率；并且在維數和樣本數較低時，相較于其它分類算法優勢明顯，且在l=5時，識別率相較于CRC算法顯著增加，可見WCRC算法對于表情變化具有較強的魯棒性。

3.4 圖像遮擋實驗

本節主要探究WCRC算法在圖像存在遮擋時的有效性以及含有遮擋數據的魯棒性。實驗以AR人臉數據庫中無遮

圖4 Yale B數據庫上各算法在不同訓練樣本數下識別率變化情況

表1 Yale B數據庫上WCRC與其它算法識別率比較/%

圖5 CMU PIE數據庫上的部分人臉圖像

圖6 CMU PIE數據庫上各算法在不同訓練樣本數下識別率變化情況

表2 CMU PIE數據庫上WCRC與其它算法 識別率比較/%

表3 CMU PIE數據庫上各算法耗時比較/s

圖7 AR數據庫上的部分人臉圖像

表4 AR數據庫上WCRC與其它算法識別率比較/%

圖8 AR數據庫上各算法在不同訓練樣本數下識別率變化情況

圖9 AR數據集上的遮擋圖像

擋的前l(=14)幅圖像作為訓練樣本，將含遮擋的圖像按遮擋類型分兩部分，作為兩組測試樣本。所有圖像均經過歸一化后使用PCA提取特征并保留特征維數到150，數據集上的遮擋圖像如圖9所示，包含墨鏡和圍巾兩部分，實驗結果如圖10所示。

由圖10(a)可知，在墨鏡遮擋情況下所有算法均取得了相似的識別效果，且都保持在90%以上；由圖10(b)可知，在圍巾遮擋情況下體現了協同表示算法的有效性，SRC、LRC、NNC的識別率均在40%以下，協同表示算法的識別率均在45%以上。其中WCRC算法相較于CRC算法表現出更魯棒和有效的結果。究其原因，墨鏡對人臉保留了絕大部分特征，所以識別率沒有受到太大影響。對于圍巾遮擋情況，由于嘴部及臉部的灰度輪廓是重要的識別特征[15]，被遮擋后導致大部分特征丟失，無法有效辨別正確的類，所以識別率較低。WCRC引入了距離作為權重系數，增強了類別間的區別度，一定程度上強化了部分特征，所以取得了更好的分類性能，使得算法對含有存在遮擋的數據更具有魯棒性。

3.5 正則項參數實驗

本節主要探究所提算法選取不同的正則項參數對于識別率的影響，實驗以AR數據庫在訓練樣本數為9時舉例，具體設置兩組實驗，第1組按順序選取樣本，正則項參數λ從0到10之間等間距取50個值；第2組實驗隨機選取訓練樣本，剩余的樣本作為測試樣本，正則項參數λ從0到1之間等間距取20個值，實驗結果如圖11所示。

由圖11(a)可知，隨著正則項增加，識別率先升后降，在λ=0時CRC與WCRC均失效。CRC與WCRC均在λ=0.02附近取得最高識別率。相較于CRC，WCRC隨著正則項增加，識別率衰減較緩慢；由圖11(b)可知在隨機選擇訓練樣本和測試樣本情況下，λ取值在10-5到1之間時，WCRC識別率保持穩定，且識別率在不同樣本下具有相同的變化趨勢，這表明WCRC對于不同數據的選擇具有魯棒性。

3.6 實驗結果分析

根據實驗結果，可得結論如下：

(1)在訓練數據較少時，協同表示算法利用全部訓練樣本作為字典集表示待識別樣本，算法識別率較高。WCRC引入距離信息作為權重構造目標函數，增加了類別間的區分度，提高了正確分類的概率，使得引入距離作為先驗信息，有效提高了算法的準確率。在CMU PIE數據庫上的訓練樣本從l=6到l=8和在AR數據庫上的訓練樣本從l=3到l=5，相比CRC，WCRC識別率有了大幅提高，隨后與CRC相近，這是由于WCRC隨著訓練樣本數增加，樣本內均值更具代表性，引入距離作為權重，使得WCRC在較少樣本數時便能取得高識別率，隨后樣本繼續增加，樣本的內均值趨于穩定，識別率變化相對較小。

圖10 圖像遮擋情況下識別率變化情況

圖11 識別率隨正則項參數變化情況

(2)WCRC進一步優化SRC的L1范數求解，采用L2范數作為約束條件，所以相較于SRC，算法復雜度大幅降低，求解過程簡單，計算速度較快。由于增加了對于樣本間距離信息的處理，需要計算待識別樣本與其它測試樣本間的距離，所以相較于CRC，有一定的復雜度提升，耗時稍長。

(3)對比其它算法，WCRC對含有遮擋的數據具有更強的辨別能力。由于考慮到樣本間的距離信息，使得算法對于結果更傾向于選擇距離較近圖像的特征，從而增強了算法對含有遮擋數據集的識別率。

(4)對于算法中可調節正則項參數λ，其取值對算法識別率有一定的影響。但WCRC引入距離作為權重信息參與目標函數的構建，使得目標函數中λ作用相對減弱，WCRC對正則項參數的取值相對不那么敏感。

(5)WCRC在CRC基礎上提出，由上述實驗結果可知，在3種人臉庫上，相較于CRC，WCRC取得較好的識別效果，這主要是由于WCRC考慮了樣本間的距離信息。

(6)由表1、表2、表4可知，WCRC在3種人臉庫上，相較于其它算法，均取得了較好的識別效果，這進一步驗證了所提算法的有效性。

4 結束語

針對SRC和CRC在處理人臉識別時存在的缺陷，提出基于加權協同表示的人臉識別方法(WCRC)。WCRC利用樣本間的距離作為先驗信息引入到目標函數中，突出了樣本之間的區別度，使得模型的協同表示能力和識別能力增強，同時算法采用L2范數作為稀疏解的約束條件，放寬了重構系數的稀疏性要求，在面對人臉圖像的光照、表情、姿態等變化時，算法特征表達能力較強，在降低算法復雜度同時，均可取得較好的人臉識別效果。

在實驗時發現不同的預處理方法會影響最終識別的結果，究其原因是不同處理方法會導致類別間的距離發生一定程度上的改變，因此如何進一步優化預處理，尋找一種穩定、有效的類別間距離表示方式是接下來研究和優化的主要工作。