利用判別共同向量方法選取ROI的面部遮擋人臉識別

摘 要： 人臉識別中面部遮擋易影響識別性能，針對該問題提出一種判別共同向量方法。該方法利用DWT對訓練圖像進行預處理，利用DCVA提取特征以確定感興趣區域，計算測試圖像與訓練圖像之間的多流形距離，并利用稀疏重建系數和最近鄰分類器完成識別。在AR及LFW人臉數據庫上的實驗結果表明，該方法的識別率可高達99%，相比其他幾種較新的面部遮擋識別方法取得了更高的識別率，同時減少了識別所耗的時間。

關鍵詞： 面部遮擋； 人臉識別； 判別共同向量方法； 稀疏重建系數； 感興趣區域

中圖分類號： TN911.73?34； TP391.4 文獻標識碼： A 文章編號： 1004?373X（2016）03?0035?04

Face recognition to select covered face of ROI by DCVA

LIU Xiaowei1， HUANG Miao2

（1. Office of Scientific Research， Dongguan University of Technology， Dongguan 523808， China；

2. College of Software， Pingdingshan University， Pingdingshan 467000， China）

Abstract： Since the face covering may influence on the recognition performance in face recognition， a discriminative common vector approach （DCVA） is proposed. The DWT is used to pre?process the training images by the approach， and DCVA is used to extract the feature to determine the region of interest （ROI）. The multi?manifold distance between the testing image and training image is calculated， and then recognized with sparse reconstruction coefficient and nearest neighbor classifier. The experimental results for AR and LFW face database show that the recognition accuracy of the proposed method can reach up to 99%. Compared with other advanced recognition methods， this approach has higher recognition accuracy， and can reduce the recognition time.

Keywords： face covering； face recognition； discriminative common vector approach； sparse reconstruction coefficient； region of interest

0 引 言

人臉識別已在軍事、安全、醫學等領域得到廣泛應用，許多方法在非限制條件下可取得不錯的識別效果[1]。然而，在設計局部特征時容易忽略由太陽鏡、圍巾等引起的人臉特定遮擋，高度非線性和不可預知變化使得人臉識別仍然是一個具有挑戰性的問題[2?3]。

本文通過判別共同向量方法（Discriminative Common Vector Approach，DCVA）引入了一種有效的特征選取方法，將額外信息與DCVA算法進行結合，選取感興趣區域（Region of Interest，ROI）[4]，將識別問題轉化為求解測試圖像與訓練圖像之間的多流形距離問題。所有類別的共同向量均由投影矩陣組成，投影矩陣的列范數決定了像素點的重要性。一些像素點與含有最小范數的列相對應，由于這些像素點的分布對于分類標準來說微不足道，因此將其省略。其他像素點與含有最大范數的列相對應，利用這些像素點構建降維特征向量。實驗結果表明，選取的特征點在識別過程中發揮了重要作用，本文方法明顯提高了分類精度，并減少了識別所耗的時間。

1 相關研究

針對面部遮擋人臉識別問題，學者們提出了許多方法，例如，文獻[5]提出一種概率方法，可為不精確局部化、部分遮擋和表情變化人臉做出補償，為了處理局部遮擋問題，將人臉圖像劃分成局部塊進行分析，提高了識別率。文獻[6?7]利用LBP特征處理遮擋變化，通過使用支持向量機（Support Vector Machine，SVM）為檢測遮擋區域執行一個單獨的訓練過程，可檢測出被遮擋區域中的LBP特征，并將它們從識別階段排除出去。然而，檢測遮擋的訓練模塊需要包含遮擋的訓練數據，這對學習階段未表現出的各類局部變化具有魯棒性是很困難的。這些方法主要側重于局部遮擋并涉及一個專門為檢測和排除遮擋設計的模塊。文獻[8]提出一個合并的相似度度量，使用局部Gabor二值模式（Local Gabor Binary Pattem，LGBP）特征和遮擋的可能性，這些算法可在一定程度上解決面部遮擋人臉識別問題，但是，很難兼顧魯棒性和保持原始圖像的核心信息。文獻[9]提出了DCVA，利用所有特征類含有的共同向量進行人臉識別，提高了面部表情的識別率。為了更好地解決面部遮擋問題，提出了一種基于DCVA的識別方法。

2 辨別共同向量方法

DCVA通過利用類內樣本離散矩陣的和來獲取共同向量，設訓練集由[C]個類構成，包含于[SW]非零特征值的特征向量為[vi，i=1，2，…，C（m-1）]，該特征向量在訓練集中貫穿于所有特征向量的不同子空間。與從屬于0特征值的特征向量[vi，i=C（m-1）+1，…，n]類似，該特征向量在相似的訓練集中將貫穿于所有特征向量的無差異子空間。因此，無差異子空間上的投影矩陣可由特征向量構成，具體過程如下：

無差異子空間上特征向量的投影利用該投影矩陣為每個類生成都有的共同向量[10]，具體過程如下：

構建共同向量的不同子空間，該子空間的正交標準基既能在Gram?Schmidt正交化[11]過程中獲得，也可通過共同向量的離散矩陣獲得。若想使用離散矩陣方法，則必須先計算共同向量的離散矩陣：

式中：[μcom]表示共同向量均值。共同向量不同子空間上的投影矩陣為[W，]利用對應于[Scom]零特征值的特征向量[wi，i=1，2，…，C-1，]可獲得[W=w1，w2，…，wC-1T，]利用最近鄰分類器實現分類，即按照下列準則對[xtest]分類：

式中：[W]表示共同向量不同子空間上的[（C-1）×n]維投影矩陣；[Ωi]表示第[i]類的判別共同向量。

3 提出的方法

3.1 特征提取

利用DWT進行預處理，利用DCVA提取特征，并確定感興趣區域。假設各個像素點的灰度值對識別起不同的作用，根據各個像素點的灰度值，部分特征或像素可從人臉圖像中消除，且消除后不會對識別率產生較大影響。為了實現該想法，使用轉換矩陣或投影矩陣[W，]因為投影矩陣可將初始[n]維訓練數據投影到共同向量的[C-1]維子空間，意味著可由共同向量[Scom]的類內樣本離散矩陣得到投影矩陣[W。]

[W=wT1wT2?wTC-1] （6）

式中：[w]表示當[i=1，2，…，C-1]時的基向量，貫穿于[Scom]的不同子空間；[W]是[（C-1）×n]維的矩陣，它的元素如下：

式（7）中，若將[W]的第[i]列表示為[zi，][zi]是一個[（C-1）×1]維向量，則[W]可用它的列向量表示，即[W=z1z2…zn]。使用[a=a1a2…anT]表示[n]維人臉圖像向量，其中，每一個[ai，i=1，2，…，n]對應于人臉圖像中的像素灰度，表示人臉圖像向量的第[i]個特征。

將[W]與人臉圖像上的對應像素點灰度值相乘：

由式（8），式（9）可以看出，任何人臉圖像向量在共同向量不同子空間上的投影均為[W]的列向量所有像素灰度乘積的總和，即[Wa]中的元素為人臉圖像向量特征[a]的線性組合。

[a]的第[i]個特征[ai]的重要性與[z]的第[i]個列向量有十分密切的聯系。若[zi]中的所有值都為0，則[ai]對被投影的人臉圖像向量發揮不了任何作用，進一步可以消除第[i]個元素或特征。

使用[w1，w2，…，wC-1]和[v1，v2，…，vC-1]表示[Scom]范圍空間的不同標準正交基向量的集合，利用這兩個標準正交基集合分別得到各自的轉換矩陣[W，]可以發現，[W]列向量準則級別的順序沒有發生變化。

由于子空間的基向量集并不惟一，因此，若選取不同的基向量，則會影響特征（或相對應的像素點）的重要級別。因此，雖然構成轉換矩陣[W]的基向量集并不惟一，但是列向量準則級別的順序不會改變[12]。基于這個事實，像素點重要級別不會因為選取不同的基向量集而改變。

3.2 識別

給定一個測試樣本[T，]將其與訓練樣本建模為流形[MT=[xT1，xT2，…，xTt]]，給[MT]分配一個標記[c]：

若不充分利用所有樣本計算流形的距離，則會丟失一部分樣本的信息。

設[yi=WiTMi=[yi1，yi2，…，yit]]和[yT=WiTMT=[yT1，yT2，…，yTt]]是流形[Mi]和[MT]經[Wi]投影后的低維子空間表示形式，流形距離可表示為：

式中：[Sk（yTj）]表示[yTj]在[yi]中的[k]近鄰，圖中[k]值取3，[d（yTj，Sk（yTj））]可通過解決下面的優化問題很容易地得到：

式中：[cs]為近鄰[Ssk（yTj）]對[yTj]的稀疏重建系數[13]，再利用最近鄰分類器進行識別。

4 實 驗

實驗使用LFW[14]和AR[15]人臉數據庫對本文方法進行評估，所有實驗均在擁有3.00 GHz主頻、1 GB內存、Windows XP SP3操作系統的個人PC機上完成，編程環境為Matlab 7.0。

4.1 數據庫

AR數據庫由126個人的正面人臉超過3 200幅彩色圖像組成：70個男性和56個女性，每個人有26幅不同的圖像，對于每個對象，間隔兩周在兩個不同會話采集圖像，每個會話由13幅圖像組成，臉部表情、光照和局部遮擋各有不同。通過預處理，獲得與眼睛位置手動配準的圖像，配準之后，人臉圖像演變，然后調整大小為88[×]64像素，如圖1所示為AR人臉庫上三個對象的樣本圖像示例。

戶外標記人臉（Labeled Face in Wild， LFW）數據集包含大街上光照不受約束的陌生人臉圖像的正面照，遮擋源包括眼鏡、帽子、頭發和放在臉上的手，除了遮擋，這些圖像也包含表情變化和姿勢變化，如圖2所示為LFW人臉庫上的圖像示例。

4.2 識別結果

4.2.1 LFW人臉庫上的識別結果

在LFW人臉庫上選取每個對象不同遮擋源的5個圖像用于訓練，剩下的圖像用于測試，并將其與幾種較為先進的方法進行比較，包括SIFT[2]，KLD?LGBP[8]，S?LNMF[3]和基于特征選擇的LBP（FS?LBP）[7]，各算法的參數設置分別參照各自所在的文獻。識別結果如表1所示。

從表1可以看出，利用各種遮擋源進行訓練，本文方法均取得了最高的識別率，表明本文方法選取的特征點在識別過程中發揮了重要作用。

4.2.2 AR人臉庫上的識別結果

實驗在第一個會話中隨機選擇50個對象的中性和微笑表情（圖1（a）和（d））用于訓練，分類器的圖庫集僅由中性圖像組成，代替使用整個訓練集，將會話1和會話2中的兩類遮擋圖像（圖1（h）和（k））用于測試，將本文方法的識別結果與幾種較為先進的方法進行比較，包括SIFT[2]，KLD?LGBP[8]，S?LNMF[3]和FS?LBP[7]，各方法的參數設置分別參照各自所在的文獻，表2所示為會話1和會話2遮擋圖像的識別率。

從表2可以看出，所有方法都可以看出數據與會話變化的性能退化，本文方法性能退化可能是由于遮擋區域較大以及人臉輪廓有陰影，它們在輪廓分明圖像的人臉識別中對特征具有良好判別能力。然而，本文方法給出的結果較好，尤其對會話1的數據，最優識別率可高達99%，平均識別率可高達92.5%，高出KLD?LGBP和S?LNMF方法2.5%。關于遮擋類型，本文方法、SF?LBP對太陽鏡遮擋能表現出較好的性能，而S?LNMF和KLD?LGBP在圍巾遮擋的情況下給出的性能較好。

4.3 性能比較

實驗記錄了幾種方法在AR庫上的執行時間，包括訓練總完成時間和測試單個樣本所耗時間，如表3所示。

從表3可以看出，相比其他幾種方法，本文方法的訓練時間略高于SIFT及S?LNMF方法，因為SIFT及S?LNMF方法特征分解矩陣的維度是[m×m，]在面部圖像中，面部特征的維度[n]通常遠大于面部樣本的維度[m，]即[m?n，]由于這兩種方法無需對[n×n]維的密度矩陣進行特征分解，所以可以在很大程度上降低訓練階段的計算復雜度。本文方法識別一個樣本所耗時間明顯低于其他方法，通常情況下，訓練過程是離線的，人們更關心在線的識別過程，由此可見本文方法在識別的實時性方面優于其他幾種方法。

5 結 語

針對面部遮擋人臉識別問題，本文提出了一種新穎的特征提取算法，利用共同向量范圍空間的投影矩陣進行特征點的提取，像素點的重要性由投影矩陣列準則決定，人臉圖像中的每個準則對應一個像素。從理論上說明了像素點的重要性不會因為選取的基向量集合而改變。在AR和LFW人臉數據庫上的實驗結果表明，相比其他幾種較新的方法，本文方法不僅提升了識別率，并在一定程度上減少了識別所耗的時間，識別人臉時具有良好的實時性。

人臉識別不僅易受遮擋影響，還會受光照、姿態變化等影響，未來會將本文方法應用于光照、姿態變化人臉數據庫上，如FERET、擴展Yale B等，提高識別魯棒性。

參考文獻

[1] 皋軍，孫長銀，王士同.具有模糊聚類功能的雙向二維無監督特征提取方法[J].自動化學報，2012，38（4）：549?562.

[2] 翟懿奎，甘俊英，李景文.基于彩色信息融合和同倫算法的遮擋魯棒人臉識別方法研究[J].信號處理，2012，27（11）：1762?1768.

[3] 史加榮，焦李成，尚凡華.不完全非負矩陣分解的加速算法[J].電子學報，2011，39（2）：291?295.

[4] YIN Q， TANG X， SUN J. An associate?predict model for face recognition [C]// Proceedings of 2011 IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]： IEEE， 2011： 497?504.

[5] CHEN W， GAO Y. Recognizing partially occluded faces from a single sample per class using string?based matching [C]// Proceedings of 2010 11th European Conference on Computer Vision. Greece： IEEE， 2010： 496?509.

[6] 蘇煜，山世光，陳熙霖，等.基于全局和局部特征集成的人臉識別[J].軟件學報，2010，21（8）：1849?1862.

[7] MIN R， HADID A， DUGELAY J. Improving the recognition of faces occluded by facial accessories [C]// Proceedings of 2011 IEEE International Conference on Automatic Face Gesture Recognition and Workshops. Santa Barbara： IEEE， 2011： 442?447.

[8] ZHANG W， SHAN S， CHEN X， et al. Local gabor binary patterns based on Kullback?Leibler divergence for partially occluded face recognition [J]. IEEE Signal Processing Letters， 2007， 14（11）： 875?878.

[9] KATHIRVALAVAKUMAR T， VASANTHI J J B. Features reduction using wavelet and discriminative common vector and recognizing faces using RBF [J]. International Journal of Computer Applications， 2013， 74（5）： 40?46.

[10] WEN Y. An improved discriminative common vectors and support vector machine based face recognition approach [J]. Expert Systems with Applications， 2012， 39（4）： 4628?4632.

[11] CEVIKALP H. Semi?supervised discriminative common vector method for computer vision applications [J]. Neurocomputing， 2014， 12（9）： 289?297.

[12] YAN H， LU J， ZHOU X， et al. Multi?feature multi?manifold learning for single?sample face recognition [J]. Neurocomputing， 2014， 14（3）： 134?143.

[13] 丁繆，丁曉青，方馳.L_1 約束的三維人臉稀疏重建[J].清華大學學報（自然科學版），2012，52（5）：581?585.

[14] CHAN C H， TAHIR M A， KITTLER J， et al. Multiscale local phase quantization for robust component?based face recognition using kernel fusion of multiple descriptors [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（5）： 1164?1177.

[15] LU C Y， MIN H， GUI J， et al. Face recognition via weighted sparse representation [J]. Journal of Visual Communication and Image Representation， 2013， 24（2）： 111?116.

[16] BISWAS A， GHOSE M K. Expression invariant face recognition using DWT SIFT features [J]. International Journal of Computer Applications， 2014， 92（2）： 30?32.