基于多圖像組信息的人臉識別研究

逯 波，段曉東，王存睿，李澤東

( 大連民族大學 a.大連市民族文化數字技術重點實驗室 b.計算機科學與工程學院，遼寧 大連 116605)

基于多圖像組信息的人臉識別研究

逯 波a,b，段曉東a,b，王存睿a,b，李澤東a,b

( 大連民族大學 a.大連市民族文化數字技術重點實驗室 b.計算機科學與工程學院，遼寧 大連 116605)

提出利用多圖像組信息構建二部學習框架進行人臉識別。首先，利用兩種不同的多圖像組信息源分別學習兩個相應的度量空間模型；其次，將得到的模型合并為一個統一的判別距離度量空間；最后，對所構建的二部學習框架進行范化，使得框架中的多圖像組信息能夠用來進行子空間學習和距離度量學習。通過在多個標準通用數據集上得到實驗結果驗證了所提出方法的有效性。

人臉識別；多圖像組信息；距離度量學習

在人臉識別領域，每一個被試都對應多張人臉圖像，以此改進人臉分類器及學習模型的性能表現，并將每個被試所對應的多張圖像稱之為多圖像組信息。本文針對多圖像組信息主要考慮兩類問題：首先，在已知測試集中獲取具有相同信息的人臉圖像數據，例如，在視頻追蹤檢測過程中進行人臉識別，通常很難在視頻序列中推斷相同的人臉圖像信息；其次，在人臉圖像組信息是已知的前提下，如何找到哪些圖像數據構成了這些組信息的問題，例如，在一個家庭相冊中進行人臉識別時，每個未知家庭成員都對應于一組人臉圖像，但無法確定哪些未知成員的人臉圖像信息構成了組信息。

為了解決上述難題，同時提高在以上兩種場景中人臉識別的性能表現，本文提出利用多圖像組信息構建了一個統一的二部框架，在框架中能夠獨立的在訓練集和測試集中進行距離度量學習，并將結果合并到一個判別距離度量空間中。同時，提出的二部框架具有良好的擴展性，能夠合并任意兩種不同的度量方法，比如子空間學習技術[1-2]和距離度量學習方法[3-4]，此外，這些度量方法在框架中能夠使用有監督和半監督兩種學習方法。

在利用有監督學習模式時，二部框架能夠直接在測試數據集使用組信息來形成約束條件。在利用半監督學習模式時，二部框架能夠使用已知的組信息源代替某些不可用組別信息，這些信息均以無監督的方式進行推斷。基于有監督學習和半監督學習的二部框架可視化描述如圖1，其中分別使用A、B、C、D以及實心圓圈、三角形等圖案代表訓練集和測試集中的數據。在整個二部框架中，可以進行有監督學習和半監督學習，在訓練集和測試集上同時學習兩種距離度量模式。當測試數據集上具有已知的組信息時，距離度量就可以通過組別標簽來進行學習，即保證有監督學習二部度量。當訓練和測試數據集上具有部分未知組信息時，距離度量可以通過無監督模式進行學習，即保證半監督學習二部度量。

圖1 基于有監督學習和半監督學習的二部框架

1 二部學習框架

1.1 二部框架基本理論與方法

文中提出的二部框架，分別使用了兩種不同的距離度量，一種從訓練集學習得到，另一種從測試集學習得到。

給定數據集中任意兩張圖像xi和xj，則距離度量A的形式如下：

(1)

式中，A是半正定距離度量函數，可看作是馬氏距離參數化形式的一種。在式(1)中利用喬里斯基分解WWT替代A，可以得到：

(2)

由于二部框架方法通過使用W代替W1W2的方式，融合了兩種距離度量。因此，二部距離度量可定義為：

(3)

式中，W1和W2分別對應于從訓練集和測試集學習得到的距離度量。通過式(3)可以看出，利用W1將原始的人臉圖片映射到Rd1空間，利用W2映射到Rd2空間。其中由于W2保留了之前的映射信息，所以W2起到更重要的作用。

為了說明在式(3)中W1和W2是如何學習的，文中將在接下來的部分討論W1的學習過程，而W2的學習過程具有相似的步驟。

(4)

(5)

通過式(4)和(5)結合形成目標函數：

(6)

式中，β用來量化兩種類型約束的相關重要性，距離度量A1和W1可以由式(6)得到。對于A1，任意兩個樣例之間的距離可以看作是使用映射矩陣W1所得到的歐氏距離[5]，而W2可以從訓練集中學習得到。因此，通過W1和W2，可以由式(3)得到最終的距離度量A。

1.2 二部框架構建

本節主要介紹二部框架的構建過程，二部框架的主要作用是能夠成為子空間學習和距離度量學習橋接紐帶。在式(3)中，我們可以使用映射矩陣W作為子空間學習，同時，在式(4)中，A1可以被任意的度量用A所取代，從而作為距離度量學習。

針對線性子空間學習算法，其目標可以轉換為以下形式:

(7)

例如，局部保留映射算法(LocalityPreservingProjections,LPP)在式(7)上可增加的約束條件為Id=WTXLTW，而主成分分析(PrincipalComponentAnalysis,PCA)，線性判別分析(LinearDiscriminantanalysis,LDA)等算法在式(7)上可增加約束條件為WTW=Id。

另一方面，針對距離度量方法可以用下面公式表示：

(8)

1.3 二部框架的應用性能

為了整合和改善子空間學習和距離度量學習方法，本文所提出的方法可以用來提供有監督學習或半監督學習的框架。

針對有監督學習的二部框架模式，可以用來處理已知多圖像組信息的人臉識別任務。在這種模式下，測試集中的組信息是已知的，并用來訓練和學習距離度量。通過W1和W2可以分別從測試集或訓練集進行學習，同時W1能夠從數據集中學習更多的信息。在本文實驗中，我們從測試集學習W1，因為有更多的測試圖像。當W1和W2學習完成后，使用二部方法合并這兩種距離度量，同時這種順序映射能夠得到一個單一映射結果，其中包含了來自訓練集和測試集的有用信息。

文獻[6]中也定義了一種合并兩個度量學習的相類似方法，其作法是將局部保留投影和線性判別分析方法進行合并和優化，最終形成一個目標函數。然而，文獻[6]中僅適用了來自于訓練集中的信息，忽略了測試集中的有用信息的利用。此外，本文中的二部方法不需要求解拉普拉斯矩陣，因此，所提出的二部方法具有更好的擴展性，適用于合并和優化大多數方法，并最終歸納為式(7)和(8)。

在性能方面，二部度量W1W2的性能并不弱于W1或W2，當W2為滿秩時，由于沒有對W2進行降維，所以W1W2的性能和W1一樣。如果W2不影響整體性能，則可將W2設置為單位矩陣。此外，二部框架方法可以通過將W1和W2置換為任意的映射矩陣來泛化為一個有監督學習框架，其中的映射矩陣可以通過子空間學習或距離度量學習方法進行學習，如在式(7)和(8)中所提到的。

2 實驗與分析

2.1 數據集

在實驗過程中，我們使用了四個人臉識別數據集，其中包括從Yale人臉數據庫中選取了15名被試，每人對應11張人臉圖片并包含不同的人臉表情；從UMIST人臉數據庫中選取20個人的564張人臉圖像并包括不同的姿勢；從ChokePoint監控錄像數據集[8]中選取80個人的共560張的人臉圖像，包括不同的光照，姿勢，銳度和校準變化；從FG-NET數據集中選取66個被試，每人11張人臉圖像。實驗中所采納的被試者年齡范圍從新生兒到69歲。這些數據集中部分人臉樣例如圖2，其中從第一行到最后一行的圖像分別來自于YALE,UMIST,ChokePoint和FG-NET。

此外，YALE，UMIST和ChokePoint數據集中的圖像已經進行了對齊處理，并且根據眼睛位置進行了裁剪，尺寸為40×40大小，并歸一化灰度值為0255之間。在FG-NET數據集中，每個圖像包括68個標記點，用來描述形狀特征，這些點是通過主動外觀模型(ActiveAppearanceModel,AAM)來進行特征提取的，同時利用主動外觀模型提取458個模型參數來表示每個單獨的個體。

圖2 數據集中的部分圖像樣例

2.2 對比方法

為了驗證本文提出方法的有效性，在實驗過程中，將二部框架方法與下列方法進行了對比。

(1)標準子空間學習方法線性判別分析LDA和局部保留映射LPP；(2)半監督判別分析(Semi-supervisedDiscriminantAnalysis,SDA)[7]；(3)基于圖像集合距離的線性一體式方法(LinearAffineHullBasedImageSetDistance,L-AHISD)[9]，(4)大間隔最近鄰方法(LargeMarginNearest-Neighbour,LMNN)[4]。

2.3 實驗設計

在實驗過程中，每個被試都提供一組人臉圖片。在訓練集中，所有的組信息都帶有被試標簽，在測試集中則不設置此類標簽。實驗的目標是能夠正確識別這些沒有標簽的多圖像組信息。

這些多圖像組信息被直接使用到有監督學習的二部框架以及基于圖像集合距離的線性一體式方法L-AHISD中，在其他的方法中，使用投票方法來識別測試集中無標簽的組圖像信息。

在對測試集中的組信息識別實驗過程中，每個被試被假設有多個圖像相對應。同時，測試集沒有相對應的存在被試的多圖像組信息。我們使用基于半監督學習的二部框架方法解決這類問題，在測試集中使用k近鄰方法構建組信息。而基于圖像集合距離的線性一體式方法L-AHISD并不使用此設置。半監督判別分析SDA和基于半監督學習的二部框架方法同時使用訓練集和測試集；其它所有的方法只使用訓練集進行學習。在訓練過程中，設置t=2，每個被試對應4個樣本進行訓練，t為每個被試對應的訓練樣本數量；剩余的樣本用于測試。

2.4 實驗結果

各個方法進行對比時的平均識別率和標準差見表1-2。其中，表1對應于未知多圖像組信息的人臉識別，表2對應于已知多圖像組信息的人臉識別。為了便于闡述實驗結果，將使用的數據集分別表示為YALE、UMIST、ChokePoint、FG-NET。將本文提出的方法和對比方法分別表示為有監督二部度量(半監督二部度量)、LMNN、L-AHISD、LDA、SDA和LPP。此外，在表1和表2中，t是每個被試對應的訓練樣本數量，括號中的數字是最終映射空間中的維度。

在未知多圖像組信息的人臉識別的實驗中，根據表1可觀察到，半監督二部度量的結果最好，然后是LMNN，如公式(8)，這兩種方法有著相似的目標函數。然而，對于不相似的人臉圖像，半監督二部度量有著更強的約束，同時在測試集中也利用了判別信息。而LDA，SDA和LPP在低維子空間也可得到相似的結果，但是識別率不準確。

在已知多圖像組信息的人臉識別實驗中，根據表2可觀察到，只使用多圖組識別信息進行投票，有監督二部度量和L-AHISD比其他方法取得更好的性能。同時，有監督二部度量通過使用訓練集和測試集信息，在大多數數據集上的準確率要優于L-AHISD。

當有更多訓練集時，所有方法的性能都有所提高，例如，表1和表2中t=4時。然而，在我們實驗設計中，如果有更多的訓練集則意味著有更少的測試集。因此，當訓練集稀缺時，二部框架使用測試集來增強學習到的映射，而二部框架方法和其他方法則期望于使用更高的t取值來縮小兩者之間的性能差距。

表1 未知多圖像組信息的人臉識別

表2 已知多圖像組信息的人臉識別

3 結 論

本文針對使用多圖像組信息的兩類常見問題，提出了利用多圖像組信息構建二部學習框架進行人臉識別任務。在構建二部學習框架過程中，利用兩種不同的多圖像組信息源分別學習兩個相應的度量空間模型，將得到的模型合并為一個統一的判別距離度量空間。對所構建的二部學習框架進行統一規范化，使得框架中的多圖像組信息能夠用來同時進行子空間學習和距離度量學習。通過在多個數據集上與其他方法進行比較，驗證了本文所提出的方法在進行人臉識別時具有更好的性能表現。

[1]HEX，NIYOGIP.Localitypreservingprojections[C].ProceedingsofNIPS,Canada, 2003：153-160 .

[2]ZHANGT,TAOD,YANGJ.Discriminativelocalityalignment[C].ProceedingsofECCV,France, 2008：725-738.

[3]XINGE，AN，etal.Distancemetriclearningwithapplicationtoclusteringwithside-information[C].ProceedingsofNIPS,Canada, 2002：505-512.

[4]WEINBERGERK，SAULL.Distancemetriclearningforlargemarginnearestneighborclassification[J].JournalofMachineLearningResearch, 2009(10):207-244.

[5]ROWEISST，SAULLK.Nonlineardimensionalityreductionbylocallylinearembedding[J].Science, 2000，290(5500):2323-2326.

[6]SUGIYAMAM.Dimensionalityreductionofmultimodallabeleddatabylocalfisherdiscriminantanalysis[J].JournalofMachineLearningResearch, 2007(8):1027-1061.

[7]CAID,HEX,JHan.Semi-superviseddiscriminantanalysis[C].ProceedingsofICCV,Brazil, 2007：1-7.[8]WONGY，SC，etal.Patch-basedprobabilisticimagequalityassessmentforfaceselectionandimprovedvideo-basedfacerecognition[C].ProceedingsofCVPRWorkshop,USA, 2011：74-81.

[9]CEVIKALPH，TRIGGSB.Facerecognitionbasedonimagesets[C].ProceedingsofCVPR,USA, 2010：2567-2573.

(責任編輯 鄒永紅)

Face Recognition based on Group Information of Multiple Images

LU Bo, DUAN Xiao-dong, WANG Cun-rui, LI Ze-dong

(Key Lab of Dalian Nationalities Culture and Digital Technology,School of Computer Science and Engineering, Dalian Minzu University, Dalian Liaoning 116605, China)

In this paper, we propose a bipart framework to take advantage of group information of multiple images of each subject in the testing set as well as in the training set. Two different sources of group information of multiple images which are utilized to learn two metric space models independently are combined to form a unified discriminative distance space. Furthermore, the bipart framework is generalized to allow both subspace learning and distance metric learning methods to take advantage of this group information. The proposed framework is evaluated on the face recognition problem using several benchmark datasets, which demonstrates the validity.

face recognition; group information of multiple images; distance metric learning

2016-11-21；最后

2016-12-21

國家自然科學基金項目(61672132，61602085，61370146)；遼寧省科技計劃項目(2013405003)；中央高校基本科研業務費專項資金資助項目(201501030401, 201502030203)。

逯波(1982-)，男，內蒙古赤峰人，講師，博士，主要從事多媒體檢索領域研究。

段曉東(1963-)，男，吉林遼源人，教授，博士，主要從事民族人臉識別領域研究，E-mail：duanxd@dlnu.edu.cn

2096-1383(2017)01-0071-04

TP391

A