使用稀疏約束非負矩陣分解算法的跨年齡人臉識別

杜吉祥，翟傳敏，葉永青

(華僑大學計算機科學與技術學院，福建廈門361021)

人臉識別率通常會受到姿態、光照、表情以及年齡等因素的限制［1］.因此，目前人臉識別的主要工作就是如何消除這些因素給人臉識別性能所造成的影響.然而，與人們對姿態、光照和表情的重視程度相比，人臉外貌的老化因素沒有得到更多的關注.2005年，有關跨年齡段的人臉識別的相關研究表明［2］:1)對人臉老化帶來的形狀和紋理上的變化的模擬是一項富有挑戰性的任務，因為除了生物學因素外，人類的生活方式中還有生存環境也會影響到人臉外貌的變化;2)對人類頭部采取三維掃描可以更好地理解老化對人臉的影響;3)用于研究人臉老化的可用的數據庫不僅數量少，而且還包含一些不可控制的內外部變化因素.因此，老化因素對人臉識別的影響沒有得到廣泛的研究.

人臉外貌的老化是一個極其復雜的過程，它對人臉的形狀和紋理產生生理結構上的變化.近年來，人類感知物理學和計算機視覺領域均提出了不少關于人臉老化的研究方法.Todd等認為生物體的結構模型會因其所受外力的大小和方向的變化而變化，基于該思想他們提出了一種靜水力學模型的方法來刻畫人臉結構的成長［3］.Burt和 Perrett提出了“復合人臉”(composite faces)的概念，通過把復合人臉的差圖信息移植到人臉圖像上的方法來增強變換后人臉圖像的感觀年齡，從而達到模擬老化的目的［4］.Tiddeman等則對該方法進行了擴展，提出了一種新的基于小波的方法構造出更具代表性的“復合人臉”的老化方法［5］.許志維等提出了一種基于原始非負矩陣分解算法的老化方法來預測人臉影像［6］，但該方法沒有考慮稀疏約束這一條件對老化結果的影響.王章野等基于黃種人臉圖像數據庫提出了一種基于人臉外輪廓局部曲率標準差的個性化原型匹配算法，并取得了較好的老化模擬結果［7］.

本文采用改進的原型法來老化一張人臉圖像，該方法主要借助具有稀疏約束的非負矩陣分解算法(non-negative matrix factorization，NMF)，來提取人臉紋理特征，通過實驗觀察系數或基的稀疏度的改變對人臉老化結果的影響;然后將該老化方法應用于人臉識別中，通過生成虛擬樣本以補全各年齡段的樣本;最后分析該老化模擬方法對跨年齡段人臉識別效果的影響.

1 稀疏約束的NMF算法

NMF算法［8］是對非負矩陣的一種線性的、非負的近似數據描述.假設V是一個大小為m×n的圖像矩陣，其中m和n分別表示圖像特征數和樣本的數目，那么經過NMF算法分解后的V矩陣可以表示成式(1):

式中:W為基矩陣，H為系數矩陣，同時r的取值滿足下列不等式:

使用迭代的方法通過最小化‖V－WH‖2來得到W和H:

對NMF算法增加稀疏約束條件意味著分解后的基或者系數矩陣的大部分值為0，僅有少量元素為非零值.給定一個向量X，可以通過式(2)計算其稀疏度:其中S(X)越大，意味著向量越稀疏，反之越稠密.

下面給出具有稀疏約束的NMF的定義［8］:對于給定大小為N×T的非負矩陣V，尋找滿足指定稀疏度的矩陣W(N×M)和H(M×T)，使得式(3)最小化.

式中:W和H的稀疏度滿足:

式中:S(Wi)為基矩陣W第i列向量的稀疏度，S(Hi)為系數矩陣H第i行向量的稀疏度.

2 人臉老化模擬方法

本文采用基于模型參數的原型法進行人臉老化模擬.人臉的老化過程伴隨著形狀和紋理兩方面的變化，因此，對于一張給定的人臉圖像，應從形狀和紋理2個方面分別進行老化模擬.圖1為表征人臉的形狀和紋理特征.在稀疏因子約束下，人臉圖像經NMF算法分解后得到的基圖像更具備局部稀疏性，而人臉的老化特征也是表現在面部的某些局部區域.因此，對于紋理的老化模擬采用稀疏約束的NMF算法提取特征更加合理，而形狀的老化則采用傳統的PCA方法進行特征提取.

圖1 人臉圖像的形狀和紋理Fig.1 Shape and texture for a facial image

2.1 改進的原型法

原型法(prototype method)是眾多老化模擬方法中最常見的方法之一［9］，它通過計算同一年齡值的人臉圖像的均值，來構造代表該年齡段的人臉原型圖像:

式中:Vt和Vc分別是目標年齡和當前年齡下的特征向量，Gt和Gc則分別表示目標年齡和當前年齡下原型圖像的特征向量.

本文采用的是高斯加權所有訓練樣本的方法，而不是選擇指定年齡值的訓練樣本來構造原型圖像.與原型圖像年齡值越接近的樣本，給予的權值就越高.

式中:wi為第i個樣本賦予的權值，高斯函數的均值μ取為原型圖像指定的年齡值，而方差δ通過實驗來選取最佳值.

式中:Gi表示年齡i的特征向量，Mi為第i個訓練樣本的實際模型參數(特征向量).

如果給定的人臉圖像在訓練樣本集中，那么其模型參數為系數矩陣H對應的列向量;否則，可以通過求偽逆的方法來獲取:

式中:pinv(W)為基矩陣W的偽逆，vi為原始人臉圖像，Hi為對應的模型系數.

2.2 實驗結果評價準則

對于各種老化模擬方法得出的人臉圖像，將采用圖像歐式距離法［10］計算模擬圖像與真實圖像之間的距離.2幅圖像X、Y之間的歐式距離被定義為

式中:M、N分別為圖像的行數和列數;對稱矩陣G=(gij)稱為度量矩陣，它表示坐標xi對坐標yj的作用.

2.3 實驗與結果

本文使用塞浦路斯大學的FG-NET aging database人臉圖像庫［11］進行人臉老化模擬實驗，該數據庫包含82個人的911幅圖像.為了比較稀疏矩陣和基矩陣對算法的影響，實驗分為2個部分:1)保持系數矩陣H稀疏，基矩陣W不施加稀疏約束條件，令 H 的稀疏度從{0.1，0.2，…，0.9}取值進行老化模擬;2)保持基矩陣W稀疏，系數矩陣H不施加稀疏約束條件，令 W 的稀疏度從{0.1，0.2，…，0.9}取值進行老化模擬.實驗1)和2)中的數據維數均保持不變.

圖2、圖3和表1的實驗結果表明，稀疏約束的NMF算法具有較強的人臉特征表征能力.從圖2和圖3可以看出，基于稀疏約束的非負矩陣分解算法的人臉老化模擬圖像比基于PCA方法的老化圖像更加接近真實人臉圖像.從表1還可以看出，系數稀疏度的變化對老化結果的影響要小于基稀疏度的變化對老化結果的影響，結合具體老化圖像，最終采用系數稀疏度為0.8時的老化結果作為后續年齡跨度人臉識別的虛擬樣本.

圖2 基于系數H稀疏(稀疏度為0.8)的NMF算法的人臉老化模擬結果Fig.2 Facial aging results based on NMF when H is sparse(sparseness is 0.8)

圖3 人臉老化模擬圖像與真實圖像間的誤差Fig.3 Errors between real images and simulated facial images

表1 模擬圖像與真實圖像的誤差值Table 1 Errors between real images and simulated facial images

3 具有年齡跨度的人臉識別

年齡跨度的人臉識別與普通的人臉識別最大的區別在于測試樣本和訓練樣本的人臉圖像具有不同的年齡取值.實驗數據庫仍然采用FG-NET aging database，該數據庫最大的特點是每個人有不同年齡的人臉照片6～18張，同一個人某一特定年齡的圖像只有1張，因此正好適合于跨年齡段的人臉識別的研究.

3.1 訓練集和測試集的劃分

現有如下假設:

1)數據庫中第i個人記為Pi，共有m個人含有不少于1個年齡跨度值為△A的圖像對，其中△A=1，2，…，10，i=1，2，…，m;

2)數據庫中Pi擁有Ni個年齡跨度值為△A的圖像對{As，ij，Ae，ij}，其中 i=1，2，…，m，j=1，2，…，Ni，Ae，ij=As，ij+ △A;

3)Pi年齡值最小的圖像為Ay，i.按照年齡值排序，Pi包含從 Ay，i到 As，ij的人臉圖像 nij張，其中 i=1，2，…，m，j=1，2，…，Ni.

依據上面假設，某一次實驗的訓練集和測試集可設置為:

測試樣本集 St={Ae，1j，Ae，2j，…，Ae，ij，…，Ae，mj}.

其中:k=1，2，…，100，j=1，2，…，Ni，Sot表示增加老化模擬樣本前的訓練樣本集，Sat表示增加模擬老化樣本后的訓練樣本集，Aa，ij表示老化模擬樣本，其每一行取值由Pi的某一圖像對的As，ij值決定.

對于每一個年齡跨度值△A的實驗，隨機地從Pi(i=1，2，…，m)中選取某一圖像對(共 Ni個圖像對)，并將其決定的樣本序列(Ay，i，…，As，ij)或(Ay，i，…，As，ij，Aa，ij)加入訓練樣本集中.重復進行 100 次，最終對這100次實驗結果取均值，即得出某一個年齡跨度值的人臉識別率.

3.2 實驗結果與分析

人臉的生長一般分成2個階段，18歲以下的青少年時期和18歲以上的成年時期.通過統計，FGNET數據庫共有911張標有68個形狀特征點的人臉圖像，其中有687張圖像年齡介于0～18歲，剩余的224張年齡處于19～35歲.為此，實驗分2步進行，研究對象分別為青少年時期和成年時期的人臉圖像.由于該數據庫與專用的人臉識別數據庫不同，實驗結果采用檢索率代替識別率(采用KNN計算檢索率).

3.2 .1 0 ～18歲的青少年時期

訓練集和測試集的樣本都取自于數據庫中0～18歲的人臉圖像.數據庫中該年齡階段的樣本數據量較多，年齡依次取值1～10歲.分別用PCA方法和稀疏約束的NMF方法提取紋理特征，形狀特征均采用PCA方法，比較加入老化模擬樣本前后的檢索率，實驗結果見圖4和表2.

圖4 0～18歲人臉圖像老化前后的檢索率Fig.4 Retrieving ratios before and after aging for facial images between 0 and 18 years old

從圖4和表2可以看出，不管哪種人臉老化模擬方法，增加老化模擬樣本后，檢索率都有了明顯的提高，尤其是年齡跨度越大，檢索率提升得越多.同時可以看出具有稀疏約束性的NMF方法具有更好的特征提取能力，基于該特征的人臉檢索率明顯好于PCA的結果.另外，從圖4中還可以知道，隨著年齡跨度的增加，具有年齡跨度的人臉圖像檢索率呈現下降趨勢，這進一步表明了青少年時期的人臉形狀的快速成長變化對人臉識別的較大影響.

表2 0～18歲人臉圖像檢索率Table 2 Retrieving ratios for facial images between 0 and 18 years old

3.2 .2 18歲以上的成年人時期

訓練集和測試集的樣本都取自于數據庫中18～35歲的人臉圖像.根據數據庫中該年齡階段樣本的數量分布情況，年齡依次取值為1～9.特征提取方法同青少年時期的實驗一樣，然后比較加入老化模擬樣本前后的檢索率，實驗結果見圖5和表3.

圖5進一步反映出了老化模擬效果對人臉圖像檢索率的影響.與圖4不同的是，18～35歲的成年人臉圖像檢索率比0～18歲青少年的檢索率高出很多，而且隨著年齡跨度的增加，檢索率沒有出現明顯的下滑趨勢.原因可能有以下2點:1)與數據庫樣本數量分布有關，統計表明18歲以下的人臉圖像中，對于任意的1～10歲的年齡跨度，平均有65個人滿足實驗條件進入了訓練集和測試集，而18～35歲的人臉圖像則平均只有26個人滿足實驗條件;2)成年時期人臉形狀和紋理的生長變化對識別的影響不如青少年時期顯著.

圖5 18～35歲人臉圖像老化前后的檢索率Fig.5 Retrieving ratios before and after aging for facial images between 18 and 35 years old

表3 18～35歲人臉圖像檢索率Table 3 Retrieving ratios for facial images between 18 and 35 years old

續表3

4 結束語

本文首先提出了一種基于稀疏非負矩陣分解算法的人臉老化模擬方法，實驗表明了具有稀疏約束的非負矩陣分解算法有較強的特征表達能力，其老化效果要優于傳統的PCA方法.將此老化方法應用于年齡跨度的人臉圖像檢索后，檢索率有了明顯的改善.從實驗結果可以看出，除了光線、姿態、表情外，年齡跨度也是影響人臉識別性能的因素之一，而且青少年時期的人臉生長的影響較大.

然而，特征維度的選取以及稀疏的程度這兩大關鍵因素對老化模擬的結果都有著直接的影響，這也是今后繼續研究的內容.此外，實驗中適當地調整形狀和紋理特征的權重比例對識別率也會造成不同程度上的影響，因此，兩者之間的關系也是值得關注的研究方向.

［1］PHILLIPS P J，SCRUGGS W T，O’TOOLE A J，et al.FRVT 2006 and ICE 2006 large-scale results:Technical Report NISTIR 7408［R］.Gaithersburg，USA:National Institute of Standards and Technology，2007.

［2］RAMANATHAN N，CHELLAPPA R.Face verification across age progression［J］.IEEE Transactions on Image Processing，2006，15(11):3349-3361.

［3］TODD J T，MARK L S，SHAW R E，et al.The perception of human growth［J］.Scientific American，1980，242(2):132-144.

［4］BURT M，PERRETT D.Perception of age in adult Caucasian male faces computer graphic manipulation of shape and colour information［J］.Proceedings of the Royal Society B:Biological Sciences，1995，259(1355):137-143.

［5］TIDDEMAN B，BURT M，PERRETT D.Prototyping and transforming facial texture for perception research［J］.IEEE Computer Graphics and Applications，2001，21(5):42-50.

［6］許志維，張軒庭.基于非負矩陣分解演算法預測未來人臉影像［C］//2005年消費者電子信號處理研討會.［S.l.］，China，2005:1-8.

XU Zhiwei，ZHANG Xuanting.Prediction of future facial image based on NMF algorithm［C］//Proceedings of the 2005 Workshop on Consumer Electronics and Signal Processing(WCEsp2005).［S.l.］，China:2005:1-8.

［7］王章野，曹玫璇，李理，等.基于個性化原型的人臉衰老圖像合成［J］.電子學報，2009，37(4A):118-124.

WANG Zhangye，CAO Meixuan，LI li，et al.Individual prototyping based facial aging image synthesis［J］.Chinese Journal of Electronics，2009，37(4A):118-124.

［8］HOYER P O.Non-negative matrix factorization with sparseness constraints［J］.Journal of Machine Learning Research，2004，5:1457-1469.

［9］JENKINS R，BURTON A M，WHITE D.Face recognition from unconstrained images:progress with prototypes［C］//Proceedings of the 7th International Conference on Automatic Face and Gesture Recognition.Washington，DC，USA:IEEE Computer Society，2006:25-30.

［10］戴歡，吳小俊.基于圖像歐式距離的人臉描述和識別方法［J］.江南大學學報:自然科學版，2009，8(1):20-23.

DAI Huan，WU Xiaojun.Face representation and recognition based on image Euclidean distance［J］.Journal of Jiangnan University:National Science Edition，2009，8(1):20-23.

［11］Face and Gesture Recognition Research Network.FG-Net aging database［EB/OL］.［2011-12-07］.http://www.fgnet.rsunit.com/.