一種基于人臉對(duì)稱性的人臉圖像生成方法

孫晨暉

摘要 生成虛擬人臉樣本是提高小樣本人臉識(shí)別性能的一個(gè)重要方式。但是虛擬人臉樣本可能存在的失真、降低識(shí)別精度。為了克服這一缺點(diǎn)，本文提出了一種局部近似對(duì)稱人臉圖像生成方法。我們用虛擬的半邊臉以取代原始的半邊臉，合成一張人臉。該方法既利用虛擬人臉，又利用原始人臉生成基于對(duì)稱性的合成人臉。因此，合成的面部接近于原來(lái)的面部。實(shí)驗(yàn)結(jié)果表明，該方法提高了人臉識(shí)別的準(zhǔn)確率。

[關(guān)鍵詞]虛擬樣本 人臉識(shí)別 半邊臉 合成人臉

在小樣本人臉識(shí)別領(lǐng)域，困難主要來(lái)自人臉樣本不足，并且人臉姿勢(shì)不同，面部表情的差異和光照的不均衡，這些都會(huì)導(dǎo)致識(shí)別率的降低。為了克服這些困難，獲得更多的虛擬人臉樣本是提高人臉識(shí)別率的重要途徑。近年來(lái)，研究者發(fā)現(xiàn)，例如，對(duì)稱的人臉圖像有利于克服光照問(wèn)題和人臉姿勢(shì)不同導(dǎo)致的影響。還發(fā)現(xiàn)，一些生成虛擬人臉樣本的簡(jiǎn)單方法也可以提高人臉識(shí)別精度。例如，兩個(gè)原始人臉圖像的平均值可以用作虛擬面部樣本。由于人臉近似對(duì)稱，所以用半邊臉來(lái)生成整個(gè)虛擬人臉也是可行的。

人臉是近似對(duì)稱的結(jié)構(gòu)。這啟發(fā)我們提出一種構(gòu)造近似對(duì)稱人臉的新方法。采用人臉對(duì)稱結(jié)構(gòu)，己被證明是在人臉檢測(cè)的一種有效方法。面部的對(duì)稱性也適用于其他問(wèn)題，如陰影分析。對(duì)于人臉識(shí)別，如果人臉圖像完全是軸對(duì)稱圖像，則只需要人臉的一半進(jìn)行人臉?lè)诸悺５四槇D像是不完全對(duì)稱的，所以我們的方法也借鑒了論文中的方法來(lái)提高人臉的對(duì)稱性。

由于最近鄰分類器對(duì)模式分類有很好的精度，本文將其用于人臉識(shí)別。我們知道，最近鄰分類器的性能較好，可以使我們獲得令人滿意的性能，并且它是非常簡(jiǎn)單和容易實(shí)現(xiàn)。在本文中，我們?cè)噲D產(chǎn)生和利用合理的虛擬訓(xùn)練樣本，以更準(zhǔn)確地識(shí)別人臉。合理的虛擬樣本不僅能正確地模擬人臉的姿態(tài)、表情等變化，而且有助于提高識(shí)別精度。

1 局部近似對(duì)稱人臉圖像生成方法

為了方便描述，我們用b1，1，b1，2，b2，1和b2，2分別表示原始圖像的左上角、左下角、右上角和右下角部分。所有這些都被重新排列為列向量。獲得四個(gè)向量的步驟如下。

讓T代表一個(gè)原始的人臉圖像。圖像1有j列。讓Tu，j（j=1，2，…，J）和Td，j（j=1，2，…，J）分別表示圖像T的上部和下部。假設(shè)J是一個(gè)偶數(shù)，我們有如下公式：

為了便于理解該方法，圖1給出了實(shí)現(xiàn)上述過(guò)程的一個(gè)簡(jiǎn)單示例。我們將人臉圖像分成四個(gè)塊，每個(gè)塊用一列向量表示。

利用梯度下降算法，使左右臉進(jìn)行迭代，使b1，1，b2，1近似相等，b1，2，b2，2近似相等。迭代函數(shù)g（m）如下定義：mn+1=mn-pVg（mn） （2）

這里p是學(xué)習(xí)率，mn+l，mn分別是m在n+l次迭代和n次迭代中的值。梯度下降算法可以快速獲得函數(shù)g（m）的最小值和相應(yīng)的最優(yōu)m值。

首先，基于b1，1、b2，1，我們定義了一個(gè)目標(biāo)函數(shù)如下：

B是一個(gè)正的常數(shù)，n是迭代次數(shù)。p隨著n的增大減小。這個(gè)解容易收斂。

獲取b1，1和b2，1向量后，合成臉的半邊臉是通過(guò)b1，1和b2，1拼接起來(lái)的。同樣的，我們獲得b1，2，b2，2。方法的步驟如下：

第一步：將原始人臉圖像分割成左上、左下、右上、右下臉圖像，并反轉(zhuǎn)右上臉和右下臉，如圖2所示，我們得到b1，1，b1，2，b2，1，b2，2。的初始值。

第二步：我們通過(guò)方程式（4）提出的梯度下降算法，迭代更新b1，1和b2，1。迭代終止需要滿足兩個(gè)條件之一：（i）迭代次數(shù)大于預(yù)定義值;表示b1，1經(jīng)過(guò)n次迭代的值。￡是一個(gè)小的正常數(shù)。b1，l和b2，1迭代的流程如圖3。

第三步：我們用類似的方式獲得b1，2，b2，2。然后我們能得到用b1，1和b1，2合成的左半邊臉圖像。用b2，1和b2，2得到合成的右半邊臉圖像。

第四步：利用合成的左臉和右臉原來(lái)獲得的虛擬人臉圖像還是原來(lái)的左臉和右臉合成得到的虛擬人臉圖像。

第五步：我們使用一個(gè)算法來(lái)證明我們的方法的優(yōu)點(diǎn)。

本文利用最近鄰分類器，證明該方法在人臉識(shí)別中的優(yōu)越性。

2 分析提出的方法

這一節(jié)，我們描述方法優(yōu)點(diǎn)。首先，它很容易從原始人臉圖像中生成對(duì)稱的虛擬人臉圖像。這不僅可以減少人臉不同姿態(tài)和光照對(duì)人臉識(shí)別的影響，且可以使人臉圖像的幾何形狀與真實(shí)人臉更一致。其次，該方法簡(jiǎn)單。它以較低的計(jì)算成本產(chǎn)生近似對(duì)稱的人臉圖像。第三，最重要的步驟是使用虛擬人臉和原始人臉，合成的人臉更接近原始人臉。圖4中的兩組面孔給我們一個(gè)清晰的對(duì)比。左邊的列是原始圖像，右邊的列是合成圖像。

我們用的原始人臉圖像是從YaleB人臉數(shù)據(jù)庫(kù)中選取。從圖中，我們看到，我們的方法可以很好的緩解光照失衡產(chǎn)生的負(fù)面效應(yīng)，獲得良好光線的虛擬人臉圖像。

3 實(shí)驗(yàn)

為了驗(yàn)證我們的方法，我們?cè)贏R和NIR人臉數(shù)據(jù)庫(kù)進(jìn)行實(shí)驗(yàn)。 （i） AR人臉數(shù)據(jù)庫(kù)包含126人，超過(guò)4000張彩色圖像。在文中，我們選擇AR人臉數(shù)據(jù)庫(kù)中的120人，并從每人中選出26幅圖像，共3120幅圖像。人臉圖像有不同的姿勢(shì)、光照和表情。（ii） NIR人臉數(shù)據(jù)庫(kù)有400幅100個(gè)人的圖像，每個(gè)人在不同的照明條件和各種面部表情下提供4幅不同的圖像。（iii）從YaleB人臉數(shù)據(jù)庫(kù)中選取15人，每人32張人臉圖像，共480張人臉圖像。由于我們的方法使用了虛擬人臉和原始人臉，合成的人臉?lè)浅＝咏既四槨?shí)驗(yàn)如下。

3.1 實(shí)驗(yàn)1

在AR和NIR人臉數(shù)據(jù)庫(kù)進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)中，合成的人臉由原始人臉的右臉和虛擬人臉的的左臉組成。在AR數(shù)據(jù)庫(kù)中，分別選取每個(gè)人的1，2，3，4，5個(gè)原始人臉圖像作為分別作為原始訓(xùn)練樣本，其他是測(cè)試樣本。在NIR數(shù)據(jù)庫(kù)中，分別選取每人2個(gè)和3個(gè)原始人臉圖像，作為原始訓(xùn)練樣本，其余為測(cè)試樣本。表1和2分別顯示了在AR數(shù)據(jù)庫(kù)和NIR數(shù)據(jù)庫(kù)的實(shí)驗(yàn)結(jié)果。

通過(guò)觀察，我們的方法比論文[14]中的方法有更高的識(shí)別率。將兩種方法做對(duì)比，在AR數(shù)據(jù)庫(kù)中，當(dāng)訓(xùn)練樣本數(shù)為4時(shí)，最低精度分別為54.02%和50.95%。在NIR數(shù)據(jù)庫(kù)中，訓(xùn)練樣本數(shù)為3時(shí)，我們方法的最高準(zhǔn)確率是91%，而原論文是87%。實(shí)驗(yàn)表明，我們的方法更優(yōu)。因?yàn)槲覀兊姆椒ㄓ商摂M半邊人臉和原始半邊人臉合成人臉，這樣使拼接的人臉更接近于原始人臉，且用到了虛擬人臉消除光照等影響的優(yōu)勢(shì)。

3.2 實(shí)驗(yàn)2

與上述實(shí)驗(yàn)相類似，我們利用原始人臉的左臉和虛擬人臉的右臉合成人臉圖像。實(shí)驗(yàn)是在AR數(shù)據(jù)庫(kù)和YaleB人臉數(shù)據(jù)庫(kù)進(jìn)行。實(shí)驗(yàn)結(jié)果如表3和表4所示。

4 結(jié)語(yǔ)

本文提出的方法既利用虛擬生成的人臉圖像，又利用原始的人臉圖像，來(lái)生成基于對(duì)稱性的人臉。因此，合成的面部接近于原來(lái)的面部。同時(shí)，該方法可以減少光照對(duì)人臉識(shí)別的負(fù)面影響。實(shí)驗(yàn)表明，該方法能提高人臉識(shí)別的準(zhǔn)確率。