對抗學習在帶妝人臉驗證中的應用

王 寧，李 京

(中國科學技術大學 計算機科學與技術學院，合肥 230026)

1 引 言

作為人臉識別問題的一個分支，人臉驗證的重點在于機器能夠自動確定一對人臉圖像是否具有相同的身份.作為一項基礎研究工作，它的研究成果能夠應用于各種實際場景，如安全監視和信用調查等.在過去的幾十年里，人臉驗證的方法取得了顯著的進展，但是仍然存在一些影響方法效果的因素，如：人臉的正臉和側臉的偏差、面部裝飾品遮擋導致的信息缺失，以及妝容對面部圖像特征的改變.隨著社會的發展，化妝行為已經被人們廣泛的認知和接受.據有關調查顯示，中國的化妝群體將在2020年突破3億人，化妝已經成為大多數中國女性及小部分中國男性的日常工作.但是妝容能夠覆蓋人臉的局部紋理信息，還會改變面部的輪廓信息.由于每次化妝所造成的紋理信息和輪廓信息的改變是不同的，現有的方法還不能有效地去除這些改變帶來的影響，這就給當下的人臉驗證工作帶來了不小的挑戰.

化妝品的歷史最早可以追溯到古埃及時代[1]，使用適當的化妝品，可以使皮膚看起來光滑圓潤，使得眼圈變黑，也可以改變嘴唇的顏色、眉毛的形狀等等.這些變化遮擋了面部的缺陷，帶來顯著的外觀變化，導致了帶妝和不帶妝的人臉圖像在全局和局部的外觀上存在差異.而現有的人臉識別和人臉驗證算法主要依賴于在人臉圖像中提取特征點信息，從而捕獲人臉外觀特征，達到人臉識別和人臉驗證的目的.Dantcheva A等[2]的研究表明，妝容能夠給人臉驗證工作帶來很大的影響.說明當下的主流方法缺乏對于妝容圖像識別及驗證的魯棒性.

傳統基于深度學習的人臉識別及驗證的方法對于妝容的魯棒性不強，究其根本原因是，帶妝和不帶妝面部圖像分布存在差異，導致兩類圖像通過這些神經網絡提取到的特征向量不能映射到同一特征空間上.因此，如果對網絡采取某種約束，使得提取到的特征能夠映射到同一特征空間，就能夠較好的解決這一問題.Goodfellow等人[3]提出的生成對抗網絡(GAN)是近幾年來生成模型中的佼佼者，其主要包括生成器G(x)和判別器D(x).令Px(x)表示真實的概率分布，Pz(z)表示隨機噪聲的分布.生成器G(x)主要用于將隨機噪聲z映射到真實的樣本空間，得到分布PG(G(x)).判別器D(x)主要用于判斷輸入的樣本是來自真實分布Px(x)還是來自生成器生成的樣本分布PG(G(x)).通過生成器和判別器的動態博弈，生成器的生成的分布PG(G(x))越來越趨近真實分布Px(x).由此可見，GAN給我們提供了一種新的技術思路，即使用對抗的方法來逼近網絡提取到的特征分布.因此，我們使用兩個殘差網絡[4](Resnet)分別提取帶妝和不帶妝圖像的特征，同時采用對抗的方式來對特征提取的過程進行約束，使得兩個殘差網絡提取到的特征能夠映射到同一特征空間，以消除妝容對人臉驗證帶來的影響.

本文的主要工作如下：

1)本文采用的MIFS_YMU_PLUS(MYP)數據集，整合了C.Chen等人[2，5-7]采集的YouTube Makeup(YMU)數據集和Makeup Induced Face Spoofing(MIFS)數據集，并添加自己搜集的帶妝和不帶妝面部圖像，除此之外還對現有的Labled Faces in the Wild(LFW)人臉數據集進行自行上妝工作，最終合成得到.

2)使用兩個殘差網絡分別來提取帶妝和不帶妝人臉的特征，同時在兩個網絡的中間層和輸出層進行約束，使得模型能夠提取到與妝容無關的特征.

3)設計了特別的損失函數和采樣方式，以使得模型能夠達到最佳的訓練效果.

4)該方案在MYP數據集上取得了最好的效果，與現有的方案相比得到了顯著的改進.

2 相關工作

2.1 人臉驗證

在機場、酒店、火車站等公共場所，每天都需要進行大量的人臉驗證工作.人臉驗證在實際環境中存在著廣泛的應用，因此人臉驗證問題一直受到研究人員的廣泛關注.神經網絡出現之后，越來越多的科研工作者開始探究深度神經網絡下人臉驗證問題上的應用，并取得了巨大進展.

百度公司提出的基于深度卷積神經網絡的人臉識別算法[8]和谷歌公司的Facenet[9]在LFW數據集上都取得97%以上的準確率.但是在實際工作中，我們經常會遇到一些樣本量比較少的人臉數據集，在這類數據集上，由于兩類網絡過于復雜，導致神經網絡很容易在訓練集上產生過擬合的現象，且隨著網絡層數的加深，由這兩個公司提出的神經網絡均出現了網絡退化的情況，導致在小數據集上效果較差.且LFW中的人臉圖像，并沒有考慮妝容在人臉識別和驗證問題中帶來的影響，因此對帶妝面部圖像進行識別時，這些方法的準確率就會嚴重下降.

2.2 帶妝人臉驗證

化妝相關的研究現在已經越來越受研究人員的關注，但是跟妝容有關的人臉驗證相關的研究卻很少.Hu[10]等提出了基于典型相關分析(canonical correlation analysis，CCA)[11]和支持向量機(Support Vector Machine，SVM)[12]的妝容識別方法，CCA是一種圖片的特征提取算法，可以將圖像映射到同一個歐幾里得空間中，并使得同類的照片之間的歐氏距離更近，屬于比較早的特征提取算法.在特征提取結束后，再結合SVM進行分類.由于CCA所做的特征提取僅僅考慮了單個帶妝面部圖像和單個不帶妝面部圖像的關系，忽視了本類圖像內部之間的關系，所以CCA應用在帶妝人臉識別時的效果較差.Guo等人[13]等將化妝特性作為領域知識，提出了一種結合面部分割與CCA進行識別的方法，該方法不但可以對化妝的人臉進行識別，同時還可以對不化妝的人臉進行識別，對于妝容的魯棒性較強，此外，還產生了一個化妝檢測的方案，該方法雖然對妝容圖片的人臉驗證具有一定的魯棒性，但是受限于CCA的特征提取能力，該方法在專門的妝容類數據庫上識別率并不高.Sun[14]等人提出了一個弱監督學習的妝容不變的人臉識別方法，由于帶妝人臉數據庫一般樣本量較小，所以他們先在視頻中收集人臉圖片，預訓練一個卷積神經網絡，然后再使用帶妝人臉數據庫對模型進行微調，采用三元組的損失函數對模型進行優化，即3張圖片，其中兩張B1，B2是同一個人的圖像，A是另外一個人的圖像，假設提取到的特征為IB1、IB2和IA則滿足|IB1-IB2|+α<|IB1-IA|.實驗結果證明他們的方法的表現超越了前兩種方案，但是由于妝容覆蓋了大量的有效信息，導致特征提取過于困難，最終的結果也不理想.Li[15]等人提出了一種基于生成對抗網絡的帶妝人臉驗證的方法，主要是依托于生成對抗網絡，先將帶妝面部圖像轉換為對應的不帶妝面部圖像，再進行人臉驗證模型的訓練，從而避免了帶妝樣本對于模型魯棒性的負面影響.但是由于生成對抗網絡在像素級的生成所需的訓練周期較長、對于訓練集的樣本量要求較大，且判別結果對生成效果依賴性較強，所以實用性較差.

2.3 殘差網絡

殘差網絡(Resnet)是He等人[4]提出的一種基于卷積神經(CNN)網絡的深度學習模型.一般來說，深度神經網絡層數越深，則模型的表達能力越強，但是當網絡層數達到一定的深度之后，增加網絡層數并不能進一步提升網絡性能，反而會因為參數過多導致網絡龐大，且網絡收斂速度變慢.Resnet借鑒了常規的計算機視覺領域殘差表示(residual representation)的概念，并將它運用在CNN的模型構建中.假設模型的輸入為x，Resnet的輸出為R(x)，則Resnet著重于使用多個CNN來學習R(x)-x.實驗結果顯示，Resnet具有良好的特征提取能力，且模型不會因為網絡層數的變深而效果變差.Resnet被提出后，被許多研究者將其應用于圖像識別和分類問題[16-19].裴頌文[18]等人通過結合Resnet和網中網(Network in Network)模型，提出了一種網中網殘差網絡(NIN-Resnet)模型，該方法在表情分類識別問題中的FER-2013 和CK+數據集上都取得了較好的效果.楊雨濃[19]提出一種基于深度殘差網絡的表情識別的方法，先將面部圖像進行分割，再通過卷積神經網絡提取每一部分的特征，最后通過殘差單元結合深度網絡對特征進行聚合，最終得到的模型具有較好的識別率和較強的魯棒性.因此我們選擇Resnet18作為我們的特征提取網絡，可以防止模型由于數據量過小網絡層數過多導致效果變差，也可以保證模型在大數據量時擬合數據分布.由于本文實驗中采用的數據集樣本量較少，為了防止過擬合，我們對Resnet18的網絡結構和部分參數進行了調整，調整后的網絡結構和參數如圖1所示.

圖1 本文中所使用的Resnet 結構和參數圖Fig.1 Resnet structure and parameter diagram used in this article

2.4 對抗學習

自從GAN被提出以來，越來越多的研究者將這種對抗學習的思想應用于圖像生成的任務中[20-23]，因為通過對抗的方式，可以讓判別器約束生成器特征提取過程，使得生成的分布逼近于真實圖像的分布.所以不少研究者將這一思想應用于各種特征提取任務，以達到約束特征提取的作用.Ganin等人[24]在領域適應(domain adaptation)的問題中，通過使用對抗性的神經網絡來正則化特征提取器，生成了領域無關(domain invariant)的特征，實驗結果表明問題效果得到顯著的提升.He 等人[25]將對抗性學習的正則化作用用于跨模態檢索(cross-modal retrieval)，提出一種無監督檢索算法UCAL，能夠取得與最新的有監督方法同樣好的檢索效果.

3 基于對抗學習的帶妝人臉驗證模型框架

本文網絡框架如圖2所示，該框架包括3個部分，包括提取帶妝面部圖像特征的Resnet(Rm)，提取不帶妝面部圖像特征的Resnet(Rn)，以及一個用于判斷特征來源的判別器(Discriminator，D)，其中Resnet我們采用結構如圖1所示.一個帶妝面部圖像樣本xm通過Rm提取到的特征向量為Rm(xm)，一個不帶妝面部圖像樣本xn通過Rn提取到的特征向量為Rn(xn)，我們通過三元組損失來優化Rm和Rn，同時為了讓兩個網絡提取到的特征相互關聯，我們設計了一個特殊的三元組損失，同時作用于兩個殘差網絡.

4 算法設計

為了使兩個Resnet都能夠提取到本類圖像的特征，同時還能夠映射到同一特征空間，我們除了在兩個Resnet的中間第k層增加對抗之外，還設置了特別的損失函數.為了滿足這些損失的產生，本文設計了一種新的采樣方式.本小節將來介紹訓練采樣、模型損失以及訓練過程的具體設計.

圖2 基于對抗學習的帶妝人臉驗證網絡框架Fig.2 Network framework for face verification with makeup based on adversarial learning

4.1 采樣方式

Schroff F等人[9]在訓練Facenet時提出的三元組損失函數(Triplet_loss)被廣泛應用于各類識別算法中，由于該方法可以將訓練集映射到一個較好的特征空間，因此與其他分類損失函數相比效果更好.但是由于帶妝面部圖像與不帶妝面部圖像分布差異較大，單純采用Triplet_loss訓練模型很容易導致過擬合，因此本文提出在網絡中添加對抗損失函數，使得兩個Resnet能夠在提取本類面部圖像特征的同時可以相互逼近提取到的特征空間.為此，本文設計了一種新的采樣方式，用于在訓練兩個Resnet的情況下同時滿足Triplet_loss和對抗損失的優化，具體的操作方法如下：

4.2 損失函數

4.2.1 判別器損失函數

(1)

4.2.2 Resnet損失函數

(2)

(3)

(4)

(5)

綜上得出，兩條Resnet總的損失函數LR可以表示為：

(6)

4.3 訓練和優化

算法1.基于對抗學習的帶妝人臉驗證算法流程

判別器更新參數次數Kd

Rm和Rn的更新參數次數Kr

批量樣本數j

迭代次數T

Result：用于提取帶妝面部圖像特征的殘差網絡Rm和用于提取不帶妝面部圖像特征的殘差網絡Rn

1.for t=1 toTdo

2.固定Rm和Rn的參數；

3.解鎖判別器D的參數；

4. for k=1 tokddo

7. 根據式(1)利用梯度下降法更新判別器D的參數；

8. end

9.固定判別器D的參數；

10. 解鎖Rm和Rn的參數；

11. for k=1 toKrdo

14.根據式(6)更新Rm和Rn的參數；

15. end

16.end

為了使模型達到最佳效果，模型訓練需要進行多次迭代.每次迭代需要先固定判別器的參數更新兩個Resnet的參數，之后再固定兩Resnet的參數更新判別器的參數，以此交替訓練.算法1描述了整個模型的優化過程.

5 實驗驗證

為了驗證本文提出的算法的有效性，我們利用MYP數據集來對本文提出的模型進行3次實驗驗證，分別驗證添加對抗的合理性、對抗添加的位置的合理性以及本文的方法準確率.本節主要介紹數據集，實驗設置以及實驗結果.

5.1 數據集及數據預處理

MIFS數據庫是在YouTube的化妝教程中截圖的化妝前后的人臉圖像.其中共包含107名受試者，其中有3名男性受試者和104名女性受試者，每個受試者都會帶有具有迷惑意義的妝容，每個受試者包含6張照片，其中2張為化妝前，2張為化妝后，還有2張為受試者試圖模仿的目標對象，數據集中妝容較濃.YMU數據庫也是在Youtube的化妝教程中收集的人臉圖像.共有151名受試者，每個受試者包含2張化妝前的照片和2張化妝后的照片，數據集中全部為白人女性，這些面部圖像的妝容濃度從細微到厚重不等，且面部除了妝容之外，還有表情和姿勢的變化.由于兩個數據集規模都比較小，且兩個數據集的分布較為接近，所以我們將兩個數據集進行了整合.由于MIFS中的每個受試者包含2張目標對象的面部圖像，所以我們對MIFS中的面部圖像進行清理，只留下每個受試者2張化妝前的圖像和2張化妝后的圖像.除此之外，我們還在各大視頻網站的截取美妝視頻中美妝博主化妝前后的圖像，共截取了12名美妝博主，對象均為黃種人女性，每個對象保留2張上妝前的圖像和2張上妝后的圖像.我們選擇LFW中30名圖像數大于等于4的對象進行了人工上妝操作，其中包括17名男性和13名女性，將每個對象的2幅正面圖像使用上妝軟件進行編輯，同時保留2張不同的未上妝圖像.通過以上處理，最終將整個數據集擴充到300名對象，其中每個對象有4張圖像，稱之為MYP數據集.

本文采用MYP數據集進行實驗.實驗開始前，使用基于OpenCV的haar級聯分類器對人臉進行定位和截取，對于截取效果較差的人臉，我們采用人工截取的方式進行截圖，并統一將大小調整為160*160.

5.2 對照實驗設置

為了驗證模型的合理性，本文進行了3種實驗.首先，使用單個Resnet(Resnet_s)作為基準實驗，對比兩個不增加對抗損失的Resnet(Resnet_d)和兩個增加對抗損失的Resnet(Resnet_a) 的實驗效果.

其次，我們分別在兩個Resnet的第6層(6-Resnet_a)、第10層(10-Resnet_a)、第14層(14-Resnet_a)、第18層(18-Resnet_a)進行對抗訓練，以確定對抗效果最好的位置.

通過將本文的方法與VGG16、LightCNN、Facenet等經典識別類模型進行對比，來判斷文中的模型是否有效.除此之外，設計實驗與Li等人提出的結合生成對抗網絡進行識別的帶妝人臉驗證算法進行比較，以便驗證本文提出的方法是否具有更好的效果.

本文的實驗采用5折交叉驗證的方式進行驗證.訓練集包含240個人，共計960張面部圖像，測試集包含60個人，共計240張圖像.將測試集中的每個人與其他所有人分別進行配對，共得到3460對組合.在每個組合的第1個人的圖像中隨機抽取兩張圖片a1、a2，在第2個人的圖像中隨機抽取一張圖片b，將a1、a2、b送入對應的神經網絡，得到特征向量Ia1、Ia2、Ib，設定閾值為ε，在滿足條件‖Ia1-Ia1‖2<ε和‖Ia1-Ib‖2<ε時判斷為正確，否則判斷為錯誤.每次測試遍歷所有的組合，每個模型測試10次，采用10次準確率的平均值來衡量模型性能.

5.3 實驗結果

5.3.1 對抗合理性驗證

我們用Resnet_s、Resnet_d和Resnet_a進行比較，使用相同的Triplet_loss對模型進行優化，得到的結果如表1所示.

表1 對抗合理性驗證結果Table 1 Results of rationality verification of confrontation

表1中實驗結果表明，Resnet_d在MYP上比Resnet_s準確率提升了4.54%，這是因為帶妝面部圖像和不帶妝面部圖像的樣本分布差距較大，單個Resnet很容易產生過擬合.而兩個Resnet的網絡結構，除了能夠提取到帶妝面部圖像和不帶妝面部圖像的共有特征之外，還能提取到本類圖像中的獨有特征，但是由于每個Resnet都著重于擬合本類圖像的分布，而提取到的特征只在最后的特征向量空間產生交互，中間提取的過程自由度過高，缺乏有效約束，所以提取到的特征并沒有完全映射到同一特征空間中，因此對于妝容的魯棒性不高.增加對抗之后，準確率又提升了2.80%.因為增加了對抗損失，兩個Resnet從第k層開始提取到的特征就能夠逼近，促使它們最終提取到與妝容無關的特征.由此可見，使用兩個神經網絡分別提取兩類圖像的特征并在兩個網絡的中間層添加對抗，這種網絡結構是有效的.

5.3.2 對抗位置驗證

實驗改進的Resnet18是Resnet家族中的層數最少的一個網絡結構，共有18層.本文選取Resnet中幾個降維的位置添加對抗，以便確定添加對抗的最佳位置.不同的位置獲取到的特征向量是不同的，而我們的判別器結構是固定的.因此在每一次實驗之前，我們在判別器前添加一個Nk*64的全連接層，其中Nk為第k層特征向量拉平后的維度.實驗結果如表2所示.

表2 對抗位置驗證結果Table 2 Results of adversarial position verification

表2是4個模型在MYP數據集上的實驗結果.實驗結果表明，14-Resnet_a準確率最高，這說明在Resnet第14層增加對抗效果最好.第6層和第10層提取到的特征維度較高，在樣本數較少的情況下，特征過于稀疏，對抗效果不佳.同時由于對抗增加的位置過于靠前，導致前面的網絡并沒有充分提取到圖像特征，使得網絡刻意迎合判別器的判別.在第18層增加對抗，雖然特征維度較低，但是由于對抗增加的過于靠后，這會影響特征細節的學習，因此效果并不明顯.

5.3.3 模型效果驗證

我們選取了幾種較為常見的識別類網絡與我們的方法進行對比，包括VGG16、Facenet、LightCNN，同時我們還選取了相關研究中目前效果最好的Li等人提出的方法，采用相同的Triplet_loss對模型進行優化，結果如表3所示.

表3 模型準確率對比結果Table 3 Comparison results of model accuracy

表3中展示的實驗結果表明，在各類人臉識別與驗證算法中，此算法準確率最高.在MYP上此方法比VGG16、Facenet、LightCNN以及Li等方法分別提升了13.11%、14.41%、3.95%、6.78%；Facenet是較為優秀的人臉驗證網絡，VGG16也是較為優秀的識別類模型，但是由于網絡結構較為復雜，導致在樣本量較少的MYP數據集上出現了網絡退化的問題，并且迅速過擬合，因此準確率較低.我們復現了Li等論文中的方法，該方法在他們的數據集上效果較好.但是由于生成對抗網絡基于像素級的生成訓練時間較長、需要的樣本數目多，而MYP數據集中樣本數較少，部分圖像上妝的質量不高，導致生成對抗網絡生成效果較差.由于該方法的準確率與生成器的生成效果密切相關，導致整個模型的準確率較低.

6 結 論

為了解決現有的人臉驗證方法在帶妝條件下人臉驗證魯棒性差的問題，在現有的數據集都較小的情況下，我們首先對現有的MIFS數據集和YMU數據集進行了增強，再結合我們自己收集的帶妝面部圖像，形成了MYP數據集.我們提出了一種基于對抗學習的帶妝人臉驗證的算法.通過訓練兩個Resnet分別提取兩類圖像的特征，并通過在中間層增加對抗的方式使得兩類網絡提取到的特征盡可能的逼近，進而促使網絡提取到與妝容無關的特征，以增強網絡的魯棒性.針對于本文提出的模型，我們改進了現有的三元組損失，使得模型能夠達到最佳的訓練效果.在MYP數據上的實驗證明，我們的方法與現有的人臉識別與驗證類網絡相比，帶妝條件下的人臉驗證具有很好的魯棒性.