基于三網(wǎng)絡(luò)對(duì)抗學(xué)習(xí)的素描人臉合成方法

杜康寧，李凱旋，曹 林+

(1.北京信息科技大學(xué) 光電測(cè)試技術(shù)及儀器教育部重點(diǎn)實(shí)驗(yàn)室，北京 100101； 2.北京信息科技大學(xué) 信息與通信工程學(xué)院，北京 100101)

0 引 言

目前的素描人臉合成技術(shù)[1-3]主要分為兩類：數(shù)據(jù)驅(qū)動(dòng)方法[4-6]和模型驅(qū)動(dòng)方法[7-11]。數(shù)據(jù)驅(qū)動(dòng)方法通常由圖像分塊、最近鄰選擇、權(quán)重計(jì)算和圖像塊拼接4個(gè)部分組成，數(shù)據(jù)驅(qū)動(dòng)方法的主要優(yōu)點(diǎn)是可以很好地合成面部細(xì)節(jié)。但是這些方法在相似的圖像塊搜索中通常很耗時(shí)，從而限制了這類方法的適用性。模型驅(qū)動(dòng)方法主要是以離線方式學(xué)習(xí)面部照片-素描圖像間的映射關(guān)系，主要優(yōu)點(diǎn)是測(cè)試階段非常快，但合成結(jié)果清晰度較低，缺少一些關(guān)鍵細(xì)節(jié)特征。

顯然，目前大多數(shù)素描人臉合成技術(shù)都能合成完整且令人印象深刻的結(jié)果，但在合成結(jié)果中會(huì)丟失一些關(guān)鍵信息，導(dǎo)致圖像細(xì)節(jié)缺失或模糊，而且當(dāng)處理的圖像與訓(xùn)練圖像相差較大時(shí)很難取得良好的效果。本文的目標(biāo)是合成高質(zhì)量素描人臉圖像，并解決訓(xùn)練數(shù)據(jù)集不足而導(dǎo)致模型適用性差的問(wèn)題。

本文提出了一種素描人臉合成方法，該方法是將面部特征提取網(wǎng)絡(luò)、生成網(wǎng)絡(luò)及判別網(wǎng)絡(luò)相結(jié)合的三網(wǎng)絡(luò)對(duì)抗學(xué)習(xí)模型。首先，我們?cè)O(shè)計(jì)了一個(gè)通過(guò)面部照片來(lái)生成素描人臉圖像的生成網(wǎng)絡(luò)；然后，采用對(duì)抗學(xué)習(xí)的策略，設(shè)計(jì)了一個(gè)用于提升生成網(wǎng)絡(luò)性能的判別網(wǎng)絡(luò)，并對(duì)對(duì)抗損失增加控制因子，控制訓(xùn)練過(guò)程，保證生成網(wǎng)絡(luò)與判別網(wǎng)絡(luò)得到充分訓(xùn)練。為進(jìn)一步提高生成網(wǎng)絡(luò)合成素描人臉圖像的質(zhì)量，我們又構(gòu)建一個(gè)面部特征提取網(wǎng)絡(luò)計(jì)算合成素描人臉圖像的細(xì)節(jié)誤差。在標(biāo)準(zhǔn)素描人臉數(shù)據(jù)庫(kù)中的大量實(shí)驗(yàn)驗(yàn)證了本文方法的良好性能，其能夠合成高質(zhì)量的素描人臉圖像。

本文的主要貢獻(xiàn)概括如下：

(1)提出了三網(wǎng)絡(luò)對(duì)抗學(xué)習(xí)的素描人臉合成方法，該方法能夠合成多種樣式、不同種族的高質(zhì)量素描人臉圖像。

(2)引入一種復(fù)合損失函數(shù)，將面部細(xì)節(jié)損失與對(duì)抗損失相結(jié)合，使模型更適合處理素描人臉圖像合成任務(wù)。

(3)通過(guò)對(duì)原有的對(duì)抗損失函數(shù)增加控制因子，控制對(duì)抗損失對(duì)全局損失的貢獻(xiàn)程度，使生成網(wǎng)絡(luò)能夠得到充分訓(xùn)練，提高生成網(wǎng)絡(luò)的性能。

1 本文算法

1.1 生成對(duì)抗網(wǎng)絡(luò)

Goodfellow等提出生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks，GAN)模型[12]，引出對(duì)抗訓(xùn)練學(xué)習(xí)的思想。該模型由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)兩個(gè)相互競(jìng)爭(zhēng)的網(wǎng)絡(luò)組成，如圖1所示。生成網(wǎng)絡(luò)通過(guò)一組隨機(jī)噪聲來(lái)生成樣本，判別網(wǎng)絡(luò)用于區(qū)分生產(chǎn)樣本是否為真實(shí)樣本。生成網(wǎng)絡(luò)G與判別網(wǎng)絡(luò)D之間的博弈是一種最小極大博弈過(guò)程，其目標(biāo)函數(shù)如下

圖1 GAN模型結(jié)構(gòu)

(1)

式中：x代表真實(shí)數(shù)據(jù)，z代表輸入的噪聲分布樣本，P(x)代表數(shù)據(jù)分布，P(z)代表模型分布。

GAN對(duì)圖像特征有出色的感知能力，但在訓(xùn)練過(guò)程中會(huì)存在模式崩潰和梯度消失等問(wèn)題。GAN模型在優(yōu)化過(guò)程中，最小化目標(biāo)函數(shù)等價(jià)于最小化真實(shí)分布與生成分布之間的JS(Jensen-Shannon)散度。Arjovsky等[13]討論了GAN模型在訓(xùn)練過(guò)程中由JS散度所引起的問(wèn)題，并提出使用Earth-Mover(又稱為Wasserstein-1)距離W(Pr,Pf)替代標(biāo)準(zhǔn)GAN模型中的JS散度，損失函數(shù)如下所示

(2)

式中：Pr表示真實(shí)數(shù)據(jù)的分布，Pf表示生成數(shù)據(jù)的分布。

W(Pr,Pf)近似為真實(shí)數(shù)據(jù)分布和生成數(shù)據(jù)分布的Wasserstein距離，m=1-Lipschitz。為了保證判別網(wǎng)絡(luò)滿足1-Lipschitz的限制，Gulrajani等[14]在目標(biāo)函數(shù)中增加一個(gè)梯度懲罰項(xiàng)。梯度懲罰項(xiàng)如下所示

(3)

這種方法可以提高GAN在訓(xùn)練過(guò)程中的穩(wěn)定性，使生成網(wǎng)絡(luò)的選擇更加靈活，允許使用更加輕量級(jí)的卷積神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)。

1.2 素描人臉合成模型

圖2 素描人臉合成框架

在訓(xùn)練過(guò)程中，生成網(wǎng)絡(luò)與判別網(wǎng)絡(luò)同時(shí)訓(xùn)練。訓(xùn)練生成網(wǎng)絡(luò)生成盡可能真實(shí)的素描人臉圖像去“欺騙”判別網(wǎng)絡(luò)，判別網(wǎng)絡(luò)盡可能地區(qū)分偽素描圖像和真實(shí)素描圖像。生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)相互競(jìng)爭(zhēng)，共同提高自身的能力。

1.3 網(wǎng)絡(luò)結(jié)構(gòu)

1.3.1 生成網(wǎng)絡(luò)結(jié)構(gòu)

生成過(guò)程需保持圖像信息在網(wǎng)絡(luò)層逐漸增多的情況下，不損失位置信息與細(xì)節(jié)特征信息。傳統(tǒng)的深層卷積神經(jīng)網(wǎng)絡(luò)無(wú)法有效擴(kuò)充圖像高度與寬度，并且池化層取平均池化或最大池化均會(huì)造成一定區(qū)域內(nèi)的位置信息損失。因此，本文方法采用帶有步長(zhǎng)的卷積層來(lái)實(shí)現(xiàn)上采樣過(guò)程中圖像高度與寬度的有效擴(kuò)充，且確保下采樣過(guò)程中圖像位置信息不丟失。

生成網(wǎng)絡(luò)由兩個(gè)帶步長(zhǎng)的卷積模塊、9個(gè)殘差單元以及兩個(gè)反卷積模塊組成，如圖3所示。殘差單元的結(jié)構(gòu)主要通過(guò)前向神經(jīng)網(wǎng)絡(luò)和shortcut連接實(shí)現(xiàn)，由1個(gè)卷積層、1個(gè)Batch Norm層和1個(gè)ReLU激活函數(shù)組成。殘差單元的shortcut跨層連接結(jié)構(gòu)，使生成網(wǎng)絡(luò)對(duì)合成的結(jié)果更加敏感，有利于捕捉人臉圖像的細(xì)節(jié)特征信息，生成逼真、清晰度高的素描人臉圖像。

圖3 生成網(wǎng)絡(luò)結(jié)構(gòu)

1.3.2 判別網(wǎng)絡(luò)結(jié)構(gòu)

判別網(wǎng)絡(luò)采用了與Patch-GAN[15]相同的結(jié)構(gòu)，如圖4(X3表示3組同類型的網(wǎng)絡(luò)層)所示，此判別網(wǎng)絡(luò)結(jié)構(gòu)是在局部圖像塊級(jí)別上進(jìn)行驗(yàn)證，避免了直接對(duì)兩張完整圖像進(jìn)行驗(yàn)證所造成的信息損失。相比判別網(wǎng)絡(luò)每次對(duì)整張圖像進(jìn)行真?zhèn)闻袛啵疚呐袆e網(wǎng)絡(luò)一次只判斷一個(gè)N×N的圖像塊是否為真，關(guān)注圖像的局部結(jié)構(gòu)，而不需要對(duì)整張圖像的像素信息進(jìn)行判斷。判別網(wǎng)絡(luò)只需要學(xué)習(xí)圖像的高頻信息，從而在一定程度上減少了訓(xùn)練過(guò)程中的參數(shù)量，加快運(yùn)行速度，且生成的圖像細(xì)節(jié)更加完整。

圖4 判別網(wǎng)絡(luò)結(jié)構(gòu)

1.3.3 面部特征提取網(wǎng)絡(luò)

本文中面部特征提取網(wǎng)絡(luò)用于對(duì)合成的素描人臉圖像與真實(shí)素描人臉圖像進(jìn)行面部特征提取。面部特征提取網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)遵循VGGNet-16的架構(gòu)，該架構(gòu)相對(duì)簡(jiǎn)潔，僅通過(guò)反復(fù)堆疊3×3的卷積核和2×2的最大池化層來(lái)構(gòu)建深層卷積神經(jīng)網(wǎng)絡(luò)。此外，該架構(gòu)通過(guò)卷積核的串聯(lián)極大地減少了網(wǎng)絡(luò)參數(shù)量，并且相比使用單一卷積核構(gòu)建的網(wǎng)絡(luò)層擁有更多的非線性變換，更適合圖像面部特征提取。

由于現(xiàn)有標(biāo)準(zhǔn)的素描人臉圖像數(shù)據(jù)集相對(duì)較小，使用小數(shù)據(jù)集單獨(dú)訓(xùn)練面部特征提取網(wǎng)絡(luò)很難產(chǎn)生良好的性能，容易出現(xiàn)過(guò)擬合、梯度彌散等問(wèn)題。因此，本文采用遷移學(xué)習(xí)的思想，使用在ImageNet數(shù)據(jù)庫(kù)中預(yù)訓(xùn)練的模型參數(shù)作為本文方法中面部特征提取網(wǎng)絡(luò)的模型參數(shù)。

1.4 損失函數(shù)

假設(shè)fr(s)和fg(p)分別表示真實(shí)圖像與生成圖像的分布，判別網(wǎng)絡(luò)的優(yōu)化目標(biāo)函數(shù)如下

(4)

式中：D(s)表示判別網(wǎng)絡(luò)對(duì)輸入真實(shí)素描人臉圖像Si得到的概率值，G(p)表示生成網(wǎng)絡(luò)生成的光學(xué)面部圖像Pi對(duì)應(yīng)的素描人臉圖像，D(G(p))表示判別網(wǎng)絡(luò)對(duì)輸入生成圖像G(p)得到的概率值。

式(4)判別網(wǎng)絡(luò)優(yōu)化目標(biāo)函數(shù)可轉(zhuǎn)化為求下式最優(yōu)解

(5)

將式(5)中積分項(xiàng)的函數(shù)fr(s)logD(s)+fg(s)log(1-D(s))對(duì)D(s)求導(dǎo)并令其值等于0，則最優(yōu)判別網(wǎng)絡(luò)表達(dá)式如下

(6)

對(duì)于含有N幅光學(xué)面部照片與素描人臉圖像的訓(xùn)練集M={(Pi,Si),i=1,2,3,…,N}，θG可通過(guò)優(yōu)化損失函數(shù)L得到，即

(7)

訓(xùn)練時(shí)，先在固定θD的條件下利用式(7)求解θG，然后在θG固定的條件下，用式(6)優(yōu)化θD，依次類推，直至θD和θG都已收斂。

損失函數(shù)L的確定對(duì)于生成網(wǎng)絡(luò)G的效果非常重要，為了確保最后有一個(gè)高質(zhì)量的素描人臉圖像效果，包括量化效果(在量化指標(biāo)方面)和視覺(jué)效果(在人眼感官方面)，本文所提出的復(fù)合損失函數(shù)定義如下

Ltotal=αLD+βLdetail

(8)

式中：LD為對(duì)抗損失、Ldetail為面部細(xì)節(jié)損失，α、β分別為對(duì)應(yīng)損失的預(yù)定義權(quán)重。

1.4.1 面部細(xì)節(jié)損失

傳統(tǒng)L1損失函數(shù)是在簡(jiǎn)單的像素空間上進(jìn)行誤差計(jì)算，若直接通過(guò)L1損失函數(shù)對(duì)真實(shí)素描人臉圖像與偽素描人臉圖像進(jìn)行誤差計(jì)算，則很難獲取素描人臉圖像的面部細(xì)節(jié)與紋理特征。傳統(tǒng)L1損失函數(shù)如式(9)所示

(9)

在本文中面部細(xì)節(jié)損失函數(shù)是計(jì)算圖像特征空間上的差異，從合成的素描人臉圖像中提取特征，并與真實(shí)素描人臉圖像中的特征進(jìn)行對(duì)比。但圖像的特征并不是通過(guò)尺度不變特征變換(scale invariant feature transform，SIFT)、ORB(oriented fast and rotated brief)等傳統(tǒng)特征計(jì)算方式得到，而是將圖像輸入到本文設(shè)置的面部特征提取網(wǎng)絡(luò)中得到。面部特征提取網(wǎng)絡(luò)提取的圖像特征是高層特征，忽略了圖像像素級(jí)別的低層特征，符合人類視覺(jué)感知。面部細(xì)節(jié)損失函數(shù)定義如下

(10)

式中：w和h表示特征圖的維度，s為真實(shí)素描人臉圖像，G(p)為生成的偽素描人臉圖像，φ(s)與φ(G(p))表示圖像經(jīng)過(guò)特征提取網(wǎng)絡(luò)輸出的特征矩陣。

式(10)中φ(s)-φ(G(p))F可由下式得出

(11)

令[φ(s)-φ(G(p))]T·[φ(s)-φ(G(p))]為M

(12)

1.4.2 對(duì)抗損失

對(duì)抗損失來(lái)自判別網(wǎng)絡(luò)，是判別輸入為真實(shí)素描人臉圖像還是偽素描人臉圖像的損失函數(shù)，其目的是為了保證生成網(wǎng)絡(luò)盡可能生成更真實(shí)的素描人臉圖像以“欺騙”判別網(wǎng)絡(luò)。傳統(tǒng)的對(duì)抗損失存在一個(gè)問(wèn)題，當(dāng)判別網(wǎng)絡(luò)訓(xùn)練越好，生成網(wǎng)絡(luò)的梯度消失越嚴(yán)重。因此，為了在訓(xùn)練時(shí)生成網(wǎng)絡(luò)具有更好的梯度表現(xiàn)，按照Arjovsky等[13]的建議，通過(guò)Wasserstein 距離來(lái)度量真實(shí)素描人臉圖像與偽素描人臉圖像間的距離，則對(duì)抗損失如下式所示

(13)

為解決模型在訓(xùn)練中過(guò)早地達(dá)到平衡狀態(tài)，使生成網(wǎng)絡(luò)與判別網(wǎng)絡(luò)不再優(yōu)化的問(wèn)題，我們?cè)趯?duì)抗損失函數(shù)中添加一個(gè)控制因子。控制因子可以確保在訓(xùn)練初期，對(duì)抗損失的權(quán)重相對(duì)較小，隨著訓(xùn)練過(guò)程的進(jìn)行，對(duì)整個(gè)模型的損失貢獻(xiàn)值逐步增加。這樣可以保證判別網(wǎng)絡(luò)在訓(xùn)練階段充分學(xué)習(xí)偽素描圖像與真實(shí)素描圖像之間的差異，提高判別能力，改善生成網(wǎng)絡(luò)合成結(jié)果的質(zhì)量。

對(duì)抗損失具體定義如下

(14)

式中：ω為衰減系數(shù)，其值固定為0.99，n為當(dāng)前迭代次數(shù)，N為總的迭代次數(shù)。

2 實(shí)驗(yàn)結(jié)果與分析

本文采用香港中文大學(xué)CUFS素描人臉基準(zhǔn)數(shù)據(jù)庫(kù)進(jìn)行實(shí)驗(yàn)，驗(yàn)證本文方法合成素描人臉圖像的有效性。CUFS素描人臉數(shù)據(jù)庫(kù)中包含CUHK學(xué)生人臉數(shù)據(jù)庫(kù)[5](188對(duì)光學(xué)面部照片-素描人臉圖像)、AR數(shù)據(jù)庫(kù)(123對(duì)光學(xué)面部照片-素描人臉圖像)及XM2VTS數(shù)據(jù)庫(kù)(295對(duì)光學(xué)面部照片-素描人臉圖像)，圖5展示了部分素描人臉數(shù)據(jù)庫(kù)中的數(shù)據(jù)(圖5(a)、圖5(b)為CUHK學(xué)生人臉數(shù)集圖像，圖5(c)、圖5(d)為AR數(shù)據(jù)集圖像，圖5(e)、圖5(f)為XM2VTS數(shù)據(jù)集圖像)，表1展示了不同數(shù)據(jù)庫(kù)的數(shù)據(jù)劃分。

表1 數(shù)據(jù)集劃分

圖5 各數(shù)據(jù)庫(kù)部分?jǐn)?shù)據(jù)

2.1 模型參數(shù)設(shè)置

訓(xùn)練過(guò)程中，輸入圖像尺寸為256×256像素，輸出圖像尺寸為256×256像素，批處理(batch-size)大小設(shè)置為1，模型迭代訓(xùn)練500輪。本文模型選取批標(biāo)準(zhǔn)化(batch normalization)對(duì)數(shù)據(jù)進(jìn)行處理，采用Adam算法對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化。網(wǎng)絡(luò)的學(xué)習(xí)率設(shè)置為0.0002，Adam第一動(dòng)量的值設(shè)為0.9，第二動(dòng)量的值設(shè)為0.999，模糊因子為1*10-8。總損失函數(shù)中α的值設(shè)置為1，β的值設(shè)置為100。

模型的優(yōu)化目標(biāo)：使生成的偽素描人臉圖像與真實(shí)素描人臉圖像之間的差異盡可能小。模型的優(yōu)化步驟如下：首先，分批次加載光學(xué)面部照片與素描人臉圖像數(shù)據(jù)，并隨機(jī)排序。然后，在每一個(gè)epoch的過(guò)程中先選取batch-size個(gè)訓(xùn)練數(shù)據(jù)對(duì)判別網(wǎng)絡(luò)進(jìn)行5次梯度下降優(yōu)化。最后，停止判別網(wǎng)絡(luò)的參數(shù)更新，開始訓(xùn)練生成網(wǎng)絡(luò)。依次交替，直至訓(xùn)練結(jié)束。

2.2 消融實(shí)驗(yàn)

為驗(yàn)證本文方法改進(jìn)之處的有效性，在該節(jié)中進(jìn)行消融實(shí)驗(yàn)研究，分別消除網(wǎng)絡(luò)架構(gòu)中的不同成分進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)對(duì)比結(jié)果如圖6所示。其中，圖6(a)為光學(xué)面部照片，圖6(b)為真實(shí)素描人臉圖像，圖6(c)為刪除面部特征提取網(wǎng)絡(luò)合成結(jié)果，圖6(d)為僅使用面部細(xì)節(jié)損失函數(shù)合成結(jié)果，圖6(e)為本文方法合成結(jié)果。

圖6 消融實(shí)驗(yàn)對(duì)比結(jié)果

圖6顯示了消除本文方法中的不同成分，以及變更一些損失函數(shù)后的實(shí)驗(yàn)結(jié)果。從圖中可以看出當(dāng)對(duì)本文方法中部分結(jié)構(gòu)進(jìn)行消除或者替換時(shí)，合成素描人臉圖像的質(zhì)量大大降低，合成結(jié)果出現(xiàn)模糊、面部扭曲等問(wèn)題。因此，本文方法所增加的特征提取網(wǎng)絡(luò)以及損失函數(shù)在合成素描人臉圖像的過(guò)程中起到至關(guān)重要的作用，該部分能夠極大改善合成素描人臉圖像的質(zhì)量，并具備良好的性能。

2.3 主觀視覺(jué)感知

本文方法在香港中文大學(xué)CUFS素描人臉基準(zhǔn)數(shù)據(jù)庫(kù)中的合成結(jié)果如圖7～圖9所示，并與傳統(tǒng)素描人臉?lè)椒ㄖ芯植烤€性嵌入(locally linear embedding，LLE)方法[4]、馬爾可夫隨機(jī)場(chǎng)(Markov random field，MRF)方法[5]、馬爾可夫加權(quán)場(chǎng)(Markov weight field，MWF)方法[6]和深度學(xué)習(xí)領(lǐng)域中的全卷積神經(jīng)網(wǎng)絡(luò)(fully convolutional network，F(xiàn)CN)[8]、生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks，GAN)[12]模型進(jìn)行了對(duì)比。

圖7 在CUHK人臉數(shù)據(jù)集上不同方法的素描人臉合成結(jié)果

圖8 在AR人臉數(shù)據(jù)集上不同方法的素描人臉合成結(jié)果

圖9 在XM2VTS人臉數(shù)據(jù)集上不同方法的素描人臉合成結(jié)果

從圖7～圖9合成結(jié)果中可以看出，LLE方法合成的素描人臉圖像能夠基本呈現(xiàn)面部五官特征，但圖像整體過(guò)于平滑，頭發(fā)等區(qū)域有偽影出現(xiàn)。MRF方法合成的素描人臉圖像丟失一些細(xì)節(jié)特征，且面部輪廓不完整。MWF方法的合成結(jié)果擁有完整的面部輪廓，但整體清晰度較低，部分面部區(qū)域出現(xiàn)扭曲。以上傳統(tǒng)方法僅考慮像素級(jí)別的圖像相似度，因而無(wú)法很好地描述面部特征，導(dǎo)致合成結(jié)果出現(xiàn)模糊、面部缺失等問(wèn)題。FCN方法雖然能夠合成一些面部關(guān)鍵特征(如：眼鏡等)，但分辨率較低，圖像出現(xiàn)斑駁現(xiàn)象。GAN模型合成的結(jié)果相較其它方法擁有豐富的素描紋理，面部細(xì)節(jié)更完整，但缺乏一些圖像關(guān)鍵特征(如：發(fā)卡等)，且圖像面部出現(xiàn)變形和噪音。本文方法合成的圖像質(zhì)量最好，不僅保持了原有圖像的面部五官特征，而且對(duì)圖像面部配飾(眼鏡等)也有很好的預(yù)測(cè)，圖像清晰度更高、更符合素描圖像的風(fēng)格特征。

相比CUHK與AR數(shù)據(jù)集的合成結(jié)果，在XM2VTS數(shù)據(jù)集上的合成結(jié)果更能說(shuō)明本文方法合成素描人臉圖像的優(yōu)越性。其它方法應(yīng)用在XM2VTS數(shù)據(jù)集中的性能較差，合成素描人臉圖像出現(xiàn)面部缺失、模糊、變形等問(wèn)題。這是因?yàn)镃UHK與AR數(shù)據(jù)集中的人群具有基本相同的年齡和種族，風(fēng)格變化較小，而XM2VTS數(shù)據(jù)集中的人群跨越各個(gè)年齡段，擁有不同的種族，存在明顯的外觀變化。本文方法擁有良好的魯棒性，在3個(gè)數(shù)據(jù)集中都產(chǎn)生了出色的合成結(jié)果。

2.4 圖像客觀質(zhì)量評(píng)價(jià)

在本節(jié)中，我們對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行定量分析。由于缺少素描人臉圖像的專業(yè)客觀評(píng)價(jià)指標(biāo)，故本文采用傳統(tǒng)的圖像質(zhì)量評(píng)估方法對(duì)合成的素描人臉圖像進(jìn)行質(zhì)量評(píng)估。通過(guò)計(jì)算合成素描人臉圖像的峰值信噪比PSNR(peak signal-to-noise ratio)值、結(jié)構(gòu)相似度SSIM(structural similarity index)值和特征相似度FSIM(feature simi-larity index)值來(lái)綜合評(píng)判本文方法合成的素描人臉圖像的質(zhì)量。在本節(jié)實(shí)驗(yàn)中，參考圖像為原始素描人臉圖像，畸變圖像為合成的素描人臉圖像。表2總結(jié)了在不同數(shù)據(jù)庫(kù)中不同方法合成素描人臉圖像的質(zhì)量評(píng)估指標(biāo)，為了進(jìn)行比較，將每個(gè)評(píng)價(jià)指標(biāo)的最大值標(biāo)記加粗。實(shí)驗(yàn)結(jié)果表明，本文方法具有很好的競(jìng)爭(zhēng)力。本文方法在3個(gè)數(shù)據(jù)集中的各項(xiàng)評(píng)估指標(biāo)基本高于其它方法，僅有少數(shù)指標(biāo)不是最高值，可以在一定程度上說(shuō)明本文方法合成的素描人臉圖像更加接近于真實(shí)素描人臉圖像，合成素描人臉圖像的能力更強(qiáng)。

表2 不同方法素描人臉圖像的質(zhì)量評(píng)估指標(biāo)

3 結(jié)束語(yǔ)

本文提出了一種三網(wǎng)對(duì)抗學(xué)習(xí)框架來(lái)合成高質(zhì)量素描人臉圖像。在生成對(duì)抗網(wǎng)絡(luò)的基礎(chǔ)上，我們添加一個(gè)面部特征提取網(wǎng)絡(luò)來(lái)提取合成素描人臉圖像與真實(shí)素描人臉圖像的特征，并引入面部細(xì)節(jié)損失來(lái)計(jì)算深層圖像特征之間的差異。為了控制訓(xùn)練過(guò)程并確保生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)得到充分訓(xùn)練，我們?cè)趯?duì)抗損失中添加一個(gè)控制因子。通過(guò)與其它素描人臉合成方法進(jìn)行實(shí)驗(yàn)比較，不論從視覺(jué)上的主觀評(píng)價(jià)，還是定量的客觀評(píng)價(jià)，都說(shuō)明了本文方法的優(yōu)越性。在未來(lái)的工作中，我們將探索更加復(fù)雜環(huán)境下的素描人臉合成模型，提高素描人臉合成方法的魯棒性。