基于屬性分解融合的可控人臉圖像合成算法

梁 鴻，陳秋實，邵明文

中國石油大學（華東）計算機科學與技術學院，山東 青島 266000

近年來，隨著深度學習技術的發展，人臉特征信息的提取和檢測技術越來越成熟，人臉圖像因此被廣泛應用于各個領域，以實現安全消防、商務辦公等環境中的個人身份信息識別。當前生成對抗網絡（generative adversarial networks，GAN）[1]在大規模高清原始數據上可以模擬生成逼真的人臉圖像，并且可以改變人臉圖像的局部特征。但在實際應用中，受制于實際環境下的客觀條件，很難獲得大量的高清人臉圖像作為原始數據進行生成。并且由于不同個體的人臉圖像在輪廓特征上高度相似，而在局部細節上存在巨大差異，在原始數據質量較差的情況下，生成的人臉圖像很難保持正確的特征信息，存在清晰度差、邊緣模糊、五官特征變化等問題。

因此，當面對存在噪聲干擾的原始圖像時，如何使GAN生成的結果在兼顧關鍵特征質量的同時最大程度地保留原始人臉特征信息，成為急需解決的問題。本文在原始GAN 網絡的基礎上進行改進。主要工作總結如下：

（1）提出了一種新的生成對抗網絡，通過輸入不同來源的人臉圖像來合成具有可控屬性的生成圖像。輸入圖像包括了全局圖像與標注了局部關鍵特征的細節圖像，建模固有屬性和組件級關鍵屬性之間復雜的相互作用，對二者進行融合。同時引入改進的注意力模塊，促使模型關注局部特征和全局特征關系的同時，提升對通道之間相互影響關系的學習。最終實現了視覺效果更佳、圖像失真程度更小的生成效果。

（2）在損失函數中引入色差損失和人臉分量損失。前者約束像素的顏色，用以保持顏色一致。后者將感興趣區域劃分為面部特征的關鍵區域，并通過格拉姆矩陣（Gram matrix）約束器官的紋理特征。兩者共同保證了生成圖像中身份信息的保留。

1 相關工作

1.1 人臉特征生成

人臉特征生成與外觀風格轉移方法[2-4]類似，都是需要在盡可能地保留原始身份信息的同時，變化生成局部關鍵特征。傳統的人臉特征生成方法是利用圖像處理技術[5-6]，通過提取人臉的五官位置，根據需要的特征風格，從庫中調用對應的紋理，匹配或替換生成人臉圖片；在視頻圖像處理領域[7]，通過學習特定風格的筆觸特征[8]，利用真實感渲染來模擬人臉區域的藝術特征；在圖像濾波研究領域，研究人員使用桑原濾波器[9]平滑權重函數代替矩形區域，考慮各向異性權重函數形成聚類方法，可以在平滑圖像的同時保留圖像有意義的邊緣信息，從而提高圖像特征生成的結果。Kingma 等[10]提出了變分自動編碼器（variational auto-encoders，VAEs），通過對潛在單元應用先驗來調整編碼器，以便對潛在單元進行采樣或插入到潛在單元中以完成人臉圖像。但是，由于VAEs 的訓練目標是基于像素級的高斯似然函數，這種方法生成的圖像往往過于平滑甚至模糊。這在修復藍天白云等較平滑的物體時具有一定的優勢，但對于人臉圖像并不理想。因此Larsen 等[11]通過添加源自GAN的鑒別器改進了VAEs，并證明可以生成更逼真的人臉圖像。一起訓練變分自動編碼器和對抗損失函數可以防止過度平滑，但可能會導致失真。這種方法需要大量的時間和人力成本來進行初步的采樣工作，在實際應用中很難順利進行。

目前，人們更多地使用生成對抗網絡來生成更逼真的人臉圖像。生成對抗網絡已經被許多學者證明可以用來生成高質量的圖像[12-16]，并且在文本生成等眾多其他方面取得了很好的效果。總體上GAN使用動態博弈的思想，通過生成器和判別器的不斷動態對抗，合成其認為真實的圖像。然而，大多數基于GAN 的生成方法受到原始圖像樣本數量和質量的限制，難以保證最終結果的清晰度以及身份特征的保留。于是人們進一步考慮在生成對抗網絡中引入多樣的注意力機制，來提高網絡對于局部相關性的關注程度，更好地聚焦生成特征[17]。同時人們嘗試利用多尺度特征圖建立梯度傳播來解決生成對抗網絡穩定性差的問題，進而提升模型在面對不同類型、規模、圖像質量數據集時的表現效果[18]。目前對比學習方法也被引入到生成對抗網絡中，來保證模型可以在生成圖像質量良好的基礎上有更多樣的生成結果[19]。

同時，對此類任務結果的評價不僅要比較數學分析結果上的數據差異和變化，還要考慮實際實驗者的主觀視覺感受。基于實驗者參與的主觀評價方法是一種結合以上兩點的相對客觀的評價方法。實驗者應根據目標任務對生成的人臉圖像進行評分以進行評估。

1.2 生成對抗網絡

目前隨著技術的發展，圖像生成模型層出不窮，但并不是所有的圖像生成模型都適用于含有噪聲干擾的小規模數據生成。其中生成對抗網絡兼顧了易用性與可拓展性，例如在pix2pix[20]模型中使用條件生成網絡[21]解決圖像到圖像的轉換任務，在pix2pixHD[22]模型中擴展到高分辨率水平。StyleGAN[23]模型提出一種全新的生成器架構來合成效果極佳的圖像，該架構通過自適應實例規范化（adaptive instance normalization，AdaIN）[24]來控制生成器。Zhu等[25]提出了一種無需成對數據的無監督方法——循環生成對抗網絡（CycleGAN），利用循環一致性生成圖像。以CycleGAN為例，其采用了環形網絡結構，包括兩個生成器和兩個判別器，通過對稱生成器環狀結構實現兩個域的圖像風格轉換，主要應用于圖像風格遷移領域。CycleGAN是一個無監督的生成對抗網絡。CycleGAN可以在沒有任何配對數據的情況下學習兩個域之間的映射。CycleGAN的兩個生成器需要分別學習從域到對應域的映射，而兩個判別器需要學習各自域的真實數據，以確定對應域生成器生成的數據是否是當前域的數據。除了這兩個對抗性損失之外，CycleGAN的損失函數還需要添加一個循環一致性損失來保留其輸入結構，其中G表示X→Y之間的映射，F表示Y→X之間的映射。不同于之前的生成對抗網絡中只有一組生成器判別器，其目的是通過一致的設計思想更好地進行循環對抗。CycleGAN的模型結構如圖1所示。

圖1 CycleGAN模型示意圖Fig.1 Schematic diagram of CycleGAN model

本文方法建立在GAN 的基礎上，通過一個帶有屬性分解的生成器體系結構，克服了復雜局部關鍵特征生成與身份信息保留等復雜問題。

2 本文方法

2.1 雙輸入源支持的新型生成器

針對人臉局部關鍵特征生成問題，本文將全局輸入圖像分解為兩部分：一是應盡量保持身份信息特征不變的區域；二是根據成對樣本進行生成的目標條件區域。與以往方法[26]中將輸入圖像與目標條件混合輸入不同，本文的生成器通過獨立的分支實現對全局輸入圖像與關鍵特征信息的編碼。這兩條獨立的路徑最終通過一系列風格融合模塊進行連接，完成全局特征與關鍵信息紋理特征的融合，再利用解碼器實現對生成圖像的構建。

2.1.1 雙輸入源特征編碼

圖2 展示了改進后的生成器結構。首先對于全局輸入圖像Iin，根據原始圖像質量，使用28個下采樣卷積層組成全局特征編碼器，其組成遵循常見編碼器規則配置。而對于局部關鍵特征輸入圖像Is，首先通過特征分解編碼將其分解為樣式代碼到潛層空間中，該步驟是通過提取圖像的語義映射，并使用來自Iin對應位置的二進制掩碼分量Mi，得到多個分解特征。如式（1）所示，其中·表示對應元素的點乘操作。

圖2 生成器結構圖Fig.2 Generator structure diagram

在紋理編碼器Tenc中，為了更好地適應關鍵特征多樣且不斷變化的任務情況，通過使用經過預訓練的VGG網絡來提高編碼器的泛化能力，其內部過程如圖3所示。

圖3 紋理編碼器Tenc 示意圖Fig.3 Texture encoder Tenc schematic diagram

上述方法對關鍵條件特征進行了細分分解的編碼過程，避免了讓模型一次性編碼人臉范圍內的所有復雜特征，而是分別對某個局部紋理特征進行編碼，很好地提高了模型的收斂速度，可以在更短的時間內達到更真實的視覺效果。該結構得益于預訓練，在面對少樣本量的情況下有較強的特征提取能力，最終所輸出的紋理特征代表著經過深度卷積后的抽象特征，是對人臉五官細節樣式的特征表示。

2.1.2 紋理特征融合與圖像構建

紋理特征融合的目的是將局部關鍵特征輸入所得到的紋理特征融入到全局圖像輸入得到的全局特征中，在整體的身份特征中體現需要改變的風格特征。該部分由多個級聯的風格融合模塊F組成，每個模塊由帶有AdaIN的殘差卷積塊組成。對于每一個級聯塊而言，其輸入是前一個塊的輸出特征Ft-1與紋理特征Cs，Ft-1與Cs在殘差卷積塊中融合運算，得到的輸出與Ft-1進行再次相加，具體計算過程如式（3）。

其中，φ表示在級聯塊中進行的一系列操作，參數A表示AdaIN層所需要學習的仿射變換參數，包含了縮放參數與位移參數，可以用來將各層特征歸一化。最后將來自最后一個級聯塊的輸出F輸入到解碼器中，解碼器遵循常規解碼器配置，通過多個反卷積層構建生成最終圖像Iout。

2.2 特征注意力模塊

當原始數據質量不高時，GAN 無法有效捕捉圖像的形狀和結構。同時，圖像中有一些不重要的細節，如果只從同一個全局層次學習，會使網絡難以聚焦關鍵信息。目前視覺注意力機制已經應用于針對圖像中關鍵目標區域進行識別和分類。視覺注意力對于生成人臉局部特征圖像同樣非常重要，因為它可以讓網絡知道要生成的特征應該集中在哪里。通常，神經網絡通過大量數據來訓練網絡識別物體的能力，但訓練后的網絡中圖片的整體價值是相等的，而計算機視覺中注意力機制的基本思想是使網絡具有忽略不相關信息而專注于關鍵信息的能力。

因此，本文將注意力模型引入到模型判別器中。注意力模型的本質是通過分配注意力系數來強調對整體圖像中關鍵細節的關注和選擇。在關注全局和局部細節的同時，模塊需要同時處理不同通道之間的關系，將兩部分的關系合并成一個特征關系圖。

模塊結構如圖4 所示。其中C代表輸入特征圖的通道數，H和W分別代表其高度和寬度。上一層的特征圖X∈?C×H×W經由不同大小的卷積核進行卷積后再由1×1 卷積調整通道，最后形成4 個特征空間Q、R、S、T。

圖4 改進的注意力模塊圖Fig.4 Improved attention module diagram

特征空間Q主要負責關注通道之間的交互關系。通道注意力圖可以通過式（4）得到，其中qm,n表示第n通道對第m通道的影響。

特征空間R和S的通道數都是C/8，但生成二者所采用的卷積核大小不同。通過對上一層特征圖X使用3×3大小的卷積核，使之生成的R具有相對較小的感受野，對局部特征的提取更細致，有利于聚焦局部特征。相應地使用7×7的較大卷積核，使生成的S獲得相對較大的感受野，用以關注全局特征。在此基礎上由R和S經由式（5）得到特征注意力圖，其中pj,i表示第i個位置的特征對第j個位置的特征的影響。

之后，將兩個注意力圖進行轉置并與特征空間T進行矩陣相乘，通過式（6）得到最終的輸出特征空間E，其中包含局部和全局特征依賴信息以及通道間相互依賴信息。

根據圖片不同位置上不斷變化的注意力系數可以繪制出注意力熱圖，如圖5所示。觀察可知模型在學習過程中，注意力焦點不斷關注關鍵位置，由全圖分散狀態逐步向中部人臉位置靠近，不斷實現對特征細節的聚焦。

圖5 注意力熱圖Fig.5 Attention heat map

2.3 改進的損失函數

模型的總體訓練損失可以表示為對抗損失、重建損失、色差損失、人臉關鍵分量損失的集合，如式（7）所示：

其中對抗損失是考慮真實圖像對與合成圖像對的分布，讓生成器生成的結果盡可能地類似于真實的圖像數據。重建損失直接引導生成圖像的視覺外觀與目標圖像相似，加速收斂過程，表示為生成的圖像與目標圖像之間的L1距離，如式（8）所示，Is、Iin分別表示輸入的局部關鍵圖像與全局圖像，It表示目標生成圖像。

同時，注意到原始損失函數難以改善生成圖像與原始圖像的色差，因此本文嘗試引入額外的色差損失Lcolor。為了計算生成圖像與真實圖像的色差，需要將RGB 圖像轉換為Lab 色彩空間。在式（9）中，E00表示Lab 顏色空間中兩個圖像之間每個像素的色差。JLab(i)和GLab(i)分別是真實人臉圖像和生成的人臉圖像對應的Lab顏色空間。

為了更好地保留人臉身份特征，在損失函數中加入人臉分量損失。這個損失是為了限制人臉五官中的關鍵部分，進一步加強模型對人臉的感知能力。如圖6所示，根據訓練目標，首先選擇左右眼、鼻梁、嘴巴，使用ROI align 方法進行修剪。對于每個單獨的裁剪區域，使用單獨的判別器來判斷生成的特征是否是真實的，并且是否接近輸入樣本中的對應位置。

圖6 面部聚焦區域圖Fig.6 Facial focus area map

受文獻[22]的啟發，結合函數中的特征樣式損失，改進為使用格拉姆矩陣來計算輸入和輸出之間的特征相關性。因此這部分損失函數可以表示為式（10）。

3 實驗結果與分析

3.1 數據集預處理與實驗環境

實驗使用CelebA（CelebFaces attributes dataset）人臉圖像數據集，其中包含202 599張人臉圖像，每個人臉圖像樣本包含各種屬性標簽。本文根據有無眼鏡標簽將所有圖片分為兩類，一是戴眼鏡的圖片，二是不戴眼鏡的圖片。從兩類圖像樣本中隨機選取350 張圖像作為訓練樣本，100張圖像作為測試樣本。本文用于訓練算法模型的服務器操作系統為Windows，訓練GPU 為TitanX，CPU為Intel Corei7-9700K，內存大小為64 GB。

為了模擬初始圖像樣本質量較差的情況，需要對訓練集樣本進行預處理。本實驗選用均值模糊、中值模糊和自定義模糊三種預處理方法對樣本添加模糊噪聲。平均模糊預處理的模糊半徑在9～15個像素之間隨機選擇，中值模糊預處理的模糊半徑在7～15 個像素之間隨機選擇，自定義模糊為使用單通道浮點矩陣運算實現噪聲的添加。模糊效果如圖7所示。

圖7 模糊處理效果圖Fig.7 Blur effect picture

3.2 實驗過程及評價指標

本文選取CycleGAN 等多個已有算法模型作為對照模型，將分別添加了三種噪聲的數據集作為原始輸入對未修改的對照模型與本文的改進模型進行訓練，然后進行測試并對比實驗結果。在測試過程中，進行了兩組對照實驗，一組測試是從不戴眼鏡的人臉圖像中生成戴眼鏡的圖像，另一組則相反。

之后對兩次實驗中獲得的輸出圖像進行了比較和分析。除了對生成結果進行主觀視覺評價外，還采用像素法來定量分析驗證模型改進工作的有效性。在基于圖像像素統計方面，峰值信噪比（PSNR）是一種常用的質量評價方法[27]。峰值信噪比是通過計算待評估圖像與參考圖像對應像素灰度值的差值，從統計的角度衡量待評估圖像質量。若待評估圖像為F,參考圖像為R,Q為圖像的量化灰度，大小為M×N，則峰值信噪比可用式（11）表示。

除了基于圖像的像素統計外，2002 年Wang[28]在圖像處理、圖像壓縮和圖像視覺質量評價等研究工作的基礎上，首次提出了結構信息的概念[29]。他們認為，人類視覺系統的主要功能是提取背景中的結構信息，而人類視覺系統可以以高度的適應性實現這一目標。因此，圖像結構失真的測量應該是圖像感知質量的最佳近似。在此基礎上，提出了符合人類視覺系統特點的圖像質量客觀評價標準結構相似性（SSIM）。

SSIM 基于圖像像素之間的相關性構建結構相似性。假設給定大小為M×N的兩幅圖像X和Y,則u(X)和u(Y),σ(X)和σ(Y)分別表示X和Y的像素平均值和標準差，σ(XY)表示X和Y的協方差。亮度l(X,Y)、對比度c(X,Y)、結構相似度s(X,Y)的計算及SSIM 定義可以表示為式（12）：

其中SSIM是將生成圖像相比原始圖像的失真情況建模為亮度、對比度、結構相似度三方面。首先對兩張圖片分別進行亮度、對比度與結構相似度計算，最后再經由上述三者進行綜合計算得出SSIM，其最終計算公式中的三個超參數?、β、γ通常被設為1。SSIM一定是一個介于0 到1 之間的數，其值越大則說明生成圖像相較原始圖像失真變化程度越小，生成圖像的穩定程度更高。

本算法模型的最終目的是盡可能真實地生成人臉細節特征，因此需要考慮觀測者的主觀視覺效果。一般來說人眼感知對于色彩亮度對比明顯的變化更敏感，也會受到觀測者本身感興趣區域的影響。這更多是從全局角度出發，對圖像整體變化更加關注。而PSNR 與SSIM 則更多是從圖像像素點的變化出發，以像素點值的變化從細分角度反映總體變化情況，可以從數值角度對人眼視覺的主觀評估效果進行修正，因此在實驗過程中應當辯證地結合兩類分析方法，對實驗效果進行綜合判斷。

3.3 實驗結果分析

首先以CycleGAN 為例，圖8 顯示了根據所描述的實驗步驟生成的實驗結果示例。

圖8 實驗效果圖Fig.8 Experimental rendering

如圖8所示，可以觀察到在沒有優化的情況下直接進行圖像生成時，生成的圖像質量并不好。當輸入圖像含有噪聲模糊干擾時，傳統CycleGAN算法將會難以學習五官特征，進而導致最終生成圖片質量差，出現關鍵細節特征丟失的情況，其五官效果、面部邊緣均很模糊。而通過使用本文算法的生成器結構，以雙輸入源編碼進行學習，得益于局部關鍵圖像的獨立輸入，在不添加注意力引導的情況下已經可以實現關鍵特征區域的良好生成，但面部中心器官邊緣輪廓仍不夠清晰，瞳色等身份特征也不夠明顯。因此在加入注意力模塊進行不斷引導后，最終生成的關鍵特征相較其他方法最為清晰，人臉的整體視覺效果更加良好，需要實現的戴眼鏡特征最真實明顯，同時未出現巨大的特征變化情況。

對不同模型進行測試后，計算評價指標PSNR 和SSIM，結果如圖9 和圖10 所示。其中實驗A 是指將戴眼鏡的人臉圖像生成為不戴眼鏡的人臉圖像，實驗B則是相反。

圖9 PSNR結果圖Fig.9 PSNR result graph

圖10 SSIM結果圖Fig.10 SSIM result graph

PSNR 是評價圖像質量最常用、應用最廣泛的客觀測量方法。從圖中可以得出，改進后的模型在性能上明顯優于未改進的CycleGAN 模型。改進后的完整模型在兩次實驗中的PSNR值為7.84/14.66，無注意力模塊的模型在兩次實驗中的PSNR 值為5.46/13.22，CycleGAN的PSNR值為4.29/11.96。

除了基于圖像的像素統計外，SSIM 還用于測量比較前后圖像的結構相似性。從實驗結果可以得出，本文模型的SSIM值最高，為0.48/0.65，無注意力模塊的模型的SSIM值為0.40/0.54，CycleGAN的SSIM值為0.33/0.47。

其他常見生成模型在本任務下的測試結果如表1所示。

表1 實驗數據Table 1 Experimental data

總而言之，從實驗結果分析來看，本文模型不僅具有更好的視覺效果，更接近真實人臉圖像，而且在定量對比上也有更好的性能效果。例如與CycleGAN相比，其PSNR 值和SSIM 值分別提高了3.85%和38.3%。與沒有特征處理單元的模型相比，也有2.63%和20.4%的提升。綜合圖9、圖10以及表1的實驗數據，從數值上可以直觀得出本文算法模型生成的圖像相比其他算法模型與原始圖像更為相近，同時失真程度更小，結構更為穩定。可以將這種效果提高歸結為以下幾個原因：（1）相比傳統的生成對抗網絡將圖像作為全局單一輸入進行學習，本文模型將全局特征與局部關鍵特征進行區分學習，給予了模型更高的自由度，可以更好地專注于各部分的特征提取；（2）注意力引導下不斷進行生成可以更好地實現關鍵位置聚焦，避免對于無關特征過度關注而導致其他過度變化出現；（3）多種損失的共同約束作用更好地促使模型盡量保留人臉原始身份特征，多區域裁剪后的獨立判斷同樣是為了避免多組特征相互干擾。總體而言，本文方法增強了模型在數據質量較差的情況下捕捉關鍵特征的能力，進一步增強了模型的非線性變換能力，而模型泛化能力的增強也有利于整體模型深度的增加和計算性能的提升，并最終實現了人臉圖像中關鍵位置的細節特征生成。

4 結束語

本文提出了一種基于改進生成對抗網絡的人臉圖像合成算法。改進后的模型通過對局部關鍵屬性的分解與融合以及注意力機制的引入，實現對人臉關鍵信息的聚焦，從而在生成過程中引導身份信息的保留和細節特征的生成。在使用真實圖像的綜合數據集上進行實驗，無論是在生成圖像的視覺感知上，還是在PSNR 和SSIM 數據的量化上，本文方法相比以往方法都有更好的性能效果。不過在輪廓邊緣等畫面細節及關鍵特征的生成效果上仍可以優化。在進一步的研究中，可以嘗試探索如何在最大化保留身份信息的同時提高圖像質量和生成特征質量。