基于人臉結(jié)構(gòu)信息引導的人臉圖像修復網(wǎng)絡(luò)

石浩德 ， 陳明舉 ，2*， 侯 勁 ，2， 李 蘭

（1.四川輕化工大學 自動化與信息工程學院， 四川 宜賓 644000；2.四川輕化工大學 人工智能四川省重點實驗室， 四川 宜賓 644000）

1 引 言

圖像修復是計算機視覺領(lǐng)域研究中一項重要內(nèi)容，其目的是利用圖像修復算法對圖像中破損或遮擋的區(qū)域進行重建，并填入符合圖像語義和視覺常識的數(shù)據(jù)，生成直觀感覺真實存在的圖像［1］。

傳統(tǒng)的圖像修復主要分為基于擴散的方法［2］和基于樣本塊的方法［3］。基于擴散的方法主要使用修復區(qū)域已知的邊緣信息，然后向內(nèi)部待修復區(qū)域擴散。這種以迭代擴散的方式在待修復區(qū)域進行傳導往往只能修復遮擋或破損區(qū)域較小的圖像，當遮擋或破損區(qū)域太大時，其修復結(jié)果模糊且語義不連貫。基于樣本塊的圖像修復方法則是從待修復的圖像中尋找與缺失區(qū)域附近相似的圖像塊來合成需要修復的區(qū)域。這種以搜索方式來填充修復區(qū)域圖像的方法對于結(jié)構(gòu)單一的圖像效果明顯，但對于語義結(jié)構(gòu)豐富或者結(jié)構(gòu)紋理復雜的圖像，其修復結(jié)果十分模糊，并且破壞了原有圖像的結(jié)構(gòu)完整性。

近年來，隨著深度學習在計算機視覺領(lǐng)域的發(fā)展，圖像修復領(lǐng)域取得了突破性的進展。圖像修復深度學習網(wǎng)絡(luò)能夠通過大量的樣本學習生成新的圖像信息，特別是隨著生成對抗網(wǎng)絡(luò)［4］（Generative adversarial networks，GAN）的出現(xiàn)，圖像修復性能得到進一步提升。Pathak等人［5］提出了CE（Context Encoders）算法，首次在圖像修復中運用了生成對抗網(wǎng)絡(luò)來生成新的圖像。Iizuka等人［6］在CE的基礎(chǔ)上提出了GLCLC（Globally and locally consistent image completion）算法，通過使用全局判別器和局部判別器進行網(wǎng)絡(luò)模型的訓練，最終能夠修復較大區(qū)域的缺失圖像，不足的是生成的圖像往往是用背景進行填充，導致修復結(jié)果在很多時候結(jié)構(gòu)紋理不連貫。Yu等人［7］提出了CA（Generative Image Inpainting With Contextual Attention）算法，通過引入注意力機制，由粗到細分兩階段進行修復，圖像修復性能得到了提升。Nazeri等人［8］提出了 EC（EdgeConnect： Generative Image Inpainting with Adversarial Edge Learning）算法，首先生成缺失區(qū)域邊緣圖，然后將邊緣圖作為人臉修復指導信息送入修復網(wǎng)絡(luò)中進行修復，獲得了比較好的修復結(jié)果，但網(wǎng)絡(luò)在面臨大面積缺失情況下存在修復后邊緣輪廓不協(xié)調(diào)的問題。Yang等人［9］提出了LaFIn（LaFIn：Generative Landmark Guided Face Inpainting）算法，首先預測人臉關(guān)鍵點，然后將預測的關(guān)鍵點作為后階段修復網(wǎng)絡(luò)的條件指導信息進行人臉修復。Xiong等人［10］提出先預測前景輪廓，再將預測的前景輪廓信息作為條件指導信息進行下階段修復，缺點是輪廓內(nèi)部區(qū)域修復效果不好。Yang等人［11］提出了多任務(wù)學習框架來整合圖像結(jié)構(gòu)知識來輔助圖像修復，通過將紋理和梯度等信息作為先驗指導信息，提升了圖像修復紋理細節(jié)。Wang等人［12］提出通過語義分割引導圖像的修復，提升了圖像修復性能，但生成的人臉圖像紋理細節(jié)上不夠清晰。Guo等人［13］提出將圖像修復分成紋理合成和結(jié)構(gòu)重建兩個子任務(wù)，構(gòu)建了一種新的用于圖像修復的雙流網(wǎng)絡(luò)CTSDG（Conditional Texture and Structure Dual Generation），進一步提升了圖像修復的性能。

綜上所述，目前人臉圖像修復的深度學習網(wǎng)絡(luò)模型仍然存在一些不足，本文受文獻［8］的啟發(fā)，提出了一種基于人臉結(jié)構(gòu)信息引導的人臉圖像修復網(wǎng)絡(luò)，其主要工作如下：

（1）針對修復后的人臉圖像面部語義信息不合理和面部輪廓不協(xié)調(diào)的問題，提出了通過人臉結(jié)構(gòu)信息引導的人臉圖像修復網(wǎng)絡(luò)。

（2）針對本文提出的人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)，為了更好地生成待修復區(qū)域下的人臉結(jié)構(gòu)草圖，在網(wǎng)絡(luò)生成器中引入了跳躍連接和帶膨脹卷積的殘差塊。為了使成器生成與真實結(jié)構(gòu)草圖更相似的結(jié)果，在損失函數(shù)中引入特征匹配損失，使模型生成的結(jié)構(gòu)草圖更加豐富合理。

（3）針對本文提出的人臉修復網(wǎng)絡(luò)，為了使修復網(wǎng)絡(luò)在修復時更多地關(guān)注缺失區(qū)域，在人臉修復網(wǎng)絡(luò)中引入了注意力機制，并在損失函數(shù)中聯(lián)合感知損失和風格損失，以此更好地重建待修復區(qū)域的人臉圖像面部輪廓結(jié)構(gòu)和顏色紋理。

2 相關(guān)研究

2.1 U-Net網(wǎng)絡(luò)

U-Net 是由Ronneberger等人提出的一種編碼器-解碼器網(wǎng)絡(luò)結(jié)構(gòu)［14］，最早主要應(yīng)用在圖像分割領(lǐng)域，后來逐漸被用在圖像修復中。其主要思想是輸入帶有噪聲的圖像數(shù)據(jù)，經(jīng)過下采樣編碼得到比原始圖像小很多的特征圖，然后經(jīng)過一系列上采樣解碼，在理想狀態(tài)下經(jīng)過多次模型參數(shù)訓練可以去除噪聲，還原出真實的原圖像。U-Net網(wǎng)絡(luò)提出了采用跳躍連接的方式將下采樣過程中的信息連接到上采樣過程中，使得最后輸出結(jié)果能夠充分利用淺層與深層特征，在圖像修復中能夠更好地還原出缺失區(qū)域，U-Net網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 U-Net網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 U-Net network structure diagram

2.2 生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)（GAN）是由Goodfellow等人［4］于2014年提出的，其設(shè)計靈感來自于博弈論中的博弈思想，并在深度神經(jīng)網(wǎng)絡(luò)中用生成器和判別器來模擬這種思想。圖2為GAN網(wǎng)絡(luò)結(jié)構(gòu)圖，其生成器通過捕捉真實樣本數(shù)據(jù)分布生成新的圖像；判別器可認為是一個二分類器，用來判斷生成的新圖像是否真實，如對真實樣本圖像的判別結(jié)果為真則用1表示，而對生成的圖像判別結(jié)果為假則用0表示。然后將判別結(jié)果分別反饋給生成器和判別器，生成器將根據(jù)判別結(jié)果進行梯度優(yōu)化學習，生成更加真實的圖像來迷惑判別器；判別器同樣根據(jù)判別結(jié)果進行性能提升，以此更加準確地辨別出真實圖像和生成的圖像，通過循環(huán)進行上述步驟，直到判別器很難分辨出生成器生成的圖像。整個博弈過程從0開始，直到判別器的判別結(jié)果為0.5時，兩者達到平衡。

圖2 GAN網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Diagram of GAN network structure

GAN的數(shù)學表達式定義為：

其判別器訓練的表達式為：

其生成器訓練的表達式為：

其中：x和z分別表示真實樣本數(shù)據(jù)和隨機噪聲向量，x是通過真實數(shù)據(jù)分布Pdata隨機采樣生成，z是通過指定的先驗噪聲分布Pz采樣生成；θg和θd分別表示生成器的梯度值和判別器的梯度值。

3 基于人臉結(jié)構(gòu)信息引導的人臉圖像修復網(wǎng)絡(luò)

本文提出了一種基于人臉結(jié)構(gòu)信息引導的人臉圖像修復網(wǎng)絡(luò)，該網(wǎng)絡(luò)由人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)和人臉修復網(wǎng)絡(luò)兩部分組成。人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)通過學習人臉結(jié)構(gòu)先驗知識產(chǎn)生待修復區(qū)域的人臉結(jié)構(gòu)草圖，人臉修復網(wǎng)絡(luò)以人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)生成的結(jié)構(gòu)草圖作為條件指導信息進行人臉圖像修復。

3.1 人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)

人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)主要用于生成待修復區(qū)域的結(jié)構(gòu)草圖，其輸入為遮擋人臉圖像的灰度圖、遮擋人臉圖像的結(jié)構(gòu)草圖以及掩碼，輸出為網(wǎng)絡(luò)生成的人臉結(jié)構(gòu)草圖。本文設(shè)計的人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)整體框架如圖3所示，其上半部分為人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)的生成器，下半部分為人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)的判別器。采用生成人臉結(jié)構(gòu)草圖再進行人臉修復的思想類似于在繪制肖像畫時，往往最先構(gòu)建的是人臉草圖，然后再在草圖上進行色彩和細節(jié)填充。這種修復方式能夠更好地還原人臉圖像的缺失區(qū)域并使修復后的人臉圖像細節(jié)紋理清晰。

圖3 人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)框架圖Fig.3 Face structure sketch generation network frame diagram

結(jié)構(gòu)草圖生成網(wǎng)絡(luò)的生成器基于編碼器-解碼器結(jié)構(gòu)，主要由3個下采樣卷積層、7個帶膨脹卷積的殘差塊、3個上采樣卷積層以及從下采樣層跳躍連接到上采樣層后的特征融合層組成。為了強化結(jié)構(gòu)草圖生成網(wǎng)絡(luò)生成器對待修復區(qū)域人臉結(jié)構(gòu)信息的生成能力，在結(jié)構(gòu)草圖生成網(wǎng)絡(luò)生成器的下采樣層與上采樣層之間加入跳躍連接進行特征融合，這樣不僅能夠?qū)⑾虏蓸舆^程中采集的各個階段特征信息在上采樣過程中進行再次利用，同時也能更好地傳遞網(wǎng)絡(luò)淺層到深層的梯度信息，提高網(wǎng)絡(luò)的訓練速度。

其次，在下采樣層后引入帶膨脹卷積（Dilated Convolution）的殘差塊［15］用于增加卷積神經(jīng)元的感受野。膨脹卷積的引入可以使卷積神經(jīng)元捕捉更大范圍的特征信息，從而使生成器在特征傳遞過程中采集更多人臉的結(jié)構(gòu)先驗信息，進而使生成的人臉結(jié)構(gòu)草圖更符合人臉拓撲結(jié)構(gòu)。而采用殘差塊作為生成器的中間層不僅能夠避免GAN網(wǎng)絡(luò)在訓練過程中梯度消失的問題，同時也可以將下采樣后的信息更多地傳遞到后面的上采樣過程中，提升網(wǎng)絡(luò)的訓練速度和人臉結(jié)構(gòu)草圖的生成質(zhì)量。

最后，在下采樣與上采樣過程中的每個卷積層與激活層之間都加入實例歸一化（IN）層。IN層不僅可以使網(wǎng)絡(luò)訓練更加穩(wěn)定，還可以加快訓練過程中網(wǎng)絡(luò)模型的收斂速度。

3.2 人臉修復網(wǎng)絡(luò)

人臉修復網(wǎng)絡(luò)主要用于生成人臉待修復區(qū)域的彩色圖像，其輸入為遮擋的人臉彩色圖像以及人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)生成的人臉結(jié)構(gòu)草圖，輸出為修復好的人臉彩色圖像。本文設(shè)計的人臉修復網(wǎng)絡(luò)的整體框架如圖4所示，其上半部分為人臉修復網(wǎng)絡(luò)的生成器，下半部分為人臉修復網(wǎng)絡(luò)的判別器。

圖4 人臉修復網(wǎng)絡(luò)的框架圖Fig.4 Frame diagram of face inpainting network

人臉修復網(wǎng)絡(luò)的生成器同樣基于編碼器-解碼器結(jié)構(gòu)，主要由3層下采樣層、7個帶膨脹卷積的殘差塊、1個長短期注意力層［16］和3個上采樣層以及從下采樣層跳躍連接到上采樣層后的特征融合層組成。為了能夠更有效地利用人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)生成的結(jié)構(gòu)草圖信息，人臉修復網(wǎng)絡(luò)在生成器中間階段除了添加帶膨脹卷積的殘差塊還引入了注意力機制。其中，在人臉修復網(wǎng)絡(luò)中引入帶膨脹卷積殘差塊的目的與其在結(jié)構(gòu)草圖生成網(wǎng)絡(luò)的作用相似，而在人臉修復網(wǎng)絡(luò)生成器中加入長短期注意力層（Self-attention Module），除了可以使人臉修復網(wǎng)絡(luò)在修復過程中更多地關(guān)注人臉待修復區(qū)域，同時也能有效連接時間特征圖，這樣能夠盡可能地保證修復后的面部輪廓更加協(xié)調(diào)，同時提升修復區(qū)域的面部紋理細節(jié)。

在人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)和人臉修復網(wǎng)絡(luò)中，判別器均采用馬爾可夫判別器［17］（Patch-GAN），它主要由4個卷積層和1個全連接層組成。與其他判別器網(wǎng)絡(luò)設(shè)計不一樣的是馬爾可夫判別器先輸出1個N×N的矩陣，然后通過計算N×N矩陣的均值作為最終的判別輸出，這與傳統(tǒng)判別器的輸出只有1個真假矢量有著本質(zhì)的區(qū)別。馬爾可夫判別器輸出矩陣中的每個位置能夠代表生成圖像1個感受野，而每個感受野對應(yīng)著生成圖像中的一部分區(qū)域。因此采用馬爾可夫判別器能更準確地分辨出生成器生成的圖像與真實圖像之間的差別，從而更好地調(diào)節(jié)網(wǎng)絡(luò)梯度。

其次，為了保證判別器盡可能地關(guān)注整個圖像結(jié)構(gòu)性并評估生成的圖像與真實圖像是否一致，本文設(shè)計的人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)和人臉修復網(wǎng)絡(luò)只采用了全局判別器作為整個網(wǎng)絡(luò)的判別器。這是因為局部判別器在鑒別生成的圖像與真實圖像之間的差別時往往只會關(guān)注網(wǎng)絡(luò)修復后的區(qū)域，這樣雖然滿足了修復區(qū)域的一致性，但忽略了圖像整體結(jié)構(gòu)的全局性，而人臉拓撲結(jié)構(gòu)和紋理信息往往需要滿足整體結(jié)構(gòu)，因此全局判別器可以更好地保證區(qū)域結(jié)構(gòu)與整體結(jié)構(gòu)的一致性，從而使生成器生成更加真實生動的人臉圖像。

最后，為了防止結(jié)構(gòu)草圖生成網(wǎng)絡(luò)和人臉修復網(wǎng)絡(luò)在訓練過程中發(fā)生梯度爆炸，使訓練過程能夠穩(wěn)定進行，在判別器中引入了譜歸一化［18］（Spectral Normalization，SN），以此來提高GAN網(wǎng)絡(luò)的訓練質(zhì)量。

3.3 損失函數(shù)

3.3.1 人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)損失函數(shù)

設(shè)Igt表示真實的人臉圖像，Isketch表示對應(yīng)的結(jié)構(gòu)草圖，Igray表示對應(yīng)的灰度圖，M為待修復掩膜，1表示缺失區(qū)域，0表示已知區(qū)域。則已知圖像的灰度圖可以表示為I?gray=Igray⊙ (1-M)，已知圖像的結(jié)構(gòu)草圖可以表示為I?sketch=Isketch⊙(1-M)，因此結(jié)構(gòu)草圖生成網(wǎng)絡(luò)的生成器Gsketch預測的人臉結(jié)構(gòu)草圖可以表示為：

在Gsketch預測得到人臉結(jié)構(gòu)草圖Ipred，sketch后，將Ipred，sketch與真實結(jié)構(gòu)草圖Isketch一起輸入到結(jié)構(gòu)草圖生成網(wǎng)絡(luò)的判別器Dsketch中，判別生成器Gsketch生成的人臉結(jié)構(gòu)草圖的真實性。在結(jié)構(gòu)草圖生成網(wǎng)絡(luò)中，為了更好地生成待修復區(qū)域的人臉結(jié)構(gòu)草圖，結(jié)構(gòu)草圖生成網(wǎng)絡(luò)在生成對抗損失Ladv，sketch的基礎(chǔ)上引入特征匹配損失 LFM，sketch進行模型的訓練。定義整個結(jié)構(gòu)草圖生成網(wǎng)絡(luò)的訓練目標為：

式中，λadv，sketch和λFM，sketch是正則化參數(shù)。其對抗損失 Ladv，sketch定義如式（6）所示：

特征匹配損失LFM，sketch通過比較判別器Dsketch中間層的激活映射來約束生成器Gsketch產(chǎn)生與真實人臉結(jié)構(gòu)草圖更相似的結(jié)果，從而穩(wěn)定訓練過程。特征匹配損失LFM，sketch定義如式（7）所示：

其中：L表示判別器Dsketch卷積層的總層數(shù)，Ni為每層元素的數(shù)目，D(i)sketch表示判別器Dsketch第i層的激活函數(shù)輸出。

3.3.2 人臉修復網(wǎng)絡(luò)損失函數(shù)

為了保證人臉修復結(jié)果的面部語義信息合理性以及更好地重建待修復區(qū)域的人臉圖像面部輪廓結(jié)構(gòu)和顏色紋理，人臉修復網(wǎng)絡(luò)引入了L1損失、生成對抗損失 Ladv，face，并聯(lián)合感知損失［19］Lperc，face和風格損失［20］Lstyle，face對式（8）進行訓練，其中L1損失定義為：

式中N為歸一化后掩膜像素點的數(shù)目。

生成對抗損失Ladv，face定義為：

感知損失Lperc，face用來約束人臉修復網(wǎng)絡(luò)重構(gòu)結(jié)果Ipred，face與原圖Igt在語義結(jié)構(gòu)上保持一致，其定義如式（11）所示：

式中?i為預訓練模型 VGG-19［21］第i層激活輸出映射。

風格損失的定義與感知損失有相似之處，都需要利用預訓練好的VGG-19網(wǎng)絡(luò)將輸入的圖像映射到高維度特征空間，以此來提取圖像的高水平的語義結(jié)構(gòu)特征信息。不同于感知損失，風格損失首先需要利用卷積激活輸出特征構(gòu)建一個Gram矩陣并計算其在通道維度上的相關(guān)性，然后在通道維度相關(guān)矩陣上計算其歐式距離，最后對圖像的紋理風格進行建模。Lstyle，face定義如式（12）所示：

式中，?i定義與感知損失中的定義一樣，T表示矩陣轉(zhuǎn)置。

最終，可以得到人臉修復網(wǎng)絡(luò)的總損失為：

式中λL1、λadv，face、λperc，face、λstyle，face為正則化參數(shù)。

4 實驗結(jié)果與分析

4.1 實驗環(huán)境和數(shù)據(jù)集

本文實驗環(huán)境為Windows 10 64位專業(yè)版服務(wù)器，其處理器為 Intel（R） Xeon（R） CPU E5-2695 v4 @ 2.10 GHz、內(nèi)存（RAM）為256 GB、GPU（NVIDA TITAN Xp）共4塊，顯卡內(nèi)存為12 GB。軟件環(huán)境為 Pycharm2020、Pytorch1.7、Python3.6、CUDA 10.2等。

實驗選用 CelebA-HQ 數(shù)據(jù)集［22］中 30 000張高清人臉圖像對人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)和人臉修復網(wǎng)絡(luò)進行訓練和測試，其中26 000張用于訓練集，3 000張用于驗證集，1 000張用于測試集。訓練集、驗證集、測試集無任何交集。實驗過程中使用的掩碼由Liu等人［23］的不規(guī)則掩碼數(shù)據(jù)集提供，將數(shù)據(jù)集中的26 000張用于訓練集，3 000張用于驗證集，1 000張用于測試集，輸入圖片大小均為256×256。訓練時先分開訓練人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)和人臉修復網(wǎng)絡(luò)，然后將人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)和人臉修復網(wǎng)絡(luò)進行聯(lián)合訓練。在訓練過程中，采用指數(shù)衰減率為β1=0，β2=0.9的Adma優(yōu)化器進行優(yōu)化，分開訓練時學習率設(shè)置為10-4，聯(lián)合訓練時學習率設(shè)置為10-6，圖片的批處理大小（Batch size）設(shè)置為8，保存模型需要等待的迭代次數(shù)設(shè)置為1 000次。其人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)中使用的結(jié)構(gòu)草圖采用與文獻［24］相似的方法，由高斯模糊和圖像除法運算得到，其中高斯核大小設(shè)置為（15，15）。在人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)中，參考文獻［8］的參數(shù)設(shè)置，損失函數(shù)正則化參數(shù)設(shè)置為 Ladv，sketch=1，LFM，sketch=10；在人臉修復網(wǎng)絡(luò)中，損失函數(shù)正則化參數(shù)設(shè)置為λL1=1，λadv，face=λperc，face=0.1，λstyle，face=250。

4.2 實驗結(jié)果定性分析

為了更好地對本文設(shè)計的網(wǎng)絡(luò)模型修復性能進行驗證，采用定性分析（主觀評價）和定量分析（客觀評價）兩種方法進行測試。圖5所示為本文模型測試結(jié)果，從上到下測試圖像的隨機掩膜的覆蓋占比分別為10%～20%，20%～30%，30%～40%，40%～50%，50%～60%以及中心掩膜。

從圖5測試結(jié)果可看出，人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)生成的結(jié)構(gòu)草圖（圖5（e））不僅能夠保持人臉拓撲結(jié)構(gòu)，而且也能準確地恢復出掩膜遮擋下人臉圖像的面部語義信息，其修復后的面部結(jié)構(gòu)紋理信息非常豐富，同時能夠保持已知面部區(qū)域與待修復面部區(qū)域的邊界處的結(jié)構(gòu)一致性，肉眼很難分辨出修復痕跡，最終能還原出真實清晰的人臉面部結(jié)構(gòu)草圖，這驗證了本文所設(shè)計的人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)修復性能的有效性。其次，從圖5測試結(jié)果可以看出，在人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)預測的人臉結(jié)構(gòu)草圖信息指導下，人臉修復網(wǎng)絡(luò)能夠很好地還原出被遮擋圖像的面部彩色圖像（圖5（f）），其合成的紋理信息不僅能夠與周圍已知區(qū)域保持一致，而且修復后面部輪廓協(xié)調(diào)，顏色分布均勻，邊界信息連貫以及修復結(jié)果真實清晰，這驗證了本文所設(shè)計的人臉修復網(wǎng)絡(luò)有效性。

圖5 本文模型修復測試結(jié)果。（a）原圖像； （b）真實面部結(jié)構(gòu)草圖； （c）遮擋面部圖像； （d）遮擋面部結(jié)構(gòu)草圖； （e）生成的結(jié)構(gòu)草圖； （f）修復的人臉圖像。Fig.5 Model repair test results in this paper.（a） Original image； （b） Sketch of real facial structure； （c） Occlusion of the face image； （d） Occlusion sketches of facial structures； （e） Generated structural sketch；（f） Repaired face image.

為了更好地展示本文所設(shè)計的網(wǎng)絡(luò)模型的優(yōu)越性，選取與本文網(wǎng)絡(luò)模型設(shè)計相似的幾種深度學習圖像修復網(wǎng)絡(luò)進行定性對比分析實驗，其對比方法主要包括文獻［8］EC算法、文獻［9］LaFIn算法、文獻［13］CTSDG算法和本文算法。為了展示在不同掩碼下的修復情況，分別采用隨機掩膜和中心掩膜進行比較分析。

隨機掩膜修復實驗的結(jié)果如圖6所示。可以直觀地看出，在隨機掩膜遮擋下，EC算法修復結(jié)果存在部分面部結(jié)構(gòu)扭曲，且部分修復區(qū)域較為模糊，如第三列第一行與第三列第二行的修復結(jié)果；LaFIn和CTSDG算法相比于EC算法，其修復結(jié)果更加真實，面部輪廓更加合理，但部分區(qū)域的修復仍存在瑕疵，如LaFIn算法第四列第二行的修復結(jié)果和CTSDG算法第五列第一行修復結(jié)果；與上述3種算法相比，本文所提算法修復的人臉圖像與原圖像面部結(jié)構(gòu)更為相似，面部輪廓更加協(xié)調(diào)，表情更為豐富，其修復后的圖像清晰度也更好。

圖6 隨機掩膜修復實驗結(jié)果定性比較。（a）原圖像； （b）遮擋圖像； （c）EC算法； （d）LaFIn算法； （e）CTSDG算法； （f）本文算法。Fig.6 Qualitative comparison of experimental results of random mask repair.（a） Original image； （b） Occluded image； （c） EC algorithm； （d） LaFIn algorithm； （e） CTSDG algorithm； （f） Our algorithm.

中心掩膜修復實驗的結(jié)果如圖7所示。可以直觀地看出，在中心掩膜遮擋下，由于缺少了大部分先驗信息的參考，修復網(wǎng)絡(luò)根據(jù)自身學習到的人臉圖像幾何分布進行合理的預測。EC算法雖能夠生成面部主要結(jié)構(gòu)，但在嘴巴等部位存在明顯的修復痕跡，部分結(jié)構(gòu)存在扭曲，如第三列第一行眼睛部位修復結(jié)果與第三列第二行嘴巴修復結(jié)果；LaFIn算法相比于EC算法，其面部輪廓更加協(xié)調(diào)，但也存在部分修復瑕疵的情況，如第四列第四行嘴巴修復結(jié)果，且恢復出的部分結(jié)構(gòu)也不完善，如第四列最后一行的修復結(jié)果；CTSDG算法相比于LaFIn算法，修復細節(jié)更豐富，但部分區(qū)域未恢復出應(yīng)有的結(jié)構(gòu)且存在明顯修復痕跡，如第五列第五行；本文算法與其他幾種算法相比，除了修復后能夠保持主要的面部結(jié)構(gòu)輪廓，其紋理細節(jié)也更加生動。

圖7 中心掩膜修復實驗結(jié)果定性比較。（a）原圖像； （b）遮擋圖像； （c）EC算法； （d）LaFIn算法； （e）CTSDG算法； （f）本文算法。Fig.7 Qualitative comparison of experimental results of center mask repair.（a） Original image； （b） Occluded image； （c） EC algorithm； （d） LaFIn algorithm； （e） CTSDG algorithm； （f） Our algorithm.

修復細節(jié)實驗的結(jié)果如圖8所示。可以看出，無論是面部整體輪廓還是面部重要的五官部位（嘴巴，鼻子，眼睛，耳朵），本文算法修復細節(jié)結(jié)果均比其他幾種對比算法更好。這主要得益于人臉修復網(wǎng)絡(luò)在結(jié)構(gòu)草圖的指導下，能夠更好地恢復出遮擋下的面部輪廓結(jié)構(gòu)和紋理細節(jié)，同時在人臉修復網(wǎng)絡(luò)中引入注意力機制使其在修復過程中更多地關(guān)注待修復區(qū)域。

圖8 定性實驗修復細節(jié)展示 。（a） 原圖像；（b） EC算法；（c） LaFIn算法（d） CTSDG算法；（e） 本文算法。Fig.8 Qualitative experimental repair details.（a） Original image； （b） EC algorithm； （c） LaFIn algorithm；（d） CTSDG algorithm； （e） Our algorithm.

4.3 實驗結(jié)果定量分析

除了定性對比實驗，本文還采用以下3種客觀指標進行定量分析評價，其評價指標采用峰值信噪比（Peak Signal to Noice Ratio， PSNR）、結(jié)構(gòu)相似性［25］（Structural Similarity Index，SSIM）以及弗雷特距離［26］（Frecher inception distance，F(xiàn)ID），其中PSNR和SSIM的值越高表示修復效果越好，F(xiàn)ID的值越低表示修復效果越好［27］。

為了更好地突出本文所提方法的有效性，對不同比例下的掩膜修復情況分別進行了定量比較分析，其結(jié)果如表1所示。從表1可以看出，本文方法在所有指標上都優(yōu)于其他方法。其中，本文方法測試結(jié)果的PSNR比EC算法提高了2.49，比Lafin算法提高了0.76，比CTSDG算法提高了0.62；SSIM比EC算法提高了4.9%，比LaFIn算法提高了2%，比CTSDG算法提高了1.6%；FID比EC算法降低了3.4，比LaFIn算法降低了0.6，比CTSDG算法降低了0.3（以上對比值均由平均值計算得出）。

表1 不同掩膜下修復實驗定量比較結(jié)果Tab.1 Quantitative comparison results of repair experiments under different masks

4.4 消融實驗

為了更好地驗證本算法所提出的人臉結(jié)構(gòu)草圖引導人臉修復和引人注意力機制的有效性，與基準算法進行了消融實驗對比。圖9展示了人臉結(jié)構(gòu)草圖與注意力機制對整個人臉圖像修復效果的影響。

從圖9可以看出，在基準算法的基礎(chǔ)上引入人臉結(jié)構(gòu)草圖進行人臉修復引導后，其修復質(zhì)量顯著提高，特別是待修復圖像的整體結(jié)構(gòu)和紋理細節(jié)相比于基準算法提升很多，如第三列與第四列之間對比。在修復網(wǎng)絡(luò)中引入注意力機制后，其修復效果在修復細節(jié)上又有提升，特別是在眼睛、耳朵等細節(jié)部位，修復網(wǎng)絡(luò)能夠很好地還原出缺失的部分，整體相似度與原圖像更加接近，如第五列與第四列之間對比。

圖9 消融修復實驗定性分析。（a）原圖像； （b）遮擋圖像；（c）基準算法； （d）草圖結(jié)構(gòu)引導； （e）草圖結(jié)構(gòu)引導+注意力機制。Fig.9 Qualitative analysis of ablation repair experiment.（a） Original image； （b） Occluded image； （c） Benchmark algorithm； （d） Sketch structure guidance；（e） Sketch structure guidance+attention mechanism.

為了更好地展示消融實驗部分不同模塊的作用，對以上進行展示的圖像進行了定量比較分析，其結(jié)果如表2所示，其中Sketch表示人臉結(jié)構(gòu)草圖引導的人臉修復，SA表示注意力機制。從表2可以看出，相比于基準算法，人臉結(jié)構(gòu)草圖引導的人臉修復網(wǎng)絡(luò)的PSNR和SSIM均顯著提高，F(xiàn)ID顯著下降。在引入注意力機制后，圖像修復性能在面部細節(jié)處得到進一步提升。

表2 消融修復實驗定量比較結(jié)果Tab.2 Quantitative comparison of results of ablation repair experiments

5 結(jié) 論

本文提出了一種基于人臉結(jié)構(gòu)信息引導的人臉圖像修復網(wǎng)絡(luò)。首先，設(shè)計了人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)用于生成待修復區(qū)域的人臉結(jié)構(gòu)草圖，并利用生成的人臉結(jié)構(gòu)草圖對人臉修復網(wǎng)絡(luò)進行引導。為了強化結(jié)構(gòu)草圖生成網(wǎng)絡(luò)對缺失區(qū)域人臉圖像未知結(jié)構(gòu)信息的生成能力，在網(wǎng)絡(luò)中加入跳躍連接和引入帶膨脹卷積的殘差塊，在損失函數(shù)中引入了特征匹配損失，以生成與真實人臉結(jié)構(gòu)草圖更相似的結(jié)果。其次，在人臉修復網(wǎng)絡(luò)中加入了注意力機制使修復網(wǎng)絡(luò)在修復過程中更多關(guān)注待修復區(qū)域，并聯(lián)合感知損失和風格損失進行模型訓練，從而更好地重建待修復區(qū)域的面部輪廓結(jié)構(gòu)和顏色紋理。最后，與幾種經(jīng)典網(wǎng)絡(luò)進行了定性和定量對比實驗，其結(jié)果驗證了本文設(shè)計網(wǎng)絡(luò)的有效性。此外，本文雖然能夠修復正常遮擋區(qū)域下的人臉圖像，但在人臉存在大幅度傾斜以及低清晰度的圖像修復上還存在缺陷，這也是接下來需要重點解決的問題。