一種基于局部屬性生成對抗網絡的人臉修復算法

蔣 斌 劉虹雨 楊 超 涂文軒 趙子龍

(湖南大學信息科學與工程學院 長沙 410082)

圖像修復又被稱為圖像還原，主要任務是為圖像缺失的區域填充合理的像素.該技術被應用于多種場景，如用于去除圖像中的多余內容，或者利用一個圖像中的內容和語義來填充另一個圖像中的空缺區域.圖像修復的核心挑戰是為與上下內容和邊界相關的缺失區域創建語義上合理的內容以及逼真的紋理細節.

傳統的圖像修復工程[1-8]嘗試使用紋理合成技術[1]解決問題，利用已知區域中與未知區域最相關的部分修補孔洞或從孔洞邊界開始傳播并且匹配合理像素值.在文獻[4]中，Barnes等人提出了Patch-Match算法，通過迭代搜索最相似的補丁來重建缺失的區域；文獻[2]進一步精確了搜索區域并更快速地匹配最佳補丁.但是這些方法沒有視覺語義的概念，只是利用已知背景的低級信號來模擬未知像素.另外一些早期工作[9-11]的重點是利用與需修補圖像相似圖像中的內容填補缺失區域.從相關數據集中提取相似圖像，并且轉移到原始的空白部分，但是這些方法通常會修補出不一致的區域并且相似圖像常常難以匹配.

最近，隨著神經網絡的發展，修復任務被建模為條件圖像生成問題，其中高級特征和語義內容被公式化為編碼器-解碼器網絡并且總是與生成性對抗網絡(generative adversarial network, GAN)相結合以激勵修復區域與原始像素之間的一致性[11-15].上下文編碼器[13](context encoder, CE)是最早利用深度神經網絡進行圖像修復的方法之一，它對編碼器-解碼器生成網絡進行訓練，并與對抗性網絡相結合，可以大大改善完成效果，但結果充滿了低頻內容以及包含明顯的修復痕跡.此外，為了處理高分辨率的修復問題，Yang等人[16]旨在通過提取固定區域中的高級特征來優化修復后圖像結果，然后從非空洞區域傳播紋理信息以填充孔區域作為后處理，然而該方法經常導致與圖像邊界發散并且容易被人眼檢測出修復痕跡.Iizuka等人[12]使用擴張卷積和2個尺度辨別器改善結果，結果比以往的方法更好，但需要后處理[16]并且不能重建大孔洞.

對于人臉修復工作，圖像中缺失的部分不能通過圖像已知區域進行推斷，從而不能通過先前的方法采用復制粘貼策略或者提取語義信息進行修復.因為許多缺失部分包含獨特的屬性，不能與人臉中其他屬性(例如眼睛或嘴巴)進行關聯.同時人臉修復往往需要網絡針對單屬性缺失(如眼睛或嘴巴)情況進行有效的修復，然而先前方法往往只能修復圖像固定區域，對于修復圖像局部信息則泛化性能不夠優秀.

文獻[13]中Li等人提出的基于生成對抗網絡的人臉修復(face generation, FG)方法對人臉修復問題做出了有效的修復效果，通過局部和總體的辨別器的運用，同時將人臉語義分割的圖像作為輔助信息提供五官的相對位置，從而對人臉的不同屬性進行有效的修復，然而對于不對稱的人臉以及圖像像素的連續性修復并不優秀.這主要是因為其生成器沒有很好地建立深層特征之間的關系，并且其生成器采用編碼器與解碼器結構在通過瓶頸層時會有大量的隱含特征信息損失.

本文提出了一種新穎并且有效的深度學習修復算法，該算法采用生成對抗訓練方式，首先將整體屬性缺失源圖像放入架構為編碼器和解碼器(基于U-net[17]網絡)的生成網絡中得到修復結果，使生成網絡學習到人臉的整體屬性語義信息，再通過我們提出的局部屬性辨別器加強生成網絡對于局部屬性的語義理解，從而使修復后的圖像在整體和局部上達到語義以及內容上的一致性.

相比于方法FG，本文的模型能夠有效地修復不對稱人臉(非正臉)，獲得圖像局部特征以及其對應的特征相關性,同時能夠生成新穎的圖像，并且在色彩重構方面達到了更好的效果，這是因為我們的生成器基于U-net網絡進行改進，而U-net網絡擁有很好的色彩感知性.同時，我們提出的局部屬性辨別器能夠使模型更好地學習到局部特征.在CelebA[18]數據集上訓練以及驗證本文提出的模型，從修復的結果展示和利用標準的評測指標2方面驗證了模型的有效性.

本文的主要貢獻有3個方面:

1) 提出了一個新穎的深度學習框架，從生成器到對抗器都適用于人臉修復工作;

2) 對于人臉修復工作中的像素連接問題以及非對稱圖像修復問題作了有效的改善;

3) 相比較于以前的方法局限于修復中心缺失區域，本文的方法能夠有效地學習到人臉局部信息，更加符合實際場景.

1 相關工作

近年來圖像修復技術的發展迅速，從深度學習到非機器學習方法都對其有研究.我們接下來將介紹最具有代表性的工作.

圖像修復首先在文獻[1]中引入，其利用擴散函數將來自周圍已知區域的低級特征傳播到未知區域.與文獻[1]類似的其他方法[19]使用一些距離場將外觀信息從像素傳播到缺失區域.然而，這些方法僅處理小孔洞以及顏色和紋理重建的低級細節.后來的工作使用基于補丁的方法[8,20]，以迭代方式匹配非孔洞區域中最相關的內容.但它總是需要大量的時間消耗，為了應對挑戰，Patch-Match[4]提出了一個快速的最近鄰匹配算法，并且達到了優秀的效果，然而基于神經網絡的方法無法理解圖像的深層語義信息并且不能夠修復較大的缺失區域.

最近，基于深度學習的方法已經成為圖像修復中一個很有研究價值的技術領域，尤其是基于生成對抗網絡(GAN)[21].然而，這些方法很難保證穩定的訓練并獲得高分辨率的結果.隨著GAN的高速發展，許多方法如DC-GAN[22]，Wasserstein GAN[23]，WGAN-GP[24]，LS-GAN[25]，infoGAN[26]，Progressive GAN[27]都能夠解決訓練不穩定的問題，所以基于深度學習的圖像修復方法能夠持續發展.上下文編碼器[13]在圖像修復中利用GAN思想訓練深度神經網絡，編碼大小為128×128不完整圖像到低維，然后解碼并生成缺失區域的內容，最終使用重建損失和對抗性損失作為約束訓練網絡參數.在文獻[15,28]中，Yeh等人搜索受損圖像最相關的特征空間作為網絡的輔助信息來修復缺失內容.Yang等人[16]將上下文編碼器[13]的結果作為輸入，逐漸增加紋理細節，以實現高分辨率的修復.最近，Iizuka等人[12]提出了全局和局部鑒別器并在編碼器-解碼器中使用空洞卷積提升修復效果，這2種技術都能夠增加輸出神經元的感知域從而更加有效地利用已知區域的語義信息.與文獻[15]一樣，Yu等人[29]用語義關注層取代了后處理.在文獻[30]中，Ulyanov等人認為生成網絡不需要額外的訓練，可以依靠自己修補不完整的圖像.在文獻[31]中，Song等人使用網絡迭代替換來自特征空間中最接近的完整圖像的補丁.在文獻[32]中，Liu等人提出一種新穎的部分卷積層，同時利用自動掩模以減少偽影.但是這些工作并不能為人臉圖像修復工作提供高質量的關聯屬性以及局部特征，同時其只能針對中心區域或隨機區域進行修復，無法拓展到具體的局部屬性修復工作

2 本文算法

本文提出一種基于局部和整體屬性一致性的人臉圖像修復算法，將整體屬性遮蓋的圖像作為輸入(Iin)，同時聯合局部屬性辨別器促使生成器能夠更好地學習到人臉的關鍵屬性特征.本文所提出的模型架構如圖1所示.其中Igt為原始圖像，Ire為修復結果.

Fig. 1 Model architecture圖1 模型結構圖

2.1 生成器

生成器以編碼器和解碼器的形式構建，編碼器獲得圖像的未知區域和已知區域之間的變化和關系，接著將這些信息反饋到解碼器中以生成圖像.

在這樣結構中，源圖像通過逐漸下采樣操作直到瓶頸層，此時該過程被反轉到編碼器.這種網絡結構要求信息通過所有網絡層，包括瓶頸層.對于圖像轉換問題，在輸入和輸出之間共享大量低級信息能夠有效地提高轉換效果，并且希望直接在網絡之間傳送該信息而不需要多層的采樣過程.圖像修復問題其實也是一種圖像轉換問題，將有缺失的圖像轉換成完整的圖像.所以本模型中的生成器采用了跳躍連接，編碼器中卷積核大小為4×4，步長為2，補零操作為1，每經過一個卷積操作，圖像縮小二分之一，卷積核個數翻倍，同時在經過激活函數之前將得到的特征映射圖信息通過跳躍連接傳遞到解碼器相對應的位置.輸入圖像的大小為256×256×3，下采樣到大小為2×2×512的特征圖之后，再經過全鏈接卷積將特征信息傳遞到解碼器.

2.2 全連接卷積

由于卷積只能將所有特征映射圖連接在一起，不直接連接單個特征映射圖內的特征值.以前提出的方法中常用全連接層進行連接，然而全連接層所用參數過多會加長訓練時間以及占用更多GPU顯存，所以我們的模型采用與上下文編碼器[13]中一樣的方法，使用全連接卷積.將圖像下采樣到512×2×2大小后，通過最后一層全連接卷積將圖像特征壓縮到4 000×1×1大小模擬全連接層，使單個特征映射層達到全連接效果.如果采用全連接層進行連接，對于m個大小為n×n的特征映射圖，需要m4×n×n個參數，然而運用全連接卷積操作則只需要m2×n×n個參數.

由于生成器采用全連接卷積層(fully connected convolutional layer)以及U-net模型架構作為基礎，所為我們的生成器模型稱為FU-net(fully connected convolutional U-net).

2.3 局部屬性對抗網絡

生成器對于修復人臉整體區域已經有著良好的效果，但是對于局部信息的學習卻不夠優秀.

如果缺失部分僅僅是中心的固定區域，如圖2(c)F2所示，我們的模型在圖像內容以及語義上修復效果很優秀，如果缺失部分是人臉的一部分屬性(眼睛或嘴巴)，如圖2(c)所示，修復效果則會明顯變差，這是因為生成網絡FU-net在跳轉連接各層信息的同時也會將孔洞信息傳遞過去，這些孔洞的像素值為0，由于我們只用中心遮蓋圖像作為源圖像，所以生成器只有當臉部整體被遮蓋時才能將這些0像素值通過通過網絡準換成合理的特征值.如果修復局部人臉特征，FU-net中的編碼器會將0像素值直接傳遞到解碼器對應位置中，從而導致修復效果模糊并且色彩感知度低.所以，我們利用局部屬性辨別器對生成后的圖像進行局部加強，局部屬性辨別器基于補丁辨別器[33]設計，將生成圖像的中心區域通過多層卷積后轉換成1×256×256大小的特征圖，特征圖上的值越接近0則與真實圖像差距越小，而越接近1則差距越大.補丁辨別器有一個良好屬性，其能夠適應任意大小的輸入.但是原始補丁辨別器并不能幫助局部修復效果更加優秀，因為其只能提高圖像固定區域修復效果，所以我們提出局部屬性辨別器，辨別器同樣判別固定大小的中心區域是否為真實圖像，但是生成器在與辨別器對抗時并不是將修復后的中心區域與辨別器對抗，我們利用補丁辨別器對于輸入大小沒有強制性的特性，將生成的圖像中的關鍵屬性(例如眼睛或嘴巴)截取出來進行對抗訓練，使生成器與辨別器在人臉局部屬性范圍內相互對抗相互加強，這樣能夠保證網絡不僅在整體修復上更加優秀，同時也會解決局部內容和語義修復問題.運用對抗網絡之前和加入對抗網絡之后的局部修復效果如圖2(d)F3所示.通過對抗網絡我們明顯改善了生成器的修復效果，提高了其在局部屬性上的泛化性能，而不是局限于中心區域.

Fig. 2 Effect improvement display圖2 效果改善展示圖

2.4 損失函數

本文通過將修復后的圖像盡量回歸到真實圖像來訓練我們的網絡，通過聯合多個損失函數來使最終的修復結果Ire與原始圖像Igt的距離減小.

2.4.1 重構損失

使用L1損失作為圖像重構損失函數Lr1，其定義為

(1)

E代表求均值操作.重構損失Lr1對于捕獲修復區域的整體結構以及內容的一致性具有優越的效果，但傾向于將預測中的多種模式平均化.

2.4.2 對抗損失

對抗性損失試圖使修復結果看起來真實，并具有從分布中選擇特定模式的效果,從而彌補重構損失的不足.以往的局部辨別器[12-13]雖然能夠針對圖像局部進行加強修復，但是對于原圖像缺失部分大小和尺寸卻需要固定，并不能完全適用于人臉中任意屬性的修復.為了不用針對不同大小和尺寸的缺失部分去訓練不同尺寸的辨別器，我們基于補丁辨別器設計了適用于任意輸入尺寸的局部屬性辨別器.在訓練辨別器時只需判斷圖像中心區域是否為真實圖像，當訓練生成器去對抗辨別器時，我們不用中心區域去對抗而是用局部區域(例如眼睛和嘴巴)，所以損失函數為

(2)

k代表不同局部屬性的截取圖像,D是局部屬性辨別器.綜上所述，本文的總體函數結合對抗損失以及重構損失為

Lall=λ1×Lr1+λ2×LGAN,

(3)

其中λ1和λ2分別為重構損失以及對抗損失的權重.

2.5 缺失區域

在本文的模型中，輸入是1張人臉圖像Iin，灰色部分像素值為0.去除的區域必須對應人臉的整體大小情況以及人臉的各個屬性區域分布情況.

經過多次覆蓋實驗發現，170×170像素的補丁在CelebA數據集中能覆蓋人臉的所有關鍵屬性(如眼睛和嘴巴)，也就是人臉的中心區域，如圖3所示，圖3(a)是添加170×170補丁的人臉Iin，圖3(b)是原始圖像Igt.運用這種遮蓋方式，在進行對抗訓練時，能夠截取到所有修復后的關鍵屬性，從而對這些區域進行細節加強.

Fig. 3 Missing overall area圖3 整體區域缺失

3 實 驗

3.1 數據集

我們的模型采用CelebA數據集訓練以及驗證我們的模型.數據集由202 599幅人臉圖像組成，每張人臉圖像都通過OpenCV自帶人臉檢測函數進行裁剪，保證2眼的位置大致對齊，并且被縮放成3×256×256的像素大小.我們遵循該數據集標準分割，其中162 770張圖片作為訓練集，19 867張圖片作為驗證集，19 962張作為測試集.為了防止模型過擬合，實施了隨機反轉、打亂數據等操作.

3.2 訓練方法

我們通過預訓練使生成器學習臉部的整體屬性，生成器中編碼器激活函數采用LeakyReLU，解碼器中的激活函數采用ReLU函數.編碼器與解碼器中所有正則操作都采用實例正則化(instance normalization)，因為本文的模型批量大小(batch size)設置為1，而批量正則化(batch normalization)適合于模型批量大小(batch size)的值大于1的情況，使用實例正則化更適合訓練要求,局部屬性辨別器同樣采用實例正則化(instance normalization)，激活函數采用ReLU.

本文采用分步訓練的方法以穩定辨別器的效果:1)利用中心缺失圖像訓練生成器，使產生的圖像盡量回歸到真實圖像;2)將生成器參數固定，只訓練局部屬性辨別器;3)將辨別器以及生成器聯合訓練并利用總體函數對訓練進行約束從而達到最終的效果.

本文實驗使用深度學習框架Pytorch3.0.編程語言為python3.5，操作系統為Windows10.實驗的硬件環境為Intel?CoreTMi5-8700k處理器,內存為16 GB，NVIDIA 1080TI顯卡，該配置是目前深度學習計算的主流配置.

3.3 人臉修復

3.3.1 修復效果

如圖4展示了在CelebA測試集上的修復效果，圖4分3個實驗，每個實驗分3組，每一組中第1列是真實圖像，第2列是需要修復的圖像，第3列是修復結果.每一組需修復的圖像中至少遮蓋住人臉的一個重要屬性(眼睛、嘴巴)甚至多個屬性，遮蓋區域不能夠超過170×170的人臉中心區域，需要在這個區域內修復才能得到最佳效果.圖4展現出本文模型生成內容的真實性、創新性以及美觀性，無論是針對人臉的整體或者局部都有良好的修復效果.

Fig. 4 Inpainted result圖4 修復結果展示圖

如圖4(a)(b)的第3行實驗結果所示，部分原圖像本身就有對人臉的重要屬性進行遮蓋(比如眼鏡遮蓋眼睛)，是否運用這種遮蓋方式可以通過我們的方法控制，如果想去除眼鏡對眼睛的遮蓋，通過將眼鏡完全覆蓋就能夠還原出眼睛.因為數據集中大部分數據都是沒有使用眼鏡進行遮擋，我們的方法能夠有效地學習到人臉的眼睛屬性.

3.3.2 算法對比

我們將CE和FG作為基準方法用于驗證模型有效性.在測試集上運用2個評價指標對本文的方法進行評價，這2個指標也是圖像修復中的通用指標，在FG與CE中都采用了這2個標準.第1個指標是峰值信噪比(PSNR)，直接比較圖之間像素值的差距.第2個是結構相似性指數(SSIM)[34]，這是一種全參考的圖像質量評價指標，它分別從亮度、對比度、結構3方面度量圖像的相似程度.對于測試用例，本文采用與FG中同一張圖片并且采用同樣的6種遮蓋方式，如圖5所示.FG中采用的是128×128像素圖片，而本文的模型采用的圖像大小是256×256，所以將修復后的圖像壓縮成128×128進行對比.

Fig. 5 Test case圖5 測試用例

表1和表2分別展示了本文模型與基準模型在PSNR以及SSIM指標上的實驗比較結果.其中FU表示只有生成器進行圖像修復沒有局部屬性辨別器對其局部屬性修復效果進行加強;而Ours表示本文的完整方法;列4和列5分別表示上下文編碼器CE和人臉生成方法FG.

Table 1 Comparison Results Based on PSNR表1 基于PSNR評價指標的對比結果

Note: The best results are bold.

Table 2 Comparison Results Based on SSIM表2 基于SSIM評價指標的對比結果

Note: The best results are bold.

如表1以及表2所示，PSNR以及SSIM評測指標都測定出本文的完整方法效果更優秀，這證明本文的模型在經過局部屬性辨別器進行對抗訓練后，模型整體對于圖像深層語義的理解能力有了顯著的提高.同時在PSNR數值上本文模型針對CE和FG都有明顯的提高，這也證明了本模型的優越效果.

本文的模型雖然在PSNR上對比結果比較優秀，但與FG在SSIM數值方面進行比較發現:僅僅在O3,O4,O5上比FG高，這是因為除了O3,O4,O5以外的遮蓋區域都有大部分超過了圖像中心遮蓋(170×170)范圍，這些區域會模糊并且變暗，存在色彩差距，圖像整體性被破壞.但是另一小部分在中心區域內，這一部分的修復效果會比較優秀，像素值得到了還原.PSNR檢測的是圖像像素值的差距，而SSIM從亮度、對比度、結構3方面衡量，在O1,O2,O4,O5,O6區域還原像素值差距并不大，而亮度和對比度差距相對較大，所以會出現這種PSNR值較高而SSIM值較小的反差結果.

Fig. 6 The display of defect improvement圖6 缺陷的改善展示

本文的方法不僅僅在評測指標上體現出優秀的結果，同時也解決了FG中2個局限，第1個局限是不對稱圖像修復效果不夠優秀，這是因為其生成網絡所采用的編碼器-解碼器結構雖然能夠有效地還原圖像，但是由于編碼器與解碼器之間的特征沒有直接的關聯，在特征信息傳遞通過瓶頸層時會出現不可避免的信息損失，從而FG中的生成器并不能充分理解語義.第2個局限是該模型沒有充分理解相鄰像素之間的空間相關性,無法通過已知的上下文信息推斷出要生成的信息，特別是針對顏色的連續性修復.對于以上2個問題，本文都進行了有效的解決.由于本文的生成器FU-net是基于U-net網絡進行改進，利用特征圖跳躍傳播的特性有效地將相鄰像素連接起來，學習到像素點的空間相關性.同時由于采用局部屬性辨別器進行對抗訓練，在學習到人臉的整體屬性后再去學習關鍵屬性，在非對稱圖中能夠有效地進行局部修復.如圖6所示.圖6包含3組實驗結果，圖6(a)是真實圖像，圖6(b)是需修復的圖像，圖6(c)是修復結果.如行1、行2所示，我們的模型能夠很好地修復不對稱人臉中的局部屬性；如行3、行4所示，本文方法通過下嘴唇的色彩特征完好地修復了上嘴唇色，解決了相鄰像素的空間不相關問題.

3.4 局限性

本文的方法仍然有著局限性，在訓練過程中我們采用局部屬性辨別器進行加強，然而局部屬性辨別器只能針對截取出來的人臉的重要屬性特征(眼睛、鼻子)加強生成器修復效果，當我們的遮蓋范圍不是170×170的中心區域或者不是局部屬性區域時修復效果就會不夠真實，如圖7所示，圖7有(a)(b)兩組實驗結果，每一組實驗結果包括最左側的真實圖像、中間的輸入圖像和最右側的修復后的圖像.這2組實驗結果中的遮蓋區域都超過了170×170的中心區域，其中第1組實驗遮蓋區域與表1和表2所示的O6區域相近，這也是本文方法在SSIM數值上相對于其他方法較低的原因.

Fig. 7 Model limitations圖7 模型局限性

5 總 結

本文提出了一種新穎的模型用于解決人臉圖像修復問題，該模型從人臉總體以及局部屬性出發，基于局部屬性對抗網絡和FU-net生成器，從圖像語義到圖像視覺都達到優秀的效果，并且能夠有效地修復人臉的重要屬性.未來我們會改進我們的方法，在輸入時覆蓋任意隨機區域都能夠達到優秀的修復效果，我們會構建圖像模具，基于模具進行精確修復，并且改善FU-net網絡，使我們的修復效果進一步精進.