邊緣指導圖像修復算法研究

姜 藝，胥加潔，柳 絮+，朱俊武

1.揚州大學 信息工程學院，江蘇 揚州225127

2.上海交通大學 海洋工程國家重點實驗室，上海200030

圖像修復指計算機根據破損圖像缺失區域外的信息推理修復出圖像破損區域的過程，圖像修復目的是使修復后的圖像破損區域足夠真實。然而，人類的視覺系統能夠敏銳地捕捉到圖像修復的痕跡。如何使得修復結果真實到騙過人眼的觀察是圖像修復研究的重點之一。現有的許多圖像修復算法已經能夠生成較好的修復結果，但是遇到缺失結構較為復雜的情形時，修復的結果往往會出現過度平滑或者模糊的現象。現有方法往往注重圖像缺失區域內容的生成，而對缺失部分細節的處理能力較差。本文的工作是研究圖像復雜結構缺失下的修復問題。

傳統的圖像修復方法主要通過搜索圖像中完好區域的像素信息后填充至圖像中的缺失區域。這些方法大多基于圖像的低級特征進行修復，使得修復模型只能處理圖像中一些簡單紋理信息缺失的修復工作，而難以修復圖像缺失的復雜結構信息。修復圖像的復雜結構需要對圖像有更深的理解，基于圖像的低級特征來修復遠遠不能滿足實際需求。

基于學習的圖像修復方法解決了傳統圖像修復方法對圖像理解能力不夠的問題。深度學習通過對海量圖像數據的學習，能夠很好地理解圖像的語義信息。基于學習的圖像修復方法能夠學習缺失圖像到完整圖像端到端的映射函數。為了獲得更逼真的修復效果，大部分圖像修復方法使用了生成對抗網絡技術（generative adversarial networks，GAN）。雖然基于深度學習的圖像修復較傳統的圖像修復方法在修復質量上得到了很大的提升，但是在面對圖像復雜結構缺失時，現有方法不能很好地修復出結構紋理信息。

針對上文分析的問題，本文將圖像修復工作分為兩部分：邊緣修復和內容填充。邊緣修復主要修復圖像缺失部分的邊緣信息，而內容填充則修復圖像缺失部分的顏色信息。具體來說，本文模型先訓練邊緣修復模型以生成較為真實的缺失區域的邊緣信息，而后基于邊緣修復網絡生成的邊緣圖進行缺失部分內容的生成。本文在CelebA 數據集和ParisStreet-View 數據集上訓練、評估模型和對比實驗。總的來說，本文的主要貢獻有如下幾點：

（1）提出了一種邊緣生成模型，并使用邊緣生成模型指導圖像修復工作。

（2）將圖像修復任務拆分為兩部分，分別是邊緣修復和內容填充。

（3）提供端到端訓練的網絡模型能夠修復圖像中缺失的復雜結構信息。

1 相關工作

基于擴散的圖像修復方法將圖像缺失區域周邊的信息擴散至缺失區域。Bertalmío 等人從手工修復圖像技術中汲取經驗，首次提出了基于擴散的圖像修復方法。在此之后，Chan 和Shen 在Bertalmío 等人提出模型的基礎上提出了全變分模型（total variation，TV），該模型在修復速度上有了明顯的提升，但在圖像修復結果的連貫性修復上較為乏力。為了解決該問題，Chan 和Shen 基于TV 模型加入等照度線幾何信息，提出了一種新的曲率驅動擴散（curvature-driven diffusion，CDD）模型，彌補了TV模型的不足。Mumford-Shah 模型是另外一個具有代表性的基于擴散的圖像修復模型，該模型降低了運算的復雜度，但修復結果連通性不足。Shen 等人引入Euler's elastic 模型，提出Mumford-Shah-Euler 模型，很好地解決了Mumford-Shah 模型的不足。除此之外，文獻[11-13]均采用基于擴散的思想進行圖像修復。總的來說，基于擴散的圖像修復方法局限于缺失區域周邊的局部信息，難以修復缺失部分的語義信息，更難以修復復雜的結構信息，該類方法只適用于圖像較小區域修復或者背景修復工作。

基于補丁塊的圖像修復方法從圖像中搜索與缺失區域相似度高的圖像塊填充至缺失區域，由于要進行大量的相似度計算，這類方法的計算成本很高。Barnes 等人提出的PatchMatch 算法是典型的基于補丁塊的圖像修復方法之一，該算法利用快速近似最近鄰方法降低了運算的復雜性，提高了計算速度，但是隨機化的方法也降低了修復的精度。Criminisi 算法利用置信度和修復邊界信息來確定填充順序的優先級，進而在圖像完好區域搜索與待填充塊相似度最高的塊來填充，最后再更新需要填充的塊的邊界和置信度，大大增加了計算量。除此之外，文獻[9,14-15]所提出來的算法均基于補丁塊的思想進行圖像修復。總的來說，基于補丁塊的圖像修復方法總是假設缺失區域的內容會在圖像其他完好的區域中找到，但是這種假設往往不成立，比如，當一張人臉的鼻子被遮擋了，這類方法就搜索不到與鼻子相似的塊，難以修復缺失的鼻子。該類方法擅長于恢復高度圖形化的區域，如背景補全，但在重建局部獨特的圖形時卻很困難。

基于深度學習的圖像修復方法成了近幾年圖像修復領域的熱門研究，相比基于擴散和基于補丁塊的圖像修復方法，該類方法最大的優勢在于從海量數據中學習到圖像的語義信息，這是其他方法難以做到的。這些方法基于卷積神經網絡訓練出從破損圖像到完好圖像的映射函數，能夠學習、理解圖像修復過程中圖像的動態特征，進行如人臉、建筑等復雜物體的修復工作。Context-Encoder 模型是深度學習進行圖像修復工作的最早嘗試，模型通過對L2 損失和對抗性損失的訓練，得到較為清晰的修復結果。Iizuka等人使用兩個判別器來保證修復結果全局的一致性和局部的正確性，修復效果較好但模型依賴后處理。Song 等人使用一個預先訓練好的圖像分割網絡得到圖像損壞區域的前景掩膜，然后填充掩膜以指導圖像修復，取得了較好的修復效果。但是，當前景和背景都被遮擋時，該類方法的效果較差。除此之外，文獻[11,19-22]方法均基于深度學習方法修復圖像。總的來說，基于深度學習的圖像修復方法能夠很好地學習到缺失區域的語義信息，修復結果較為逼真，但是如何修復圖像復雜結構的缺失并且使得修復結果足夠逼真仍然是具有挑戰性的科學問題。

2 邊緣生成模型設計及算法實現

2.1 模型框架

本文提出一種基于生成對抗網絡（GAN）的圖像修復模型，架構如圖1 所示。該模型由兩大部分組成，分別是邊緣修復模型和內容填充模型。邊緣修復模型的作用是修復生成缺失部分的邊緣結構信息，內容填充模型的作用是在邊緣修復模型輸出結果的基礎上填充內容信息。

圖1 整體模型框架Fig.1 Whole framework of model

邊緣修復模型結構基于深度卷積生成對抗網絡模型，包括生成網絡和判別網絡兩部分。其中生成網絡使用自編碼器的結構，在自編碼器的編碼器和解碼器之間是8 個連續殘差塊組成的網絡。為了降低網絡的計算量，使用空洞卷積而非普通的卷積層。整個邊緣修復模型的網絡參數結構圖如圖2 所示，輸入是256 imes256 imes3 的待修復圖像的邊緣圖，經過一個自編碼器網絡生成修復后的邊緣圖。在生成網絡的后面加上一層優化網絡，對邊緣修復網絡修復的邊緣圖進行優化提純，將提純后的邊緣圖輸入至判別網絡進行判別。

圖2 邊緣修復模型網絡結構參數圖Fig.2 Network structure parameter diagram of edge-guided repair model

邊緣修復模型中優化網絡的網絡參數結構圖如圖3 所示，優化網絡是一個簡單的自編碼器結構，編碼器和解碼器之間是連續4 塊空洞卷積層。優化網絡可以優化提純生成網絡中前面自編碼器修復的邊緣圖里冗余的信息，產生更好的邊緣修復圖供內容填充模型使用。

圖3 優化網絡的網絡結構參數圖Fig.3 Network structure parameter diagram of optimization network

與邊緣修復模型結構類似，內容填充模型結構也是基于生成對抗網絡。生成網絡使用自編碼器的結構，判別網絡使用普通的卷積神經網絡結構。與邊緣修復模型的網絡架構類似，但內容填充模型沒有優化網絡。內容填充模型由生成網絡和判別網絡兩部分組成，其中生成網絡的輸入是邊緣生成模型的輸出，輸入經由編碼器、8 個連續的殘差塊和解碼器生成修復后的最終的彩色圖像，再將生成網絡的輸出輸入至判別網絡中，輸出的結果就判定該圖像是由網絡修復的還是來自于真實的樣本空間。具體的內容填充模型圖如圖4 所示。

圖4 內容填充模型網絡結構參數圖Fig.4 Network structure parameter diagram of content filling model

2.2 損失函數

總損失函數由邊緣修復模型損失函數和內容填充模型損失函數兩部分組成，如式（1）所示：

其中，G為邊緣修復模型中生成器所代表的函數。將生成的和E共同輸入進判別器訓練，訓練后的判別器需要判別輸入的邊緣圖是由邊緣生成器生成的還是原圖的邊緣圖。邊緣修復模型損失由對抗損失和特征匹配損失組成：

其中，D代表邊緣修復模型中判別器所代表的函數；和是平衡對抗損失和特征匹配損失的超參數；L代表邊緣修復模型中的對抗損失；L代表特征匹配損失。L的具體定義如式（4）所示：

特征匹配損失通過比較判別器中間層之間的激活圖來穩定訓練進程，類似于感知損失。L的具體定義如式（5）所示：

其中，G代表內容填充模型生成器所代表的函數。內容填充模型的損失函數由重建損失、對抗損失和風格損失三部分組成：

本文使用μ代表在ImageNet 數據集上預訓練的VGG-19 網絡的relu1_1、relu2_1、relu3_1、relu4_1和relu5_1 的每一層的激活圖，并使用風格損失用來測量激活圖之間協方差的差異。給定大小為C×H×W的激活圖，那么風格損失L即可由式（9）得到：

2.3 訓練算法

邊緣生成模型訓練算法

內容填充模型訓練算法

3 實驗

3.1 實驗數據與預處理

實驗所使用數據集為CelebA 數據集和Paris Street-View數據集，其中CelebA數據集包括202 599張三原色（red green blue，RGB）三通道彩色人臉圖像，本實驗使用10 萬張圖像用作模型訓練，并在剩下的圖像中選擇1 000 張用來模型測試。ParisStreet-View 數據集訓練集包含14 902 張圖片，本實驗選擇14 000 張用作模型訓練。

在數據集的預處理階段，將選取的圖像的分辨率固定為256×256。除此之外，本實驗使用文獻[11]的不規則掩膜生成方法生成不規則隨機掩膜數據集，總共生成2 萬張分辨率為256×256 的不規則掩膜圖像用作模型的訓練和測試。如圖5 所示生成的不規則掩膜數據集中的示例圖像。

圖5 不規則掩膜數據集樣本Fig.5 Samples of irregular mask datasets

除此之外，由于實驗將破損部分缺失的圖片直接輸入至模型進行修復，生成接近真實圖像或與原圖類似的結果。為了確保待修復圖像未缺失部分的像素信息不被改變，在后處理階段將修復生成的圖片原缺失部分的像素填充至待修復圖像的缺失部分，但直接填充可能會造成填充部分與原圖邊界的不連貫，因此實驗在填充后對邊界使用泊松融合處理。泊松融合基于泊松方程，能夠很好地將源圖像和目標圖像進行無縫融合。本實驗將待修復圖像作為背景圖像，將生成的缺失部分作為填充圖像，通過泊松融合將填充圖像融入背景圖像中，減少拼接的痕跡提升最終的圖像修復結果質量。

3.2 實驗細節及超參數設置

實驗是在一塊顯存為8 GB 的NVIDIARTX2070顯卡上訓練的。模型采用卷積神經網絡的架構，激活函數使用=0.2 的LeakyReLU，模型參數更新使用Adadelta 優化算法，本實驗中對于邊緣修復網絡的損失函數中的權重和取值分別為1 和10，對內容填充網絡的損失函數中的權重、和取值分別為1、0.1 和250。實驗代碼使用Python 語言編寫，使用TensorFlow 和Pytorch 框架。

4 實驗結果

本文方法在CelebA 數據集和ParisStreet-View 數據集上與Shift-Net 模型、DIP（deep image prior）模型以及FFM（field factorization machine）模型進行對比。其中Shift-Net 模型是一個基于生成對抗網絡的圖像修復模型，它結合了傳統的基于范例的圖像修復方法和基于神經網絡的圖像修復方法的優點，能夠修復出較為精細的紋理細節。DIP 模型是基于卷積神經網絡提出的一個新的非學習的圖像修復模型，它通過在單張損壞圖像上的反復迭代學習圖像的先驗信息，進而實現圖像修復。FFM 模型則是一種傳統的圖像修復模型，它利用待修復像素與其周圍鄰近像素的相關性來修復邊界上的像素信息，并將待修復區域的邊界不斷往里推進，以達到圖像修復的目的。

4.1 定性分析

分別在CelebA 數據集和ParisStreet-View 數據集的測試圖片中選取部分樣本，以規則掩膜和不規則掩膜遮擋分別進行修復。如圖6 所示為CelebA 數據集上不規則掩膜遮擋的修復結果，自左向右，（a）～（f）每一列分別代表原圖、待修復圖像、Shift-Net 模型修復結果、DIP 模型修復結果、FFM 模型修復結果和本文模型修復結果。由圖6 可以看出，本文模型修復結果所造成的模糊現象最少，且能較好地修復出缺失部分的語義信息。從第1、3 和4 行的修復結果可以看出，本文模型能夠生成很逼真的修復結果，尤其是第四行當一半墨鏡被遮擋，本文模型仍然可以修復出缺失的墨鏡結構和語義信息，很好地解決了難以修復復雜結構信息的問題。根據本文提出模型的修復結果，修復生成的一只眼睛并不能很好地同另外一只眼睛形成對稱，因此使得修復結果在視覺上不太合理，比較容易辨認出修復過的痕跡。同樣的，Shift-Net 模型也能較好地修復出缺失部分的語義信息，但是修復結果會有一些模糊現象。DIP 模型作為一個不需要訓練的深度學習模型，修復結果在像素級別上能較好地與原圖相融合，但是不能很好地修復出缺失部分的語義信息，而FFM 模型作為一個傳統的非深度學習的圖像修復算法，只能簡單地將周圍的信息復制到缺失部分，在語義修復上表現較差。總的來說，本文提出的模型在CelebA數據集上不規則掩膜的修復結果在視覺上要優于其他幾個對比模型，且能較好地修復出缺失區域的復雜結構信息。

圖6 CelebA 數據集上不規則掩膜修復結果Fig.6 Irregular mask repair results on CelebA datasets

圖7 展示各個模型在CelebA 數據集上規則掩膜遮擋的修復結果，每一列結果所代表的模型與圖6 相同。可以看出，本文模型在規則掩膜遮擋圖片上的修復結果較其他幾個模型的修復結果要好。在圖7的第一行和第二行中，實驗用矩形規則掩膜遮擋了一只眼睛，與圖6 的結果類似，本文模型能夠很好地修復出缺失的眼睛并且修復的結果與周圍完好區域融合性較好，但是修復生成的眼睛與另外一只眼睛的相似度較低。Shift-Net 模型也能夠修復出缺失的眼睛，但是修復結果存在些許的模糊現象，很容易看出修復的痕跡。而DIP 模型和FFM 模型則很難修復出缺失部分的語義信息，只是簡單地從缺失區域的周邊獲取像素信息填充至缺失區域。在圖7 的第三行中，本實驗遮擋住人臉眼鏡和眼睛部分進行修復，從后四張修復結果可以看出，只有本文模型和Shift-Net 模型修復出視覺上較好的結果。雖然（c）列的Shift-Net 模型可以較好地修復出缺失的眼睛，但是修復出的眼睛與眉毛之間的間距較小，不能在視覺上產生真實感。本文模型已經能夠較好地修復出缺失的復雜結構信息，修復出的眼睛在視覺真實程度略優于Shift-Net模型，但是在眼睛的細節生成上還有所欠缺。第四行實驗遮住了鼻子以下的部分進行修復，雖然本文模型的修復結果較好，略優于其他幾個模型修復的結果，但是在臉頰的左邊還是有一些偽影。總的來說，本文提出模型在CelebA 數據集上規則掩膜的修復結果在視覺上也優于其他幾個對比模型。能夠修復出較好的結構信息，但是在修復結果細節上還有所欠缺。

圖7 CelebA 數據集上規則掩膜修復結果Fig.7 Regular mask repair results on CelebA datasets

圖8 所示為各個模型對ParisStreet-View 數據集上規則掩膜遮擋的修復結果，實驗共取7 張圖像并對圖像中心進行固定大小的規則掩膜遮擋，具體每列所代表的模型同圖6 一致。由圖8 的修復結果可以看出，作為傳統圖像修復方法的FFM 模型的修復結果不太樂觀，很難很好地修復出建筑圖像缺失部分的紋理結構以及語義信息。而DIP 模型雖然在修復人臉信息上效果不是很好，但在修復建筑圖像上效果較好，尤其是第6、7 行，DIP 模型較好地修復出了窗戶的結構信息，但是也產生了些模糊。而經過訓練的Shift-Net 模型和本文模型則較好地修復出了圖像缺失的復雜結構信息，并生成逼真的結果。從圖8 的7 張建筑圖像修復結果的模糊程度上看，本文模型相較于Shift-Net模型產生了較少的模糊。但是，在第一行的修復結果上，相對而言，Shift-Net 的修復結果更加具有真實性，Shift-Net 模型很好地修復出了上下兩扇窗戶的分界，而本文模型則產生上下窗戶相連的結果，缺少了些許的真實性。總的來說，本文提出模型在ParisStreet-View 數據集上規則掩膜的修復結果已經能夠很好地還原了原圖像缺失的復雜結構信息，并且在視覺上略優于Shift-Net 的修復結果，與其他兩個對比模型相比有較大的優勢。

圖8 ParisStreet-View 數據集上規則掩膜修復結果Fig.8 Regular mask repair results on ParisStreet-View datasets

圖9 則是各個模型對ParisStreet-View 數據集上不規則掩膜遮擋的修復結果對比，實驗選取4 張建筑圖片并對它們使用不規則掩膜遮擋處理，每一列所代表的模型與圖6 相同。由圖9 可以看出，在圖像修復結果的語義性上，本文模型和Shift-Net模型修復的結果較好，都能修復出較好的復雜結構信息和缺失部分的語義信息，但是Shift-Net 的修復結果較模糊。在第一行的修復結果中，隨機掩膜遮擋了最左邊一輛車，本文模型的修復結果已經接近物體移除的效果，而其他幾個模型則很難做到這一點。在第三行的修復結果中，Shift-Net 模型、DIP 模型和FFM 模型對商店門牌的修復都較為模糊，而本文的模型很好地修復了被遮擋的文字部分。相較于本文模型和Shift-Net 模型，DIP 模型和FFM 模型在建筑圖像不規則掩膜遮擋修復的表現不是很出色，DIP 模型會產生一些模糊現象，而FFM 模型則會產生扭曲的結果。但是，DIP模型在第四行對商店門牌的修復上較成功，雖然沒有修復出文字部分，但是門牌修復結果在像素上足夠真實。總的來說，本文提出模型在ParisStreet-View 數據集上不規則掩膜修復結果在視覺上是明顯優于其他幾個模型的，而且對于缺失部分的結構修復以及細節修復表現較好。

圖9 ParisStreet-View 數據集上不規則掩膜修復結果Fig.9 Irregular mask repair results on ParisStreet-View datasets

除了最終修復的定性分析之外，實驗還對中間過程中的紋理修復結果進行了提取，具體結果如圖10所示，（a）～（d）列分別為原圖、待修復圖像、邊緣修復圖和最終修復結果圖。實驗分別取CelebA 數據集和ParisStreet-View 數據集上規則掩膜和不規則掩膜結果各一張進行展示。由圖10 的（c）列可以發現，邊緣生成模型能夠較好地修復出模型缺失部分的邊緣信息，尤其是該列的第一張和最后一張，邊緣修復模型很好地修復除了缺失眼睛的結構信息，但是細節上生成得不夠充分，造成了模型對第一行的樣本圖像修復時眼球的細節修復不夠完善，使用更大分辨率的圖像訓練模型應該可以解決該問題。

圖10 邊緣指導圖像修復方法結果展示Fig.10 Results of edge-guided image repair method

4.2 定量分析

除了視覺上的定性分析之外，實驗還對模型修復結果進行定量指標分析。所選的評估指標為峰值信噪比PSNR 和結構相似度SSIM。

表1 所示為本文模型、Shift-Net 模型、DIP 模型及FFM 模型在CelebA 數據集和ParisStreet-View 數據集上規則掩膜修復結果的PSNR 和SSIM 指標對比。實驗隨機從CelebA 測試集和ParisStreet-View 測試集各取100 張圖片，使用規則的掩膜遮擋處理各得到100張待修復圖像，使用本文模型、Shift-Net 模型、DIP 模型以及FFM 模型4 個模型進行修復，將修復結果與原圖進行比較并計算平均PSNR值和平均SSIM值。

表1 不同數據集上規則掩膜修復結果對比Table 1 Regular mask repair results comparison on different datasets

由表1 的結果可以看出，在CelebA 數據集和ParisStree-View 數據集上進行規則掩膜遮擋修復實驗，本文模型的修復結果在PSNR 和SSIM 指標上略優于Shift-Net 模型，對比DIP 模型和FFM 模型則具有較大的優勢，這也對應了定性分析中各個模型修復結果的視覺對比結果。

表2 所示為本文模型、Shift-Net 模型、DIP 模型以及FFM 模型在CelebA 數據集和ParisStreet-View 數據集上不規則掩膜修復結果的PSNR 和SSIM 指標對比。實驗與規則掩膜修復結果比較相同，在兩個數據集上隨機各取100 張圖片，使用隨機掩膜測試集中的掩膜遮擋處理各得到100 張待修復圖像，使用4 個模型修復并比較結果與原圖之間的平均PSNR 值和平均SSIM 值。

表2 不同數據集上不規則掩膜修復結果對比Table 2 Irregular mask repair results comparison on different datasets

由表2 可以看出，本文模型在不規則掩膜下的修復結果在PSNR 和SSIM 指標上依然領先其他3 個模型。但是，相較于規則掩膜修復結果的PSNR 和SSIM，不規則掩膜下修復結果的PSNR 和SSIM 指標略有下降，因為不規則掩膜可能遮擋了圖像中的較多關鍵信息，而且不規則掩膜容易遮擋距離較遠、相關性不高的圖像區域，修復的結果與原圖比較差距較大，規則掩膜大多遮擋較少的關鍵信息，而且規則掩膜遮擋的區域大多連貫，相似性較高。

除此之外，本實驗還分析了掩膜大小的不同對修復結果的影響。在CelebA 數據集和ParisStreet-View 數據集各取50 張測試圖片，使用大小為20～90，每次大小增加10 的掩膜進行測試，每個大小每個數據集有50 個樣本數，計算平均PSNR 值和平均SSIM值，結果折線圖如圖11 所示。由圖11 可以直觀地看出，隨著掩膜規模的增大，修復結果在PSNR 指標和SSIM 指標上隨之下降，因此可以得出結論：圖像被遮擋部分越大，修復的結果與原圖相似度就越低。

圖11 不同掩膜下修復結果與原圖的對比曲線Fig.11 Comparison curves of repair results and original image under different mask sizes

實驗對比分析了本文模型和Shift-Net 模型下不同大小掩膜修復結果的PSNR 和SSIM 指標。首先對于CelebA 數據集，本實驗取100 張測試圖片。不同于上文實驗的固定大小掩膜，實驗使用百分比取掩膜進行測試，分別取圖片10%、20%、30%、40%、50%、60%大小的掩膜進行測試。在CelebA 數據集上的對比結果如圖12 所示。由圖可見在CelebA 數據集上本文模型的修復效果在PSNR 指標和SSIM 指標上均略優于Shift-Net 模型。而且，從圖中可以看出，隨著掩膜越來越大，本文模型和Shift-Net模型修復結果的PSNR 指標和SSIM 指標的差距越來越大。

對于ParisStreet-View 數據集，實驗還是取100 張測試圖片，掩膜大小與CelebA 數據集上的實驗相同。在ParisStreet-View數據集上的對比結果如圖13所示。由圖可見在ParisStreet-View 數據集上本文模型表現依然略優于Shift-Net模型。對比圖12 所示的CelebA數據集上的對比結果，本實驗修復結果的PSNR 值和SSIM 值均略低于圖12 的實驗，因為CelebA 數據集是人臉數據集，不同人臉的構造基本相同，所以修復結果的容錯率較高，很容易生成缺失的器官且與原圖類似。反觀ParisStreet-View 數據集，這是一個街景數據集，數據集中的圖片構造差距都比較大，因此模型學習生成的內容很難與原圖相同。

圖12 CelebA 數據集不同掩膜大小下修復結果對比Fig.12 Repair results comparison on CelebA datasets under different mask sizes

圖13 ParisStreet-View 數據集不同掩膜大小下修復結果對比圖Fig.13 Repair results comparison on ParisStreet-View datasets under different mask sizes

5 結束語

本文提出了一種基于生成對抗網絡的圖像修復模型，模型分為邊緣修復模型和內容填充模型兩部分，實驗證明了模型在處理圖像復雜結構缺失的情形時修復效果是優于現有的一些模型的，這也反映了邊緣信息在圖像修復過程中具有很重要的作用。但是，本文模型在處理極具細節紋理特征區域的修復時還是會產生一些模糊，這是未來研究需要改善的地方。