基于擴散過程的生成對抗網絡圖像修復算法

摘要針對現有圖像修復算法修復后的圖像可能會出現紋理模糊，以及訓練過程中存在的不穩定現象，提出一種基于擴散過程的生成對抗網絡圖像修復算法.將擴散模型引入至雙判別器生成對抗網絡，生成器生成的圖像與真實圖像經過前向擴散過程，得到帶有高斯噪聲的修復圖像和真實圖像，將其作為判別器的輸入，在提高修復質量的同時，增加了模型訓練穩定性.在損失函數中引入風格損失與感知損失來學習語義特征差異，消除動態模糊，使修復結果保留更多細節和邊緣信息.在CelebA和Places2數據集上分別做定性、定量分析及消融實驗，評價結果及修復效果顯示，所提出的算法均有較好的表現.與所對比的當前修復方法相比，峰值信噪比和結構相似性分別平均提高了1.26 dB和1.84%，L1誤差平均下降了25.7%，且根據損失函數變化可以看出經過擴散過程的圖像修復算法訓練更穩定.

關鍵詞圖像修復；生成對抗網絡；擴散模型；高斯噪聲

中圖分類號TP391.4

文獻標志碼A

0 引言

圖像修復是一種利用缺損圖像中已知部分的信息，對缺損區域內容進行復原的技術，是在目標位置中補全損壞數據的過程，也是構造高效算法來重建缺失部分信息的步驟.圖像修復旨在恢復殘缺圖像中損壞部分的像素特征，確保修復圖像整體結構的一致性，保證補全區域邊界處結構過渡自然、修復圖像的細節信息充實合理.

以往，圖像修復大多使用基于擴散的方法[1]來處理，這種方法主要是根據修復區域邊緣的像素，按照原始圖像的特征向內擴散，填充至整個待修補區域.但是當圖像缺損部分較多時，基于擴散的方法往往不能發揮作用.

近年來，隨著生成對抗網絡[2]（Generative Adversarial Network，GAN）和卷積神經網絡[3]（Convolutional Neural Network，CNN）在計算機視覺領域的快速興起[4-6]，有關深度學習的圖像修復算法[7-10]不斷涌現.Pathak等[11] 提出的上下文編碼器（Context Encoder），是一種無監督的基于上下文像素推斷圖像特征的算法.他們利用缺損區域附近的像素信息來補全破損的圖像，但其修復部分與原缺損圖像容易產生內容割裂現象，且對紋理內容的補全效果較差.Iizuka等[12] 使用兩個判別器分別關注修復圖像的整體結構與紋理細節，還降低了輸入限制，可以對任意分辨率圖像進行修復，整體修復效果較好.Yu等[13]對生成器進行了優化，在雙判別器架構的基礎上，提出二級網絡的概念，逐步進行初級修復和精細修復，提升修復部分的分辨率，但該方法在隨機掩膜下效果較差.Zhang等[14]在兩階段補全的基礎上將圖像修復分為多個子任務，將缺損區域由外向內逐步補全.2019年，Karras等[15]提出一種新的網絡結構StyleGAN，它根據無監督的機器學習來分離圖像的高級語義特征，對圖像的特征信息進行不同層級的控制，這也導致其泛化能力欠佳.Zhao等[16]提出一種能夠生成多樣化補全結果的UCTGAN，實現了對同一缺損圖像生成多個合理的修復結果.Li等[17]提出RFR網絡，利用部分卷積迭代修復缺損區域，從缺損區域由外向內補全特征信息，并設計注意力模塊關聯所有修復特征.Suvorov等[18]提出LAMA網絡，利用傅里葉卷積從特征中提取頻率域信息，有效地減少了參數量.Lugmayr等[19]提出一種基于去噪擴散概率模型的圖像修復方法，使用馬爾可夫隨機場建模圖像像素與周圍上下文之間的關系.

為了提高修復質量和緩解生成對抗網絡在訓練過程中容易存在的生成樣本不穩定現象，本文在GAN的基礎上，將擴散過程產生的高斯混合分布實例噪聲加入生成圖像和原始圖像中作為判別器的輸入，擴大生成器和判別器的分布支持，防止判別器出現過擬合現象.同時，在損失函數中加入風格損失和感知損失，以促進GAN的訓練，提高圖像修復效果.

1 相關研究方法

1.1 生成對抗網絡

GAN是一類生成模型，旨在通過在兩個神經網絡（生成器和判別器）之間建立最小-最大博弈來學習目標數據集的數據分布p（x）.生成器G將從諸如標準正態或均勻分布的簡單先驗分布p（z）采樣的隨機噪聲向量z作為輸入，并試圖產生類似于數據的逼真的樣本G（z）.判別器D的輸入為從p（x）提取的真實數據樣本x或由G生成的偽樣本G（z），并試圖將它們正確地分類為真實樣本或偽樣本.G的目標是能欺騙D使其錯誤判別，而D的目標是準確區分G（z）和x.生成對抗網絡結構如圖1所示.

1.2 擴散模型

擴散模型[20]由兩個參數化的馬爾可夫鏈構成，分別稱作前向過程和逆向過程.其中：前向過程又稱為擴散過程（diffusion process）;逆向過程可用于生成數據樣本.

給定一組從真實數據分布中采樣的數據x0～q（x），即原始數據.存在一個前向擴散鏈，該鏈以預定義的標準差βt和方差σ2以T步向數據x0～q（x）逐漸添加噪聲，其中步數T的大小受βt約束：βt∈（1，0）Tt=1.最終經過一系列噪聲疊加后得到與x0～q（x）有相同維度的樣本x1，x2，…，xT，x0到xT為逐步加噪過的前向過程.噪聲是已知的，該過程從原始圖片逐步加噪至一組純噪聲：

前向擴散過程如圖2所示.

由此得到擴散后的概率分布：

然后使用變分下界來優化反向擴散鏈：

2 擴散生成對抗網絡

本文把在擴散過程任意步驟中獲得的噪聲樣本y定義為混合分布q（y|x），q（y|x，t）是高斯分布，其平均值與x成正比，方差取決于步驟t處的噪聲水平.對真實樣本x～p（x）和生成樣本xg～pg（x）使用相同的擴散過程和混合分布.加入擴散過程后真實圖像與生成圖像的混合分布分別表示為

其中，q（y|x）是由T部分組成的混合分布，通過擴散得到的混合分量q（y|x，t）表示為

從混合分布中采樣y，可以得到具有不同程度噪聲的真實樣本和生成樣本的噪聲版本.在擴散過程中采取的步驟越多，添加到y中的噪聲就越多，從x中保留的信息就越少.然后，使用這種由擴散過程得到的混合分布來訓練可以區分真實和生成的噪聲樣本判別器D.擴散生成對抗網絡框架如圖3所示.

擴散生成對抗網絡的目標函數定義為

其中：p（x）是真實圖像的分布；q（y|x，t）是給定原始數據x和擴散步長為t的噪聲樣本y的條件分布.在高斯重參數化下，根據表達式（7），擾動函數可以寫成

表達式（8）中，目標函數的訓練目標是使判別器判別真偽的能力達到最強，即在任意擴散步驟t中，將高概率分配給加入噪聲后的真實圖像，低概率分配給加噪后的生成圖像.生成器的目標是在任何擴散步驟t中生成最大程度欺騙判別器的樣本.

2.1 生成網絡結構

模型的生成器為基于全卷積網絡的編碼器-解碼器結構，先將輸入圖像壓縮成一個低維向量，再去捕捉圖像的主要特征和結構信息，提高了內存利用率，之后經過反卷積層還原為起初的分辨率.通過減小圖像分辨率為原始尺寸的1/4，可以有效地促進缺損區域生成清晰、非模糊的紋理.

在卷積層中引入空洞卷積，有助于擴大感受野，從而捕獲更廣泛的圖像信息.空洞卷積通過增加卷積核的大小，確保每個輸出像素對應更大的輸入面積，并且不會增加參數數量和計算負擔，在盡可能獲取更大范圍的圖像信息的同時，避免不必要的信息損失，使模型能夠更高效地覆蓋輸入圖像的更大區域，為每個輸出像素提供所需的上下文信息.

2.2 結合擴散過程的判別網絡結構

本文提出的模型中的判別器由全局判別器網絡和局部判別器網絡共同構成，其主要任務是判斷輸入圖像是真實的還是經過修復的.這兩個判別器均基于卷積神經網絡，將圖像轉化為相應的特征向量，并通過級聯方式進行特征融合，預測圖片的真實性.與傳統判別器的輸入不同，本文模型全局判別器的輸入為經過擴散過程后的真實圖片與生成圖片.

全局判別器網絡將整個帶有噪聲的真實圖片和生成圖片重新縮放作為輸入.它由6個卷積層構成，最后一層是一個全連接層，其輸出為一個1 024維的向量.所有卷積層都采用步長為2的卷積核，以降低圖像分辨率.

局部判別器遵循和全局判別器類似的配置，但它的輸入為圖像缺損區域的像素塊.其初始輸入分辨率為全局判別器的一半，所以無需采用全局判別器的第一層.局部判別器的輸出也為1 024維向量，表示修復區域的上下文信息.

最后，級聯模塊將全局和局部判別器的輸出進行串聯，形成一個單獨的2 048維度的向量.通過全連接層處理，輸出0～1范圍內連續值，代表圖像是真實圖片而不是已修復圖片的概率.判別器級聯模塊結構如圖5所示.

全局判別器判別的過程如下：

生成對抗網絡中的判別器通過判別兩個樣本中的f散度來構建，本模型的f散度表示為

另外，有z～p（z），xg=gθ（z），yg=atxg+btε，ε～p（ε），則擴散生成對抗網絡的f散度為

對于任意t水平下噪聲的選擇，根據文獻[21]中的定理1可知，經過擴散過程后，噪聲真實樣本和噪聲生成樣本的邊緣分布q（y|t）和q（yg|t）之間的f散度是一個可以由判別器計算和優化的光滑函數.這意味著基于擴散的噪聲注入不會在GAN的目標函數中引入任何奇異性或不連續性，在擴散過程中向真實樣本和生成的樣本添加噪聲可以促進學習.

2.3 損失函數

由于對抗損失只關注圖像本身的真偽判斷，而忽略其紋理、結構信息，因此，為了更加有效地訓練生成器和判別器，提高生成對抗網絡的修復性能，本文在對抗損失的基礎上加入了L1損失、風格損失和感知損失.

訓練過程中的對抗損失為

Ladv=－D（G（x））.（13）

本文利用重建損失函數L1，來計算生成圖像與真實圖像之間的距離.定義L1損失函數為

式中：Ny是真實圖像的像素數量；y是帶有噪聲的真實圖像；yg是帶有噪聲的生成圖像.

判別器的風格損失計算公式如下：

式中：C，H，W分別是特征圖的維度、高和寬；CjHjWj表示第j層特征圖的大小；Gj是對應j值的網絡層，G為每層特征圖得到的 Gram 矩陣，j對應于預先訓練的VGG16[22] 網絡 Conv1_2，Conv2_2，Conv3_3，Conv4_3層的激活圖，為隨j取的網絡層.

盡管風格損失在一定水平上降低了像素和紋理的修復誤差，但它未能充分地保留圖像修復區域的結構信息.為了更有效地保留這些信息，引入感知損失.感知損失通過限制生成結果的形狀和結構，確保了生成圖像在細節上與原始圖像更加匹配.判別器的感知損失為

式中，j為預訓練網絡第j層的特征圖.

本模型總損失函數為

L=λ1Ladv+λ2L1+λ3Lstyle+λ4Lper.（17）

超參數分別設置為λ1=0.01，λ2=1，λ3=100，λ4=0.1.

3 實驗

3.1 數據集與實驗設置

本文算法在CelebA數據集[23]和Places2數據集[24]上進行實驗.CelebA公開數據集共包含202 599張人臉圖像，實驗隨機選取48 000張圖像進行算法的訓練，12 000張圖像用于訓練后的測試階段.Places2數據集中包含400多個獨特的場景類別，選取chalet分類中5 000張圖片作為訓練集.分別選用固定掩膜和Liu等[25]提出的不規則掩膜數據集，來對原始圖像進行掩膜，得到需要修復的缺損圖像.

實驗計算平臺為DELL GPU運算塔式工作站配置Intel 2.2 GHz CPU和NVIDIA GeForce RTX 3070 GPU.軟件環境為Windows10，Python3.7，使用CUDA11.1和 Pytorch 1.9.0深度學習框架.

網絡輸入圖像尺寸為160×160像素，經過掩膜處理后輸入至生成器.訓練過程分為2個階段，先分別單獨訓練生成器和判別器，然后對生成器判別器聯合訓練，迭代次數為40萬次.對生成圖像及原始圖像添加相同的標準差為0.35的高斯噪聲，擴散步長選定t=600，以驗證模型的有效性.使用AdaDelta優化算法訓練網絡，Batch_size大小設置為16.

3.2 定性分析

為了客觀比較圖像修復方法的修復結果，將基于擴散過程的生成對抗網絡圖像修復算法與圖像修復算法StyleGAN[15]、RFR[17]、LAMA[18]和DDPM[19]算法進行修復效果比較，對比方法使用相同的輸入數據.圖6為本文算法與上述方法在CelebA和 Places2 數據集不同掩碼面積缺損圖像上的修復效果比較.

由圖6可以看出：StyleGAN算法在小面積掩膜中可以修復出圖像的大致內容，但在大面積修復時會出現細節內容修復不全和修復區域邊界不連貫的問題，如圖6c第9張圖像中，修復后人臉結構扭曲；RFR算法在修復細節上略有欠缺，如圖6d第2張圖像中的鏡框部分沒有修復完全；LAMA算法能實現正確的語義修復，但容易出現偽影；DDPM作為一種基于擴散的圖像修復算法，會存在圖像修復邊緣處模糊，如圖6f第8張圖像；本文算法在添加噪聲后，能適應不同形態的掩膜，且對細節與邊緣處理得更好.

3.3 定量分析

為客觀分析擴散生成對抗網絡算法的圖像修復效果，選擇L1誤差、峰值信噪比 （Peak Signal-to-Noise Ratio，PSNR）和結構相似性 （Structural Similarity Index Measure，SSIM）作為評價指標.

L1誤差被廣泛應用于大多數實驗結果比較，通過計算原始圖像和修復圖像之間的平均絕對誤差來評估逐像素重建精度.L1誤差越小代表兩幅圖片差異越小，修復效果越好.

PSNR是評估圖像最常見和被大量應用的評價指標之一，它通過直接計算像素值之間的差異來評估圖像質量.

其中：MSE為均方誤差；X（i，j），Y（i，j）分別代表對應坐標處的像素值.PSNR值越高，修復圖像與原始圖像的像素差異越小.

SSIM用于評價兩幅圖像之間的整體相似度，更符合人眼的直觀感受.

式中：μ代表平均灰度值；σ代表灰度標準差；c1和c2代表常量.SSIM的值越大，代表修復的圖像越接近原始圖像.

在CelebA和Places2數據集上，將本文提出的模型與StyleGAN[15]、RFR[17]、LAMA[18]和DDPM[19]模型進行對比，結果如表1所示.可以看出，在不同面積的掩膜下，本文模型的L1誤差低于其他算法，峰值信噪比和結構相似性指標均高于對比算法，其中，峰值信噪比和結構相似性較以上4種算法分別平均提高了1.26 dB和1.84%，L1誤差較以上4種算法平均下降了25.7%，且在10%～20%的掩膜面積下修復效果最好.這表明，由本文模型修復得到的圖像與原始圖像間的像素值差異最小，且整體相似度更高，修復圖像更貼近于原始圖像，修復效果更優.

3.4 消融實驗

訓練過程中通過損失函數判斷模型穩定性，在CelebA數據集上進行消融實驗.圖7為不含擴散過程和帶有擴散過程的圖像修復模型訓練中的損失函數變化，可以看出加入擴散過程后的模型訓練更穩定.

為進一步驗證擴散過程的有效性，將擴散步長t選定為0、200、400、600、800來選擇最佳參數，通過評價指標L1誤差、峰值信噪比（PSNR）和結構相似性（SSIM）來評價不同步長擴散過程下的圖像修復效果，結果如表2所示.當擴散步長合適時，生成對抗網絡能在訓練穩定的同時，盡可能有更大的機會獲得信息梯度，以達到更好的修復效果.

當模型中擴散步長較少時，生成的樣本會保留過多的噪聲和細節信息，使得判別器難以對噪聲進行區分和處理，導致模型性能下降.當擴散步長過大時，則會導致生成的樣本過于平滑，失去細節和紋理信息，使得判別器難以區分真實樣本和生成樣本，同樣導致模型性能下降.當t=600時，網絡能夠達到最佳性能，由表2評價指標可以看出其修復效果達到最佳.

4 總結

本文針對生成對抗網絡圖像修復算法存在的修復效果不佳及模型訓練不穩定的問題，提出基于擴散過程的生成對抗網絡圖像修復算法.將擴散模型中的前向擴散過程引入生成對抗網絡，擴散過程中產生的高斯噪聲作為實例噪聲注入圖像中，進行數據增強，提高了判別器的適應性，使模型訓練更加穩定.在損失函數中增加風格損失和感知損失，增強了對圖像細節紋理的關注，進一步提高了修復圖像質量.在CelebA和Places2數據集上的實驗結果表明，與當前主流算法相比，所提方法均有較好的表現.

本文模型雖顯示了良好的修復效果，但對大面積掩膜的修復會出現結構還原不佳的現象，訓練過程中存在調節參數過程計算量過大的問題，后續研究工作將對擴散過程中的步長選擇問題進行優化，提升模型性能.

參考文獻References

［1］Drori I，Cohen-Or D，Yeshurun H.Fragment-based image completion[C]//ACM SIGGRAPH 2003 Papers.San Diego，CA，USA.ACM，2003：303-312

[2] Goodfellow I J，Pouget-Abadie J，Mirza M，et al.Generative adversarial nets[C]//Proceedings of the 27th International Conference on Neural Information Processing Systems-Volume 2.December 8-13，2014，Montreal，Canada.ACM，2014：2672-2680

[3] LeCun Y，Boser B，Denker J S，et al.Backpropagation applied to handwritten zip code recognition[J].Neural Computation，1989，1（4）：541-551

[4] 盧宏濤，張秦川.深度卷積神經網絡在計算機視覺中的應用研究綜述[J].數據采集與處理，2016，31（1）：1-17

LU Hongtao，ZHANG Qinchuan.Applications of deep convolutional neural network in computer vision[J].Journal of Data Acquisition and Processing，2016，31（1）：1-17

[5] 楊真真，匡楠，范露，等.基于卷積神經網絡的圖像分類算法綜述[J].信號處理，2018，34（12）：1474-1489YANG Zhenzhen，KUANG Nan，FAN Lu，et al.Review of image classification algorithms based on convolutional neural networks[J].Journal of Signal Processing，2018，34（12）：1474-1489

[6] Li Z，Wu J.Learning deep CNN denoiser priors for depth image inpainting[J].Applied Sciences，2019，9（6）：1103

[7] Wang Y，Tao X，Qi X J，et al.Image inpainting via generative multi-column convolutional neural networks[C]//Proceedings of the 32nd International Conference on Neural Information Processing Systems.December 3-8，2018，Montréal，Canada.ACM，2018：329-338

[8] 任洪昊，朱新山，盧俊彥.深度圖像修復的動態特征融合取證網絡[J].哈爾濱工業大學學報，2022，54（11）：47-58

REN Honghao，ZHU Xinshan，LU Junyan.Dynamic feature fusion forensics network for deep image inpainting[J].Journal of Harbin Institute of Technology，2022，54（11）：47-58

[9] 左心悅，郝子嫻，楊有.多尺度語義學習的人臉圖像修復[J].南京信息工程大學學報（自然科學版），2023，15（5）：534-540

ZUO Xinyue，HAO Zixian，YANG You.Face image inpainting with multi-scale sematic learning[J].Journal of Nanjing University of Information Science amp; Technology （Natural Science Edition），2023，15（5）：534-540

[10] Zeng Y H，Fu J L，Chao H Y，et al.Aggregated contextual transformations for high-resolution image inpainting[J].IEEE Transactions on Visualization and Computer Graphics，2023，29（7）：3266-3280

[11] Pathak D，Krhenbühl P，Donahue J，et al.Context encoders：feature learning by inpainting[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：2536-2544

[12] Iizuka S，Simo-Serra E，Ishikawa H.Globally and locally consistent image completion[J].ACM Transactions on Graphics，36（4）：107

[13] Yu J H，Lin Z，Yang J M，et al.Generative image inpainting with contextual attention[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.June 18-23，2018，Salt Lake City，UT，USA.IEEE，2018：5505-5514

[14] Zhang H R，Hu Z Z，Luo C Z，et al.Semantic image inpainting with progressive generative networks[C]//Proceedings of the 26th ACM International Conference on Multimedia.October 22-26，2018，Seoul，Republic of Korea.ACM，2018：1939-1947

[15] Karras T，Laine S，Aila T.A style-based generator architecture for generative adversarial networks[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 15-20，2019，Long Beach，CA，USA.IEEE，2019：4396-4405

[16] Zhao L，Mo Q H，Lin S H，et al.UCTGAN：diverse image inpainting based on unsupervised cross-space translation[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 13-19，2020，Seattle，WA，USA.IEEE，2020：5740-5749

[17] Li J Y，Wang N，Zhang L F，et al.Recurrent feature reasoning for image inpainting[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 13-19，2020，Seattle，WA，USA.IEEE，2020：7757-7765

[18] Suvorov R，Logacheva E，Mashikhin A，et al.Resolution-robust large mask inpainting with Fourier convolutions[C]//2022 IEEE/CVF Winter Conference on Applications of Computer Vision （WACV）.January 3-8，2022，Waikoloa，HI，USA.IEEE，2022：3172-3182

[19] Lugmayr A，Danelljan M，Romero A，et al.RePaint：inpainting using denoising diffusion probabilistic models[C]//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 18-24，2022，New Orleans，LA，USA.IEEE，2022：11451-11461

[20] Ho J，Jain A，Abbeel P.Denoising diffusion probabilistic models[C]//Proceedings of the 34th International Conference on Neural Information Processing Systems.December 6-12，2020，Vancouver，BC，Canada.ACM，2020：6840-6851

[21] Wang Z D，Zheng H J，He P C，et al.Diffusion-GAN：training GANs with diffusion [J].arXiv e-Print，2022，arXiv：2206.02262

[22] Simonyan K，Zisserman A.Very deep convolutional networks for large-scale image recognition [J].arXiv e-Print，2014，arXiv：1409.1556

[23] Shen W，Liu R J.Learning residual images for face attribute manipulation[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：1225-1233

[24] Zhou B L，Lapedriza A，Khosla A，et al.Places：a 10 million image database for scene recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2018，40（6）：1452-1464

[25] Liu G L，Reda F A，Shih K J，et al.Image inpainting for irregular holes using partial convolutions[C]//Computer Vision-ECCV 2018：15th European Conference.September 8-14，2018，Munich，Germany.ACM，2018：89-105

Generative adversarial network image inpaiting based on diffusion process

Abstract To address the issues of blurry texture of the repaired images and instable training process in existing image inpainting algorithms，this paper proposes a Generative Adversarial Network （GAN） based image inpainting approach leveraging the diffusion process.By incorporating the diffusion model into a dual-discriminator GAN，the generated images from the generator and real images undergo a forward diffusion process to obtain the inverted images and real images with Gaussian noise.These images are then fed into the discriminator to enhance the inpainting quality and improve the model training stability.Style loss and perceptual loss are introduced into the loss function to learn semantic feature differences，eliminate motion blur，and preserve more details and edge information in the inpainting results.Qualitative and quantitative analyses，along with ablation experiments，have been conducted on the datasets of CelebA and Places2.The evaluation and restoration outcomes show the superior performance of the proposed approach.Compared with current inpainting methods，the proposed approach achieves an average improvement of 1.26 dB in Peak Signal-To-Noise Ratio （PSNR） and 1.84% in Structural Similarity Index Measure （SSIM），while reducing the L1 error by an average of 25.7%.Furthermore，the changes in the loss function indicate that the image inpainting algorithm with diffusion process exhibits more stable training behavior.

Key words image restoration;generative adversarial network （GAN）;diffusion model;Gaussian noise