融合多尺度殘差注意力的圖像修復(fù)算法

錢冠宇，鄧紅霞，劉健虎，李海芳

(太原理工大學(xué) 信息與計算機學(xué)院，山西 晉中 030600)

0 引 言

傳統(tǒng)的圖像修復(fù)方法主要有兩種，一種是使用偏微分方程修復(fù)的方法，采用擴散的思路，將信息缺失部分附近的信息擴散到待修復(fù)部分[1-3]。但這種修復(fù)方法僅適用于缺失面積較小的情況。之后學(xué)者提出另外一種塊匹配方法[4,5]。從圖像中未缺失的部分進行檢索匹配出與缺失部分相似的區(qū)域，然后再進行對修補缺失部分，能夠達(dá)到較好的修復(fù)效果。但這類修復(fù)方法比較依賴待修復(fù)圖像中存在的信息，如果不能匹配到與缺失部分相似的信息塊，那么它修復(fù)缺失區(qū)域的效果則不會很好。

針對傳統(tǒng)方法的局限性，提出神經(jīng)網(wǎng)絡(luò)[6-15]的方法來提高圖像修復(fù)的質(zhì)量。李等[16]提出了一種多尺度生成對抗網(wǎng)絡(luò)圖像修復(fù)算法，提高了圖像修復(fù)的精確度，但在某些情況下修復(fù)圖像會看起來很不自然，出現(xiàn)這種情況的原因可能是由于網(wǎng)絡(luò)在卷積過程中提取了一些無效像素的特征。肖等[17]提出了結(jié)合感知注意力機制的生成對抗網(wǎng)絡(luò)圖像修復(fù)算法，得到更合理語義信息的修復(fù)效果；然而，該方法無法修復(fù)不規(guī)則破損區(qū)域的圖像。針對以上的問題，本文采用生成對抗模型來修復(fù)圖像，引入殘差注意力模塊提取缺失區(qū)域的有效信息以及通過多尺度判別器對全局和局部信息的一致性約束，最終實現(xiàn)缺失圖片的修復(fù)。通過實驗的對比，進一步探討本文算法的性能。

1 生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)(generative adversarial network，GAN)是Goodfellow等[18]提出的一種新理念深度學(xué)習(xí)模型，它是在相互博弈中達(dá)到平衡的一種網(wǎng)絡(luò)模型。原始的GAN模型將一個隨機的噪聲向量Z輸入到生成網(wǎng)絡(luò)中，然后輸出一張生成的假圖片，與真實的圖片一起送入判別網(wǎng)絡(luò)中判定圖片真假的概率，并將判別的結(jié)果反饋給生成網(wǎng)絡(luò)。原始GAN模型由于模型易崩塌的缺點，只能生成低分辨率圖像，生成的圖像較為模糊。GAN網(wǎng)絡(luò)問世以來，大多數(shù)學(xué)者開始研究一系列變種GAN網(wǎng)絡(luò)，例如把條件控制信息加入到GAN網(wǎng)絡(luò)的訓(xùn)練中，以控制輸出的結(jié)果屬性。Arjovsk等[19]提出的一種新的截斷損失函數(shù)可以極大提高GAN網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性，避免模型崩塌，能夠合成質(zhì)量更好的樣本。之后引起了一系列GAN網(wǎng)絡(luò)的研究及應(yīng)用，以及能夠生成高分辨率圖像的GAN網(wǎng)絡(luò)被提出，例如DCGAN，CycleGAN等網(wǎng)絡(luò)。隨著這些變種GAN網(wǎng)絡(luò)的出現(xiàn)，GAN網(wǎng)絡(luò)的各種應(yīng)用研究也因此極大增加。例如在低質(zhì)量數(shù)據(jù)的提升上有超分辨率重建，圖像的去雨去霧和去除模糊，圖像的修復(fù)這些方面GAN網(wǎng)絡(luò)都有一定的效果，通過改進GAN網(wǎng)絡(luò)的結(jié)構(gòu)和約束范式可以進一步提高這些低質(zhì)量數(shù)據(jù)方法的提升效果。

2 融合多尺度殘差注意力的修復(fù)方法

MRS-Net(multiscale residual squeeze-and-excitation networks)模型與生成對抗網(wǎng)絡(luò)相似，整體網(wǎng)絡(luò)框架分為一個修復(fù)網(wǎng)絡(luò)和D1、D2兩個不同尺度的判別器網(wǎng)絡(luò)以及一個預(yù)訓(xùn)練的Vgg16網(wǎng)絡(luò)。MRS-Net模型整體框架如圖1所示。

圖1 MRS-Net框架

修復(fù)模型結(jié)構(gòu)如圖2所示，將256*256修復(fù)模型圖片通過編碼器進行4次下采樣，下采樣后會增大感受野，但會造成部分特征丟失，因此采用24塊殘差序列注意力塊來強化重要通道的特征，弱化非重要通道的特征，進行更好的特征提取，提高模型計算能力，最后通過解碼器進行4次上采樣輸出256*256修復(fù)后的圖片，同時在下采樣和上采樣之間使用跳躍連接層可以更好地利用圖像原始信息，能夠更好推測出缺失部分信息。將修復(fù)的結(jié)果進行重構(gòu)損失、感知損失、風(fēng)格損失、全變分損失、多尺度聯(lián)合判斷修復(fù)圖像與真實圖像的相似程度，判斷修復(fù)結(jié)果的好壞，并將結(jié)果反向傳播給修復(fù)模型，網(wǎng)絡(luò)依據(jù)反饋結(jié)果進行梯度下降尋找最優(yōu)模型參數(shù)，可以讓修復(fù)的圖片在完成修復(fù)的情況下近似于真實圖片，能夠“騙過”判別器，以達(dá)到較好的修復(fù)效果，同時可以提高模型的魯棒性。

圖2 修復(fù)模型結(jié)構(gòu)

多尺度判別器網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，使用了兩個較為淺層的網(wǎng)絡(luò)作為判別器，通過使用二進制的交叉熵?fù)p失來反饋給判別網(wǎng)絡(luò)，判別網(wǎng)絡(luò)依據(jù)反饋結(jié)果進行梯度下降尋找最優(yōu)模型參數(shù)，可以更好地判別修復(fù)結(jié)果。經(jīng)過兩個網(wǎng)絡(luò)的相互迭代博弈使模型達(dá)到最優(yōu)修復(fù)的效果。

圖3 多尺度判別器網(wǎng)絡(luò)結(jié)構(gòu)

算法整體流程是在修復(fù)模型輸入添加不同形狀掩碼后生成的256*256缺損圖像，經(jīng)過修復(fù)模型的修復(fù)，然后輸出256*256修復(fù)圖像，計算修復(fù)后圖像的重構(gòu)損失，全變分損失，通過一個預(yù)訓(xùn)練的Vgg16模型來提取圖像的淺層和深層特征來計算感知損失，風(fēng)格損失，并且將修復(fù)后的圖像下采樣為128*128的圖像，指導(dǎo)其修復(fù)圖像，同時可以避免生成器在博弈過程中產(chǎn)生過擬合現(xiàn)象，提高模型的泛化能力。兩個判別器模型對圖像的修復(fù)會有不同的約束，大尺度的判別器增強了圖像全局結(jié)構(gòu)的完整性，小尺度的判別器增強了圖像的紋理細(xì)節(jié)，增強了修復(fù)后圖像的真實感。將修復(fù)模型修復(fù)后的圖像和原始完整圖像輸入第一個判別器網(wǎng)絡(luò)，下采樣的修復(fù)圖像和下采樣的原始完整圖像輸入第二個判別器網(wǎng)絡(luò)，然后聯(lián)合兩個判別器網(wǎng)絡(luò)輸出的結(jié)果進行計算。通過加權(quán)融合多種損失結(jié)果來反向傳播給修復(fù)模型。

2.1 殘差注意力模塊

在計算機視覺中，注意力的目的是讓神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)過程中能夠忽視無用信息并且重點關(guān)注有用信息。SE注意力[20]可以加強重要的通道信息，弱化不重要的通道信息，加強了子通道信息之間相關(guān)性。它通過全局平均池化、全連接層讓特征映射提高全局感受野，能夠利用圖像的全局信息進行預(yù)測修復(fù)。本文提出的殘差注意力模塊結(jié)構(gòu)如圖4所示，輸入模塊中的是512*16*16的特征圖。圖像缺損區(qū)域的信息通常不僅和同一子通道的上下文像素點有緊密聯(lián)系，在不同子通道之間也會有密切聯(lián)系。因此，將SE注意力[20]模塊嵌入到殘差結(jié)構(gòu)中，可以增加特征圖中通道之間的聯(lián)系。通常加深網(wǎng)絡(luò)層數(shù)會在學(xué)習(xí)過程中提高網(wǎng)絡(luò)的計算能力，但是會發(fā)生過擬合現(xiàn)象，梯度傳播困難，同時造成資源浪費。而殘差機制能使網(wǎng)絡(luò)層次不斷加深并且可以有效防止梯度消失以更好的提取圖像缺失部分特征，確保前面層的特征被再利用，從而避免過深的計算造成的信息損失。因此殘差注意力模塊能幫助提取圖像缺損區(qū)域的有效信息，盡管整個網(wǎng)絡(luò)會稍微增加了一點計算量，但是能夠達(dá)到比較好效果。

圖4 殘差注意力結(jié)構(gòu)

2.2 多尺度判別器

多尺度判別器是兩個網(wǎng)絡(luò)結(jié)構(gòu)相同，尺度不同的判別器，它對生成256*256的圖像以及下采樣后128*128的圖像進行鑒別，輸出一個到0,1之間的分?jǐn)?shù)。不同尺度的判別器往往具有不同的感受范圍。因為修復(fù)后的圖像往往產(chǎn)生模糊以及高頻信息的丟失，因此，結(jié)合圖像全局和局部信息提高修復(fù)結(jié)果能夠反饋給生網(wǎng)。

2.3 損失函數(shù)的構(gòu)建

2.3.1 重構(gòu)損失

在圖像轉(zhuǎn)換問題中，重構(gòu)損失是一種基于輸出圖像與真實圖像之間的差值方法，計算兩幅圖片中所有對應(yīng)位置的像素點之間的均方差，最小化差值就會使兩幅圖像更相似

(1)

其中，1代表“1范式”。注意，N是使用缺失面積調(diào)整懲罰的分母。它意味著如果一個面被一個小的遮擋所干擾修復(fù)的結(jié)果應(yīng)該非常接近實際情況，如果缺損程度較大，只要結(jié)構(gòu)和一致性是合理的，則可以重新限制。

2.3.2 感知損失

通過最小化重構(gòu)損失，來優(yōu)化輸出圖像的數(shù)據(jù)，最終輸出高質(zhì)量的圖像。但該方法的弊端是效率低下，實時性差。感知損失在度量圖像相似性方面比重構(gòu)損失更具魯棒性。感知損失函數(shù)是兩幅圖像輸入Vgg16網(wǎng)絡(luò)后所提取特征之間的歐式距離，i表示修復(fù)后圖像與原始圖像在網(wǎng)絡(luò)第i層特征圖的歐氏距離

(2)

2.3.3 風(fēng)格損失

風(fēng)格損失函數(shù)是兩幅圖像輸入Vgg16網(wǎng)絡(luò)后所提取特征之間的格拉姆矩陣的歐氏距離。j表示修復(fù)后圖像與原始圖像在網(wǎng)絡(luò)第j層特征圖格拉姆矩陣的歐氏距離

(3)

2.3.4 總變分損失

總變分損失在低質(zhì)量圖像數(shù)據(jù)提升中經(jīng)常應(yīng)用于圖像的去噪處理和修復(fù)處理。通常像素信息缺失圖像的總變分和完整圖像的總變分相比會有顯著性差異。總變分是計算圖像數(shù)據(jù)梯度幅值的積分。限制了總變分就會使圖像變得更為平滑

(4)

2.3.5 生成對抗損失

修復(fù)網(wǎng)絡(luò)將對抗損失最小化來反向傳播更新網(wǎng)絡(luò)，兩個尺度的判別器網(wǎng)絡(luò)將對抗損失最大化來反向傳播更新網(wǎng)絡(luò)。Pdate(Igt) 代表真實圖像的分布，Pmiss(I) 代表輸入圖像的分布，D(.) 是判別器網(wǎng)絡(luò)對于輸入的圖像是修復(fù)圖像和真實圖像的概率預(yù)測

(5)

2.3.6 聯(lián)合損失

通過加權(quán)融合多種損失結(jié)果來判斷修復(fù)圖像與真實圖像的相似程度，并將結(jié)果通過反向傳播給修復(fù)模型，網(wǎng)絡(luò)依據(jù)反饋結(jié)果進行梯度下降尋找最優(yōu)模型參數(shù)

l=αladv+βlpixel+δlprec+εlstyle+ωltv

(6)

3 實驗和結(jié)果分析

3.1 實驗數(shù)據(jù)集

實驗采用數(shù)據(jù)集CelebA和數(shù)據(jù)集Oxford Buildings，CelebA數(shù)據(jù)集是包含20萬張人臉數(shù)據(jù)的公共數(shù)據(jù)集。實驗選取48 100張圖片，劃分為訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集，訓(xùn)練數(shù)據(jù)集包括44 100張圖片，測試數(shù)據(jù)集包括4000張圖片。數(shù)據(jù)集Oxford Buildings包含上百萬張各式建筑物圖片，實驗選取20 000張圖片，使用19 800張為訓(xùn)練數(shù)據(jù)集，200張為測試數(shù)據(jù)集。在數(shù)據(jù)處理部分，對于每張圖片檢測人臉并裁剪成256*256大小的圖片。實驗數(shù)據(jù)使用的是成對的數(shù)據(jù)，完整圖片相對的缺失數(shù)據(jù)較少且不容易收集，所以實驗設(shè)計了中心矩形掩碼，隨機矩形掩碼，隨機數(shù)量的不同形狀掩碼，由已有完整圖片添加缺失掩碼生成缺失圖片，從而產(chǎn)生成對的數(shù)據(jù)集。

3.2 實驗設(shè)置

實驗使用現(xiàn)較流行的深度學(xué)習(xí)框架Pytorch框架，實驗軟件配置為python3.6，硬件配置為i7+Nvida2080Ti，使用Linux操作系統(tǒng)。實驗中Batch_size設(shè)置為1，使用Adam優(yōu)化算法來優(yōu)化模型，學(xué)習(xí)率設(shè)置為0.0002，beta1為0.5。實驗設(shè)置30個epoch。

3.3 評價方法

實驗中使用了SSIM(結(jié)構(gòu)相似性)與PSNR(峰值信噪比)兩種評價指標(biāo)來測評修復(fù)后圖像與真實的圖像的差異性和相似性。這兩種評價方法經(jīng)常用來作為低質(zhì)量的圖像數(shù)據(jù)提升為高質(zhì)量的圖像數(shù)據(jù)的評價指標(biāo)。SSIM的原理是從兩幅圖像的3個方面(亮度l、對比度c、結(jié)構(gòu)s)來評測兩幅圖像的相似性。它的取值的范圍為[0，1]，數(shù)值接近1就代表著兩幅圖像越相似

SSIM(X,Y)=l(X,Y)*c(X,Y)*s(X,Y)

(7)

PSNR的原理是計算兩幅圖像對應(yīng)的像素點之間的差異性，公式中MSE代表兩幅圖像的均方誤差，較大的PSNR數(shù)值就代表著圖像失真的程度較小

(8)

3.4 實驗結(jié)果

本節(jié)針對不同的實驗結(jié)果分為3部分進行討論分析與總結(jié)，第一部分是與不同模型的方法在公共數(shù)據(jù)集上的性能指標(biāo)對比，以及與不同模型方法中修復(fù)后的可視化結(jié)果對比。第二部分是消融實驗，同時討論了殘差注意力塊層數(shù)和使用的不同損失函數(shù)對于MRS-Net的影響。第三部分是與不同模型方法在不同缺失面積的修復(fù)結(jié)果之間的比較，以及與不同模型方法在大面積的缺失的修復(fù)結(jié)果之間的比較。

3.4.1 對比實驗

將MRS-Net與CE、GL、PIC-Net、Shift-Net等在圖像修復(fù)方面具有代表性的算法進行比較。在圖5的結(jié)果對比中可以看出CE算法無法推測出圖像中合理的缺失信息；GL算法可以計算出圖像中較為合理的缺失信息，但是在一些地方有較明顯的差異性；PIC-Net算法可以使圖像的修復(fù)結(jié)果較為合理，但和真實的圖片有些差距，同時修復(fù)局部地區(qū)存在一些偽影；Shift-Net算法能夠計算出圖像中合理的缺失信息，并達(dá)到較好的效果，但是在圖像的細(xì)節(jié)不具有較好的一致性；MRS-Net修復(fù)圖像的結(jié)果相比于其它幾個模型有進一步提高，同時具有更加精細(xì)的紋理細(xì)節(jié)，修復(fù)的結(jié)果有更好的一致性。圖6可視化了不同修復(fù)算法在4種缺失類型的圖片，從圖6的結(jié)果可以看出MRS-Net在4種缺失類型可以較好完成修復(fù)任務(wù)。在較大面積缺失時其它的算法對于修復(fù)效果有一定的偏差，而MRS-Net可以較好彌補這些缺陷，合理修復(fù)缺失部位；在局部細(xì)節(jié)信息缺失時，對比的算法對于像眼睛、眉毛等部位的缺失達(dá)達(dá)不到較好的修復(fù)水平，而MRS-Net的修復(fù)結(jié)果對于局部精細(xì)部分有更好的修復(fù)效果。

圖5 不同算法對比結(jié)果

圖6 不規(guī)則破損圖算法對比結(jié)果

為了驗證MRS-Net具有較好的修復(fù)性能，使用PSNR和SSIM兩個圖像評價指標(biāo)來對比經(jīng)典修復(fù)算法與MRS-Net在測試集上的修復(fù)效果。從表1的對比實驗結(jié)果可看出，MRS-Net在SSIM指標(biāo)上相比于其它幾個算法能提高2%～5%左右，在PSNR指標(biāo)上能提高1～3左右。由于人臉圖像的結(jié)構(gòu)大體輪廓有一定的相似性，而Oxford Buil-dings數(shù)據(jù)集圖片復(fù)雜度較高，相似性較低，所以對于建筑物圖像修復(fù)的任務(wù)具有一定的挑戰(zhàn)性，圖5的第五行到第八行對在Oxford Buildings數(shù)據(jù)集上的修復(fù)結(jié)果進行了可視化，對于建筑物圖片的修復(fù)任務(wù)，其它幾個算法的修復(fù)結(jié)果不是很理想，而由于MRS-Net的方法可以較好推斷出建筑物圖像缺失信息并且提高修復(fù)圖像的清晰程度，因此可以達(dá)到較好的修復(fù)效果。同時，從表1的結(jié)果中可以看出，MRS-Net在SSIM指標(biāo)上比其它3個模型能提高2%～7%左右，在PSNR指標(biāo)上能提高1～4左右。

表1 評價指標(biāo)不同算法對比結(jié)果(PSNR/SSIM)

3.4.2 消融實驗

為了驗證MRS-Net改進的效果，進行了消融實驗。在消融實驗中算法使用相同的損失函數(shù)，從表2中可以看出，在修復(fù)缺失圖像上MRS-Net的方法在SSIM指標(biāo)上比其它4個消融模型提高1%～5%左右，在PSNR指標(biāo)上能提高1～3左右。第一行是基礎(chǔ)的編碼器解碼器網(wǎng)絡(luò)的修復(fù)結(jié)果存在修復(fù)后圖像質(zhì)量差，相似度低的問題。第二行M是使用多尺度判別器和第三行是使用殘差注意力上修復(fù)結(jié)果的指標(biāo)均低于MRS-Net的指標(biāo)，從而可以看出MRS-Net改進的有效性。第四行M3是使用3個判別器和殘差注意力的時候，模型的性能反而會降低，推測可能是因為判別器的性能過于強大，從而打破了博弈的平衡性，在博弈中修復(fù)模型處于劣勢，造成修復(fù)模型性能的降低。

表2 在CelebA數(shù)據(jù)集評價指標(biāo)消融結(jié)果(PSNR/SSIM)

不同的殘差注意力塊層數(shù)對于修復(fù)結(jié)果的影響，在深度學(xué)習(xí)中更深的網(wǎng)絡(luò)往往可以學(xué)習(xí)到更好的預(yù)期結(jié)果，但過深的網(wǎng)絡(luò)也會導(dǎo)致不良的結(jié)果，因此探索階段選擇使用12層、24層、36層不同的層數(shù)進行實驗驗證，圖7的結(jié)果中表明12層殘差注意力塊可以較好修復(fù)缺失圖片，但在眼睛和眉毛部分會存在些許模糊；24層殘差注意力塊能夠較好地推測出缺失部分的語義信息；36層殘差注意力塊的修復(fù)結(jié)果會出現(xiàn)大范圍的模糊偽影。所以實驗中最終選取加入24層殘差注意力模塊的改進模型作為算法的修復(fù)網(wǎng)絡(luò)。之后探索了在MRS-Net上使用不同損失函數(shù)對于修復(fù)結(jié)果的影響。如圖8的結(jié)果顯示，列1使用了生成對抗損失之后，修復(fù)的結(jié)果比較模糊，修復(fù)的部分會有偽影，達(dá)不到預(yù)期的修復(fù)效果，所以需要加入重構(gòu)損失來消除修復(fù)后模糊現(xiàn)象。列2加入重構(gòu)損失后可以提高圖像的清晰度，但是在眼睛部位存在些許偽影，而在列3加入了全變分損失后，可以較好地消除眼部偽影，但修復(fù)后額頭部位有不平滑的修復(fù)現(xiàn)象，列4中加入了Vgg16提取圖像高層特征計算感知損失使得圖像結(jié)構(gòu)近似于原圖內(nèi)容，但是與原圖內(nèi)容相比在圖像風(fēng)格方面過于暗淡，在列5中加入了Vgg16提取圖像低層特征風(fēng)格損失后，提高了圖像與原圖風(fēng)格的相似度，同時提高修復(fù)圖像清晰度，達(dá)到預(yù)期想要的結(jié)果。

圖7 在CelebA數(shù)據(jù)集不同殘差注意力塊數(shù)結(jié)果

圖8 在CelebA數(shù)據(jù)集不同損失消融結(jié)果

3.4.3 模型魯棒性實驗

為了驗證模型的魯棒性，實驗對比了不同算法在缺失面積占比為5%～10%、11%～20%、21%～30%、31%～40%、41%～50%時的性能表現(xiàn)，見表3和表4。MRS-Net在不同面積的缺失圖像上修補均有最高的峰值信噪比和結(jié)構(gòu)相似性指標(biāo)數(shù)值。此外，隨著圖像缺失面積的增大，兩個指標(biāo)的下降幅度比較低，在圖9的結(jié)果中使用不同形狀和不同數(shù)量的特大面積缺失的圖像進行修復(fù)，GL算法在圖像修復(fù)效果都很不理想，對于特大面積缺失的圖像不能進行較好的修復(fù)；PIC-Net算法對于前三行的圖像修復(fù)效果相比于GL算法有些許提高，可以合理修復(fù)缺失部位，在第四行與第五行的圖像修復(fù)效果相比于GL算法降低了，幾乎沒有修復(fù)圖像的缺失部位；Shift-Net算法可能是由于泛化能力不足導(dǎo)致圖像的修復(fù)結(jié)果不理想；相比于其它算法，MRS-Net有較好的圖像修復(fù)效果，可以體現(xiàn)MRS-Net具有較好的魯棒性。

圖9 不規(guī)則特大面積缺失結(jié)果

表3 在CelebA數(shù)據(jù)集不同面積峰值信噪比對比結(jié)果(PSNR)

表4 在CelebA數(shù)據(jù)集不同面積結(jié)構(gòu)相似性對比結(jié)果(SSIM)

MRS-Net對于普通的圖像修復(fù)效果較好，但對于色彩過于復(fù)雜或者形狀奇特的圖像修復(fù)效果不可觀，如圖10所示，后續(xù)會尋找相應(yīng)的解決辦法。

圖10 復(fù)雜形狀修復(fù)結(jié)果

4 結(jié)束語

本文提出一種融合多尺度殘差注意力的修復(fù)缺失圖像模型。使用融合的殘差序列提取注意力，提高圖像中缺損區(qū)域特征圖子通道之間的相關(guān)性，使得提取的圖像特征預(yù)測圖像結(jié)構(gòu)和語義信息是缺損區(qū)域的有效信息，多尺度判別器來約束修復(fù)的內(nèi)容。實驗結(jié)果表明，與先前的算法相比，MRS-Net在修復(fù)多種形狀缺失塊圖像和大面積缺失塊圖像的清晰度與相似性取得了較好的效果，圖像修復(fù)的結(jié)果與真實的圖像有較好的一致性。MRS-Net可以應(yīng)用在人臉去遮擋修復(fù)和建筑物的修復(fù)。最終會得到修復(fù)質(zhì)量較好的圖像。

但是本文所提方法也存在一定不足，對于特大面積缺失和缺失部分圖案復(fù)雜的圖像修復(fù)效果會有部分降低，下一階段將對特大面積的缺失和缺失部分圖案復(fù)雜的圖像修復(fù)進行研究，提高模型對于特大面積缺失圖像的修復(fù)能力。