并行生成卷積網(wǎng)絡(luò)圖像修復(fù)算法

李海燕,晁艷靜,李海江,郭 磊,李紅松

(1. 云南大學(xué) 信息學(xué)院, 云南 昆明 650504; 2. 云南交通投資建設(shè)集團(tuán)有限公司(云南交投), 云南 昆明 650228)

圖像修復(fù)用相似像素填充圖像中缺失區(qū)域,生成內(nèi)容合理的圖像。現(xiàn)有的圖像修復(fù)方法主要有兩類:傳統(tǒng)的修復(fù)算法和基于神經(jīng)網(wǎng)絡(luò)的修復(fù)算法。

基于擴(kuò)散的方法[1-6]是經(jīng)典的傳統(tǒng)修復(fù)算法,這類方法將已知的相似像素傳播到缺失區(qū)域,僅能修復(fù)小面積缺失。Bertalmio等[5]提出同時(shí)填充紋理和結(jié)構(gòu)的修復(fù)算法,將圖像表達(dá)為兩個(gè)函數(shù)之和再分別重構(gòu)每個(gè)函數(shù),能修復(fù)細(xì)小劃痕,但是當(dāng)缺失面積大時(shí),此方法只能修復(fù)缺失區(qū)域邊緣,無法修復(fù)其內(nèi)部。Criminisi等[6]提出一種基于塊的紋理合成算法,首先計(jì)算填充區(qū)域的優(yōu)先權(quán),然后傳播紋理及結(jié)構(gòu)信息并更新置信度完成修復(fù)。由于缺乏對圖像的高級理解,該方法通常無法生成語義合理的結(jié)果和已知圖像中不存在的結(jié)構(gòu),當(dāng)缺失內(nèi)容包含豐富紋理時(shí),生成細(xì)節(jié)的能力不足。

為了克服傳統(tǒng)修復(fù)算法的局限性,近年來學(xué)者們提出了許多基于深度學(xué)習(xí)的修復(fù)方法[7-17]。Xie等[7]提出結(jié)合稀疏編碼和神經(jīng)網(wǎng)絡(luò)的修復(fù)算法,該方法只能用于灰度圖的小區(qū)域修復(fù)。Iizuka等[8]提出兼顧全局和局部一致性的全卷積修復(fù)網(wǎng)絡(luò),改善了圖像的細(xì)節(jié),可修復(fù)含多個(gè)小區(qū)域缺失的圖像,但很難修復(fù)大面積語義缺失。為更好修復(fù)大面積缺失,兩階段修復(fù)模型逐漸興起。Yu等[9]提出在細(xì)修復(fù)網(wǎng)絡(luò)中嵌入上下文注意模塊,增加生成內(nèi)容與周圍顏色和紋理的一致性判別,該方法可以修復(fù)大面積語義缺失,但圖像包含復(fù)雜背景時(shí),難以修復(fù)紋理細(xì)節(jié)。……