基于梯度指導(dǎo)的生成對抗網(wǎng)絡(luò)內(nèi)鏡圖像去模糊重建

時永剛 張 岳 周治國 李 祎 夏卓巖

(北京理工大學(xué)信息與電子學(xué)院 北京 100081)

1 引言

根據(jù)世界衛(wèi)生組織統(tǒng)計，2020年有3624820例新增消化道癌癥病例，有2248042名患者死于消化道癌癥，消化系統(tǒng)的癌癥死亡人數(shù)占到癌癥總死亡人數(shù)的22.6%[1]。內(nèi)窺鏡檢查是現(xiàn)在主要的消化道疾病診斷方法，傳統(tǒng)內(nèi)窺鏡具有直接、準(zhǔn)確、價格低的優(yōu)點，是目前最常用的胃部檢查方法。隨著醫(yī)藥科技的發(fā)展，新興的膠囊胃鏡技術(shù)因其更佳的檢測體驗，已逐漸得到普及。

然而，無論是使用傳統(tǒng)的胃鏡還是膠囊胃鏡，在圖像采集過程中都必然會出現(xiàn)運動模糊造成的圖像質(zhì)量下降的問題。特別是膠囊胃鏡，在數(shù)據(jù)采集過程中醫(yī)生無法實時控制采集設(shè)備。其運動受到胃腸蠕動的影響。當(dāng)胃腸蠕動快時，拍攝數(shù)量減少銳度降低，圖像模糊程度比普通胃鏡更嚴(yán)重。模糊圖像會給計算機(jī)輔助診斷帶來巨大的困難，進(jìn)而干擾醫(yī)生對病變部位的判斷。因此，通過內(nèi)窺鏡的去模糊算法，提高了內(nèi)窺鏡的成像質(zhì)量，對提高臨床診斷準(zhǔn)確率具有重要意義。

2017年Mahesh等人[2]提出一種卷簾(Rolling Shutter， RS)盲去運動模糊的模型，用以解決互補(bǔ)金屬氧化物半導(dǎo)體(Complementary Metal Oxide Semiconductor， CMOS)傳感器的卷簾快門引起的運動模糊。2018年，Tao等人[3]提出尺度遞歸網(wǎng)絡(luò)(Scale-Recurrent Network-DeblurNet， SRNDeblurNet)，它類似于構(gòu)造重建金字塔并逐步優(yōu)化以獲得最終的重建清晰圖片。Kupyn等人[4]提出的去模糊生成對抗網(wǎng)絡(luò)(Deblurring€Generative Adversarial€Networks， DeblurGAN)是一種結(jié)合條件生成對抗網(wǎng)絡(luò)和內(nèi)容損失的端到端運動去模糊學(xué)習(xí)模型。兩年之后，Kupyn等人[5]又在DeblurGAN的基礎(chǔ)之上提出了改進(jìn)型去模糊生成對抗網(wǎng)絡(luò)(Deblurring Generative Adversarial Networks-v2，DeblurGAN-v2)，改進(jìn)了生成器的網(wǎng)絡(luò)結(jié)構(gòu)和鑒別器，并使該算法便于使用現(xiàn)有成熟的基礎(chǔ)網(wǎng)絡(luò)，不僅提高了去模糊的圖像質(zhì)量，而且能夠以低計算成本設(shè)計模型。與普通圖像不同，消化道內(nèi)鏡圖像的紋理細(xì)節(jié)較為豐富，且圖像結(jié)構(gòu)較為多樣，現(xiàn)有的去模糊方法如SRN-DeblurNet， DeblurGAN-v2在處理這一類圖像時因為過度關(guān)注細(xì)節(jié)特征，全局特征關(guān)注不夠，總會伴有一定程度的結(jié)構(gòu)變形甚至出現(xiàn)偽影，虛構(gòu)生成了實際不存在的重影輪廓。在圖像超分辨領(lǐng)域，已經(jīng)被證明可以用梯度輪廓作為先驗[6—8]指導(dǎo)超分辨率圖像更好地保留結(jié)構(gòu)信息，生成更加清晰的高分辨率圖像。其中，清華大學(xué)Ma等人[8]提出了基于生成對抗網(wǎng)絡(luò)的保留結(jié)構(gòu)信息的超分辨率網(wǎng)絡(luò)(Structure-Preserving Super Resolution， SPSR)，證明了在梯度信息指導(dǎo)下通過生成對抗網(wǎng)絡(luò)生成結(jié)構(gòu)不變形且紋理細(xì)節(jié)豐富的圖像的可行性。2021年Tran等人[9]提出一種方法來編碼任意的清晰-模糊圖像對數(shù)據(jù)集的模糊核空間，并利用這種編碼來解決一些特定的任務(wù)，如圖像去模糊和模糊合成。Chi等人[10]提出一種自監(jiān)督元輔助學(xué)習(xí)，通過整合外部和內(nèi)部學(xué)習(xí)來提高去模糊的性能，并提出一個元輔助訓(xùn)練方案，進(jìn)一步優(yōu)化作為基礎(chǔ)學(xué)習(xí)的預(yù)訓(xùn)練模型。Chen等人[11]提出一個非盲目去模糊網(wǎng)絡(luò)(Non-Blind Deblurring Network，NBDN)來恢復(fù)夜間模糊的圖像，為降低個別不符合反模糊模型的像素所帶來的副作用，設(shè)計了置信度估計單元(Confidence Estimation Unit ，CEU)，確保這些像素在去卷積步驟中的貢獻(xiàn)較小，并通過共軛梯度(Conjugate Gradient， CG)方法進(jìn)行優(yōu)化。Dong等人[12]提出一種在最大后驗(Maximum A-Posteriori， MAP)框架內(nèi)聯(lián)合學(xué)習(xí)空間變異數(shù)據(jù)(spatially-variant data)和正則化項的方法，用于非盲目圖像去模糊化。

本文提出基于梯度指導(dǎo)的生成對抗去模糊網(wǎng)絡(luò)和類U型網(wǎng)絡(luò)(U-shaped Network， U-Net)預(yù)訓(xùn)練模型。預(yù)訓(xùn)練模型使用3層類U-Net結(jié)構(gòu)，解碼器部分引入殘差連接，預(yù)先對劇烈模糊圖像進(jìn)行處理，大大縮短了網(wǎng)絡(luò)的訓(xùn)練周期。去模糊網(wǎng)絡(luò)以Res2net[13]結(jié)構(gòu)作為基礎(chǔ)模塊增大感受野，減輕冗余特征帶來的運算負(fù)擔(dān)，網(wǎng)絡(luò)同時包含圖像信息和梯度信息兩個相互交互的支路，通過梯度支路指導(dǎo)真實圖像的復(fù)原重建，更好地保留圖像的結(jié)構(gòu)信息，消除偽影緩解結(jié)構(gòu)變形，從而復(fù)原生成更加清晰的胃鏡圖像。

2 模型

2.1 梯度指導(dǎo)的去模糊生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)(Generative Adversarial Networks， GAN)因其對抗學(xué)習(xí)的特性具有強(qiáng)大的圖像生成能力，對于生成圖像的細(xì)節(jié)紋理質(zhì)量有很大提升[4]，因此在圖像信息支路中本文使用了類似增強(qiáng)型超分辨率生成對抗網(wǎng)絡(luò)(Enhanced Super-Resolution Generative Adversarial Networks， ESRGAN)[14]的網(wǎng)絡(luò)結(jié)構(gòu)，ESRGAN具有良好的細(xì)節(jié)生成能力，并且能夠解決一定程度的偽影問題。ESRGAN算法的生成器使用密集殘差網(wǎng)絡(luò)(Residual in Residual Dense Block， RRDB)的基礎(chǔ)模塊，將殘差塊以稠密連接網(wǎng)絡(luò)(DenseNet)[15]方式進(jìn)行連接，這種方式增加了訓(xùn)練參數(shù)，并保留了更多的有效特征。通常在對胃鏡圖像去模糊測試，會有過多的特征冗余，容易導(dǎo)致偽影現(xiàn)象的出現(xiàn)，虛構(gòu)生成不存在的重影輪廓。為改善去模糊效果，本文引入基于Res2net的基礎(chǔ)模塊來代替RRDB，這樣既增大了感受野，同時又減少了冗余特征帶來的運算負(fù)擔(dān)和重影輪廓。

梯度支路采用了梯度強(qiáng)度作為梯度圖，從圖像到圖像之間的轉(zhuǎn)換空間來學(xué)習(xí)兩種模式之間的映射。由于梯度圖中大部分區(qū)域數(shù)值接近于0，而輪廓邊緣具有較大的數(shù)值，卷積神經(jīng)網(wǎng)絡(luò)能更多地關(guān)注輪廓的空間關(guān)系。在梯度支路中與基于生成對抗網(wǎng)絡(luò)的保留結(jié)構(gòu)信息的超分辨率網(wǎng)絡(luò)(Structure-Preserving Super Resolution，SPSR)不同，本文沒有使用梯度模塊加卷積層的結(jié)構(gòu)，而是直接使用Res2net模塊，減少了中間的冗余特征，網(wǎng)絡(luò)更容易捕獲關(guān)鍵部位結(jié)構(gòu)依賴性，由梯度圖指導(dǎo)生成清晰圖像。

如圖1所示，梯度分支和圖像信息分支有多層級的特征信息交互，這些特征流作為一個強(qiáng)先驗來提升梯度分支的性能，在這種情況下，可大大減少參數(shù)。在實驗中，本文將梯度分支的最后一層產(chǎn)生的特征圖傳遞到真實圖像分支。同時，通過1×1卷積層生成輸出層梯度圖。通過這種雙支路交互，圖像信息分支最終能夠攜帶豐富的結(jié)構(gòu)信息，確保復(fù)原后的圖像不會產(chǎn)生明顯的結(jié)構(gòu)變形。判別器部分使用了相對平均判別器，網(wǎng)絡(luò)結(jié)構(gòu)為如圖2所示的VGG-128[16]。

圖1 梯度指導(dǎo)生成對抗網(wǎng)絡(luò)生成器結(jié)構(gòu)圖

圖2 梯度指導(dǎo)生成對抗網(wǎng)絡(luò)判別器結(jié)構(gòu)圖

2.2 類U型網(wǎng)絡(luò)預(yù)訓(xùn)練模型

本文在使用梯度指導(dǎo)生成對抗網(wǎng)絡(luò)(Gradient Guidance GAN，GGGAN)對模糊胃鏡圖像進(jìn)行實驗時發(fā)現(xiàn)，GGGAN具有良好的圖像生成效果，但在復(fù)原重度模糊圖像時復(fù)原圖像會出現(xiàn)一定程度的紋理扭曲，且訓(xùn)練收斂時間較長，這一現(xiàn)象源于GAN網(wǎng)絡(luò)自身的性質(zhì)[17]，很難通過內(nèi)部的結(jié)構(gòu)調(diào)整避免。這一情況會影響圖像的整體視覺效果，降低峰值信噪比(Peak Signal to Noise Ratio， PSNR)這一評價指標(biāo)，對于圖像復(fù)原效果并不理想。

為解決這一問題，本文在GGGAN網(wǎng)絡(luò)之前設(shè)計了一個預(yù)處理模塊，通過這一模塊對實驗圖像進(jìn)行預(yù)先修正處理，可以在一定程度上減小輸入圖像的模糊程度，避免因輸入圖像模糊程度太大帶來的紋理扭曲，縮短訓(xùn)練時間。

預(yù)處理模塊的整體結(jié)構(gòu)類似于U-Net[18]，使用3層編碼器-解碼器結(jié)構(gòu)，并在解碼部分引入殘差連接[15]，擴(kuò)充感受野，其結(jié)構(gòu)如圖3。在滿足預(yù)處理需求的前提下，3層編碼器-解碼器結(jié)構(gòu)的訓(xùn)練參數(shù)量較少，不會帶來更多的訓(xùn)練負(fù)擔(dān)。

圖3 預(yù)處理模塊的網(wǎng)絡(luò)結(jié)構(gòu)

2.3 GGGAN與預(yù)訓(xùn)練模塊的結(jié)合

預(yù)訓(xùn)練模型和GGGAN的生成器構(gòu)成的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，預(yù)處理模塊放在此結(jié)構(gòu)之前。

圖4 本文網(wǎng)絡(luò)整體結(jié)構(gòu)

計算模糊圖像預(yù)處理后輸出IX與清晰圖像IY之間的結(jié)構(gòu)相似性指標(biāo)[19]

3 實驗結(jié)果與分析

3.1 實驗準(zhǔn)備

3.1.1 數(shù)據(jù)集

采用內(nèi)窺鏡偽影檢測(Endoscopy Artifact Detection， EAD)挑戰(zhàn)賽數(shù)據(jù)集[20]以及膠囊胃鏡數(shù)據(jù)集[21](internet-based digital video atlas of capsule endoscopy for research purposes)中的圖像作為清晰圖像，人為添加運動模糊產(chǎn)生對應(yīng)的模糊圖像，其中運動模糊的范圍為平移50～80像素點，旋轉(zhuǎn)模糊核在—40°～40°范圍內(nèi)隨機(jī)產(chǎn)生，每個圖像對的模糊核不同。傳統(tǒng)胃鏡數(shù)據(jù)集共有清晰-模糊圖像對780組，其中480對為訓(xùn)練集，300對為測試集。膠囊胃鏡數(shù)據(jù)集中共有清晰-模糊圖像對2398組，分為訓(xùn)練集1398對，測試集1000對。

由于數(shù)據(jù)采集過程中采用了隨機(jī)裁切的方法，無須再對數(shù)據(jù)集做單獨的增廣。隨機(jī)裁切使得訓(xùn)練過程中同一對圖像每次輸入是不同的，極大程度上避免了過擬合現(xiàn)象的產(chǎn)生，保證了網(wǎng)絡(luò)的泛化能力。

3.1.2 實驗評價指標(biāo)

為比較不同算法的去模糊效果，本文使用兩種評價指標(biāo)來測量最終結(jié)果：峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)。PSNR是評價圖像質(zhì)量最常用、應(yīng)用最廣泛的客觀測量方法[22]。對于灰度圖像，給定清晰的圖像I和大小為m×n的模糊圖像K，均方誤差(Mean Square Error， MSE)定義為

其中，MAXI是圖像的最大像素值。如果每個像素用8位二進(jìn)制表示，則為255。對于彩色圖像，計算紅綠藍(lán)(Red-Green-Blue，RGB)3個通道的MSE，然后除以3得到最終的PSNR值。

SSIM指標(biāo)是度量兩幅圖像的結(jié)構(gòu)相似程度，是一種感知模型。與MSE絕對誤差不同，它是更符合人類直觀感知的圖像質(zhì)量評估標(biāo)準(zhǔn)，可以抵消MSE無法測量圖像結(jié)構(gòu)[23]相似性的缺點。SSIM已在損失函數(shù)部分中簡要介紹，在這里將給出其計算方法。

3.1.3 實驗計算資源

本文中，所有進(jìn)行實驗比較的模型都是基于PyTorch框架，并在Intel Xeon E5-2680 v4處理器和2片NVIDIA GeForce RTX 2080 Ti(總計顯存為22 GB)的服務(wù)器上訓(xùn)練了500000個epoch。

3.2 實驗方法

本實驗數(shù)據(jù)中圖像尺寸為1349×1079，為適應(yīng)運行時設(shè)備限制的內(nèi)存占用空間，將圖像隨機(jī)裁切為128×128大小進(jìn)行訓(xùn)練，生成器和鑒別器的初始學(xué)習(xí)率均為10-4，在迭代周期分別為50000， 100000，200000， 300000時進(jìn)行10-1的衰減。網(wǎng)絡(luò)的訓(xùn)練過程中采用了小批次訓(xùn)練迭代，批量尺寸(batch size)被設(shè)置成4。使用自適應(yīng)矩估計(Adaptive moment estimation， Adam)優(yōu)化算法[24]來優(yōu)化模型參數(shù)。在傳統(tǒng)胃鏡數(shù)據(jù)集和膠囊胃鏡數(shù)據(jù)集上分別與SRN-DeblurNet， DeblurGAN-v2兩種主流的去模糊算法及改進(jìn)SPSR網(wǎng)絡(luò)進(jìn)行了對比。SRNDeblurNet， DeblurGAN-v2為目前效果較好的開源算法，改進(jìn)SPSR網(wǎng)絡(luò)則是將Ma等人[8]的超分辨率網(wǎng)絡(luò)改為去模糊網(wǎng)絡(luò)，用來對比算法性能。在膠囊胃鏡數(shù)據(jù)集的實驗中，本文增加了遷移測試實驗，利用傳統(tǒng)胃鏡數(shù)據(jù)集訓(xùn)練好的模型在膠囊胃鏡數(shù)據(jù)集上直接進(jìn)行測試，對比不同模型的泛化性能。

對傳統(tǒng)胃鏡數(shù)據(jù)集進(jìn)行測試，結(jié)果如表1所示。實驗結(jié)果顯示，在數(shù)據(jù)指標(biāo)上本文算法比其他方法在兩個指標(biāo)上均有所提升。與對照組中指標(biāo)較高的DeblurGAN-v2相比較，本文算法將PSNR值從26.55提升至26.89，SSIM值從0.818提升至0.849。

表1 不同算法在傳統(tǒng)胃鏡數(shù)據(jù)集上的指標(biāo)測試結(jié)果

從圖5可以看出，SRN-DeblurNet， Deblur-GAN-v2方法處理后，圖像仍然存在模糊，尤其在消化道中潰瘍出血、增生息肉及腸壁邊緣處較為明顯。改進(jìn)的SPSR方法雖然在細(xì)節(jié)生成效果上優(yōu)于SRN-DeblurNet，但是出現(xiàn)了重影的現(xiàn)象，實際的復(fù)原效果也并不理想。本文算法處理后的胃鏡圖像與SRN-DeblurNet方法和DeblurGAN-v2方法相比不但提高了清晰度，豐富了邊緣和紋理信息；還緩解了GAN網(wǎng)絡(luò)虛構(gòu)出的重影現(xiàn)象，復(fù)原圖像更加貼近真實的清晰圖像，在胃內(nèi)粘液、出血和褶皺等細(xì)節(jié)處，本文算法有更好的表現(xiàn)力。

圖5 不同算法在傳統(tǒng)胃鏡數(shù)據(jù)集上的圖像測試結(jié)果

表2為不同算法在膠囊胃鏡數(shù)據(jù)集上的指標(biāo)測試結(jié)果，從表2實驗數(shù)據(jù)可以看出，本文算法在不同的數(shù)據(jù)上也能有更好的表現(xiàn)力。在評價指標(biāo)方面，本文算法訓(xùn)練后的PSNR和SSIM值分別達(dá)到了29.04和0.826，高于SRN-DeblurNet的28.01和0.795，也高于改進(jìn)SPSR的28.70和0.771以及DeblurGAN-v2的28.81和0.813；遷移測試中，本文算法在傳統(tǒng)胃鏡數(shù)據(jù)集上的PSNR和SSIM值分別為28.83和0.801，高于其他3種對比算法SRNDeblurNet、改進(jìn)SPSR和DeblurGAN-v2。

表2 不同算法在膠囊胃鏡數(shù)據(jù)集上的指標(biāo)測試結(jié)果

從圖6標(biāo)識遷移的圖像是使用光學(xué)胃鏡數(shù)據(jù)集訓(xùn)練后直接在膠囊胃鏡數(shù)據(jù)集上遷移測試的結(jié)果，標(biāo)識訓(xùn)練的圖像是使用膠囊胃鏡數(shù)據(jù)集訓(xùn)練并測試得到的結(jié)果，本文算法在膠囊胃鏡數(shù)據(jù)集上直接訓(xùn)練實驗及遷移測試復(fù)原的胃鏡圖像效果均優(yōu)于SRN-DeblurNet、改進(jìn)SPSR和DeblurGAN-v2 3種對比算法，在毛細(xì)血管、局部潰瘍等細(xì)節(jié)變化多的位置最為明顯。

圖6 不同算法在膠囊胃鏡數(shù)據(jù)集上的圖像測試結(jié)果

4 結(jié)束語

本文提出一種基于梯度指導(dǎo)生成對抗網(wǎng)絡(luò)的內(nèi)鏡圖像去模糊算法并對損失函數(shù)進(jìn)行了改進(jìn)，通過梯度信息指導(dǎo)模糊圖像的復(fù)原，緩解了結(jié)構(gòu)變形和虛構(gòu)重影的現(xiàn)象；設(shè)計了預(yù)處理網(wǎng)絡(luò)來糾正過度模糊，提高訓(xùn)練效率。通過在傳統(tǒng)光學(xué)胃鏡和膠囊內(nèi)鏡的數(shù)據(jù)集上進(jìn)行訓(xùn)練和測試，檢驗其性能。實驗結(jié)果表明，在性能指標(biāo)方面，本文算法的PSNR值及SSIM值較SRN-DeblurNet和DeblurGAN-v2等均有所提升，且遷移測試效果也優(yōu)于上述算法。直接視覺評估，本文算法在細(xì)節(jié)和邊緣處有更好的生成效果，緩解了結(jié)構(gòu)變形和虛構(gòu)重影的現(xiàn)象，視覺效果更好。下一步工作，針對特征提取對全局信息的關(guān)注仍然不充分，可考慮采用計算機(jī)視覺中近期研究熱點Transformer結(jié)構(gòu)，Transformer本身具有很好的全局信息提取能力，與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合，可更好地整合全局信息和局部信息，預(yù)期可獲得更好的胃鏡圖像去模糊效果。