基于密集殘差連接U型網絡的噪聲圖像超分辨率重建

劉鵬南， 李龍， 張紫豪， 朱星光， 程德強

（1.中國礦業大學 信息與控制工程學院，江蘇 徐州 221116；2.山東黃金礦業（萊西）有限公司，山東 青島 266600）

0 引言

在煤炭開采作業中，粉塵、水霧及低光照條件常導致井下目標圖像的成像分辨率低，使得人眼在復雜工作環境中難以捕捉到足夠的細節信息，對煤炭生產過程進行監控和管理變得異常困難[1]。圖像超分辨率重建旨在從低分辨率圖像中恢復出高分辨率圖像，以提供更多細節信息，有助于改善圖像的可視化質量和信息傳遞效果[2]。

目前圖像超分辨率重建方法主要分為3類：基于插值的方法[3]、基于重構的方法[4-5]和基于學習的方法[6]。基于插值的方法可快速得到重建結果，但重建圖像會存在邊緣模糊的問題。基于重構的方法計算量少，但在重建過程中會忽略圖像的高頻細節信息，導致重建圖像不真實。基于學習的方法可提取更豐富、更具體的圖像細節信息，圖像重建效果優于前2種方法，其主要采用早期的淺層機器學習與當下常用的深度學習來完成圖像超分辨率重建任務。

在基于學習的方法中，研究人員已經提出了許多網絡來完成圖像超分辨率重建任務。Yang Shuyuan等[7]提出了基于稀疏編碼理論的圖像超分辨率重建網絡，該網絡主要通過圖像的稀疏表示學習獲得高分辨率字典與低分辨率字典，并根據高低分辨率圖像之間的映射關系對圖像進行重建。Dong Chao等[8]提出了超分辨率卷積神經網絡（Super Resolution Convolutional Neural Network，SRCNN），首次將深度學習引入圖像超分辨率重建領域；之后，Dong Chao等[9]提出了快速超分辨率卷積神經網絡（Fast Super-resolution Convolutional Neural Network，FSRCNN），該網絡通過引入可以改變特征維度的反卷積層，實現了加速網絡訓練的目的。Shi Wenzhe等[10]提出了高效的亞像素卷積神經網絡（Efficient Sub-pixel Convolutional Neural Network，ESPCN），實現了在網絡中對圖像進行縮放的目的，加快了網絡對圖像重建的速度。He Kaiming等[11]提出了殘差網絡（Residual Network，ResNet），用來解決網絡深度較大時訓練困難的問題。J.Kim等[12]提出了極深超分辨率卷積神經網絡（Very Deep Convolution Networks for Super-resolution，VDSR），該網絡深度達20層，相較于淺層網絡具有更好的性能。B.Lim等[13]提出了增強型深度超分辨率卷積神經網絡（Enhanced Deep Super-resolution Network，EDSR），該網絡去除了批歸一化層[14]，且網絡深度進一步增加，圖像重建效果得到進一步提升[15]。Zhang Yulun等[16]提出了殘差密集網絡（Residual Dense Network，RDN），該網絡利用密集連接的方式將各層級之間的特征充分融合，得到了更好的圖像重建效果。Chen Liangliang等[17]提出了基于內容引導的單圖像超分辨率深度殘差網絡（Content-guided Deep Residual Network for Single Image Super-resolution，CDRN），該網絡增加深度的同時對圖像內容進行導向化，以準確實現圖像細節的超分辨率重建。程德強等[18]提出了多通道遞歸殘差圖像超分辨率網絡（Multi Channel Recursive Residual Image Super-resolution Network，MCRRN），該網絡改變了傳統的用跳躍連接進行特征融合的方式，將不同層的特征進行跨尺度融合，使網絡學習到更豐富的特征，改善了圖像重建效果。

雖然以上網絡對于圖像超分辨率重建具有較好的性能，但存在以下問題：① 上述網絡未考慮噪聲環境的影響，應用背景多是理想環境下的低分辨率圖像，無法在對低分辨率圖像重建的同時去除噪聲。② VDSR，EDSR，CDRN等網絡通過增加網絡深度的方式來提升特征提取能力，但該方式會使網絡無差別地對待圖像特征，無法對圖像關鍵特征進行有效提取，且隨著網絡深度的增加，容易出現高頻細節信息丟失的問題，導致網絡重建性能下降。

針對上述問題，本文以卷積神經網絡中的U-Net結構為基礎，提出了一種密集殘差連接U型網絡，用于對低分辨率噪聲圖像進行超分辨率重建。在密集殘差連接U型網絡中，設計了一種基于密集殘差連接的去噪模塊（Dense Residual Connected Denoising Module，DRCDM），利用殘差學習的特點對低分辨率噪聲圖像進行有效去噪；提出了一種殘差特征注意力蒸餾模塊（Residual Feature Attention Distillation Module，RFAM），該模塊通過增強特征注意力塊（Enhanced Feature Attention Block，EFAB）對不同空間的特征賦予不同的權重，可加強網絡對于圖像關鍵特征的提取能力，同時減少圖像細節特征在殘差塊中的損失，從而提升圖像重建質量。

1 密集殘差連接U型網絡

1.1 整體網絡結構

對U-Net進行改進，得到密集殘差連接U型網絡，其結構如圖1所示。① 在特征提取路徑中去除最大池化層，不再改變特征尺寸，只擴大特征通道數，最大程度減少圖像分辨率的丟失。② 為降低網絡訓練難度，不再使用U-Net的5層結構，只使用3層結構，即對特征通道數進行2次擴張，每次擴張都會使本層特征通道數擴大為上一層的2倍。③ 在特征提取路徑中引入DRCDM，對低分辨率噪聲圖像進行噪聲去除。④ 在重建路徑中引入RFAM，從而提取更關鍵的特征，且殘差連接的存在可有效防止梯度爆炸、梯度消失、網絡退化等問題，以確保獲取的圖像特征被充分利用。

圖1 密集殘差連接U型網絡結構Fig.1 Dense residual connected U-shaped network structure

首先使用64個3×3大小的卷積層（Convolution Layer）將RGB噪聲圖像轉換成粗特征F0，并通過ReLU函數對粗特征進行非線性激活。接著將F0輸入去噪模塊，去噪模塊主要學習干凈圖像和噪聲圖像之間的殘差，并最小化其差異：

式中：X為估計出的干凈圖像；Y為帶有噪聲的圖像；R（·）為去噪函數；V為噪聲圖像和干凈圖像的殘差。

去噪模塊的輸出經過2個卷積塊（Convolution Block）分別將特征通道數擴展為128，256，擴展后的2個特征分別為F1，F2。

式中fe（·）為特征通道數的擴展操作。

接著通過4個RFAM對F2進行細節特征提取，再經過3×3大小的卷積層將F2的特征通道數降到128，降維后的特征為

式中：fr（·）為特征通道數的降維操作；fRFAM（·）為RFAM細節特征提取操作。

隨后將F1′輸入4個RFAM進行特征細化，并經過1個 3×3大小的卷積層將特征通道數降到64，降維后的特征為

之后將F0′通過亞像素卷積進行像素重排，并通過最后一個3×3大小的卷積層將特征通道數還原為3，得到重建后的圖像：

式中fps（·）為像素重排操作。

1.2 DRCDM

在用于去噪的卷積神經網絡（Denoising Convolutional Neural Network，DnCNN）中加入殘差塊及密集連接，得到DRCDM，其結構如圖2所示。

輸入的粗特征先經過64個3×3大小的卷積層進行細化，再由ReLU函數進行非線性激活。接著利用密集連接特征融合注意力塊（Densely-Connected Feature Fusion Attention Block，DFAB）對圖像的關鍵特征進行提取。

DFAB結構如圖3所示，主要由4個殘差特征融合層（Residual Feature Fusion Layer，RFL）通過密集連接構成。RFL由1個殘差塊（Residual Block）及1個特征融合層（Feature Fusion Layer）組成，其中殘差塊通過32個3×3大小的卷積層進行特征提取，特征融合層先對輸入特征進行通道維度串接（Concat）操作，再通過1個1×1大小的卷積層降維。淺層特征及每個RFL的輸出都采用密集特征融合的方式在特征融合層進行特征融合。接著通過卷積塊注意力模塊[19]（Convolutional Block Attention Module，CBAM）對輸入特征進行加權，提高網絡對圖像關鍵特征的提取能力。最終通過64個3×3大小的卷積層將特征通道數還原為64。

圖3 DFAB結構Fig.3 Structure of densely-connected feature fusion attention block

DFAB的輸出通過由卷積層、去歸一化層（Batch Normalization，BN）及ReLU函數串聯組成的模塊進行深層特征提取，再通過3個3×3大小的卷積層將特征通道數還原為輸入的三通道。

1.3 RFAM

增加卷積神經網絡深度有利于提升特征提取能力，但過深的網絡容易導致高頻信息丟失，且無法差別對待特征，帶來多余的信息干擾。殘差特征蒸餾模塊[20]通過卷積層以一定比例壓縮特征通道來進行特征蒸餾，即保留一部分特征，對另一部分特征繼續進行細化。該方式提高了特征提取效率，且通過殘差學習對丟失的高頻信息進行補償。本文在殘差特征蒸餾模塊的基礎上增加EFAB，由此構建RFAM，利用注意力機制提高網絡對關鍵特征的關注，減少多余信息的干擾。

RFAM結構如圖4所示。首先采用通道分離操作將輸入特征分為2個部分，一部分特征由單卷積層進行通道壓縮，另一部分特征由EFAB進行特征細化。然后將所有通道壓縮后的特征融合，融合后的特征再送入EFAB進行特征增強。最后通過1個1×1大小的卷積層進行特征降維，將特征通道數恢復為輸入通道數。

圖4 RFAM結構Fig.4 Structure of residual feature attention distillation module

EFAB由2個3×3大小的卷積層、ReLU函數及增強空間注意力（Enhanced Spatial Attention，ESA）模塊構成。輸入特征先經過2個卷積層和ReLU函數進行特征細化和激活，再輸入ESA模塊。ESA模塊首先對輸入特征使用1個1×1大小的卷積層進行通道數降維。其次通過stride為2的卷積（Stride Conv）、2×2大小的最大池化層（Pooling）及卷積組（Conv Groups）來擴大感受野范圍，其中卷積組由7×7大小的最大池化層和stride為3的卷積層組成。然后對輸出的特征進行上采樣（Upsampling），并通過殘差連接與降維后的輸入特征相加。最后將相加的特征通過1個1×1大小的卷積層恢復到輸入通道數，通過Sigmoid函數生成特征注意力權重，并與輸入特征點乘，得到ESA模塊的輸出。該結構保證了圖像中較為平滑的低頻信息在網絡中可有效傳遞，還可利用注意力機制對高頻信息進行高效學習，保證網絡訓練效率，有利于提高圖像重建質量。

2 實驗結果與分析

2.1 實驗設置

實驗硬件環境：Intel（R） Core（TM） i9-10980XE CPU@3.00 GHz，18核36線程；64 GiB內存；NVIDIA RTX 3090顯卡，24 GiB顯存。軟件環境：Ubuntu20.04操作系統；Pytorch1.8深度學習框架；CUDA11.4加速學習；Python3.7編程語言。

網絡共迭代訓練500次，初始學習率設置為0.000 1，當網絡訓練次數達300時，學習率減半，優化方法采用自適應矩估計（Adaptive Momentum Estimation，Adam）優化器，其參數β1=0.9，β2=0.99。損失函數采用L1損失函數。

2.2 實驗數據集

在公共數據集DIV2K和煤礦井下圖像數據集CMUID[1]（CMUID下載地址：https://github.com/CUMT-AIPR-Lab/CUMT-AIPR-Lab）中添加相同水平的高斯噪聲作為訓練集。選取Set5[21]，Set14[22]，B100[23]，Urban100[24]，CMUID[1]中煤礦帶式輸送機場景及工作車間場景并添加相同水平的高斯噪聲，生成相應的Noise-Set5、Noise-Set14、Noise-B100、Noise-Urban100、Noise-場景1、Noise-場景2作為測試集。本文添加的高斯噪聲的標準差為25 dB。

2.3 實驗對比網絡及評價指標

為驗證本文網絡對低分辨率噪聲圖像的重建效果，采用雙三次插值[25]（Bicubic）、ESPCN[10]、EDSR[13]、殘差通道注意力網絡[26]（Residual Channel Attention Networks，RCAN）、深度反向投影網絡[27]（Deep Back-Projection Network，DBPN）、跨尺度非局部注意網絡[28]（Cross-Scale Non-Local Attention Network，CSNLN）、非局部稀疏注意力網絡[29]（Non-Local Sparse Attention Network，NLSN）及邊緣增強特征蒸餾網絡[30]（Edge-enhanced Feature Distillation Network，EFDN）進行對比實驗。

選用結構相似度（Structural Similarity，SSIM）、圖像感知相似度（Learned Perceptual Image Patch Similarity，LPIPS）及峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）作為評價指標，對圖像超分辨率重建效果進行評估。SSIM從圖像結構、對比度和亮度3個方面對圖像質量進行評價，其值越大，表示圖像質量越高；LPIPS反映2張圖像在感知方面的相似度，符合人類的主觀感知，其值越小，表示圖像質量越高。PSNR通過計算2張圖像對應像素點間的誤差來衡量圖像質量，其值越大，表示圖像質量越高。

2.4 網絡參數實驗

為探究不同數量RFL對整體網絡去噪性能的影響，對分別含有0，1，2，3，4個RFL的網絡進行對比實驗。含有不同數量RFL的網絡在測試集Noise-Set14、Nosie-B100（圖像縮放因子為4）上的SSIM和LPIPS見表1、表2。

表1 含有不同數量RFL的網絡在Noise-Set14上的LPIPS和SSIMTable 1 LPIPS and SSIM of network with different numbers of residual feature fusion layer on Noise-Set14

表2 含有不同數量RFL的網絡在Noise-B100上的LPIPS和SSIMTable 2 LPIPS and SSIM of network with different numbers of residual feature fusion layer on Noise-B100

從表1、表2可看出，與含有0，1，2，3個RFL的網絡相比，含有4個RFL的網絡在Noise-Set14測試集上的LPIPS分別減少了0.124，0.067，0.031，0.009，SSIM分別提高了0.136，0.094，0.046，0.011；在Noise-B100測試集上的LPIPS分別減少了0.107，0.073，0.038，0.007，SSIM分別提高了0.038，0.023，0.017，0.006。隨著RFL數量增加，LPIPS逐漸降低，SSIM逐漸升高；含有4個RFL的網絡相對于含有0，1，2，3個RFL的網絡的SSIM提升幅度及LPIPS降低幅度逐漸變小，說明隨著RFL數量增加，網絡對于低分辨率噪聲圖像的重建性能逐漸達到飽和。

為防止網絡性能退化及網絡訓練難度增加，本文選用4個RFL。

2.5 消融實驗

為驗證DRCDM及RFAM的效果，在U-Net基礎上增加不同模塊進行消融實驗，在測試集Noise-Set14上的結果見表3，可看出同時添加DRCDM與RFAM后，客觀評價指標最優。

表3 消融實驗結果Table 3 Results of ablation experiments

2.6 網絡對比實驗

2.6.1 不同網絡客觀評價指標對比

6種測試集下不同網絡重建的圖像與原始高分辨率圖像的客觀評價指標對比見表4、表5。可看出本文網絡在各測試集上相對于其他網絡的LPIPS整體有所降低，SSIM均有所提高，表明本文網絡對于低分辨率圖像的重建效果更好。

表4 不同網絡在測試集上的LPIPS對比Table 4 Comparison of LPIPS of different networks on test set

表5 不同網絡在測試集上的SSIM對比Table 5 Comparison of SSIM of different networks on test set

2.6.2 不同網絡主觀視覺效果對比

不同網絡在測試集Noise-Urban100、Noise-B100（圖像縮放因子為8）上的圖像超分辨率重建效果如圖5、圖6所示。由于在縮放因子為8的情況下，低分辨率噪聲圖像尺寸較小，為方便比較噪聲圖像重建的視覺效果，選用重建圖像的部分放大圖進行對比，左側高分辨率圖像中標出的紅框部分即圖像放大區域。從圖5、圖6可看出，Bicubic重建的圖像依然存在高斯噪聲且圖像中的建筑結構較為模糊；ESPCN，CSNLN重建的圖像有效去除了部分高斯噪聲，但沒有恢復圖像的細節特征，仍存在一些重影；EDSR重建的圖像出現了失真現象，在重建圖像的左側出現一團“黑影”；DBPN及RCAN重建的圖像過于平滑，雖然去除了部分高斯噪聲，但沒有很好地重建圖像的細節特征，使得圖像過于平滑模糊；NLSN及EFDN重建的圖像在建筑整體結構的恢復上明顯優于前幾種網絡，細節特征恢復較好，但仍存在部分高斯噪聲；本文網絡重建的圖像可明顯看出建筑整體結構且建筑線條較為清晰，基本不存在多余高斯噪聲，重建效果較為理想。

圖5 不同網絡在Noise-Urban100上的圖像超分辨率重建效果對比Fig.5 Comparison of image super resolution reconstruction effect of different networks on Noise-Urban100

圖6 不同網絡在Noise-B100上的圖像超分辨率重建效果對比Fig.6 Comparison of image super resolution reconstruction effect of different networks on Noise-B100

為進一步驗證本文網絡對礦井現場圖像的重建效果，分別選取測試集Noise-場景1、Noise-場景2（圖像縮放因子為4）進行超分辨率重建，效果如圖7、圖8所示。可看出Bicubic，ESPCN，EDSR，RCAN，NLSN，EFDN對邊緣紋理細節的重建效果較差，如帽繩線條不清晰、頭燈質感模糊、字跡模糊；本文網絡重建后的圖像帽繩線條清晰、頭燈質感真實、字跡清晰，在主觀視覺效果上明顯優于其他網絡。

圖8 不同網絡在Noise-場景2上的圖像超分辨率重建效果對比Fig.8 Comparison of image super resolution reconstruction effect of different networks on Noise-scenario 2

2.6.3 不同網絡復雜度與運行速度對比

以Noise-場景1（圖像縮放因子為4）為例，不同網絡的復雜度和運行速度對比結果見表6。其中網絡復雜度通過參數量及浮點運算量來衡量，運行速度通過網絡重建1張圖像的耗時來衡量。可看出在保證最優SSIM的前提下，本文網絡在復雜度及運行速度上有著較好的均衡。

表6 不同網絡的復雜度和運行速度對比Table 6 Comparison of complexity and running speed of different networks

3 結論

1） 提出了密集殘差連接U型網絡，用于噪聲圖像超分辨率重建。在特征提取路徑中引入DRCDM，利用殘差學習的特點對低分辨率噪聲圖像進行有效去噪；在重建路徑中，通過RFAM中的EFAB對不同空間的特征賦予不同的權重，加強網絡對于圖像關鍵特征的提取能力。

2） 實驗結果表明，該網絡在客觀評價指標及主觀視覺效果上總體優于對比網絡，利用該網絡重建的圖像基本消除了原有圖像噪聲，有效恢復了圖像細節特征。

3） 雖然該網絡實現了對低分辨率噪聲圖像去噪與重建的雙重目的，但仍存在部分細節特征模糊的現象。在未來的工作中，將對網絡中的卷積層與注意力機制進行改進，引導網絡學習更準確的細節特征，進一步提高重建圖像質量。