基于混合深度卷積網絡的圖像超分辨率重建

胡雪影，郭海儒，朱 蓉

（1.河南理工大學計算機科學與技術學院，河南焦作 454000；2.嘉興學院數理與信息工程學院，浙江嘉興 314000）

（*通信作者電子郵箱zr@mail.zjxu.edu.cn）

0 引言

圖像超分辨率（Super Resolution，SR）重建旨在通過輸入一幅或多幅低分辨率（Low Resolution，LR）圖像重建出包含豐富細節的高分辨率（High Resolution，HR）圖像。重建技術作為一個不適定的逆問題，其過程需要盡可能收集和分析更多的相鄰像素以獲取更多的線索，用于上采樣過程中補充丟失的像素信息。而單圖像超分辨率（Signal Image Super Resolution，SISR）［1-2］重建則是要利用一幅圖像中包含的豐富信息以及從樣本圖像中得到的視覺先驗，識別重要的視覺線索，填充細節，并盡可能忠實和美觀地呈現。近年來，重建技術在醫療影像、衛星遙感、視頻監控等領域都有著廣泛的應用。

在計算機視覺任務中，為由低分辨率圖像重建出高分辨率圖像，研究者們已經提出多種SISR 方法，主要可分為傳統的SISR 方法［3-4］和深度學習方法［5］。傳統的SISR 方法是基于經驗算法實現，會遺忘大量的高頻信息且需要一定量人為干預，方法的性能結果與實際應用要求有著較大的差距。

由于出色的性能，深度學習方法已成為模式識別與人工智能領域研究的熱點，其中的卷積網絡（Convolutional Network，ConvNet）［6］近年來更是在計算機視覺任務中取得巨大成功。Dong 等［7］提出的超分辨率卷積神經網絡（Super-Resolution Convolutional Neural Network，SRCNN）使用了三層卷積網絡首次將深度學習運用到圖像超分辨率重建中，網絡以端到端的方式學習從LR 到HR 的映射，不需要傳統方法中的任何工程特性，并且獲得比傳統方法更先進的性能。Kim等隨后提出的深度遞歸卷積網絡（Deeply-Recursive Convolutional Network，DRCN）［8］和極深度超分辨網絡（Very Deep Super-Resolution network，VDSR）［9］取得了當時最先進的性能。Wang 等［10］在生成對抗網絡為主體的增強型超分辨率生成對抗網絡（Enhanced Super-resolution Generative Adversarial Networks，ESRGAN）中，融合感知損失提高對低分率圖像的特征重構能力，還原圖像缺失的高頻語義信息，取得了逼真視覺效果；Mao 等［11］提出具有對稱結構的編解碼網絡（Restoration Encoder-Decoder Network，REDNet）對SR 過程產生的噪聲有抑制作用，能恢復出更加干凈的圖片。殘差通道注意力網絡（Residual Channel Attention Network，RCAN）［12］通過在卷積網絡引入注意力機制，通過考慮卷積特征通道之間的相互依賴性來自適應地重新縮放通道方式的特征；Hui等［13］提出的信息蒸餾網絡（Information Distillation Network，IDN），在信息蒸餾模塊里，局部特征可被有效提取且有著輕量級參數和計算復雜度。深度SR 方法優秀的性能在特定的圖像超分辨中得到應用［14-16］。

但上述方法在成功將深度學習技術引入超分辨率問題的同時，也具有一定的局限性。SRCNN 存在著依賴于小圖像區域的上下文，訓練收斂太慢，網絡只適用于單尺度的缺陷；VDSR 雖然解決了SRCNN 存在的問題，但VDSR 較小的感受野使得其網絡卷積層簡單鏈式堆疊，魯棒性與泛化性得不到保證；DRCN 則由于使用了循環卷積網絡，導致訓練時間長，存儲量大，不便于實際應用；而ESRGAN采用對抗的方式生成SR 圖像，破壞了SR 圖像與HR 圖像像素間的對應關系，且網絡規模龐大不利于訓練與使用。

針對上述SR方法存在的問題，本文提出一種基于混合深度卷積網絡的圖像超分辨率重建方法。該方法中卷積與反卷積構建的編解碼結構去除圖像SR過程產生的噪聲，空洞卷積擴大卷積感受野，通過不同卷積方式的混合使用構建端到端網絡，重建出符合原高分辨率圖像的超分辨率圖像。

與前述SISR方法相比，本文所提方法具有如下特點：

1）網絡直接學習低分辨率和高分辨率圖像之間的端到端映射，采用卷積與反卷積級聯編解碼方式，消解圖像特征中含有的噪聲。

2）在圖像重建部分中應用空洞卷積層，使小的卷積核獲得大的感受野，提升重建效果的同時降低計算量。

3）使用殘差學習快速優化網絡，通過在網絡中添加多個個跳躍連接，加速訓練過程并提高重建結果性能。

1 相關工作

1.1 高分辨率圖像成像模型

實驗研究中，低分辨率圖像成像模型通常表示為：其中：IL為低分辨率圖像；IH為高分辨率圖像；D為下采樣算子；B為模糊算子；n為加性噪聲。

由式（1）推導由低分辨率圖像得到高分辨圖像的超分辨率重建過程模型：

其中：B-1D-1n可簡化為S（生成噪聲），得到式（3）：

由式（3），經過上采樣（D-1）、去模糊（B-1）、降噪（-S）等一系列處理操作，可將低分辨率圖像重建為高分辨率圖像。

1.2 卷積編解碼結構用于圖像特征去噪

計算機視覺的圖像處理非常依賴于圖像的特征。圖像的特征就是用較少的數據來描述捕獲圖像內容中包含的重要信息，因此，圖像特征本質上可以理解為圖像的稀疏化表示［17］。由此，Zeiler 等［18］提出了反卷積網絡（DeConvolutional Network，DeCNN）的概念，這是一種基于正則化圖像稀疏表示方法，能夠提取出圖像特征并利用這些特征重構圖像；陳揚鈦等［19］將基于L1正則化反卷積網絡模型應用于圖像表述與復原，去除圖像噪聲；Long 等［20］在用于圖像分割的全卷積網絡（Fully Convolutional Network，FCN）模型中使用反卷積層（Deconvolution layer）獲得優異效果，突出證明了反卷積網絡在圖像處理中的巨大作用；Xu等［21］發現真實的模糊退化很少符合理想的線性卷積模型，采用反卷積網絡捕獲圖像退化特征進而復原圖像（式（4）），而不是單純地從生成模型的角度對異常值進行完美建模［22］。

其中：x為輸入圖片；c為圖片的通道數量；i為圖像像素；k為特征圖數量；?為卷積操作；Z為特征圖，是局部隱變量，對于每個輸入x都不一樣。f是卷積核，為全局變量，對所有輸入x都一樣。

借鑒上述思想及方法，將卷積與反卷積聯結使用，并且增加卷積深度，使其在圖像超分辨率重建去噪過程中發揮更大的作用，進一步證實較深的卷積與反卷積層聯合使用可以顯著提高超分辨率的性能。

1.3 空洞卷積用于擴大卷積感受野

研究者們對深度學習的不斷探索，貢獻了很多經典的卷積神經網絡。LeCun 等的開拓性成果LeNet［23］，是大量神經網絡架構演進的起點，為后續相關深度學習研究領域提供靈感；和LeNet 相似的AlexNet［24］，不僅解決了網絡較深時存在的梯度彌散問題，提高訓練速度，而且還增強了模型的泛化能力；繼承LeNet 以及AlexNet 部分框架結構的VGG［25］更是直接利用了多層小卷積核疊加的優點（3個3×3的卷積核的鏈式疊加正則等效于1 個7×7 的卷積核），這種設計不僅可以大幅度地減少參數，其本身帶有正則性質的卷積圖能夠更容易學習一個通用的、可表達的特征空間；殘差網絡（Residual Network，ResNet）［26］則是在網絡中增加直連通道，允許原始輸入信息直接傳到后面的網絡層中。這不僅可以極快地加速神經網絡的訓練，也能比較大地提升模型的結果準確率等。

然而深度卷積神經網絡對于其他任務存在著一些致命性的缺陷。例如：下采樣/池化過程導致內部數據結構丟失、空間層級化信息丟失、小物體信息無法重建等。而圖像超分辨率重建過程需要更多的相鄰像素（即依賴大感受野）。因此如何在卷積感受野大小與網絡參數數量二者中找到一個平衡點，是一個至關重要的問題。而空洞卷積（擴張卷積）能在不使用會導致信息損失的pooling 層且計算量相當的情況下，提供更大的感受野，這恰恰與圖像超分辨率重建的理念（SISR網絡不需要pooling 層）相重合。因此，空洞卷積的設計恰好可解決上述如何找到最佳平衡點問題。

空洞卷積誕生于圖像分割領域［27］，圖像輸入到網絡中經過CNN 提取特征，再經過pooling 降低圖像尺度的同時增大感受野。在圖像需要全局信息或者語音文本需要較長的序列信息依賴的問題中，都有很好的應用效果［20，28-29］。對比傳統的卷積加池化操作，普通多層卷積聯結使用，只能達到卷積層數與感受野大小成線性關系，而空洞卷積與卷積的聯合使用，可以使感受野與層數呈指數級增長。如圖1 所示，圓點為卷積點，深色區域為感受野。

圖1 不同比率空洞卷積感受野對比Fig.1 Comparison of receptive fields of dilated convolutions with different ratios

將圖1中不同比率點距的空洞卷積層聯結，級聯卷積效果如圖2所示。

圖2 不同比率空洞卷積多層級聯Fig.2 Multi-cascade of dilated convolutions with different ratios

空洞卷積網絡參數數量呈線性增長，而使卷積感受域指數擴展，保證網絡參數量限度的同時增大感受野。圖1（a）是由3×3 卷積核F1通過1 倍的卷積產生的，其卷積點間距為1，其每個卷積具有3×3的感受野；（b）F2是由F1通過2倍的卷積產生的，卷積點間距為2，F2中的每個卷積核的感受野為7×7；（c）F3是由F2通過4 倍的卷積產生的，卷積點間距為2，F3中的每個卷積核的感受野為15×15。與每一層關聯的參數數量相同。

在圖像超分辨重建網絡中，采用卷積與空洞卷積的級聯使用，擴大了卷積感受野，在不增加網絡容量的前提下能獲得更多相鄰像素信息。

1.4 殘差學習用于深度網絡

傳統的卷積層或全連接層在進行信息傳遞時，或多或少會存在信息損耗丟失問題。He 等［26］為解決深層網絡訓練困難的問題提出的殘差網絡（ResNet）［26］在卷積網絡中增加直連通道，允許原始輸入信息直接傳到后面的網絡層。不僅可以極快地加速神經網絡的訓練，并且提升了模型的準確率。確切地說，殘差網絡通過直接將輸入信息繞道傳到輸出的方式，在某種程度上解決了圖像特征細節缺少的問題，保護圖像信息的完整性。即整個網絡只需要學習輸入、輸出的殘差部分，簡化了學習目標和難度。殘差塊的結構如圖3所示。

圖3 殘差結構Fig.3 Residual structure

如圖3 所示，假設原始網絡學習函數為H(x)，將其分解為H(x)=F(x)+x。分解后原始網絡（圖3 垂直向下的流程）擬合F(x)，分支x（圖3 彎曲部分，為跳躍連接）。在ResNet中引入了殘差函數F(x)=H(x)-x（即目標值與輸入值的偏差），通過訓練擬合F(x)，進而由F(x)+x得到H(x)。如果F(x)=0，則相當于引入了一個恒等映射到圖像超分辨率重建任務中，使用殘差學習通過在卷積網絡添加跳躍連接可將圖像初始特征直接傳輸到網絡中后層，協助梯度的反向傳播，加快訓練進程，提高結果性能。

2 本文方法

2.1 網絡模型

本文所構建的網絡模型主要由四個模塊組成：上采樣、特征提取、編解碼結構去噪和圖像重建。上采樣模塊將低分辨率圖片通過簡單上采樣，得到與高分辨率圖像具有相同像素的低分辨率圖像；特征提取模塊將圖像表示為可供處理的特征映射；編解碼結構完成圖像特征去噪任務；任務完成后，將反卷積去噪中的最終特征映射輸入重建模塊，最終生成超分辨率重建圖像。具體模型如圖4所示。

圖4 網絡架構Fig.4 Network architecture

2.1.1 上采樣

在基于深度學習的圖像超分辨率重建任務中，由高分辨率圖像的重建模型（式（3）），需要通過上采樣將低分辨率圖像放縮至與高分辨率圖像具有相同像素數量的次低分辨率圖像。而上采樣中最簡單的方式是重采樣和插值：主要通過將輸入圖片重新縮放到一個想要的尺寸，同時計算每個點的像素點。文獻［7-9］即是采用在圖像輸入網絡前使用雙三次線性插值對低分辨率圖像進行上采樣，但此方法形式上增加了人工干預，過多添加工程特征，影響重建效果。受文獻［20，22］的思想啟發，本文采用反卷積網絡結構將輸入低分辨圖像上采樣到目標圖像大小。此部分使用卷積核為3×3的反卷積層將低分辨率圖像上采樣至目標圖像同等尺度大小，作為特征提取層的輸入。

2.1.2 圖像特征提取

傳統圖像恢復中，圖像特征提取的一種策略是先將圖像塊進行密集提取［30］，之后用一組預先訓練的基底（如主成分分析（Principal Component Analysis，PCA）［31］、離散余弦變換（Discrete Cosine Transform，DCT）［32］等）來表示。而在卷積神經網絡中，此部分可納入到網絡的基礎優化中，卷積操作自動提取圖像特征。形式上，本文的特征提取子網絡表示式（5）：

其中：X為上采樣后低分辨率圖像；W1和b1分別表示卷積權值和偏置，其中W1大小為3×3×64；“?”表示卷積運算，運算添加0 邊界，步長為1，使輸入、輸出尺寸保持一致，防止產生邊界降秩。同時使用RELU［33］（max（0，×））用于卷積特征激活。使用雙層64 個3×3 卷積核的卷積層提取上采樣后圖像的特征，獲取到圖像特征細節。

2.1.3 編解碼去噪結構

在特征去噪結構中，卷積與反卷積級聯使用構造編解碼結構，可以最大限度地消解圖像特征噪聲。卷積層保留了主要的圖像內容，反卷積層則用來補償細節信息，在達到良好去噪效果的同時較好地保留圖像內容［34］。針對輸入含有噪聲圖像特征和干凈圖像，本部分網絡結構致力于學習一個殘差即F(X)=Y-X得到。形式上，這一層形式化表示為：

其中：F1為特征提取階段輸出；W2和b2為卷積權值與偏置大小，W2為3×3×64；W3和b3為反卷積權值與偏置，W3大小為3×3×64；“?”表示反卷積運算。式（8）是一個跳躍連接［26］，正如殘差網絡的設計初衷，跳躍連接可以解決網絡層數較深的情況下梯度彌散問題，同時有助于梯度的反向傳播，加快訓練過程。

卷積層逐漸縮小特征圖大小，保留了主要的圖像內信息，獲取圖像特征的抽象內容；反卷積層再逐漸增大特征圖的大小，放大特征尺寸的同時恢復圖像特征細節信息。同時采用跳躍連接加快訓練過程，最終在確保編解碼結構輸入輸出尺寸大小一致的同時，也保證了在移動端計算能力有限情況下的測試效率，獲得去除噪聲的圖像特征圖。

本部分卷積層全部使用64 個3×3×64 的卷積核。但前半部分的卷積運算不添加0邊界且步長為2，使特征輸出尺寸變為輸入的一半。而在后半部分的反卷積特征恢復中，卷積運算添加0 邊界、步長為2。將特征圖恢復到原來大小，保證圖像尺度完整性。

2.1.4 圖像重建

在重建過程中，輸入隱藏狀態的特征圖F2，輸出超分辨率的重建圖像，可以看作為特征提取階段的逆運算。在傳統的SR方法中，通常平均化重疊高分辨率特征圖以產生最終的完整圖像。而在網絡卷積中，使用卷積核W dc作為一個反作用基底系數，將高維隱藏狀態圖像特征的每個位置看作高分辨率圖像所對應像素不同維度的矢量形式。反之可以將特征圖投影到圖像域中，獲得超分辨率重建圖像。受此啟發，定義了一個卷積層來生成最終的高分辨率圖像：

式（9）為形式化的空洞卷積，W4為空洞卷積的卷積權值，設置rate分別為1、1、2、4。式（10）是一個跳躍連接，提高訓練速度；式（11）為超分辨率圖像重建，ISR為輸出的超分辨率重建圖像，為c個大小為1×1×64 的卷積核，c代表著圖像通道數量，b5表示卷積偏置。

本部分前4 層卷積使用64 個3×3×64 的卷積核對圖像特征進行高維提取運算，其卷積核卷積點間距分別為1、1、2、4，可以以更大感受野對圖像特征進行運算。隨后使用64 個3×3×64 卷積核構成的卷積層，將初次提取到的圖像特征與高維特征進行加和運算，保證了特征的充分利用。最后使用C（C為高分辨率重建圖像通道數量）個1×1×64卷積核的卷積層重建出需要的高分辨率圖像。

本文通過將上述四種不同功能驅動的模塊（它們都與卷積網絡具有相似的形式）聯結在一起，形成一個具有去噪、增大感受野的混合深度卷積神經網絡，用作圖像超分辨率重建任務。

2.2 訓練

2.2.1 損失函數與優化

對于任意給定一個訓練數據集{X1C，Y1C}n-1i=0，本文的目標是找到準確映射值Y=F(x)，使獲得的超分辨率重建圖像F(x)與真實高分辨率圖像Y之間的均方誤差（Mean Squared Error，MSE）［35］最小，同時也有利于圖像質量評價指標——峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）［36］的提高。盡管高PSNR 并不代表重建圖像的絕對優秀，但當使用替代評估指標（如SSIM（Structural SIMilarity））來評估模型時，仍然觀察到滿意的性能。

其中：P(i，j)、T(i，j)分別表示預測圖像與真實圖像；H、W分別為圖像的高度和寬度。

即：

在本文中，將MSE作為一部分并入損失函數floss（式（14））。通過添加L2權重衰減對訓練進行正則化，β表示權值衰減的乘系數，設為10-3，θ即為所求參數。這樣在得到最終損失的條件下，可以微調節參數來盡可能地達到最優結果。

2.2.2 優化方式

本文使用Adam 優化方法［37］更新權重矩陣，以將損失函數數值降至最低。其參數更新公式為：

其中：β1設為0.9；β2設為0.999 9；ε設為10-8；學習率η為0.001；mt為梯度的第一時刻平均值；vt為梯度的第二時刻方差值。

2.2.3 參數設置

在訓練之前，需要初始化網絡參數以供后續網絡訓練更新。對于權重初始化，結合Kin等［9］描述的方法。本文從平均值為零、標準偏差為0.001（偏差為0）的正態分布中隨機抽取數值，初始化每層的卷積核權重W，而偏置b則全部置0。初始學習率被設置為0.001，之后每訓練20輪遞減1/2。

實驗的硬件環境為AMD Ryzen 2700X 八核的處理器；Nvidia GeForce GTX 1080 Ti GPU；軟件環境為Ubuntu 16.04的操作系統。網絡模型采用tensorflow 框架構成。實驗訓練了網絡參數100 輪次（每輪次1 000 次迭代，迭代批次大小32），100個輪次后停止學習。

3 實驗結果與分析

3.1 數據集

訓練集 使用公開自然圖像數據集BSD200［38］（200 個圖像）與T91 數據集［39］（91 個圖像），其適用于大多數實驗。在SRCNN/VDSR中已證明深度模型通常受益于海量數據的訓練。實驗中將291個訓練圖像進行旋轉90度、鏡像、倒置等操作，獲得包含1 164 個圖像的增強訓練數據集；同時在增強訓練數據集上裁剪64×64 大小（裁剪步幅為16）的子圖送入網絡，便于學習網絡參數。將網絡模型應用于任意大小的圖像，因為它是基于完全卷積的，而裁剪可更加方便地優化網絡模型參數。

測試集 使用通常用于基準測試［7，40］的數據集Set5［41］（5個圖像）和Set14［42］（14 個圖像）、BSD100［38］（100 個圖像）以及由Huang等［43］提供的城市圖像Urban100數據集。

由于卷積網絡的特殊性，其只能將圖像放縮雙倍大小。本文在測試數據集評價了兩個尺度因子，包括×2和×4。

3.2 定性定量分析

1）編解碼結構降噪。

在本文所提方法中，用編解碼結構卷積提取圖像特征，保留主要特征；用反卷積針對特征上采樣，恢復圖像細節，從而完成圖像特征噪聲過濾，進而達到圖像特征降噪的目的。

如圖5（a）顯示了有反卷積構建編解碼結構與不具有反卷積網絡對比示例。當沒有反卷積層時，網絡模型為標準卷積網絡。通過觀察比對可發現含有反卷積編解碼去噪部分的網絡可以達到更高的精度（以PSNR為指標）。

2）空洞卷積。

空洞卷積不改變卷積運算本身的運算方式與參數，通過修改卷積核的構造以不同的方式使用過濾器參數。空洞卷積使用不同的擴張比例因子在不同的范圍內應用相同的卷積核參數，以達到獲取更多圖像上下文信息的目的。顯然，第一層的特征圖包含不同的結構（例如，不同方向的邊），而第二層的特征圖在強度上主要不同。

如圖5（b）展示了具有空洞卷積與不具有空洞卷積網絡對比示例，空洞卷積通過擴張卷積感受野促進了性能的提高。

最后，圖5（c）中展示了同時使用反卷積和空洞卷積與二者皆不使用的性能對比曲線，發現當二者同時使用時對性能提升效果顯著。

圖5 各網絡結構性能結果分析Fig.5 Performance result analysis of different network structures

3）殘差學習。

輸入圖像在網絡計算中攜帶著大量的細節信息，但如果在輸入與輸出之間存在許多卷積遞歸，就會產生梯度問題，如梯度消失/爆炸等。它們之間的映射關系學習是非常困難的，并且學習效率非常低。此時，可以通過設置殘差學習快速解決這個問題。

在網絡中添加了兩個跳躍連接，如圖4 所示：其一為特征去噪部分局部連接，協助梯度的反向傳播，加快訓練過程；另一個則為遠程跳躍連接，加快訓練過程，提高結果性能。具體對比分析結果見表1。

表1 殘差學習測試（學習率：0.001）Tab.1 Residual learning testing（learning rate：0.001）

表1 實驗采用全卷積網絡，在數據集Urban100 上針對比例因子2 和4 在不同訓練輪次下的超分辨率重建定性定量分析結果，學習率設為0.001，評測指標為PSNR/SSIM。經過對比分析可以發現，含有跳躍連接的網絡無論是訓練速度還是評測指標都比非殘差學習網絡的結果更加優異，而在未含跳躍連接的網絡中，不僅訓練收斂困難，并且結果很差。而這也證明了殘差學習在模型訓練的表現良好。通過對比，發現含有單跳躍連接的網絡中，遠程連接比局部連接的結果性能更好，而訓練收斂速度次之。在含有多跳躍連接的網絡，無論是收斂速度還是結果性能都比單連接網絡結果優異。

綜上，使用殘差學習所學習映射的效果要比直接學習效果相對較好，學習速度更高。

3.3 結果分析

將本文所提方法與其他幾種已有先進圖像超分辨率重建方法在多個公開數據集上進行圖像重建結果對比，評估其特性與性能。用于對比的幾種方法有：1）Bicubic：像素插值方法［44］；2）A+：調整錨定鄰域回歸法［40］；3）SRCNN：簡單的端到端全卷積圖像超分辨率方法［7］；4）VDSR：帶有殘差學習的深度全卷積圖像超分辨率處理網絡，全卷積網絡圖像超分辨率重建效果最好方法［9］；5）REDNet：由卷積層-反卷積層構成的對稱的編解碼框架，對圖像超分辨與去噪表現出優異效果［11］。

在表2中，顯示了多種優秀SR 方法在多個公開數據集上進行測試結果。通過對比可發現，在這些數據集中，本文提出的方法明顯優于其他傳統SR 方法如A+等，且對比其他網絡SR方法，在PSNR和SSIM上均有提高。

表2 各SR方法性能對比Tab.2 Performance comparison of different SR methods

圖6（a）返回的是Set14 數據集第008 號圖像使用了放大因子為4 的超分辨重建結果，觀測到本文方法返回結果圖在抗鋸齒方面表現更好；圖6（b）返回的是在BSD100 數據集第43 號圖像使用了超分因子為2 的超分辨重建結果，觀測到本文的方法在船頂部分細節恢復得更加銳利與清晰；圖6（c）返回的是在Urban100 數據集第82 號圖像使用了比例因子為4的超分辨重建結果。相比其他超分辨率方法，可以觀測到本文的方法在人物腿部部分恢復得更清晰與連續。

圖6 各SR方法重建結果對比Fig.6 Comparison of reconstruction results by different SR methods

通過對比發現，無論在客觀數據還是在主觀視覺效果對比上，本文所獲取的重建圖片效果明顯優于其他先進SR 方法，因此，本文所提方法相較于其他SR 方法有明顯性能優異之處。

4 結語

本文提出了一種帶有去噪功能的混合深度卷積網絡方法，用于圖像超分辨率重建。首先，探索了卷積與反卷積構建的編解碼結構對圖像特征噪聲的消解效果；接著，探討了空洞卷積對卷積感受野的提升作用；然后，發現殘差學習不僅能更快優化網絡，而且能提升圖像重建效果。在Set5、Set14、Urban100 以及BSD100 等公開數據集上進行圖像重建對比，表明所提方法比現有的方法在基準圖像上有更好的效果。

但是本文所提算法在取得優異結果的情況下，也存在著一些不足。由于反卷積結構的限制性，本文只能將低分辨率圖像重建為偶數倍的超分辨率圖像，而奇數放大倍率則表現不好，在之后的研究中，將通過優化上采樣方式來解決這一問題。