基于深度可分離卷積的輕量級圖像超分辨率重建

柳 聰，屈 丹，司念文，魏紫薇

（中國人民解放軍戰略支援部隊信息工程大學 信息系統工程學院，鄭州 450000）

0 概述

圖像超分辨率重建技術是指采用某種算法將低分辨率（Low Resolution，LR）圖像重建為近似真實的高分辨率（High Resolution，HR）圖像的方法。在實際生活中，受成像設備性能差、環境干擾等因素的影響，重建圖像清晰度較低，無法從中提取有效的信息。因此，圖像超分辨率重建方法成為計算機領域的研究熱點。

超分辨率重建方法分為基于插值的方法、基于重建的方法和基于學習的方法。其中，基于插值和基于重建的方法在重建HR 圖像時，當無法獲得圖像先驗信息時，重建性能降低。然而，基于學習的方法是通過學習LR 圖像與HR 圖像之間的映射關系，構建學習圖像之間的對應關系，從而有效提升重建性能。因此，大多數研究人員都在研究基于學習的方法，尤其是卷積神經網絡（Convolutional Neural Network，CNN），使得超分辨率重建性能得到顯著提升。

基于卷積神經網絡的超分辨率重建方法通常以加深網絡層數、增大網絡復雜度的方式提高重建性能。文獻［1］提出基于卷積神經網絡的超分辨率重建方法，利用單隱含層的網絡實現LR 圖像到HR 圖像的映射，以獲取超分辨率重建圖像。隨著網絡層數的增加，重建性能不斷提高。文獻［2］提出基于殘差密集連接的圖像超分辨率重建網絡，將網絡隱含層加深到100 層以上，重建性能得到顯著提高。但是網絡參數量達到1×107以上，造成巨大的計算開銷。針對內存開銷小、計算資源有限等問題［3-5］，早期設計的超分辨率重建網絡不適用于實際應用中。為此，研究人員提出一系列輕量級圖像超分辨率重建網絡，分為基于網絡結構設計的輕量級網絡、基于神經網絡結構搜索的輕量級網絡和基于知識蒸餾的輕量級網絡，其中，基于網絡結構設計的輕量級網絡占主要地位。文獻［6］提出基于信息蒸餾網絡（Information Distillation Network，IDN）的輕量級圖像超分辨率重建方法，采用通道拆分策略減少網絡參數量。文獻［7］提出基于殘差特征蒸餾網絡（Residual Feature Distillation Network，RFDN）的輕量級圖像超分辨率重建方法，進一步簡化特征提取操作，從而提升網絡重建性能，但是網絡參數量仍較大而且重建速度也較慢，從而限制其在內存資源小的終端設備上的應用。

本文設計一種基于深度可分離卷積的輕量級圖像超分辨率重建網絡。構建基于深度可分離卷積的特征提取模塊，采用深度可分離卷積操作和對比度感知通道注意力機制，實現提取深層特征的同時有效降低網絡參數量、加快重建速度，通過亞像素卷積操作對圖像特征進行上采樣，使得低分辨率圖像重建出近似真實的高分辨率圖像。

1 相關工作

針對大多數網絡參數量龐大、重建速度慢等問題，研究人員提出輕量級圖像超分辨率重建方法。在早期的輕量級圖像超分辨率重建的研究過程中，文獻［8］提出基于深度遞歸卷積網絡（Deeply-Recursive Convolutional Network，DRCN）的圖像超分辨率重建方法，文獻［9］提出基于深度遞歸殘差網絡（Deeply-Recursive Residual Network，DRRN）的圖像超分辨率重建方法，這2 種方法采用遞歸網絡參數共享的方法減少網絡參數量。但是上述方法以增加網絡的深度為前提，保證重建圖像的質量。DRCN 網絡與DRRN 網絡雖然減少了網絡參數量，但是增加了網絡的深度，并且降低了網絡的重建速度。因此，模型參數量少和重建速度快的高效專用網絡的構建成為研究熱點。基于此，文獻［6］提出IDN 網絡，通過沿著通道維度將中間特征劃分為2 個部分，一部分被保留，另一部分被后續的卷積層繼續處理，傳到下一層并提取特征。輕量級網絡通過通道拆分策略將提取的特征與上一層部分提取的特征相融合，實現較優的性能。文獻［7］提出RFDN 網絡，簡化特征提取塊，充分提取特征信息，進一步提升網絡的重建性能。

2 本文網絡

本文提出基于深度可分離卷積的輕量級圖像超分辨率重建網絡，其結構如圖1 所示。

圖1 本文網絡結構Fig.1 Structure of the proposed network

該網絡整體分為特征提取和圖像重建2 個階段。在特征提取階段，輸入的LR 圖像首先經過3×3標準卷積得到淺層特征X0，然后將淺層特征X0輸入到K個基于深度可分離卷積的特征提取模塊中，提取出每層特征［X1，X2，…，Xn，…，Xk］。當K=6 時，經過1×1 卷積將特征［X1，X2，…，Xn，…，Xk］相融合，再通過深度可分離卷積提取深層特征Xj。在圖像重建階段，將淺層特征X0與深層特征Xj相加，之后輸入到3×3 標準卷積和亞像素卷積模塊進行上采樣，并且與LR 圖像特征相加，最終完成重建過程。

2.1 特征提取階段

從圖1 可以看出，在特征提取階段，本文主要設計了K個基于深度可分離卷積的特征提取模塊，以提取深層特征。因此，在整個特征提取階段，基于深度可分離卷積的特征提取模塊至關重要，其整體結構如圖2 所示。本文采用深度可分離卷積操作和對比度感知通道注意力機制，在保持網絡重建性能的前提下，減少網絡參數量。

圖2 基于深度可分離卷積的特征提取模塊Fig.2 Feature extraction module based on depthwise separable convolution

從圖2 可以看出，該模塊主要分為特征提取與融合及注意力的分配。在特征提取與融合過程中，對輸入特征進行特征保留、特征提取和特征融合操作。特征保留主要采用1×1 卷積將原有特征的通道數減少一半，以減少參數量。特征提取是采用卷積核大小為3×3 的深度可分離卷積提取特征，并將其與原特征相加，以學習特征中的信息，從而提取深層特征，為后續的深度可分離卷積操作提供輸入特征。特征融合是將特征保留的不同層次特征按維度進行拼接，并采用1×1 卷積進行融合，得到融合后的特征。注意力的分配是通過對比度感知通道注意力機制對提取特征的不同通道進行重新分配權重，再與輸入特征相加，最終得到輸出特征。

2.1.1 深度可分離卷積

文獻［10］提出深度可分離卷積操作，以解決網絡參數量大的問題，采用深度可分離卷積操作替換標準卷積操作，在保證模型性能的前提下，網絡參數量大幅降低。因此，深度可分離卷積對輕量級圖像超分辨率重建方法的研究具有重要意義。標準卷積操作如圖3 所示。當輸入特征的通道個數為3 時，則卷積核通道個數也為3，將對應通道位置的卷積相加得到輸出的一個特征通道。當輸出M個特征通道時，卷積核的數量也為M，以獲取圖像更深層的特征。

圖3 標準卷積過程Fig.3 Standard convolution process

深度可分離卷積如圖4 所示，主要對標準卷積進行拆分處理，分為深度卷積和1×1 的點向卷積2 個部分。首先，采用深度卷積操作將輸入特征中的每個通道與對應的單通道卷積核進行卷積操作，保持特征圖數量不變，從而對輸入特征進行濾波操作。其次，通過1×1 的點向卷積操作，采用M個1×1 卷積核對濾波后的所有特征圖進行整合處理，獲得M個輸出特征圖，即提取的輸出特征。

圖4 深度可分離卷積過程Fig.4 Depthwise separable convolution process

為比較標準卷積和深度可分離卷積的參數量，假設輸入為N×H×W的特征，經過尺寸為D×D的卷積核，輸出為M×H×W的特征［11-12］。標準卷積參數量為P1，如式（1）所示：

深度可分離卷積參數量為P2，如式（2）所示：

計算深度可分離卷積與標準卷積的比值γ，如式（3）所示：

因此，深度可分離卷積操作能夠大幅減少圖像超分辨率重建網絡的參數量，使網絡更加輕量化。

2.1.2 對比度感知通道注意力機制

文獻［13］提出的通道注意力機制最初用于圖像分類任務中，通過對特征的不同通道重新分配權重，突出有價值的區域，更利于分類或檢測。通道注意力機制根據全局平均或最大池化獲取全局信息，使得網絡學習更有價值的區域。通道注意力機制雖然能夠有效提升網絡性能，但是對于超分辨率重建網絡，缺少有助于增強圖像細節的信息（如紋理、邊緣等）。為解決該問題，對比度感知通道注意力機制采用標準差和均值的總和（評估特征圖的對比度）代替全局平均，有助于增強圖像細節信息。對比度感知通道注意力機制整體過程如圖5 所示。

圖5 對比度感知通道注意力機制結構Fig.5 Structure of contrast perception channel attention mechanism

假設X為輸入特征，具有C個通道，尺寸為H×W。首先，計算輸入特征中每個通道的對比度，將輸入特征X變為1×1×C大小的特征圖TC。第c個通道對比度如式（4）所示：

其中：c為通道，c=1，2，…，C；i、j為相應位置的像素點；為第c個通道像素點（i，j）的特征；Tc為第c個通道的特征標準差與均值的和。

經過對比度的計算，Tc=[T1，T2，…，TC]。為了在TC和各通道之間建立相關性，引入門控單元來學習各通道之間的非線性交互作用，如式（5）所示：

其中：W1∈RC/R×C和W2∈RC×C/R為通道變換參數，通過不斷地訓練學習得到；TC為對比度全局信息；ReLU 和sigmoid 為激活函數。特征值Z是對每個通道重新分配的權重集合。

通過特征值Z與對應輸入特征X的通道相乘，得到通道重新分配權重后的特征，如式（6）所示：

將對比度信息作為全局信息，獲得每個通道的權重值，以實現對重要通道給予更多注意力，增強圖像細節信息，從而增強網絡的特征提取能力。

2.2 圖像重建階段

圖像重建階段的整體過程如圖6 所示，將深層特征Xj與淺層特征X0融合［14-16］，輸入到3×3 標準卷積中，將特征通道數增加為原通道數的n倍（放大倍數的2），用于亞像素卷積操作。提取的特征通過亞像素卷積操作進行上采樣［17］，并與原始的LR 圖像特征相加，最終完成圖像重建過程。

圖6 不同放大倍數的圖像重建過程Fig.6 Image reconstruction process with different magnifications

亞像素卷積的具體操作如圖7 所示，以3×3 大小的圖像像素進行2 倍放大為例。通過對3×3 大小的圖像特征四周補零，4 個3×3 大小的卷積核與擴充后的圖像特征卷積，輸出4 個3×3 大小的特征圖［18］。最后，將輸出特征圖按照對應編號1、2、3、4 進行排列，即實現對圖像放大2 倍的操作。

圖7 亞像素卷積過程Fig.7 Sub-pixel convolution process

3 實驗

3.1 實驗數據與評價指標

本文采用DIV2K 數據集作為訓練集，其中包含人物、自然風景、人文景觀等，總共800 幅圖像；采用Set5、Set14、BSD100、Urban100、Manga109［19］作為測試集。其中Set5、Set14、BSD100、Urban100 這4 種測試集都是拍攝的自然景觀、人物等真實圖像，數量分別為5 幅、14 幅、100 幅、100 幅，而Manga109［19］測試集則是動漫人物圖畫，數量為109 幅。另外，本文提供的數據集都只是高分辨率圖像，低分辨率圖像則是通過雙三次下采樣的方法分別獲取縮放因子X2、X3、X4 的圖像，組成成對數據集。

本文采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結構相似性（Structural Similarity，SSIM）作為評價指標。其中，PSNR 是超分辨率重建領域中最主要的評價指標值，主要是通過計算最大像素值（L）與圖像之間的均方誤差（MSE）來獲得，數值越大，性能越優，單位為dB。例如，有N個像素的真實HR 圖像（I）與網絡重建出的HR 圖像，MSE值如式（7）所示：

PSNR 值如式（8）所示：

3.2 實驗設置

在數據預處理方面，本文通過對訓練集圖像進行數據增強（如隨機旋轉與翻轉），并且對圖像裁切成塊大小分別為256×256 像素、255×255 像素、256×256 像素，用于訓練不同放大倍數的超分辨率重建網絡。

本文實驗采用Pytorch 進行網絡設計，采用單塊GPU 訓練網絡，型號為NVIDIA Quadro P5000。采用Adam 優化器，參數β1=0.9、β2=0.999、ε=10-7，初始學習率設置為5×10-4，整體網絡采用L1 損失函數，Batchsize=16，總共訓練1 000 000 次，當訓練到200 000 次、400 000 次、600 000 次時，學習率減半。此外，X2、X3、X4 網絡都是從頭開始訓練，網絡中基于深度可分離卷積的特征提取模塊數量為6，整體通道數設置為48。

3.3 實驗結果與分析

3.3.1 網絡重建性能對比

本文網絡與VDSR［20］、DRCN［8］、DRRN［9］、MemNet［21］、IDN［6］、RFDN［7］主流輕量級圖像超分辨率重建網絡進行性能對比。在5 種公開數據集上，不同放大倍數下各輕量級圖像超分辨率重建網絡的PSNR 均值、SSIM 均值對比如表1～表3 所示。表中加粗為最優的數據，加下劃線為次優的數據。

表1 當放大倍數為2 時不同網絡PSNR 和SSIM 對比Table 1 PSNR and SSIM comparison among different networks when magnification is 2

表2 當放大倍數為3 時不同網絡PSNR 和SSIM 對比Table 2 PSNR and SSIM comparison among different networks when magnification is 3

表3 當放大倍數為4 時不同網絡PSNR 和SSIM 對比Table 3 PSNR and SSIM comparison among different networks when magnification is 4

從表1～表3 可以看出，RFDN 網絡性能最優，本文網絡性能次之。本文網絡與除了RFDN 網絡以外的其他輕量級圖像超分辨率重建網絡相比，整體網絡重建性能較優。在BSD100 數據集上，當放大倍數為2 時，本文網絡的測試性能相比IDN 網絡較差，除此之外，無論放大倍數較低（2倍），還是放大倍數較高（3倍、4倍），重建圖像所取得的PSNR 均值與SSIM 均值，均高于其他輕量級圖像超分辨率重建網絡。

RFDN 網絡的PSNR 均值與SSIM 均值普遍優于本文網絡。但是，兩者重建性能差距并不大，重建圖像所取得的PSNR 均值與SSIM 均值之間的整體差值約0.2 dB。因此，本文網絡的重建性能相比于大多數主流輕量級圖像超分辨率重建網絡，具有明顯的競爭力。

3.3.2 網絡參數量對比

基于深度可分離卷積的輕量級圖像超分辨率重建網絡與VDSR、DRCN、DRRN、MemNet、IDN、RFDN 等輕量級圖像超分辨率重建網絡進行參數量對比，如表4 所示。加粗表示最優的數據。

表4 不同網絡的參數量對比Table 4 Parameters comparison among different networks

從表4 可以看出，本文網絡的參數量最少，并且與其他輕量級圖像超分辨率重建網絡成倍數的差別。本文網絡相較于DRRN 網絡的參數量減少了約1/2，相較于IDN、RFDN 網絡，參數量減少約3/4，相較于VDSR、MemNet 網絡，參數量減少約4/5，相較于DRCN 網絡，參數量減少約10/11。

參數量是衡量輕量級圖像超分辨率重建網絡性能的重要指標［22］，參數量越小可以更好地應用到顯存資源較小的終端設備中。通過網絡參數量的對比分析，相比其他主流輕量級圖像超分辨率重建網絡，本文網絡的參數量成倍數減少，網絡更加輕量化，更易于部署到終端設備中。

3.3.3 網絡重建時間對比

在不同放大倍數情況下，本文網絡與VDSR、DRCN、DRRN、MemNet、RFDN 等輕量級圖像超分辨率重建網絡的重建時間對比如表5 所示。以基準測試集Set5 為例，對不同放大倍數的網絡進行重建，單位為s。VDSR、DRCN、DRRN 及MemNet 網絡重建時間依據文獻［6］統計的數據。RFDN 網絡與本文網絡是在GPU 顯存有部分占用的情況下測試的，不同設備測試時間會有所差距。加粗為重建時間最短的網絡，加下劃線為重建時間次優的網絡。

表5 不同網絡的重建時間對比Table 5 Reconstruction time comparison among different networks s

從表5 可以看出，本文網絡在不同放大倍數中重建時間最短，RFDN 網絡次之。本文網絡相較于其他輕量級圖像超分辨率重建網絡，重建時間顯著縮短。相比VDSR、RFDN 網絡，本文網絡的重建時間縮短了約2 倍。相比DRCN、DRRN、MemNet 網絡，本文網絡的重建時間縮短幾十倍乃至上百倍。網絡的重建時間是衡量輕量級圖像超分辨率重建網絡性能的另一個重要指標。網絡重建時間越快，網絡應用在終端設備中［23］，給用戶帶來更舒適的體驗。通過網絡重建時間的對比，本文網絡相比于其他主流輕量級圖像超分辨率重建網絡，重建時間最優。

3.3.4 網絡重建結果示例

為對比圖像實際的重建效果，本文從測試集Set14 中選取3 張真實的高分辨率圖像。當放大倍數為2 時，重建圖像的效果對比如圖8 所示。從圖8 可以看出，本文網絡重建效果與RFDN 網絡重建效果幾乎相同，視覺體驗良好。與真實的高分辨率圖像相比，本文網絡重建圖像的胡須部分有些模糊；從圖8（d）中可以看出，本文網絡重建圖像的斑馬紋理明顯平滑，不夠清晰。雖然本文網絡與RFDN 網絡的重建效果趨于相同，但是與真實的高分辨率圖像相比，細節紋理還是不夠清晰。

圖8 重建圖像主觀視覺對比Fig.8 Subjective visual comparison of reconstruction images

4 結束語

本文提出一種基于深度可分離卷積的輕量級圖像超分辨率重建網絡。在特征提取階段，設計基于深度可分離卷積的特征提取模塊，通過深度可分離卷積與對比度感知通道注意力機制，減少網絡參數量。在圖像重建階段，采用亞像素卷積對圖像特征進行上采樣，實現圖像超分辨率重建。實驗結果表明，相比VDSR、RFDW、IDN 等網絡，本文網絡具有較少的參數量。后續將通過引入生成對抗的方法，在保證網絡輕量化的同時提升重建圖像的視覺質量。