基于雙通道卷積神經網絡的圖像超分辨率增強算法

賈 凱，段新濤，李寶霞，郭玳豆

(河南師范大學 計算機與信息工程學院，河南 新鄉 453007)(*通信作者電子郵箱duanxintao@126.com)

0 引言

由于圖像在獲取過程中受到成像系統，傳輸環境等因素的影響，導致圖像的分辨率不高。這些低分辨率的圖像意味著原始圖像的關鍵信息丟失，因此無法滿足實際需求。然而在某些領域需要獲得高分辨率的圖像，為了解決此類問題，單幅圖像超分辨率(Single Image Super Resolution, SISR)技術將單幅低分辨率(Low Resolution, LR)圖像恢復為具有豐富的高頻信息的高分辨率(High Resolution, HR)圖像，在監控設備[1]、遙感圖像[2]、醫療影像[3]和面部識別[4]等領域具有廣泛的應用需求。

傳統的SISR方法包括3個研究方向：基于插值、基于重建和基于學習的方法。基于采樣理論的插值方法如雙三次插值法(Bicubic)[5]和最近鄰插值(nearest neighbor interpolation)[6]，該類方法計算量低，能夠有效地增強圖像分辨率，但生成的圖像邊緣輪廓較為模糊，視覺上過于平滑，缺少紋理細節，并容易產生棋盤效應。基于重建的方法如迭代反投影(Iterative Back Projection, IBP)[7]方法、凸集投影(Projection Onto Convex Set, POCS)[8]法、最大后驗概率(MAximuma Posterior, MAP)[9]法等，該類方法簡單且復雜度低，緩解了基于插值方法產生的棋盤現象，但無法處理復雜結構的圖像，無法滿足實際應用需求；基于學習的方法如基于鄰居嵌入[10-11]、基于稀疏表示[12-13]，該類方法認為LR圖像已經具備重建出與其對應的HR圖像結構信息的能力，采用幾何相似度的概念學習大量樣本之間的聯系，從而構造出LR圖像和HR圖像之間的回歸和映射關系。

近年來，深度學習在圖像超分辨率的研究領域中取得了明顯的成效，得益于深度學習的強大的特征表征能力[14]，使得效果優于傳統的方法。Dong等[15]首次提出了將超分辨率卷積神經網絡(Super-Resolution using Convolutional Neural Network, SRCNN)算法用于圖像超分辨率的任務中，與傳統方法相比，簡單的網絡結構獲得理想的超分辨率效果。Dong等[16]又通過減少網絡參數加速訓練，提出了快速SRCNN(Accelerating SRCNN, FSRCNN)，該算法舍棄了使用雙三次插值的圖像預處理過程，使用CNN采取端到端的方式對LR圖像進行重構，網絡深度更深并將反卷積層加入到網絡末端，算法精度和速度提升效果明顯。Wang等[17]針對SRCNN和FSRCNN網絡收斂過慢以及網絡較淺的問題，提出了基于端到端的深層和淺層卷積神經網絡的圖像超分辨率算法(End-to-End image super-resolution algorithm via Deep and Shallow convolutional networks, EEDS)，該方法使用兩個通道的CNN重建高分辨率圖像，實現了較好的性能；但深度的增加導致部分關鍵信息的丟失，網絡性能還有待提高。Kim等[18]提出了一種使用非常深的卷積網絡實現精確的圖像超分辨率(accurate image Super-Resolution using Very Deep convolutional networks, VDSR)方法，模型使用20層的基于ImageNet分類的VGG(Visual Geometry Group)-net[19]的深層卷積網絡，在深度網絡結構中多次級聯小型濾波器，高效率地利用大型圖像區域上下文信息，但難以避免邊緣信息的丟失。Tai等[20]提出了一個非常深的持續性記憶網絡(persistent Memory Network for image restoration, MemNet)，它引入了一個由遞歸單元和門控單元組成的記憶塊，通過自適應學習過程挖掘持久性記憶，來自先前記憶塊的表示和輸出被連接并發送到門控單元，該門控單元自適應地控制應當保留多少以前的狀態，并且決定應該存儲多少當前狀態，在超分辨率任務中實現了優越的性能。

得益于殘差網絡[21]結構在圖像生成任務上的優異性能以及MemNet在超分辨率任務實現的優異性能，本文提出了一種基于雙通道卷積神經網絡的圖像超分辨率增強算法(Enhanced algorithm of image Super-Resolution based on Dual-channel Convolution neural network, EDCSR)。本文工作有以下幾個方面：1)舍棄圖像預處理過程，使用雙通道CNN建立端到端的映射模型；2)在特征提取階段使用級聯的小型殘差塊構造來提取LR圖像的詳細紋理信息并映射；3)在上采樣階段使用反卷積層膨脹放大圖像特征，再以1×1卷積層濃縮特征圖；4)在重建階段采用由小型殘差塊構造的長短期記憶塊對高分辨率特征進行映射，消除反卷積過程引入的額外的噪聲與圖像偽影，采用多尺度方式對圖像特征卷積提取，豐富重建圖像的紋理信息；5)除殘差塊使用整流線性單元(Rectified Linear Unit, ReLU)激活函數外，使用收斂速度更快的參數ReLU(Parameteric ReLU, PReLU)激活函數來提高網絡的非線性建模能力。實驗結果表明，本文網絡超分辨率的效果與雙三次插值、A+[11]、SRCNN[15]和EEDS[17]超分辨率重建算法相比，主觀視覺效果和客觀評價指標方面都取得了更優的結果。

1 相關理論

1.1 SRCNN 算法

在基于學習的圖像超分辨率算法中，SRCNN首次將卷積神經網絡用于圖像超分辨率的任務中，與傳統方法相比，該方法直接端到端地學習LR圖像與HR圖像的映射關系。網絡結構如圖1所示，該算法采用經雙三次插值預處理后的LR圖像塊作為網絡輸入，雖然SRCNN成功地將卷積神經網絡應用到圖像超分辨率問題中，但此網絡仍有三個不足之處：第一，它依賴于小型圖像塊的上下文信息，圖像的深層次語義特征提取不充分。第二，訓練收斂太慢，使用雙三次插值上采樣之后引入新的誤差并增加了網絡的時間復雜度。目前，雙三次插值已經逐漸被反卷積以及其他卷積方法來替代。第三，網絡只能用于單一尺度的SR任務，模型的適用范圍比較單一。因此在一定條件下，增加網絡深度，對網絡性能的提高有促進作用。

圖1 SRCNN 結構Fig. 1 Framework of SRCNN

1.2 基于雙通道卷積神經網絡的圖像超分辨率算法

基于雙通道卷積網絡的圖像超分辨率算法如EEDS[17]也是基于學習的SISR算法。針對1.1節分析的SRCNN和FSRCNN缺點，EEDS作了改進，結構比SRCNN和FSRCNN的層數更深，并且使用殘差和跳層，由于殘差網絡采取快捷連接的方式，梯度消失的問題得到改善，數據流在層間的傳輸更為順利，使網絡更容易收斂。EEDS的網絡結構分為深層和淺層兩部分：深層網絡包含13層，包括特征提取層、上采樣層以及多尺度重建層；淺層網絡包含3層，設計的思路來源于SRCNN的三層模型，其中使用反卷積層替代原始SRCNN的非線性映射層。最后，通過級聯深層網絡和淺層網絡的輸出，得到最終的HR圖像輸出。但此網絡仍然存在不足之處：由于深層網絡在特征提取階段不能充分提取LR圖像特征，上采樣過程特征非線性映射導致有用的信息丟失，造成偽影現象以及增加額外噪聲，重建過程中長期記憶內容的丟失也比較嚴重，導致深層網絡在超分辨率的效果上大打折扣，與此同時，淺層網絡主要用于恢復LR圖像的主要成分，過于大的參數量限制了網絡的快速收斂性能。因此基于雙通道的圖像超分辨率方法，在網絡的結構設計上依然有改進的空間和提高網絡性能的趨勢。

2 本文算法

2.1 改進思路

由于淺層網絡不能很好地提取LR圖像特征，導致超分辨率效果不理想；深層網絡雖然在深度上的優勢，效果優于淺層網絡，但網絡架構的加深也會導致網絡難以訓練，梯度消失/爆炸都會影響網絡的穩定性。因此，結合網絡寬度和深度對網絡效果影響的這兩個因素，對SRCNN和EEDS進行了改進。

SRCNN和EEDS的網絡架構，一個是3層網絡，另一個是深層和淺層分別為13和3層的雙通道網絡。淺層通道用于主要恢復圖像的總體輪廓，深層通道用于恢復豐富的紋理信息，因此雙通道的結合可以有效地提高訓練的高效性，增強特征擬合能力，并降低了整個模型的計算復雜度。基于以上因素，本文選擇在調整深層通道網絡深度的同時調整淺層通道卷積核參數：使淺層通道主要負責網絡的收斂性能，降低時間復雜度；而深層通道主要負責更細致的紋理恢復，提高網絡的恢復精度。考慮到殘差塊和跳層比單純地增加網絡層數能更快地收斂，緩解梯度彌散、特征丟失等問題，對更高層次的紋理信息的學習更有效，擬合圖像特征更準確，因此本文選擇在深層通道使用殘差塊和跳層。同時，隨著深度的增加，模型在每個階段很難實現長期的依賴問題，導致重建階段對上采樣階段的依賴降低，上采樣階段重要的高頻信息在后續層的損失較多，本文選擇在重建階段使用3個殘差塊組成長短期記憶塊對上采樣特征空間進行重建。最終本文提出了深層通道為21層、淺層通道為3層的基于雙通道卷積神經網絡的圖像超分辨率增強算法。

2.2 網絡結構

本文基于雙通道卷積神經網絡的圖像超分辨率增強算法(EDCSR)的設計充分考慮低分辨率圖像與超分辨率圖像的非線性映射關系，兩個通道的特征對模型的作用是相等的，每個通道對應的權重不共享。本文構建的雙通道網絡框架如圖2所示，主要分為兩個子通道：深層通道和淺層通道，淺層通道主要是用于恢復圖像的總體輪廓，深層通道用于提取LR圖像的詳細紋理信息。

在深層通道特征提取及映射階段中，輸入為48×48的3通道的LR圖像從輸入層輸入網絡，先通過3×3的卷積核使通道數增加到64個，然后經過1×1的卷積層將特征通道壓縮為16通道并輸入到殘差塊(Residual Block)中。殘差塊結構如圖3所示，由Conv、ReLU、Conv組成，殘差塊中的Conv大小都是3×3，步長為1，padding為2，經過3個殘差塊輸出16個48×48的特征圖，此時特征圖中的語義信息更加豐富。在上采樣階段，作為網絡中最重要的一個部分，其目標是增加LR圖像的空間跨度到HR尺寸大小。在映射部分之后用1×1的濾波器將維數從16壓縮為4。本文不采用手工設計的插值方法，而是采用反卷積層(DeConv)來實現上采樣。DeConv的大小為9×9，對于2倍、3倍、4倍不同尺度的上采樣通過設置不同的步長實現，反卷積過后特征圖增加到64個，最后用1×1的濾波器將維數從64映射到64，使用1×1的濾波器有效地減少參數，降低計算復雜度。在長短期記憶重建階段，作為網絡的最后一環也是最重要的一個部分，決定了網絡的紋理信息恢復質量。考慮到模型在每個階段很難實現長期的依賴問題，在采用多尺度卷積的基礎上，本文在重建開始階段使用長短期記憶塊對上采樣特征空間進行重建，長短期記憶塊如圖4所示，由1個卷積層和3個殘差塊組成。特征圖的維數從64到32，進一步降低維度，增強非線性映射的能力。長短期記憶塊中的Conv大小都是3×3，步長為1，padding為2，最后輸出32個特征圖，接著使用1×1的濾波器將維數從32壓縮為16，提取高維特征同時降低計算復雜度。為了有效地聚合16個特征圖局部信息，使用多尺度卷積進行重建，多尺度卷積層包含4個大小不同的濾波器，分別為1×1、3×3、5×5和7×7，在這一層卷積的4個濾波器是平行的，每個濾波器都有4個特征圖輸出，然后將16個特征圖結合并輸出，從而提取不同尺度的特征，獲得更佳的效果。最后，使用1×1的濾波器，作為多尺度紋理特征的加權組合，此時特征圖的維數從16到1。

圖2 EDCSR結構Fig. 2 Framework of EDCSR

圖3 殘差塊結構Fig. 3 Framework of residual block

相應的，在淺層通道使用類似于SRCNN的3層結構，不同的是采用反卷積完成上采樣工作。具體過程為：輸入為48×48的3通道的LR圖像從輸入層輸入網絡，先通過3×3的濾波器使通道數增加到4個，緊接著使用反卷積增加LR圖像的空間跨度到HR尺寸大小，DeConv卷積核大小與深層網絡相同為9×9，反卷積過后特征圖增加到16個。最后，使用3×3 大小的卷積核，步長為1，padding為2，輸出1個3通道的特征圖。

圖4 長短期記憶塊結構Fig. 4 Framework of long-short term memory block

最后，聯合優化淺層和深層網絡的輸出特征圖，使兩個網絡的輸出相加，保留有效的成分，豐富特征圖的紋理信息。然后將特征圖輸入到一個1個1×1的卷積層。最終得到HR的圖像輸出，圖像的質量大大提高。圖5為網絡重建倍數為4時各子通道中間過程效果，可以發現淺層通道只保留了圖像的基本輪廓信息但缺乏紋理細節，深層通道則恢復了更多的紋理細節，經由雙通道聯合輸出的結果相比單一通道的網絡，具有更加豐富的紋理信息，邊緣更加銳利，比單一通道的網絡具有明顯的優勢。

圖5 重建倍數為4時各子通道中間過程效果Fig. 5 Effect of intermediate process of each sub-channel with reconstruction scale of 4

由于本文所提出的結構比改進的網絡深，低層與高層的特征圖之間特征分布存在的差別較大，因此為了避免梯度消失問題，除了殘差塊使用ReLU[22]激活函數，在本文所有的卷積操作后使用收斂速度更快的PReLU[23]激活函數來提高網絡的非線性建模能力。

2.3 殘差塊和長短期記憶塊

2.3.1 殘差塊

本文網絡的殘差塊設計靈感來自于He等[21]提出的152層的ResNet網絡。在ImageNet數據集上的識別性能隨著網絡層數的提高而提升，在計算機視覺問題[18-19,21]從低級到高級任務中，都表現出優異的性能。

原始殘差塊(Residual Block)如圖3(a)所示，由前饋卷積網絡加上一個跳躍繞過一些層組成，堆疊的殘差塊形成了最終的殘差網絡。相較于“平整網路”，殘差網絡有著更低的收斂損失，同時也沒有因梯度消失產生過高的過擬合，使網絡更容易優化，特征圖維數逐層遞進，保證輸出特征表達能力。由于原始的殘差塊中使用批量正則化(Batch Normalization, BN)層[24]對卷積層輸出的特征作歸一化處理，這樣會影響到卷積層所學習到的特征分布，造成特征圖的重要信息丟失，同時批量正則化層與先前的卷積層具有相同數量的參數，消耗了大量的內存。Nah等[25]在提出的圖像去模糊任務中，刪除殘差塊中BN層，網絡性能得到很大的提升，因此本文使用刪除BN層的殘差塊，保證網絡訓練的穩定以及減少輸出中的顏色偏移。本文的每個殘差塊由兩個卷積核為3×3的卷積層和一個ReLU層組成。本文的殘差塊的構造如圖3(b)所示。

殘差塊可以表示為：

Xl+1=Xl+F(X)

(1)

式中：Xl和Xl+1分別表示殘差塊的輸入和輸出向量；函數F(X)表示殘差映射。本文的殘差塊只包含卷積層和ReLU層。修正線性單元ReLU有單側抑制和稀疏激活性，在大多數情況下，ReLU梯度是一個常數，在一定程度上避免梯度消失問題。數學表達式如(2)所示：

f(x)=max(0,xi)

(2)

在本文中，殘差塊之外的卷積層使用的激活函數為參數整流線性單元(PReLU)[23]，PReLU的使用主要是為了避免殘差塊之外的卷積層由ReLU中零梯度引起的“死角”[26]。它和ReLU差異主要體現在負數部分，數學表達式如(3)所示：

f(x)=max(0,xi)+aimin(xi,0)

(3)

其中：xi是第i層的輸入信號；ai是負值部分的系數，對于式(2)，參數ai被設置為0，但對于PReLU來說負數部分是可以學習的。最后，激活函數的輸出可以描述為：

fl(x)=f(wl*fl-1(x)+bl)

(4)

其中：fl是最終輸出特征圖；bl是第l層的偏置。

2.3.2 長短期記憶塊

模型在每個階段很難實現長期的依賴問題，導致重建階段對上采樣階段的依賴降低，上采樣階段重要的高頻信息在后續的階段損失較多，本文選擇在重建開始階段使用3個殘差塊(B1,B2,B3)組合成長短期記憶塊對上采樣特征空間進行重建。長短期記憶塊的設計靈感來自Tai等[20]提出了一個非常深的持續性記憶網絡(MemNet)。本文的長短期記憶塊的構造如圖4所示。

本文使用三個殘差塊在長短期記憶塊中作遞歸學習，將上采樣階段的特征向量x作為輸入，則對于殘差塊Bi，可以計算如下：

Bi=F(Bi-1,wi)+Bi-1

(5)

式中：i分別被設置為1、2、3；B1、B2和B3分別表示對應殘差塊的輸出，當i=1時，Bi-1=x；F表示殘差映射；wi則表示殘差塊的要學習的權重向量。由于每個殘差塊有兩個卷積層以及ReLU激活函數組成，則式(5)可以進一步表示為：

(6)

其中：ReLU表示激活函數；w1、w2分別表示為兩個卷積層的權重向量；為了簡單起見，偏置在以上式(6)中被省略。

最后，與傳統的平整網絡不同的是，本文采用級聯的方式，對三個殘差塊的輸出特征進行聯合學習，這種方式有效地避免了來自于上一階段的內容損失。計算的過程如下：

Bout=[B1,B2,B3]

(7)

式中Bout表示最終的輸出，傳遞到下一層。

2.4 損失函數和評價標準

2.4.1 損失函數

模型通過最小化重建得到的超分辨率圖像和真實高分辨率圖像之間的損失代價，模型參數Θ={wi,bi}利用反向傳播進行不斷地調整，對于一組真實高分辨率的圖像Xj和網絡重建得到的超分辨率圖像Fj(Y;Θ)，本文采用均方誤差(Mean Squared Error, MSE)作為代價函數：

(8)

其中n代表訓練樣本的數量。由于兩通道網絡的權值不共享，因此轉化為最小化兩通道代價函數問題：

LEDC=min[Ld(Θ)+Ls(Θ)]

(9)

其中,Ld(Θ)和Ls(Θ)為深層通道和淺層通道的損失代價。網絡利用Adam優化方法和反向傳播算法[27]來最小化MSE以調整網絡的參數，網絡權重的更新過程為：

(10)

2.4.2 評價標準

本文使用峰值信噪比(Peak Signal to Noise Ratio, PSNR)[28]和結構相似性(Structural SIMilarity, SSIM)[29]兩種通用的評判指標衡量生成的圖像質量與原始高分辨率圖像的差異。

PSNR作為圖像質量客觀評價的指標，通過計算相對應像素點之間的誤差，衡量圖像質量，數值越大表示圖像失真越小，計算式如下：

PSNR=10lg((2n-1)2/MSE)

(11)

其中:MSE是原圖像與超分辨率圖像直接的均方誤差;(2n-1)2是信號最大值的平方，n是每個采樣值的比特數。

SSIM對圖像相似性的衡量從亮度、對比度和結構三個方面進行。SSIM取值范圍為[0,1]，值的范圍越接近1，失真效果則越小,計算式如下：

SSIM(X,Y)=l(X,Y)·c(X,Y)·s(X,Y)

(12)

(13)

(14)

s(X,Y) = (2σX Y+C3)/(σXσY+C3)

(15)

其中：X為低分辨率圖像經過網絡訓練輸出的超分辨率圖像；Y為原始的高分辨率圖像；μX和μY分別表示圖像X和Y的均值;σX、σY表示超分辨率圖像和原始高分辨率圖像的標準差，σXY表示超分辨率圖像和原始高分辨率圖像的協方差;C1、C2、C3為常數項，為了避免分母出現0的情況，通常的做法是取C1=(K1×L)2、C2=(K2×L)2、C3=C2/2，一般取K1=0.01，K2=0.03，L=255。

3 實驗結果與分析

3.1 實驗環境與數據集

本文實驗采用文獻[13]中的91張圖片和從DIV2K選擇的100張2K高清圖片[30]，共191張圖片作為訓練集訓練網絡模型。考慮到數據集的大小直接影響網絡的性能，在原有的訓練數據集的基礎上，對圖像采取兩種方式的數據擴增：1)比例縮放，每張圖像都分別按照0.9、0.8、0.7和0.6的比例進行縮放。2)旋轉，每張圖像進行旋轉90°、180°和270°。以此獲得了5×4=20倍的圖像，最終獲得3 820張圖像進行訓練。訓練過程中使用經下采樣大小為48×48的子圖像，網絡的初始的學習速率設置為0.001，采取Adam優化方法自動調節學習率，使網絡參數能夠平穩學習。每一批的圖像數設置為64，網絡訓練了10萬次。測試集為國際上普遍使用的公共數據集Set5[31]和Set14[32]。在圖形處理器(Graphics Processing Unit, GPU)為NVIDIA GeForce 1080 Ti，實驗環境為Keras，應用Python3.5、OpenCV3.0進行仿真實驗。本文網絡訓練結果將從主觀視覺效果、客觀評價指標以及效率三個方面與現有的雙三次插值(Bicubic)[5]、A+[11]、SRCNN[15]和EEDS[17]等算法作對比。

3.2 結果分析

為了驗證本文所提出的基于雙通道卷積神經網絡的圖像超分辨率增強算法的有效性，本文使用訓練好的模型對LR圖像進行2倍、3倍和4倍的超分辨率重建。在Set5以及Set14數據集上對比所提出的EDCSR方法的性能，并與現有的雙三次插值(Bicubic)[5]、A+[11]、SRCNN[15]和EEDS[17]等算法的結果進行比較。為了確保實驗結果的合理客觀，在兩個數據集上選擇具有代表性，且紋理細節豐富的圖像進行測試和對比。測試結果如圖6～7所示，分別比較了雙三次插值、A+、SRCNN、EEDS對butterfly、comic圖像不同重建倍數下的結果，選取整個全景圖以及截取butterfly的翅膀紋理變化較為明顯的部分、comic的臉頰和肩部等細節部分進行主觀視覺評價。

圖6 重建倍數為4時不同算法對“butterfly”的超分辨率結果Fig. 6 Super-resolution results of “butterfly” with reconstruction scale of 4

圖7 重建倍數為3時不同算法對“comic”的超分辨率結果Fig. 7 Super-resolution results of “comic” with reconstruction scale of 3

圖6～7中，(a)～(d)依次為4種對比模型的重構超分辨率效果圖，圖6(f)為Set5測試集中原始高分辨率圖像，圖7(f)為Set14測試集中原始高分辨率圖像。從圖6可以看出，本文算法重建出的蝴蝶翅膀邊緣相比其他方法更加銳利，邊緣更加完整，圖像的紋理也比較清晰。從圖7可以看出，本文算法重建出的comic圖像的臉頰邊緣重建更加銳利，邊緣保持方面更好，肩部紋理細節更豐富。各實驗條件下的平均PSNR和SSIM客觀測試指標如表1所示，表中最優的實驗結果以加粗的方式標出。表1的測試結果表明，本文算法處理的結果在平均PSNR和SSIM兩個指標上都優于對比的算法，處理效果更好，驗證了本文算法的有效性。

為了進一步驗證本文算法的性能，對比本文算法和經典模型如SelfEx[33]、FSRCNN[16]、VDSR[18]等在不同重建倍數下的PSNR，結果如表2所示。從表2結果對比可以看出，EDCSR模型的性能與VDSR相比，雖然只有在Set14數據集下重建倍數為4時,PSNR高出0.1 dB，但是從網絡的構造方面考慮，EDCSR借助殘差網絡防止網絡退化的優勢，以及構造的長短期記憶塊恢復更詳細的紋理細節方面，依然不遜于依賴大參數的網絡模型。

表1 測試集Set5、Set14在不同重建倍數的平均PSNR及SSIMTab. 1 Average PSNR and SSIM at different reconstruction scales on datasets Set5, Set14

表2 不同經典算法的平均PSNR對比 dBTab. 2 Average PSNR comparison of different typical algorithms dB

3.3 效率對比

表3 不同算法時間復雜度對比Tab. 3 Time complexity comparison of different algorithms

為了更直觀地說明本文算法的時間復雜度，以Set5數據集為例，在重建倍數為4時采用不同訓練次數得到的網絡模型對其進行定量的測試并記錄，最終得到各方法的PSNR變化趨勢，如圖8所示。

圖8 不同算法在不同迭代次數下的PSNRFig. 8 PSNR of different algorithms at different iterations

從圖8可以看出，相同的迭代次數下，本文算法比SRCNN和EEDS得到了更好的超分辨率效果，收斂性能更優越，同時計算復雜度大幅降低，效率優于EEDS和SRCNN等對比算法。

4 結語

本文提出了一種增強的雙通道卷積神經網絡圖像超分辨率算法。深層通道用于提取圖像的詳細紋理信息，增大圖像局部感受野，淺層通道主要是用于恢復圖像的總體輪廓。實驗結果表明，簡化網絡參數可以增強網絡特征擬合的能力，使得網絡模型可用更高的學習速率進行訓練，提高模型的收斂速度，同時，在網絡中使用殘差塊構造的長短期記憶塊，比僅使用殘差塊的單一映射輸出網絡，圖像恢復的質量更好，性能也有所改善，驗證了使用長短期記憶塊的必要性。無論是在主觀視覺效果、客觀評價參數還是效率上，本文算法的性能相比對比算法都有所提高，驗證了改進方法的實用性。