基于殘差神經網絡的圖像超分辨率改進算法

王一寧，秦品樂，李傳朋，崔雨豪

(中北大學 大數據學院，太原 030051)(*通信作者電子郵箱qpl@nuc.edu.cn)

0 引言

在成像、傳輸、轉換、存儲等過程中往往由于受到成像設備、外部環境等不利因素的影響使得人們獲取到的圖像通常是降質圖像。降質意味著圖像中有用信息的丟失，圖像超分辨率(Super Resolution， SR)技術將低分辨率(Low Resolution, LR)圖像重建出高分辨率(High Resolution, HR)圖像，在醫學成像、衛星成像、面部識別和監視[1-5]等領域有著廣泛的應用。

目前圖像超分辨率方法大致可分為3種：1)基于插值的方法。如最近鄰插值(bilinear)[6]和雙三次插值法(bicubic)[7]。最近鄰插值法由于插值規律過于簡單，易出現方塊效應和邊緣鋸齒效應。雙三次插值法比最近鄰插值法運算復雜度稍高，但圖像邊緣的平滑度得到了提升。這兩種方法的共同優點是算法簡單易于實現而且運算速度快，缺點是僅僅用到局部的像素點計算得到插值點的像素值，因此無法修復圖像的高頻細節，得到的超分辨率圖像清晰度有限。2)基于重建的方法。該類方法又分為頻域法和空域法兩大類。頻域法通常通過消除頻譜混疊現象以提升圖像的分辨率，但可用到的先驗知識有限。空域法具有很強的空域先驗約束的能力，比較代表性的是凸集投影法(Projection Onto Convex Set, POCS)[8]、迭代反投影法(Iterative Back Projection, IBP)、最大后驗概率估計法(Maximum A Posterior, MAP)、混合MAP/POCS法等。3)基于學習的方法，是近年來研究的熱點。它通過學習大量的高分辨率圖像得到學習模型，然后對低分辨率圖像進行重建時，通過將模型中的先驗知識充分結合到低分辨率圖像上，從而得到具有豐富高頻信息的重建圖像。在現有的基于學習方法中基于鄰居嵌入的方法[9-11]和稀疏表示的方法均可以得到比較好的超分辨率性能。基于鄰居嵌入的單幅圖像超分辨率重建(Single Image Super Resolution, SISR)方法通過使用HR圖像塊和LR圖像塊之間的幾何相似度來了解它們之間的回歸或映射關系。在基于稀疏表示的SISR方法中，利用稀疏編碼理論將LR圖像塊和對應的HR圖像塊分別表示為相應的詞典，通過機器學習方法建立詞典之間的映射關系，利用學習的映射關系生成給定的單幀圖像的HR圖像。模型的建立和訓練集合的選取是基于學習的超分辨率重建算法的核心問題。Yang等[12-13]假設輸入的低分辨率圖像塊可以由訓練樣本集稀疏線性表達。Wang等[14]提出從訓練樣本集中學習得到一個更有效的過完備字典，適用于快速多級超分辨率圖像重建任務。近年來，深度學習在圖像處理領域取得了顯著的研究成果。在大量的任務中，深度學習得到的特征被證實比傳統方法構造的特征具有更強的表征能力[15]。Dong等[16]提出了基于卷積神經網絡的圖像超分辨率(Super Resolution using Convolutional Neural Network， SRCNN)算法，并將該算法應用到圖像超分辨率重建領域中。此網絡結構簡單，超分辨率重建效果優良，但它的卷積核尺寸較大且使用了傳統的雙三次插值進行上采樣，這些結構特點嚴重影響了網絡的運行速度。隨后，Dong等[17]又在SRCNN的基礎上提出了加速的超分辨率卷積神經網絡(Fast Super Resolution Convolutional Neural Network， FSRCNN)，FSRCNN結構相對比SRCNN層數加深，而且用反卷積代替了雙三次插值。FSRCNN比SRCNN速度上有了很大的提升，圖像的超分辨率效果也有了改進，FSRCNN在圖像的超分辨率重建中取得了成功。

單圖超分辨率重建任務是一個固有的病態問題，因為一個低分辨率圖像有可能對應著多種高分辨率的圖像。對于更大的超分辨率倍數(×4)，LR圖像可能丟失大量的高頻細節，因此本文在FSRCNN的基礎上提出了一種新的基于殘差和跳層網絡的多任務損失圖像超分辨率算法。整個模型分為兩個階段：第一階段是2倍超分辨率的學習；第二階段是4倍超分辨率圖像的學習。第一階段與第二階段皆使用殘差層和跳層結構預測出高分辨率空間的紋理信息，由反卷積層分別重建出2倍與4倍大小的超分辨率圖像，并分別與相同大小的原圖像作像素損失。殘差層與跳層結構結合主要具有兩個優點。首先，讓特征直接傳遞到下層，從而優化梯度消失問題，使網絡更容易提升訓練的性能。其次，殘差層能比普通堆疊卷積能更好地學習圖像的邊緣信息與紋理信息，這有益于構建超分辨率圖像。同時，多任務損失不僅提高了網絡的訓練速度，而且確保了4倍超分辨率的過程中學習的準確性。2倍超分辨率輸出與原圖作損失調整參數，確保了網絡使用反卷積將圖像提升為2倍時的準確性；再使用經過調整過的網絡參數繼續學習4倍的超分辨率重建過程，第一階段的2倍超分辨率學習對第二階段的重建起到了指導的作用。該算法以任意大小的彩色圖像作為輸入，使用殘差層和跳層結構來預測出高分辨率空間的紋理信息，并以多任務損失加強網絡學習中的監督指導。實驗結果顯示，本文網絡結果與最近鄰插值、雙三次插值、SRCNN和FSRCNN超分辨率重建算法相比，視覺和定量評價方面都取得了更優的結果。

1 相關理論

1.1 SRCNN算法

SRCNN是一種基于學習的SISR算法。該算法使用卷積神經網絡直接學習低分辨率圖像到高分辨率圖像的映射關系。SRCNN的網絡結構(如圖1)包含三層：第一層用9×9的卷積核提取圖像塊的特征；第二層用1×1的卷積核作非線性映射；第三層用5×5的卷積核作HR圖像塊的重組。

圖1 SRCNN結構

SRCNN使用的是3層神經網絡模型對圖像的3通道進行端到端的超分辨率重建。訓練過程是將91圖像取步長為14的碎片，將碎片下采樣到所需比例大小輸入網絡。網絡先將輸入的圖像進行雙三次插值將圖像上采樣到目標大小，再對圖像進行三層卷積細化特征，卷積核大小分別是9×9、1×1、5×5，通道數依次是3到64、64到32、32到3，每個卷積層的padding參數都為0，基于卷積后得到Output圖像與原圖構造均方差(Mean Square Error, MSE)損失函數，以優化參數。訓練用到的數據集有兩個：一個是91張圖片，一個是ImageNet。使用ImageNet訓練的網絡要比91張訓練的效果更好。

此網絡有兩個不足之處：第一是網絡的層次結構太淺，不能提取到圖片更深層次的語義特征；第二是用了傳統的雙三次插值進行上采樣，雙三次插值上采樣本身就有不確定性，而且運行起來速度也較慢，在后期已經逐漸被反卷積以及其他卷積方法來替代。

1.2 FSRCNN算法

FSRCNN也是基于學習的SISR算法。FSRCNN針對SRCNN作出了改進，結構相對比SRCNN層數加深，而且用反卷積代替了雙三次插值。不僅效果超越了SRCNN，速度上更是有了很大的提升。FSRCNN的網絡結構(如圖2)包含8層：第1層用5×5的卷積核來提取圖像塊的特征；第2層用1×1的卷積核將特征圖的數量收縮；第3～6層用3×3的卷積核作非線性映射；第7層用1×1的卷積核再將特征圖擴展變大；第8層用9×9反卷積將LR圖像塊上采樣到HR圖像塊，并將HR圖像塊重組。

訓練過程是首先將91幅訓練圖像進行縮放、旋轉并以步長12取碎片，再按照所需的比例下采樣。將得到的LR圖像輸入8層卷積神經網絡，最后在原圖與輸出的HR圖像間作MSE損失。

此網絡的不足之處：網絡層數仍然較淺，很難提取到圖片更深層次的語義信息；僅使用一個反卷積層重建HR圖像，不適合大倍數(4倍)的圖像超分辨率重建。

2 多階段級聯殘差卷積神經網絡

2.1 改進思想

影響網絡效果的兩個重要因素是網絡的寬度和深度。SRCNN和FSRCNN的共性是網絡架構不夠深，一個是3層網絡，一個是8層網絡，本文基于這兩點對SRCNN和FSRCNN進行了改進。考慮到過深的網絡結構雖然可以將圖片的特征得到更好的擬合，學習到更高層次的紋理信息，但同時也可能由于層數的過多而帶來梯度彌散、特征丟失等問題。基于此類問題，本文選擇了殘差塊和跳層結構來進行改善，使網絡更快更好地達到收斂。同時，本文提出了在殘差和跳層結構的基礎上加入多任務損失進行調節網絡參數，從而提高網絡訓練時的收斂速度，并進一步提高網絡的精確度。最終本文提出了38層的基于殘差卷積神經網絡的多階段級聯超分辨率改進算法。

圖2 FSRCNN結構

2.2 網絡結構

多階段殘差卷積神經網絡(Multi-section Cascade Residual Convolution Neural Network, MCRCNN)的設計充分考慮降質圖像與超分辨率圖像的關系，即網絡實際是一種由降質圖像到超分辨率圖像的非線性映射關系。圖3是本文構建的一種多階段級聯殘差網絡，主要分為兩個子網路MULTI_A和MULTI_B，如圖4～5所示。3通道的LR輸入圖像從輸入層輸入網絡，先通過5×5的卷積核Conv1_1使通道數增加到64個，然后輸入到MULTI_A子網絡。一方面通過3×3的Conv2_2輸出一個寬高皆為輸入圖像2倍大小的二維超分辨率圖像(3通道)，計算像素損失；另一方面通過5×5大小的Conv4_1、MULTI_B得到寬高皆為輸入圖像4倍大小的2維超分辨率圖像(3通道)。其中2倍的輸出圖像會和原始的圖像作損失以此來調節以及指導4倍超分辨率圖像的輸出，因此本文的網絡是將LR圖像分階段進行超分辨率重建的。

圖3 多階段級聯殘差卷積神經網絡結構

MCRCNN輸入為24×24的3通道圖像，進入MULTI_A子網絡(如圖4)后，使用Conv2_1、Residual Block、BN2_1、DeConv2_1作為2倍超分辨率重建的特征層。圖像使用5×5的卷積核Conv1對圖像進行卷積，步長為1，padding為2，增加特征圖數量到64個大小24×24的特征圖。Residual Block由Conv、批量正則化層(Batch Normalization Layer, BN)、ReLU、Conv、BN組成，殘差塊中的Conv大小都是3×3，步長為1，padding為2，經過10個殘差塊輸出64個24×24的特征圖，此時特征圖中的語義信息更加豐富。Conv2_1為3×3，步長為1，padding為2，輸出64個24×24的特征圖。Conv2_1到BN2_1的跳層連接是64個特征圖的相加，這樣就解決了經過殘差塊圖像部分原始特征丟失的問題。使用大小為9×9的轉置卷積DeConv2_1對圖像進行上采樣，步長為1，特征圖增加到256個48×48的特征圖。最后通過3×3大小的Conv2_2，步長為1，padding為2，輸出1個48×48的3通道升2倍HR圖像。

圖4 MULTI_A結構

MULTI_B(如圖5)與MULTI_A網絡架構幾乎一致，包含卷積層、6個殘差塊、跳層結構以及反卷積結構。MULTI_A中進行Deconv2_1后的256個48×48的特征圖輸入到5×5大小的Conv4_1,，步長為1，padding為2，輸出64個48×48的特征圖，接著輸入到MULTI_B中，經過6個Residual Block輸出64個48×48的特征圖，再輸入到3×3大小的Conv4_2，步長為1，padding為2，輸出64個48×48的特征圖。最后使用9×9大小的轉置卷積DeConv4_1對圖像進行上采樣，步長為1，輸出1個96×96的3通道HR圖像。

圖5 MULTI_B結構

由于本文所提出的結構較深，低層的特征圖與高層的特征圖之間特征分布差異較大，使用跳層結構直接將低層特征與高層特征融合會造成網絡難以學習，因此本文在殘差塊以及跳層結構中加入了BN[18]對數據作歸一化操作。在BN層后，使用具有單側抑制且稀疏激活的ReLU[19]激活函數來提高網絡的非線性建模能力。

2.3 殘差和跳層

本文網絡設計的靈感來自He等[20]和Johnson等[21]。He等[20]提出了152層的ResNet網絡，其不僅在層數上面創下記錄，在ImageNet數據集上也將top5錯誤率降低到了3.6%。殘差網絡近來已被證明在許多圖像生成任務中取得優異的成果。殘差結構是在標準的前饋卷積網絡上加一個跳躍繞過一些層的連接，每繞過一層就產生一個殘差塊(Residual Block)。

訓練非常深的網絡，殘差塊比堆疊卷積-BN-ReLU更有利于收斂。普通的深度前饋網絡難以優化，網絡結構的加深使得訓練和驗證的錯誤率增加，即使用了BN也是如此。殘差神經網絡由于存在快捷連接，網絡間的數據傳輸更為順暢，也改善了因梯度消失而形成的欠擬合現象。雖然組成本文網絡的主要部分的殘差塊僅僅負責添加殘差信息，但是此結構有助于在訓練期間使訓練更加穩定并減少輸出中的顏色偏移。本文的每個殘差塊包含兩個3×3的卷積層，3×3的使用是受VGG架構[22]的啟發。殘差塊的定義如圖6所示。

圖6 殘差塊

y=F(x)+x

(1)

其中：x和y分別表示殘差塊的輸入和輸出向量；函數F(x)表示殘差映射。本文的殘差塊中除了卷積層，還有BN層和ReLU層。BN層用來對某一個層網絡的輸入數據進行歸一化處理，也就是使得每一維特征均值為0，標準差為1，如式(2)所示：

(2)

其中：E[x(k)]指每一批訓練數據神經元x(k)的平均值；分母是每一批數據神經元x(k)的標準差，但此公式僅對網絡某層的輸出數據作歸一化，會影響到本層網絡所學習到的特征，強制把本層的數據歸一化處理，標準差也限制在1，破壞掉了本層網絡學習到的特征。于是引入可學習參數γ、β，如式(3)所示：

(3)

修正線性單元ReLU有單側抑制和稀疏激活性，數學表達式如(4)所示。把BN放在激活函數之前，這是因為wx+b具有更加一致和非稀疏的分布。

f(x)=max(0,x)

(4)

同樣跳層結構也已經被研究了很長的時間。在訓練多層感知器(Multi-Layer Perceptron， MLP)網絡的早期實踐中，跳層從網絡的輸入直接連到輸出[23]。后來，一些中間的層被直接連到附加的網絡層來解決梯度消失或者梯度爆炸問題[24]。在文獻[25-26]中也都用到了跳層結構來解決梯度和傳播誤差。本文的跳層結構有兩個，分別是MULTI_A中由輸入連接到BN2_1和MULTI_A中由輸入連接到BN4_1，解決了圖像經過殘差塊學習后部分原始特征丟失的問題。

本文網絡就是殘差結構和跳層結構結合的一個全新的網絡。訓練樣本和LR圖像包含類似的信息，本文通過殘差結構學習出訓練樣本圖像中的高頻信息，然后通過跳層結構將殘差結構學到的高頻信息與LR圖像的原始信息進行疊加，最后以反卷積重建出HR圖像。

2.4 多任務損失

網絡結構由兩部分組成：一部分是MULTI_A負責2倍HR圖像的特征提取；一部分是MULTI_B負責4倍HR圖像的特征提取。綜合考慮2倍超分辨率圖像和4倍超分辨率圖像重建的均方差，構建多任務損失函數,如式(5)～(7):

LMCR=min[LS1(S1(PLR),PHR2)+

LS2(S2(S1(PLR)),PHR4)]

(5)

(6)

S2(S1(PLR(i,j))))2)

(7)

其中：PLR為網絡的輸入圖像；S1(PHR2)為圖像經過Conv2_2后訓練輸出的2倍HR圖像；S2(S1(PHR))為經過MULTI_B訓練輸出的4倍HR圖像；PHR2、PHR4為供參考的2、4倍原始高清圖像；PHR2(i,j)-S1(PLR(i,j))和PHR4(i,j)-S2(S1(PLR(i,j)))都表示殘差；LS1表示S1(PHR2)與PHR2像素之間的損失；LS2表示S2(S1(PHR))與PHR4像素之間的損失；n表示每個訓練批次的樣本數，本文n=16，H、W分別為圖像的高度和寬度。網絡訓練的目標是最小化均方差損失函數。

SRCNN和FSRCNN都是在網絡的最后一層作一次損失，屬于單任務損失。經過實驗Multi-Section-Residual與FSRCNN-Residual的對比，驗證了子網絡、反卷積1、子網絡、反卷積2的多階段學習提升超分辨率效果比子網絡、反卷積1、反卷積2的單階段學習好。而在MULTI_A末尾和MULTI_B末尾一起或分別作損失比僅在網絡最后作一次損失來更迭參數能取得更好的效果。任意選取實驗Multi-Section-Residual中網絡結構對應本文MCRCNN-together結構中MULTI_A中的DeConv1輸出的6張特征圖與本文MCRCNN-together網絡的DeConv1輸出的6張特征圖的對比如圖7所示。圖7(a)～(f)為實驗Multi-Section-Residual中DeConv1輸出的隨機的6張特征圖，圖7(g)～(l)為實驗MCRCNN-together的DeConv1輸出的隨機的6張特征圖(91張圖片作為數據集)。

顯然本文多任務損失結構下DeConv1輸出得到的特征圖紋理細節、圖像的亮度信息以及語義信息更加豐富，相當于在網絡的訓練過程中加了約束項，從而有效地指導了在4倍超分辨率的過程中網絡的學習訓練情況。

除此之外，多任務損失可以大幅度提高網絡的訓練速度。相同的網絡結構用兩個損失函數同時對網絡進行參數的調節，使得網絡訓練時可以提升接近一倍的速度，大幅度提高了網絡的學習效率。

2.5 評價標準

本文選擇用公共數據集Set5[27]、Set14[28]進行測試，并選用峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)和平均結構相似性(Mean Structural SIMilarity, MSSIM)作為圖像質量的參考評價指標。PSNR如式(8)所示，指的是基于像素點之間的誤差，是基于誤差敏感的圖像質量評價。n為每像素的比特數，本文用的RGB通道，所以n取8，即像素的灰階數為256。PSNR單位為dB，數值越大失真越小。

PSNR=10 lg ((2n-1)2/MSE)

(8)

SSIM分別從亮度、對比度、結構三方面來衡量圖像結構的完整性，取值范圍為[0,1]，值越大表示圖像的失真效果越小。

SSIM(X,Y)=l(X,Y)·c(X,Y)·s(X,Y)

(9)

(10)

(11)

(12)

其中：X為降質圖像經過網絡訓練輸出的超分辨率圖像；Y為供參考的原始高清圖像；μX、μY分別表示圖像X、Y的均值；σX、σY分別表示圖像X和Y的方差；σXY表示圖像X、Y的協方差。

圖7 特征圖對比

(13)

(14)

μY))

(15)

其中：C1、C2、C3為常數，為了避免分母為0的情況，通常取C1=(K1×L)2，C2=(K2×L)2，C3=C2/2，一般地K1=0.01，K2=0.02，L=255。MSSIM如式(16)所示：

(16)

其中：N表示N張圖片，使用Set5測試時，N=5；使用Set14測試時，N=14。

3 實驗與結果分析

3.1 數據集預處理

訓練數據集：為驗證本文所提MCRCNN算法的有效性，本文將在91張數據集和ILSVRC 2014 ImageNet數據集[16]上訓練網絡模型，并與SRCNN、FSRCNN及其他超分辨率方法進行對比分析。

91張數據集被廣泛用作基于學習的SR方法的訓練集[16-17]。由于深度模型通常受益于大數據，而91張圖像不足以將深度模型推向最佳性能。為了充分利用數據集，本文采用了數據擴增。本文以兩種方式增加數據：1)比例縮放。每張圖像都分別按照0.9,0.8,0.7和0.6的比例進行縮放。2)旋轉。每張圖像旋轉90°，180°和270°，以此獲得了5×4-1=19倍的圖像進行訓練。制作數據集時，首先對原始訓練圖像采用高斯濾波(δ=1.5)和雙立方插值下采樣4倍來得到LR圖像，然后以步長12將LR訓練圖像裁剪成一組96×96像素子圖像，最后得到72 118張圖像。相應地，HR子圖像也從原圖像中剪切出來。對于×2和×4，本文將LR/HR子圖像的大小分別設置為24/48和24/96，這些LR/HR子圖像對就是用來作為訓練的數據。在卷積需進行填充時，由于填充與否對輸入或輸出映射對最終性能影響不大，因此，本文根據濾波器尺寸在所有層中采用0進行填充，以此來使網絡訓練出的圖片是真正地提升了4倍大小，從24×24提升到96×96。對于網絡中參數的初始化，都是從零均值和標準偏差0.001的高斯分布中隨機繪制生成，網絡的初始學習速率初始設置為10-4，采用Adam優化方法來使網絡可以在確定范圍內自動調節學習率，使得參數學習比較平穩，無dropout，運用Mini-batch訓練方式batch-size=16，訓練了10萬次。

考慮到本文網絡的層數較深，使用91張數據集在訓練過程中易出現過擬合，于是針對本文提出的一系列網絡實驗模型使用了數據量為127萬的ILSVRC 2014 ImageNets數據集進行了第二次訓練。由于127萬數據過于龐大，于是每間隔兩張圖片取一張，直到取到105萬張時終止，從而獲取了35萬張的圖片，并將獲取到的圖片統一壓縮為256×256的圖像進行保存。最后將256×256的圖像都以隨機位置取96×96的碎片，得到本文需要的原圖HR標簽。制作24×24的LR標簽時，對96×96的原圖像采用高斯濾波(δ=1.5)和AREA下采樣2倍和4倍來得到LR圖像，以此組成了24/48和24/96的LR/HR圖像對，其余與91張訓練訓練集的制作相同。

3.2 實驗設計

為驗證本文提出的多階段級聯殘差卷積神經網絡結構的正確性及有效性，本文設計如下5個實驗(如表1)。

圖8 MCRCNN-fast結構

1) FSRCNN-Residual。按照FSRCNN的網絡結構，第一層仍用5×5的卷積提取特征，將最后一層反卷積換成兩層9×9和9×9的反卷積進行上采樣操作，中間的層將普通堆疊卷積換成了16個殘差塊(圖3)與跳層結合的結構。本實驗會與FSRCNN進行對比，以此驗證殘差塊+跳層結構的有效性。

2)Multi-Section-Residual。將實驗1)中的連續進行兩次的反卷積上采樣改為第一次反卷積前采用10層殘差層+跳層結構，第二次反卷積前同樣通過6層殘差塊+跳層結構來學習細化紋理特征，增強了模型的擬合能力。本實驗為多階段的網絡，第一次反卷積重建為2倍HR圖像，第二次反卷積重建為4倍HR圖像。本實驗會與實驗1)進行對比，驗證多階段級聯殘差網絡提取特征的有效性。

3)MCRCNN-apart。本實驗與實驗2)進行對比，驗證多任務損失的有效性。

4)MCRCNN-together。本實驗與實驗3)的差異就是損失的調參不同，與實驗3)在圖片效果與訓練速度上進行對比。

5)MCRCNN-fast。為了提高MCRCNN-together的運行速度，實時地輸出4倍HR圖像，選用了網絡層數更少的單任務損失以及較小的卷積核和反卷積核。網絡結構如圖8所示。

3.3 實驗結果分析

為了驗證本文所提出的基于殘差神經網絡的圖像超分辨率改進算法的有效性，本文分別使用處理過的91張圖片數據集和ImageNet數據集[16]統一對各網絡結構進行4倍的超分辨率訓練，網絡模型的迭代次數都為10萬次。選用公共測試集Set5[25]和Set14[26]進行仿真實驗，以平均PSNR、MSSIM以及平均耗時的方式比較各網絡模型對超分辨率的效果，并將本文網絡的超分辨率結果與現有的性能優越的算法進行對比。首先，本文的算法與傳統的bilinear、bicubic進行比較，接著與2種基于學習SR算法進行比較，即SRCNN、FSRCNN。這些方法都是基于bilinear、bicubic、SRCNN和FSRCNN模型，在GPU為NVIDIA Tesla M40，Tensorflow V1.01的實驗環境下運用Python3.5進行仿真的結果。由于與提出SRCNN和FSRCNN模型的原論文[16-17]的實驗環境以及訓練迭代次數的不同，實驗結果與原論文會略有不同，但仍能反映主要的趨勢。91張圖片訓練出來的模型測試結果如圖9所示，實驗測試指標如表2所示。圖9中，圖(a)～(d)第一行從左到右依次為4種經典模型的4倍超分辨率效果圖，圖(e)～(i)都是本文的實驗測試結果，圖(j)為原圖。

表1 本文提出的實驗模型

PSNR和SSIM作為評價超分辨率質量的傳統指標，兩者僅依賴于像素間低層次的差別，不能完全代表人類的視覺質量(文獻[27]同樣提出了這種觀點)，所以本文在使用PSNR和SSIM作為評價標準的前提下，綜合使用肉眼來感官上判別一張圖像質量的好壞。表2中，雖然本文網絡的評價指標并不高，但從肉眼感官可判斷，圖9(f)、(g)、(h)、(i)的蝴蝶放大后的細節中，蝴蝶紋理的邊緣更加清晰和平滑。本文的網絡的質量明顯優于nearest、bicubic、SRCNN和FSRCNN。

由表2可看出，FSRCNN-Residual精度高于FSRCNN，驗證了對于本文的較深層的網絡，殘差塊和跳層結構比堆疊卷積更適合，因為16層殘差網絡更深而且與跳層結構結合，可以學到更深高層次的紋理信息。同時Multi-Section-Residual精度高于FSRCNN-Residual，先將LR圖像通過反卷積提升到2倍，再將2倍HR圖像進行特征提取，最后進行反卷積升到4倍HR，驗證了分階段提升分辨率比一次性提升更合適。MCRCNN-apart精度高于Multi-Section-Residual，驗證了多任務損失中2倍超分辨率作損失確實對4倍的超分辨率過程有指導意義，效果優于單任務損失。MCRCN-together精度與MCRCNN-apart不相上下，但MCRCN-together訓練模型時的速度卻遠高于MCRCNN-apart。所以綜合考慮后，本文選擇MCRCNN-together作為本文的最終結構。最后為了提高本文網絡的速度，提出了MCRCNN-fast網絡。跳層連接用了卷積核大小為1×1、3×3、1×1的結構，1×1的使用可以提高網絡的運行速度。尤其在MCRCNN2-fast網絡模型中，使用了2個3×3的反卷積代替了FSRCNN中的9×9的1個反卷積，這樣大幅度提高了整個網絡的速度，雖然精度略遜色于MCRCNN，但在精度與速度上達到了一個平衡。

圖9 各方法對比圖1(Butterfly)

表2 各實驗模型在兩個數據集上的超分辨率結果對比(用91張圖片數據集訓練)

由于本文網絡架構較深，所以使用ImageNet數據集訓練MCRCNN會達到更好的效果。由于FSRCNN原網絡中并沒有使用ImageNet作為訓練集，此處僅與nearest、bicubic、SRCNN進行對比，測試結果如圖10所示，實驗測試指標如表3所示。圖10中，圖(a)～(c)為3種經典模型的4倍超分辨率效果圖，圖(d)～(g)都是本文的實驗測試結果，圖(h)為原圖。

從表3可以看出：SRCNN在Set5與Set14上平均PSNR分別為28.50和25.72，MSSIM分別為0.784 1和0.692 9；而本文的MCRCNN-together平均PSNR達到了29.95和26.78，MSSIM分別為0.817 6和0.722 8。從圖11可以明顯看出，圖中越靠近左上方位置的模型耗時越短、精度越高。本文提出的MCRCNN在圖像分辨率精確度上優于nearest、bicubic以及SRCNN這幾種有代表性的超分辨率方法，MCRCNN-fast更是從速度和精確度上都優于SRCNN。

表3 各實驗模型在兩種數據集上的超分辨率結果對比(用ImageNet數據集訓練)

相比較于其他的方法，本文用特征重建訓練的模型得到了很好的×4倍超分辨率重建的結果，尤其是在鋒銳的邊緣和紋理很豐富的圖像區域，比如圖9中每張圖片左下角中展示的放大的蝴蝶紋理細節以及圖10中小女孩的眼睛睫毛細節。

4 結語

本文提出了一種基于殘差神經網絡的圖像超分辨率改進算法，該網絡由輸入層、卷積子網、殘差子網絡、跳層子網絡、反卷積子網和輸出層構成。輸入層直接將二維的低分辨率圖像輸入到神經網絡，卷積子網、殘差子網絡、跳層子網絡負責學習提取出更多的特征，反卷積子網負責整合圖像特征從而重建超分辨率圖像信息，并由輸出層輸出HR圖像，整個網絡構成了一種由LR圖像到HR圖像的非線性映射。

圖10 各方法對比圖2(Comic)

圖11 各實驗模型超分辨率結果對比

通過實驗對比，本文的網絡模型對紋理的細節有較大的提升，并且本文還提出了一個運行速度與精度都不低于FSRCNN的網絡MULTI-fast，充分說明了本文改進方法的有效性。在未來的工作中，將尋求更好的優化策略，嘗試擴展網絡結構的寬度，進一步提高超分辨率圖像重建的精度；同時，醫學圖像的超分辨率重建也將是下一步的研究方向。

References)

[1] PELED S, YESHURUN Y. Superresolution in MRI: application to human white matter fiber tract visualization by diffusion tensor imaging [J]. Magnetic Resonance in Medicine Official Journal of the Society of Magnetic Resonance in Medicine, 2001, 45(1): 29.

[2] SHI W, CABALLERO J, LEDIG C, et al. Cardiac image super-resolution with global correspondence using multi-atlas patchmatch [C]// MICCAI 2013: Proceedings of the 2013 International Conference on Medical Image Computing and Computer-Assisted Intervention. Berlin: Springer, 2013: 9-16.

[3] THORNTON M W, ATKINSON P M, HOLLAND D A. Sub-pixel mapping of rural land cover objects from fine spatial resolution satellite sensor imagery using super‐resolution pixel-swapping [J]. International Journal of Remote Sensing, 2006, 27(3): 473-491.

[4] GUNTURK B K, BATUR A U, ALTUNBASAK Y, et al. Eigenface-domain super-resolution for face recognition [J]. IEEE Transactions on Image Processing, 2003, 12(5): 597-606.

[5] ZHANG L, ZHANG H, SHEN H, et al. A super-resolution reconstruction algorithm for surveillance images [J]. Signal Processing, 2010, 90(3): 848-859.

[6] 蘇衡,周杰,張志浩.超分辨率圖像重建方法綜述[J].自動化學報,2013,39(8):1202-1213.(SU H, ZHOU J, ZHANG Z H. A summary of super-resolution image reconstruction methods [J]. Acta Automatica Sinica, 2013, 39(8): 1202-1213.)

[7] KEYS R. Cubic convolution interpolation for digital image processing [J]. IEEE Transactions on Acoustics Speech & Signal Processing, 1981, 29(6): 1153-1160.

[8] 袁琪,荊樹旭.改進的序列圖像超分辨率重建方法[J].計算機應用,2009,29(12):3310-3313.(YUAN Q, JIN S X. Improved sequence image super-resolution reconstruction method [J]. Journal of Computer Applications, 2009, 29(12): 3310-3313.)

[9] TIMOFTE R, DE V, GOOL L V. Anchored neighborhood regression for fast example-based super-resolution [C]// Proceedings of the 2013 IEEE International Conference on Computer Vision. Piscataway, NJ： IEEE, 2013: 1920-1927.

[10] TIMOFTE R, SMET V D, GOOL L V. A+: adjusted anchored neighborhood regression for fast super-resolution [C]// Proceedings of the 2014 Asian Conference on Computer Vision. Berlin: Springer, 2014: 111-126.

[11] YANG C Y, YANG M H. Fast direct super-resolution by simple functions [C]// Proceedings of the 2013 IEEE International Conference on Computer Vision. Washington, DC: IEEE Computer Society, 2013: 561-568.

[12] YANG J, WRIGHT J, HUANG T, et al. Image super-resolution as sparse representation of raw image patches [C]// CVPR 2008: Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2008: 1-8.

[13] YANG J, WRIGHT J, HUANG T S, et al. Image super-resolution via sparse representation [J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

[14] WANG J, ZHU S, GONG Y. Resolution enhancement based on learning the sparse association of image patches [J]. Pattern Recognition Letters, 2010, 31(1): 1-10.

[15] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks [C]// Proceedings of the 2012 International Conference on Neural Information Processing Systems. West Chester, OH: Curran Associates Inc., 2012: 1097-1105.

[16] DONG C, CHEN C L, HE K, et al. Learning a deep convolutional network for image super-resolution [C]// ECCV 2014: Proceedings of the 2014 European Conference on Computer Vision. Berlin: Springer, 2014: 184-199.

[17] DONG C, CHEN C L, TANG X. Accelerating the super-resolution convolutional neural network [C]// ECCV 2016: Proceedings of the 2016 European Conference on Computer Vision. Berlin: Springer, 2016: 391-407.

[18] SUN J, SHUM H Y. Image super-resolution using gradient profile prior: US9064476 [P]. 2015- 06- 23.

[19] NAIR V, HINTON G E. Rectified linear units improve restricted boltzmann machines [C]// Proceedings of the 2010 International Conference on International Conference on Machine Learning. Madison, WI: Omnipress, 2010: 807-814.

[20] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition [C]// CVPR 2016: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2016: 770-778.

[21] JOHNSON J, ALAHI A, LI F F. Perceptual losses for real-time style transfer and super-resolution [C]// Proceedings of the 2016 European Conference on Computer Vision. Berlin: Springer, 2016: 694-711.

[22] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition [EB/OL]. [2017- 03- 21]. https://arxiv.org/abs/1409.1556.

[23] REN S, HE K, GIRSHICK R, et al. Object detection networks on convolutional feature maps [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(7): 1476-1481.

[24] SRIVASTAVA R K, GREFF K, SCHMIDHUBER J. Training very deep networks [EB/OL]. [2017- 03- 20]. https://arxiv.org/abs/1507.06228.

[25] SAXE A M, MCCLELLAND J L, GANGULI S. Exact solutions to the nonlinear dynamics of learning in deep linear neural networks [EB/OL]. [2017- 03- 12]. http://arxiv.org/abs/1312.6120.

[26] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition [EB/OL]. [2017- 03- 10]. https://arxiv.org/abs/1409.1556.

[27] BEVILACQUA M, ROUMY A, GUILLEMOT C, et al. Low-complexity single-image super-resolution based on nonnegative neighbor embedding [C]// Proceedings of the 2012 British Machine Vision Conference. [S.l.]: BMVC Press, 2012: 135- 1-135- 10.

[28] ZEYDE R, ELAD M, PROTTER M. On single image scale-up using sparse-representations [C]// Proceedings of the 2010 International Conference on Curves and Surfaces. Berlin: Springer, 2010: 711-730.

[29] JOHNSON J, ALAHI A, LI F F. Perceptual losses for real-time style transfer and super-resolution [C]// Proceedings of the 2016 European Conference on Computer Vision. Berlin: Springer, 2016: 694-711.

This work is partially supported by the Natural Science Foundation of Shanxi Province (2015011045).

WANGYining, born in 1992, M. S. candidate. Her research interests include deep learning, machine vision, digital image processing.

QINPinle, born in 1978, Ph. D., associate professor. His research interests include big data, machine vision, three-dimensional reconstruction.

LIChuanpeng, born in 1991, M. S. candidate. His research interests include deep learning, machine vision, digital image processing.

CUIYuhao, born in 1996. His research interests include deep learning, digital image processing.