基于殘差密集網絡的單幅圖像超分辨率重建

謝 雪 晴

(重慶工業職業技術學院信息工程學院 重慶 401120 )

0 引 言

圖像超分辨率重構是數字圖像處理領域中的研究熱點之一。圖像超分辨率是指把分辨率比較低的圖像通過某種算法得到分辨率較高的圖像，使獲得的高分辨率圖像具有更加清晰的顏色、紋理等信息。提高低質量圖像質量的方法一般有兩種：一是改善硬件設備，二是圖像超分辨率重建技術。然而在實際應用中，由于比較高的工程成本和制作流程，大多數場合一般不會采用分辨率較高的相機來采集數字圖像。而是利用超分辨率重建技術來得到具有更加豐富的顏色紋理等信息的高分辨率圖像。目前，常見的超分辨率重建技術分為三類：基于插值的方法、基于重建的方法、基于學習的方法。

基于插值的方法包括最近鄰插值和三次插值，優點是算法復雜度較低，缺點是很容易出現階梯鋸齒狀現象以及產生邊緣模糊。

基于重建的方法使用了強制約束平滑和下采樣技術，使得低分辨率圖像和高分辨率圖像保持一致性，由于該方法過分地依賴高分辨率圖像的先驗知識，當縮小或放大圖像的時候，重建質量就會下降，重建的結果就會缺失重要的細節信息。

近年來，深度學習在圖像超分辨率重建領域表現出巨大的潛力。文獻[1]首次提出基于卷積神經網絡的圖像超像素重建方法，第一次用深度學習來解決SISR問題。該網絡共三層卷積層：第一層提取輸入的低分辨率圖像的特征；第二層將提取的低分辨率圖像的特征映射到高分辨率圖像的特征；第三層為高分辨率圖像的重建。損失函數為簡單的MSE損失。文獻[2]提出了基于學習的圖像超分辨率算法，利用樣本先驗知識來重建圖像，相較于其他重建方法有明顯的優勢，也是近年來研究的熱點。本文首先分析了影響圖像重建質量的原因，然后對基于深度學習的超分辨率重建算法[1]提出了兩點改進：用隨機線性糾正單元(Randomized rectified linear unit，RReLU)來避免原有網絡學習中對圖像某些重要的信息的過度壓縮，同時用NAG(Nesterov’s accelerated gradient)方法來加速網絡的收斂，進而避免了在梯度更新時產生較大的震蕩。目前，圖像超分辨率方法難以同時滿足運算速度快和生成的圖像高質量這一問題，文獻[3]提出一種基于卷積的快速的圖像超分辨率方法。此方法首先提取卷積特征，然后利用去卷積層對提取的特征放大膨脹，再以池化層對特征進行濃縮，提煉更魯棒的特征，進而獲得高分辨率圖像。文獻[4]提出了一種基于GAN網絡的超分辨率重建。文中，作者論證了PSNR不能作為評價超分辨的標準，因為它和人對圖片的感受結果不一致，并采用了MOS進行評價；另外作者在loss函數上進行了改進，更好地恢復出細節的紋理信息。文獻[5]提出了用于圖像超分辨率任務的新方法，分別是增強深度超分辨率網絡EDSR和一種新的多尺度深度超分辨率MDSR，在減小模型大小的同時實現了比當前其他方法更好的性能。文獻[6]提出了一個非常深的循環殘差網絡用于圖像超分辨率，這個網絡高達52層。文獻[7]提出了一種多階段級聯殘差卷積神經網絡模型。該模型分為兩階段來進行超分辨率圖像重建，首先重建2倍超分辨率圖像，然后重建4倍超分辨率圖像。第一階段和第二階段都使用殘差層，對兩階段分別構建多任務損失函數，利用第一階段的損失來指導第二階段的損失，進而提高網絡訓練的速度。文獻[8]針對經典的基于卷積神經網絡的超分辨率(SRCNN)方法存在重建圖像紋理結構模糊以及網絡模型訓練收斂過慢等問題，提出了一種多通道卷積的圖像超分辨率(MCSR)方法。該方法通過增加殘差鏈接，加快了模型收斂速度。同時利用多通道映射來提取更加豐富的特征，進而增強超分辨率重構效果。文獻[9]提出了一種維度拉長策略，將模糊和噪聲作為輸入，可以應對多倍和空間改變的退化模型，提高了實用性。實驗結果表明，提出的網絡結構在多種多樣的退化采樣后，依然能生成比較好的結果。近年來，隨著深度學習的快速發展，出現了很多基于神經網絡的超分辨率算法。深度卷積網絡在圖像超分辨率重建方面取得了卓越的成就，但是參數數量往往非常巨大。文獻[10]提出了一種簡潔緊湊型遞歸殘差網絡結構。該網絡通過局部殘差的學習來減輕訓練深層網絡的困難；引入遞歸結構保證增加深度的同時控制模型參數數量；采用可調梯度裁剪方法來防止梯度消失。在網絡末端使用反卷積層直接上采樣圖像，進而得到超分辨率圖像。

然而，這些方法只是用了某些卷積層的信息，而沒有用全部的卷積層的信息。圖像中的物體有不同的尺度、視角和長寬比，深度卷積神經網絡中的層次特征對于圖像重構有很大的幫助。因此，本文提出了一個殘差密集網絡結構用于圖像超分辨率。

1 殘差網絡和密集網絡

在訓練的過程中，深度神經網絡容易遇到梯度消失問題，在塊的歸一化中，我們將輸入數據由激活函數的收斂區調整到梯度較大的區域，在一定程度上緩解了這種問題。不過，當網絡的層數急劇增加時，BP算法導數的累乘效應很容易讓梯度慢慢減小直至消失。為了從根本上解決這個問題，文獻[11]提出了一種深度殘差網絡，簡化那些非常深的網絡的訓練過程，使得層能根據其輸入來學習殘差函數而非原始函數。實驗表明，這些殘差網絡的優化過程比較簡單，能夠使得網絡結構有更深的層，而且能獲得更加高的性能。文獻[11]在ImageNet數據集上使用了一個152層的網絡結構來評估所提出的殘差網絡，雖然它相當于8倍深的VGG網絡，但是在所提出的框架中仍然有非常低的復雜度。這些殘差網絡的一個組合模型，在ImageNet測試集上的錯誤率僅為3.57%。此結果在2015年的ILSVRC分類任務上獲得了第一名的好成績。每一個殘差塊如圖1所示。

圖1 殘差塊

其中：x是輸入。假設H(x)是映射函數，我們不期望得到近似的H(x)，而是把它們近似為一個殘差函數F(x):F(x):=H(x)-x。因此，原始的函數H(x):=F(x)+x。

對每幾個堆棧層都應用殘差學習，殘差塊可以被表示為如下形式：

y=F(x,{Wi})+x

(1)

式中：x和y分別為輸入和輸出;函數F(x,{Wi})表示學習到的殘差映射。對于圖1所示的殘差塊，總共為兩層，F=W2σ(W1x)，其中，σ為ReLU。

2 方法設計

2.1 整體流程

本文提出了一種殘差密集網絡結構用于圖像超分辨率，整體流程圖如圖2所示。該網絡結構包括三部分：淺層的特征提取，殘差密集塊以及上采樣操作。

圖2 殘差密集網絡結構

我們用兩層卷積層來提取淺層的特征，第一層卷積層提取輸入的低分辨率圖像(Low Resolution，LR)的特征，表示為：

F-1=HSF1(ILR)

(2)

式中：HSF1(·)表示卷積操作。F-1可以進一步用于淺層特征的提取，因此，可以依次類推得到F0：

F0=HSF2(F-1)

(3)

式中：HSF2(·)表示第二個特征提取層的卷積操作。特征F0作為殘差密集塊的輸入。假設我們有D個殘差密集塊。第d層殘差密集塊的輸入Fd可以表示為：

Fd=HRDB,d(Fd-1)=HRDB,d(…HRDB,0(F0))

(4)

式中：HRDB,d(·)表示第d個殘差密集塊(Residual Dense Block，RDB)的操作，它可以表示為復合函數運算，例如卷積層和Rectified Linear Units(ReLU)層。最后，所有的特征可以表示：

Fall=H(F-1,F0,F1,…,FD)

(5)

在提取了局部和全局的特征Fall之后，我們用一個上采樣的網絡，來得到高分辨率圖像(High Resolution，HR)。

2.2 殘差密集塊

殘差密集網絡結構包括密集的連接層、局部特征融合層,如圖3所示。

圖3 殘差密集塊

令Fd-1和Fd分別表示第d個殘差密集塊的輸入和輸出。那么，第d個殘差密集塊中的第c個卷積層的輸出可以表示為：

Fd,c=σ(Wd,c[Fd-1,Fd,1,…,Fd,c-1])

(6)

式中：σ為ReLU激活函數，Wd,c是第c個卷積層的權重。

本文所提出的殘差密集網絡生成高質量的超分辨率圖像的方法，充分利用了原始低分辨率圖像的每一層的特征。殘差密集塊不僅可以通過連續記憶機制從前一個殘差密集塊讀取狀態，還可以通過局部密集連接充分利用其中的所有層的信息。然后通過局部特征融合自適應地保留累積的特征。此外，還利用全局殘差學習，將淺層特征和深層特征結合在一起，從原始LR圖像中得到全局密集特征。

3 實 驗

3.1 數據集和評價指標

為了評估本文提出的方法的有效性，本文訓練模型用文獻[1]提到的91幅圖像。對于測試，本文用四個基準的數據集：Set5、Set14、B100和Urban100。Set5共包括5幅圖像，Set14包括14幅圖像。

圖像超分辨率重構常用的客觀評價指標主要包括峰值信噪比(Peak Signal to Noise Ratio,PSNR)和結構相似性(Structural Similarity Index Method,SSIM)。

峰值信噪比是一種簡單且廣泛使用的SISR測量方法，它通過均方差(MSE)進行定義。PSNR可以定義為：

(7)

式中：MAX表示圖像顏色的最大數值，8 bit圖像的最大取值為255。MSE為均方差，定義為：

(8)

式中：I和K分別是原始圖像和處理后的圖像，圖像的大小為m×n。

SSIM評價指標采用更加直接的方法來比較重建圖像和參考圖像的結構,表示為：

(9)

式中：μx和μy表示圖像所有像素的平均值，σx和σy表示圖像像素值的方差，C1和C2為常數。

PSNR值越大，說明效果越好；SSIM值越小，說明效果越好。

3.2 實驗結果與分析

對于每一個超分辨率的尺度(×2、×3和×4)，本文分別訓練獨立的模型。將本文方法與SRCNN[1]方法、SRGAN[4]方法、SRRRN[6]方法、SRMulti[9]方法分別在數據集Set5、Set14、B100和Urban100上進行對比，實驗結果如表1-表4所示。可以看出，本文方法更加有效。

表1 本文方法和其他先進的方法在Set5數據集上的比較

表2 本文方法和其他先進的方法在Set14數據集上的比較

表3 本文方法和其他先進的方法在B100數據集上的比較

表4 本文方法和其他先進的方法在Urban100數據集上的比較

本文除了對提出的方法進行定量的比較，還進行了定性的比較，如圖4所示，為了得到更好的視覺效果，對標出的長方形框內的區域進行放大。圖4中第一列是原始的圖像，第二至第五列分別為比較先進的超分辨率方法，最后一列是本文提出的方法。可以看出，本文提出的方法可以更好地恢復出細節，進而得到更加清晰的高分辨率圖像。

(a) (b) (c) (d) (e) (f)圖4 超分辨率的定性比較

4 結 語

本文提出了一種殘差密集深度網絡用于圖像超分辨率，該方法充分利用了每一層的特征，得到了紋理等細節更清晰的超分辨率圖像。在四個公共的數據集上進行了定量的實驗，用常用的評價指標進行評價，實驗結果表明，本文的方法更有效。此外，本文進行了定性的比較，通過直觀的視覺觀察可以看出，本文的方法相比其他相對先進的方法可以得到更加清晰的高分辨率圖像。