基于多尺度密集連接網絡的圖像超分辨算法

賀 偉，王丹陽

(河南城建學院電氣與控制工程學院，河南 平頂山 467036)

1 引言

圖像超分辨重建技術是指從一幅低分辨率圖像中通過相關算法得到相應高分辨率圖像的一種后處理技術[1]。高分辨率的圖像不僅包含銳利的邊緣、豐富的紋理以及高保真的色彩等詳細信息，還能在主觀視覺上讓人賞心悅目。然而，在實際成像過程中往往存在光學與運動模糊和噪聲等不確定因素影響，導致成像系統得到目標圖像分辨率普遍較低，不能滿足人們實際應用需求。又由于改進成像設備的精密程度非常困難，所以利用超分辨率重建技術來增強圖像的分辨率成為人們首要選擇[2-3]。

圖像超分辨重建方法主要有基于插值方法、基于重建方法和基于學習方法。基于插值方法起源于20世紀60年代，它根據給定圖像已知內容信息和各像素間空間排列關系在特定位置插入與圖像周圍像素性質相同的像素值，然后結合插入像素與原始像素重建圖像[4-5]。這類方法直接對圖像中的像素進行簡單計算，所以在重建圖像時速度比較快，但是在圖像重建過程中會不可避免地流失一些像素之間的差異，導致重建圖像難以獲取精細特征，產生振鈴和鋸齒狀偽像，視覺效果較差。基于重建的方法主要通過構建圖像退化模型，結合圖像之間一些互補特征信息再根據充分結合的信息重構圖像[6-8]。基于學習方法[9-11]主要是通過構建模型主動學習輸入圖像與輸出圖像兩者之間的強關聯性，在特定模型下對圖像的先驗知識主動進行特征提取，然后將這些包含圖像詳細內容的特征重建成圖像。

近幾年隨著人工智能的迅猛發展，基于深度學習方法成為單幅圖像超分辨率重建的熱門研究。2014年，Dong等人注意到卷積神經網絡模型在圖像分類等高級計算機視覺中取得令人矚目的成就，然后就考慮將這類網絡應用到單幅圖像超分辨問題中，提出利用堆疊的卷積層構建神經網絡模型進行圖像重建(SRCNN算法)[12]。隨后，Dong等人對SRCNN模型的網絡深度、卷積核大小等進行改進，提出FSRCNN算法[13]提升訓練速度。隨著殘差網絡出現[14]，Kim等人提出VDSR算法利用殘差模塊加深卷積神經網絡結構來解決超分辨問題[15]。VDSR算法將插值后低分辨率圖像作為網絡輸入層，再將輸入圖像與網絡學到的殘差相加得到最終輸出圖像。受VDSR啟發，Tong等人[16]將密集連接模塊加入到卷積神經網絡中提出了SRDenseNet算法，這樣的網絡結構具有減緩梯度消失、加強特征傳播、支持特征重用等優點，在超分辨問題中取得了不錯效果。2018年，Li等人[17]考慮使用不同大小卷積核提取不同的圖像特征，并結合殘差學習提出多尺度殘差網絡(MSRN算法)應用于圖像超分辨。2019年，黃偉[18]等人提出基于多通道極深卷積神經網絡的圖像超分辨算法，通過對低分辨圖像進行多種預處理操作增加輸入圖像先驗證知識，同時又加深網絡深度來提取圖像特征來增強圖像分辨率。

綜上所述，本文提出一種基于多尺度密集連接網絡的圖像超分辨算法。同時引入多尺度和密集連接網絡模塊兩個概念，設計兩個深度不同的子網絡提取低分辨圖像特征，最后對兩個子網絡提取的特征求殘差進行重建得到高分辨率圖像。

2 基于多尺度密集連接網絡的圖像超分辨算法

為了充分利用卷積神經絡非線性表征能力重建出高分辨率圖像，本文提出了一種基于多尺度密集連接網絡的圖像超分辨算法。引入多尺度概念利用不同大小卷積核提取多樣化圖像特征，同時在卷積神經網絡中又引入密集連接模塊加深網絡的深度以便于提取到更多有用的特征用于圖像重建提升圖像分辨率。本節將主要從以下幾個方面展開：多尺度卷積層、密集連接模塊和基于多尺度密集連接網絡全模型。

2.1 多尺度卷積層

為了充分利用輸入層數據信息并提高輸入與輸出層之間各種復雜特征提取的魯棒性，本文引入了多尺度卷積層。實際上，多尺度卷積就是使用多種大小不同的卷積核對輸入層圖像進行卷積獲取多樣的圖像特征，結構如圖1所示。從結構中可以看出，本文設計的多尺度卷積層包含了三種大小不同的卷積核，它們的尺寸分別是 3×3×N、5×5×N和 7×7×N 。將輸入圖像分別與三個卷積核進行卷積得到的不同特征圖進行拼接得到通道數為3N(N=20)維的特征圖。

圖1 多尺度卷積層結構示意圖

2.2 密集連接模塊

密集連接模塊由多個串聯的卷積層組成，在密集連接模塊內允許任意兩個非相鄰層之間進行跨層連接。這種跨層連接方式既能從前面任意層接收輸入，又能把輸出傳遞給后面任意非相鄰層，極大地緩和了在訓練時出現的梯度消失問題。本文網絡模型所使用的密集連接模塊結構如圖2所示，它由四個串聯的卷積層x0，x1，x2和x3組成，其中每層輸入層都包含前面所有層輸出的特征圖，這種結構的好處在于加強特征傳播、促進特征重用，各層卷積層之間的關系用公式表達為

圖2 密集連接模塊結構示意圖

xl=Hl([x0，x1，…，.xl-1])

(1)

其中，[x0，x1，…，xl-1]為第l層到第l-1層的所有特征圖進行張量拼接的結果，將這些結果作為第l層的輸入特征。Hl是用于連接兩個卷積層之間的復合函數，由交替的ReLu層、瓶頸層(1×1conv)、ReLu層和一個3×3卷積層組成。參考文獻[19]，本文將生長率設置為一個較小的正整k=12，瓶頸層卷積核個數設置為4k。根據密集連接網絡特征重用的特性那么每個密集連接模塊將會輸出3k+k0個特征圖，其中k0為密集連接模塊中輸入層特征圖的維數。

2.3 網絡全模型

本文提出基于多尺度密集連接網絡的圖像超分辨重建方法的網絡全模型結構如圖3所示，主要由輸入層、兩個并行的子網絡以及輸出層組成。該多尺度密集連接網絡模型結構的詳細描述如下

圖3 基于多尺度密集連接網絡的圖像超分辨網絡結構

輸入層為插值后低分辨率圖像，將輸入數據送入兩個子網絡中提取圖像特征，然后再對兩個子網絡提取的特征進行殘差處理，最后對殘差結果進行卷積輸出期望的高分辨率圖像。其中，子網絡1包含了一個多尺度卷積層和一個瓶頸層，瓶頸層是一個大小為1×1的卷積核對多尺度卷積層進行卷積得到。子網絡2的網絡深度比自網絡的深度要更深，由一個獨立卷積層、兩個密集連接模塊和兩個瓶頸層組成。在子網絡2中，首先要使用一個大小為1×1的卷積核進行內卷積得到一個包含24個特征圖的卷積層，接著再將卷積結果輸入第一個密集連接模塊進行特征提取，然后把第一個密集連接模塊的輸出特征使用瓶頸層和壓縮因子θ(θ=0.5)進行特征降維。接下來，把降維后的特征圖輸入到第二個密集連接模塊繼續進行特征提取。同樣地，在第二個密集連接模塊之后連接了一個瓶頸層并使用壓縮因子控制特征圖的維數。為了優化兩個子網絡提取的特征，本文對兩個子網絡分別提取的特征進行殘差求解，最后使用一個大小為1×1的卷積核對殘差結果進行重建得到輸出的高分辨率圖像。

為了獲取性能良好的圖像超分辨模型，本文選用均方誤差(MSE)作為網絡訓練時的損失函數，通常表示成式(2)所示

(2)

其中θ是指網絡模型中的所有參數，i表示網絡模型輸出的高分辨圖像，為參考圖像，N表示在訓練階段輸入網絡的批次大小。由于本文的訓練集圖像像素在預處理時進行了歸一化處理，所以損失函數取值范圍是(0，1)。損失函數值越小，說明網絡模型魯棒性越好。

綜上所述，本文所提的圖像超分辨方法的處理步驟如算法1所示。

算法1：基于多尺度密集連接網絡的圖像超分辨重構算法

算法輸入：原始的高分辨率自然圖像XH算法步驟：

步驟1：將原始自然彩色圖像X轉換為Ycbcr圖像，提取其亮度通道圖像XY先進行下采樣再進行雙立方插值得到放大的低分辨圖像XLR；

步驟4：輸入單幅彩色圖像XH，重復步驟1，得到插值后的低分辨圖像XLR作為卷積神經網絡的輸入數據，載入模型，得到期望的高分辨率圖像Y分量，再與Cb、Cr兩個分量合成Ycbcr圖像，然后轉化為RGB高分辨率圖像；

3 仿真分析

為了驗證本文所提單幅圖像超分辨重構方法的有效性。本文對不用的彩色圖像進行仿真仿真。本節主要包括三部分：仿真設置，仿真結果分析和超分辨重建方法的CPU執行時間比較。

3.1 仿真設置

本文仿真數據集采用Timofte數據集(包含91幅圖像)，測試集采用Set5和Set14數據集。為了增加仿真樣本量，本文采用滑動窗口算法對仿真圖像抽取圖像塊生成訓練集階段。具體操作為：對低分辨率圖像切分時滑塊的寬和高的取值為W=H=32(放大因子為2和4)或W=H=33(放大因子為3)，步長l為14；對參考圖像進行切分時令W=H=20(放大因子為2和4)或W=H=21(放大因子為3)，步長l為21。

本文處理仿真數據生成訓練集所使用平臺為Matlab R2016a，對多尺度密集連接網絡的訓練與測試采用的是深度學習中的Tensorflow框架。網絡訓練損失函數采用均方誤差，利用均值為0、標準差為0.001的高斯分布隨機初始化權值，采用Adam優化算法[20]更新網絡。超參數批處理Batch_size設置為128，將最后一層的學習率設置為10-5，其它層的學習率設置為10-4。

3.2 仿真結果分析

本文針對現有的SRCNN[12]，VDSR[15]，SRDenseNet[16]和Huang[18]等四種重建算法進行對比研究。評價方式采用主觀評價和客觀評價相結合的方式進行綜合評價。其中，客觀評價標準采用峰值信噪比(PSNR)[21]和結構相似度(SSIM)[22]對圖像進行質量評估。同時，利用Set5和Set14數據集的彩色圖像來驗證所提方法的有效性，并將所提方法與上述提到的超分辨重構方法進行比較。圖4-6(a)-(f)分別展示了原始高分辨圖像和不同超分辨重建方法對“Head”圖像、“Butterfly”圖像和“Baby”圖像重構的可視化結果。在每個仿真中，對部分區域進行放大，并將其放到重建結果圖像的右下角。通過觀察這些圖像，可以看出通過SRCNN算法重建的圖像分辨率較低，圖像模糊，細節紋理不明顯。VDSR算法改善了圖像模糊現象并獲得了更清晰的圖像，但是仍然缺少圖像的詳細紋理信息。與前兩種方法相比，通過SRDenseNet算法獲得的圖像得到了改進，但邊緣存在嚴重的偽影，需要進一步提高重建效果。Huang等人提出的重建方法在保持銳利邊緣和紋理細節有較好地表現，但是其結果圖像造成了視覺的不真實性。與以上幾種重建方法相比，本文所提方法在重構高分辨率圖像銳利的邊緣和豐富的紋理細節等方面均優于上述方法。

圖4 利用不同的超分辨重建方法將“Head”圖像放大3倍的結果圖像(在紅色框內區域的放大圖顯示在各個圖像的右下方)

圖5 利用不同的超分辨重建方法將“Butterfly”圖像放大3倍的結果圖像(在紅色框內區域的放大圖顯示在各個圖像的右下方)

圖6 利用不同的超分辨重建方法將“Baby”圖像放大3倍的結果圖像(在紅色框內區域的放大圖顯示在各個圖像的右下方)

表1顯示了數據集Set5不同超分辨率重建算法的PSNR和SSIM值；表2是針對數據集set14不同重建算法的PSNR值。數值結果表明，對于自然圖像超分辨重建本文方法得到PSNR和SSIM平均值均高于其它同類對比方法。

表1 不同算法在Set5數據集上的PSNR和SSIM值的對比表

表2 不同算法在Set14數據集上的PSNR值的對比表(放大倍數為3)

3.3 超分辨重建方法的CPU執行時間比較

在本小節中，本文給出了上述超分辨重建方法的CPU執行時間。實驗環境為因特爾處理器3.1GHz，內存10GB。由于本文研究方法以及所進行對比分析方法都是基于卷積神經網絡，所以圖像重建的CPU執行時間分為訓練時間和測試時間(單張圖片的測試時間)。同時，為了使對比效果真實可信，在訓練時本文將每個重建方法的模型都統一訓練300次；測試時間比較的是不同重建方法在數據集Set14上每張圖片重建的平均時間。

SRCNN方法由于網絡架構簡單僅由三層組成，該方法訓練時間最短大約花費了6個小時，在測試時平均大約需要0.51秒重建一張圖像。VDSR方法訓練的時間是大約是6.5個小時，測試時的平均時間大約是2.53秒。SRDenseNet方法創建的網絡由于使用了密集連接模塊加深網絡，訓練的時間相對較長大約是6.7個小時，測試時的平均時間大約是2.7秒。Huang等人提出的方法由于在輸入層大量增加輸入圖像的通道數導致訓練一次大約是7個小時，測試的平均時間大約是3.21秒。本文所提方法需要花費7.4個小時來訓練網絡模型，重建一張圖片的時間平均是3.42秒，與其它方法相比具有一定的滯后性，經分析相對較慢的原因是本文提出的方法由兩個子網絡組成，并且每個子網絡的深度都比較深。

4 結論

在本文中，針對低分辨圖像特征提取不完全的問題，同時引入多尺度和密集連接兩個概念設計了一種新穎的包含兩個子網絡的卷積神經網絡模型用于圖像超分辨問題。多尺度卷積模塊利用不同尺寸大小的卷積核提取到低分辨率圖像的多種特征。兩個密集連接模塊添加到另一個子網絡中加深網絡模型，用于改善特征表達能力。另外，密集連接模塊還可以避免模型訓練中的消失梯度問題。實驗結果表明，在相同訓練集和測試集下，本文提出的算法具有更好的重建效果和更強的泛化能力。