基于四通道卷積稀疏編碼的圖像超分辨率重建方法

陳 晨，趙建偉，曹飛龍

(中國計量大學信息與數學系，杭州310018)(*通信作者電子郵箱zhaojw@amss.ac.cn)

0 引言

圖像超分辨率重建是將給定的低分辨率圖像恢復成高分辨率圖像的一種圖像處理技術。因為圖像超分辨率重建過程是一個病態問題，所以不同的重建方法可以恢復出不同的高分辨圖像，但這些重建方法的關鍵點在于通過先驗知識去尋找合適的低分辨率圖像與相應的高分辨率圖像之間的內在聯系。

近年來，國內外學者提出了許多基于樣本的超分辨率圖像重建方法［1－8］。這些方法主要通過低分辨率和其相應的高分辨率補丁對來學習低分辨率和高分辨率圖像之間的映射關系，或者尋找相同圖片的內部相關性。Yang等［6］利用壓縮感知的思想［9－10］，提出了基于稀疏表示理論的超分辨率圖像重建方法。該方法假設低分辨率圖像補丁在低分辨率字典下的稀疏表示系數與其對應的高分辨率圖像補丁在高分辨率字典下的稀疏表示系數是相同的，因此，高分辨率圖像補丁就可以通過訓練好的高分辨率字典和求得的低分辨率圖像補丁的稀疏表示系數獲得。在文獻［6］的基礎上，Yang等［7］通過整幅圖像重疊補丁的分解和緊湊字典對的訓練來降低算法的復雜度，該方法稱為稀疏編碼超分辨率重建(Sparse Coding Super-Resolution，SCSR)。盡管SCSR算法在超分辨率圖像中取得了很好的重建效果，但是將整幅圖像分解為重疊的補丁過程會破壞圖像整體的一致性。考慮到這個問題，Zeiler等［11］提出了卷積稀疏編碼模型。該模型不再將圖片拆分成為重疊補丁，而是將整幅圖片作為輸入進行重建。輸入的低分辨率圖像Y可以表示為r個濾波fi和相對應的特征圖Zi的卷積和:

其中:Y表示輸入尺寸為m×n的圖像;fi表示大小為s×s的第i個濾波;Zi是相應大小為(m+s－1)×(n+s－1)的特征圖。該模型有效地避免了將圖片拆分成重疊的補丁來進行重建所帶來的不足。Gu等［12］將模型式(1)應用到圖像超分辨率重建中，得到名為卷積稀疏編碼(Convolutional Sparse Coding，CSC)的超分辨率重建方法。

在圖像分類中，為了提高分類的精度，人們通常將輸入圖像通過變換生成一組相關圖像，再將該組圖像的平均值作為輸入進行分類，這里最常見的變換有剪裁與翻轉［13］。由于文獻［12］中的基于卷積稀疏編碼的超分辨率重建方法著重于恢復圖像的高頻細節部分，高頻細節部分通常是人們視覺關注的部分，它們更能直觀地反映圖像的清晰度;因此，本文在卷積稀疏編碼的基礎上，將圖像的翻轉思想用于圖像超分辨率重建，即將圖像依次進行 90°、180°、270°和 360°翻轉作為輸入，建立四通道的卷積稀疏編碼的超分辨率圖像重建方法，以增強圖像的輪廓細節特征，增加算法的穩定性。

1 四通道卷積稀疏編碼超分辨率重建

本章將闡述四通道卷積稀疏編碼超分辨率重建方法。該算法將圖像依次翻轉90°、180°、270°和360°后作為每一通道的輸入。在每一通道，先將輸入的低分辨率圖像分解為低頻和高頻兩部分［12］，然后分別用卷積稀疏編碼算法和三次插值方法對低分辨率圖像的高頻部分和低頻部分進行重建，最后加權求均值獲得重建的高分辨率圖像。算法的具體流程見圖1所示。以下將對每一通道的超分辨率圖像重建進行闡述。

圖1 四通道卷積稀疏編碼超分辨率重建方法流程Fig.1 Flow chart of four-channel convolutional sparse coding based super-resolution reconstruction method

1.1 低分辨率圖像的高頻與低頻部分分解

為了能夠更好地將低分辨圖像的紋理和細節信息進行超分辨率重建，本節先將要重建的低分辨率圖像Y分為低頻部分Yl和高頻部分Yh，即Y=Yl+Yh。

為了獲得低分辨率圖的低頻部分Yl，首先利用式(2)來提取低頻特征圖:

其中:ZY是低分辨率圖像Y的低頻特征圖;fp是大小為3×3的元素全取為1/9的低通濾波;fdh=［－1，1］和fdv=［－1，1］T分別是水平梯度算子和垂直梯度算子。

對于優化問題式(2)，可以通過快速傅里葉變換在傅里葉域中求解得到，即:

其中:F和F－1分別表示傅里葉變換和傅里葉逆變換;珔F表示傅里葉變換的復共軛。

根據式(3)可以求得低分辨率圖Y的低頻特征圖ZY，由此可以計算得到低分辨率圖像Y的低頻部分Yl和相應的高頻部分Yh:

1.2 低分辨率圖像高頻部分的超分辨率重建

本節將利用卷積稀疏編碼［12］對低分辨率圖像的高頻部分Yh進行重建。首先利用訓練樣本得到一組低分辨率濾波，利用這組低分辨率濾波分解高頻部分Yh得到低分辨率特征圖;其次，利用訓練樣本建立的低分辨率特征圖與高分辨率特征圖之間的映射關系來確定高分辨率特征圖;最后，根據學習得到的高分辨率濾波和高分辨率特征圖重建得到低分辨率圖像Y的高頻部分Yh的高分辨率圖像Xh，具體步驟如下。

1.2.1 基于CSC獲取低分辨率特征圖

對于給定的訓練圖片樣本對{Pj，Qj)}，其中 Uj是低分辨率圖，Vj是相應的高分辨率圖。利用下面的卷積稀疏編碼模型可以得到低分辨率濾波:1

考慮到計算機的內存問題，優化模型式(5)可以通過隨機交替方向乘子法(Stochastic Alternating Direction Multiplier Method，SADMM)［14］求解，得到低分辨率濾波。引入增廣變量s=fl，拉格朗日變量d，令Zl= ［()T，()T，…，()T］，L為(Zl)TZl特征值的上界，則式(5)的迭代解為:

hs.t.≤ 1，i=1，2，…，n

對于優化模型式(7)，可以通過交替方向乘子算法求解得到低分辨率特征圖15］。引入輔助變量 Mi=和對偶變量Ui，則式(7)的迭代解為:

這里:

1.2.2 基于CSC獲得高分辨率特征圖和高分辨率濾波

對于給定的放大倍數k，設高分辨率特征圖和低分辨率特征圖有如下關系:

其中e是限制高分辨率濾波的標量。對于優化問題式(16)，也可以通過隨機交替方向乘子算法［14］求解。

1.2.3 高頻部分和低頻部分的高分辨率圖

對于低頻部分Yl，采用雙三次插值進行高分辨率重建，得到相應的高分辨率圖Xl。最后，合并高分辨率圖Xh和Xl，得到低分辨率圖Y的高分辨率圖X:

為了加強重建效果，采用后投影法［16－17］對重建好的高分辨率圖X進行進一步的處理。

1.3 圖像超分辨率重建算法

綜合1.1和1.2節的分析，給出四通道卷積稀疏超分辨率重建算法的測試過程，具體算法步驟如下:

步驟2 將低分辨率圖像Y分解成低頻Yl和高頻Yh兩部分。

步驟3 對每一通道采用卷積稀疏編碼方法重建相應的高分辨率圖像的高頻部分Xh。

1)通過式(7)求解出高頻部分Yh的低分辨率特征圖。

2)通過式(15)求解出高頻部分Yh的高分辨率特征圖。

3)通過式(17)求解出高分辨率圖像的高頻部分Xh。

步驟4 對每一通道，采用三次插值的方法重建低分辨率圖像低頻部分Yl的高分辨率圖像Xl。

步驟5 將四個通道重建出的高分辨率圖像加權求均值輸出最終的高分辨率圖像X。

2 實驗與結果分析

本章中將本文所提的四通道卷積稀疏編碼超分辨率重建方法與其他一些超分辨率圖像重建方法進行實驗比較。

2.1 實驗設置

本文中采用文獻［6］中的訓練集訓練低分辨率和高分辨率濾波，即將91張訓練圖片隨機拆成大小為72×72的1000個子塊進行訓練，這里的低分辨率濾波的尺寸大小為5×5，數量為800個，相應的高分辨率濾波大小為5×k，數量為1200個，其中k為放大倍數。正則化參數γ取30，λ取0.02，對于放大倍數2和3的限制高分辨率濾波的常量e分別取4和9。實驗在Intel Xeco CPUE5-2630V3的Matlab R2015b上運行。

本文采用以下兩種經典的標準峰值信噪比(Peak Signalto-Noise Ratio，PSNR)和結構相似度(Structural Similarity，SSIM)［18－19］來評價超分辨率重建效果:

其中:

其中:p是圖像的行數;q是圖像的列數;X是重建的圖像;Xori是原始的高分辨率圖像。

其中:

其中:α1，α2和α3是權值;xi表示將圖像X拉成向量的第i個像素值;μX表示X的亮度估計;σX表示X的對比估計;C1、C2、C3都是常數。在實驗中，α1、α2和 α3設置為 1，C1，C2，C3取值為 C1=(K1L)2，C2=(K2L)2，C3=C2/2，其中 L是圖像的最大像素值，灰度圖像默認值為255，K1K21，取 K1=0.05，K2=0.05。通常情況下，PSNR 值和 SSIM 值越高，表示重建圖像的效果越好、結構越準確。

2.2 四通道的優勢

本節將本文所提的四通道卷積稀疏編碼(Four-Channel based convolutional Sparse Coding，FCSC)和 CSC進行比較。為了保證對比實驗的準確性，將采用同樣的濾波和映射函數以及相同的正則項參數對測試圖像進行恢復。對15幅經典的測試圖像進行實驗，由于圖像的重建結果相似，選取其中的5張測試圖像在表1中進行展示。

從表1的實驗結果可以看出，采用四通道卷積稀疏編碼方法要比單通道上的卷積稀疏編碼要重建效果好。

表1 放大因子為2的不同重建方法PSNR對比 dBTab.1 PSNR comparison of different reconstruction methods with magnification factor of 2 dB

2.3 圖像超分辨率重建

本節將本文所提方法與一些超分辨率圖像重建方法，如固定鄰域回歸(Anchored Neighborhood Regression，ANR)算法［4］、調整后的固定鄰域回歸(Adjusted anchored neighborhood regression，A+)算法［5］、SCSR［7］、Zeyde 等［8］提出的基于稀疏表示的單幅圖像放大方法(記為Zeyde)、CSC［12］和自適應的稀疏域選擇 (Adaptive Sparse Domain Selection，ASDS)方法［20］進行比較。選取常用的15張圖像作為測試圖像，其相應的PSNR和SSIM值如表2～3所示，其擴大因子分別為2和3。

從表2和表3中可以看出，本文所提的方法在擴大因子2和3的情況下圖像的重建效果比其他對比方法均有所提高。在擴大因子2的情況下，本文所提方法能取得較高的PSNR和SSIM值。雖然本文方法并不能保證在每幅測試圖像上取得最高值，但是在大部分圖像上能取得較好的重建效果。同樣地，在擴大因子為3的情況下，相對于其他方法，本文所得方法所得的效果比較好。其中2幅圖像的重建結果如圖2和圖3中所示。

2.4 抗噪性實驗

實際生活中采集到的圖像往往存在噪聲干擾，因而算法是否具有一定的抗噪性將會直接影響到重建圖像的質量。為了驗證本文所提方法的抗噪性能，將對含有少量噪聲的圖像進行測試。在實驗中，先對測試圖像分別添加了均值為0.1、方差為0.02的高斯白噪聲，其超分辨率重建實驗結果如表4所示。

表2 放大因子為2時不同圖像重建方法重建性能對比Tab.2 Reconstruction performance comparison of different image reconstruction methods with magnification factor of 2

表3 放大因子為3時不同圖像重建方法重建性能對比Tab.3 Reconstruction performance comparison of different image reconstruction methods with magnification factor of 3

圖2 放大因子為2時，不同圖像重建方法在圖像pepper上的重建效果比較Fig.2 Reconstruction effect comparison of different image reconstruction methods on image pepper with magnification factor of 2

圖3 放大因子為3時，不同圖像重建方法在圖像man上的重建效果比較Fig.3 Reconstruction effect comparison of different image reconstruction methods on image man with magnification factor of 3

表4 放大因子為3時不同圖像重建方法在高斯噪聲下的重建性能對比Tab.4 Reconstruction performance comparison of different image reconstruction methods under Gaussian noise with magnification factor of 3

從表4中可以看出，雖然本文所提方法的SSIM值低于傳統的CSC模型，但是比其他重建方法要更穩定。另外，本文所提方法的PSNR值高于傳統的CSC模型，表明本文的方法重建的圖像在結構上具有更好的相似性。

表5是測試圖像添加密度為0.01的椒鹽噪聲的比較結果。從表5可以看出，本文所提方法在抵抗椒鹽噪聲的性能上均優于其他超分辨率重建方法。

本文所提的方法采用四通道并行的方式來重建超分辨率圖像，因而主要的計算量集中在通過卷積稀疏編碼模型求解稀疏特征圖上。文獻［12］指出，卷積稀疏編碼模型每一次迭代求解稀疏特征圖的復雜度主要由快速傅里葉變換決定，且復雜度為Ο(KN log N)，其中K為濾波個數，N為輸入圖像的像素點的個數。

表6是本文所提的超分辨率重建方法FCSC與其他重建方法在bird圖像上所用的時間。

從表 6 可以看出，Zeyde［8］、ANR［4］和 A+［5］的方法所用的時間很少，不足 1 s;SCSR［7］需要 56 s，而 CSC［12］和本文所提的方法所用的時間超過1 min，分別為74 s和76 s，主要是在濾波分解求解特征圖時花了較多的時間，ASDS［20］則用了最長的時間。

表5 放大因子為3時不同圖像重建方法在椒鹽噪聲下的重建性能對比Tab.5 Reconstruction performance comparison of different image reconstruction methods under pepper＆ salt noise with magnification factor of 3

表6 不同圖像重建方法的重建時間對比 sTab.6 Reconstruction time comparison of different image reconstruction methods s

3 結語

本文針對圖像分辨率較低的問題，提出了四通道卷積稀疏編碼超分辨率重建方法。該方法采用并行的四通道對輸入的低分辨率圖像的高頻部分進行卷積稀疏編碼重建，再通過均值化有效地提高模型的穩定性、增強圖像的結構相似性，克服重疊補丁對圖像一致性破壞的缺陷。實驗比較結果表明，本文所提的方法比一些經典的超分辨率重建方法在PSNR、SSIM和抗噪性上具有更好的重建效果。

本文在對低分辨率圖像的高頻部分進行稀疏卷積編碼時，正則化參數選取經驗值。下一步將討論正則化參數對所有圖片的自適應性。