一種新的基于稀疏表示的超分辨率重建算法

端木春江 戚河平

摘 要：為提高圖像清晰度，文中提出一種基于稀疏表示的圖像超分辨率重建算法。首先將訓練集圖像進行連續三次90°旋轉，其次對原圖和三幅旋轉后的圖像進行翻轉，從而將訓練集擴大為原來的八倍。再使用銳度測量指標將訓練集分成三類，接著分別使用K-SVD算法聯合訓練出三個子字典對，最后使用稀疏重建算法重建出清晰的超分辨率圖像。實驗表明，改進的稀疏重建算法相較于經典的稀疏重建算法，重建效果顯著提升。

關鍵字：超分辨率；圖像重建算法；擴大訓練集；訓練樣本分類；多字典對

中圖分類號：TP273 文獻標識碼：A 文章編號：2095-1302（2018）08-0-04

0 引 言

圖像超分辨率（Super Resolution，SR）是指使用一幅低分辨率圖像或多幅低分辨率圖像序列恢復出高分辨率圖像的過程。隨著信息技術和視覺通信技術的發展，人們對于圖像清晰度要求越來越高。單純從硬件方面提高圖像清晰度不僅成本較高且技術上也達到一定的瓶頸。從軟件方面提高圖像分辨率，一定程度上克服了硬件不足的問題。因此，近年來圖像超分辨率重建成為研究熱點之一。

超分辨率重建算法大體上可分為三類[1]：基于插值的算法、基于重建的算法和基于學習的圖像超分辨率重建。基于插值的算法是利用當前待插值點周圍已知的像素值來估計當前位置的像素值，實現圖像放大[2]。典型的包括最近鄰插值（Nearest）、雙線性插值（Bi-linear）和雙三次插值（Bi-cubic）等[3]。基于重建的算法在獲得高分辨率圖像時，將圖像的先驗知識如平滑先驗、重建先驗等作為約束條件[4]。基于重建的方法主要有迭代反投影算法[5]（Iterative Back Projection，IBP）和凸集投影算法（Projections On Convex Sets，POCS）等[6]。基于學習的方法是目前研究的熱點，基于學習的算法先通過一一對應的高、低訓練集學習兩者之間的關系，在利用訓練集重建出超分辨率圖像。根據訓練集構建的方法不同和分為基于樣例（Example-Based）的方法[7]、基于稀疏

表示[8]（Sparse Representation，SR）的方法和基于深度學習的方法等[9]。

本文在Zeyde [10]的基礎上進行改進，首先通過旋轉和翻轉擴大訓練集，再使用基于銳度指標的方法將訓練集分為三類，對分類后的三個訓練子集{P1}，{P2}和{P3}使用K-SVD算法進行訓練得出三個子字典對。當輸入一幅低分辨率圖像時，同樣使用樣本集分類的方法將其分為三類，然后選取對應字典分別進行稀疏重建，最終得出較好的圖像。

1 圖像超分辨率重建問題描述

當人眼觀測一幅圖像時，整個觀測過程如圖1所示。

單圖像超分辨率目的是根據單個低分辨率圖像重建出高分辨率圖像。在這里，我們假設LR圖像L是通過對原始HR圖像H進行模糊、下采樣和添加噪聲操作來產生的，則降質模型[12]可表示為：

（1）

式中：S表示下采樣算子，B表示模糊算子，n表示外界噪聲。

若給出一幅低分辨率圖像卻有無窮多幅高分辨率圖像滿足降質模型（1），因此超分辨率重建是一個嚴重不適定的逆問題。傳統的超分辨率方法一般根據輸入的低分辨率圖像重建出高分辨率圖像，利用各種類型的先驗知識進行預測。添加M個正則化項，則超分辨率重建問題可表示為：

（2）

式中：λi表示正則化參數，用來平衡保真項和正則化項；ri表示正則化項，本文采用系數稀疏約束作為正則化項。

2 相關算法

2.1 圖像塊SM值計算

每個圖像塊都要首先計算出其SM值，SM值根據梯度算子的大小可以定義為：

（3）

式中：Gh和Gv分別表示水平梯度和垂直梯度，N1和N2分別表示圖像塊的水平維度和垂直維度。根據文獻[13]證明SM值具有圖像放大近似不變性，SM值能夠較好地反應一個圖像塊的梯度變化情況，且圖像塊的梯度信息能夠有效地反應圖像的紋理情況，因此本文使用SM值作為圖像塊的分類指標。

2.2 基于稀疏表示的SR重建算法

基于稀疏表示的SR重建算法最初是由Yang等人提出的，后來Zeyde等人在此基礎上做了一些改進，重建效果有了顯著提高。稀疏重建算法[11]借鑒的是壓縮感知的思想，通過低分辨率圖像和高分辨率圖像的稀疏表示、訓練降維實現整個超分辨率在整個學習樣本空間中的優化求解。其稀疏表示模

型為：

（4）

其中α表示稀疏系數，F表示特征提取算子，Y表示低分辨率圖像，ε表示足夠小的閾值。為了求解方便這里把||α||0替換為||α||1，并運用拉普拉斯乘子法可得：

（5）

式中：γ系數用來權衡稀疏系數和重建誤差。

整個稀疏表示SR重建算法可分為兩個階段：字典訓練階段和圖像重建階段。

在字典訓練階段，首先從數據庫中取出N幅訓練樣本圖，進行降質操作得到對應的低分辨率圖像，然后使用K-SVD方法對這些高分辨率和低分辨率圖像塊進行字典訓練，最后得到冗余字典Dl和Dh。

在重建階段，當一幅低分辨率圖像Y輸入后，首先使用雙三次插值算法擴大3倍，再使用一、二階水平和垂直導數提取放大后的LR圖像特征，接著低分辨率字典DL和LR圖像Y特征采用OMP算法計算出該測試圖像對應的稀疏系數α，其系數計算公式為

（6）

最后使用公式X=Dha*，求解出高分辨率圖像塊，將X中的圖像塊放在圖像的對應位置，有重疊的區域取平均，從而重建出最終的HR圖像。

3 方 法

3.1 擴大訓練集

本文采用SM字典分類的方法提高稀疏表示重建算法的性能，但考慮到若僅使用訓練集中的91幅圖像，在分類后每類分得的圖像塊會相對較少，不能滿足冗余字典訓練的需求。因此，將這91幅圖像分別進行90°，180°，270°旋轉并對得到的4×91幅圖像進行翻轉，最終得到2×4×91幅圖像，從而將原有訓練集擴大為原來的8倍，提高字典的精確度。圖像旋轉和翻轉的示意圖如圖2所示。

3.2 計算圖像塊的SM值及分類

訓練集中的一百多萬個圖像塊使用公式（3）計算出的SM值，作為圖像塊分類的屬性指標。再將這些圖像塊根據SM值進行升序排列并記錄圖像塊在圖像中的索引號，其分類方法如圖3所示。

3.3 本文算法的具體步驟

字典訓練階段具體步驟如下：

輸入：圖像訓練集、算法用到的參數值。

輸出：三個子字典對DL1和DH1，DL2和DH2，DL3和

DH3。

（1）輸入高分辨率圖像訓練集，設置所需參數值如字典大小。

（2）將輸入的91幅高分辨率訓練圖像旋轉90°，180°和270°，再把得到的圖像分別進行翻轉，最終訓練集擴大為原來的8倍。

（3）通過將高分辨率圖像分成多個小塊，并減去每個小塊的均值提取高分辨率圖像塊的特征，即得到高頻特征。

（4）對每一幅高分辨率圖像進行模糊和下采樣操作得到對應的低分辨率圖像。

（5）將低分辨率圖像分成多個塊，并計算每個塊的SM值作為每個塊的分類指標。然后把這些塊根據SM值由小到大排列，均分成{PL1}，{PL2}和{PL3}三類，得出分類標簽。

（6）使用雙三次插值算法將低分辨率圖像放大到與原有高分辨率圖像相同大小。使用特征提取濾波器提取低分辨率特征XL。

（7）利用步驟5得到的分類標簽把低分辨率特征和高分辨率特征分為相應的三類。

（8）三類特征對使用K-SVD算法進行聯合訓練，得出

三個子字典對DL1和DH1，DL2和DH2，DL3和DH3。

重建階段具體步驟如下：

輸入：測試LR圖像，算法所需參數。

輸出：HR圖像。

（1）當有一幅低分辨率圖像Y輸入。

（2）使用訓練階段的步驟5將Y的圖像塊分成相應的三類{PY1}，{PY2}和{PY3}。

（3）使用雙三次插值將輸入的低分辨率圖像放大3倍，使用特征提取濾波器提取低分辨率特征。

（4）輸入圖像的三類低分辨率特征集分別訓練得出的三類子字典分別對應Y1-DL1和DH1，Y2-DL2和DH2，Y3-DL3和DH3。

（5）通過OMP算法分別計算相應的稀疏系數、和。

（6）使用公式求解出高分辨率圖像塊PX。

（7）將得出的高分辨率塊{PX}融合成一幅HR圖像。

此外，考慮到當輸入一幅低分辨率圖像，若使用雙三次插值放大到原圖大小，會有一定的估算誤差，這樣的誤差會對后來的重建效果產生一定的影響，因此使用相對較好的插值方法lanczos2算法代替傳統的雙三次插值放大。在訓練階段Zeyde采用先訓練出低分辨率字典在利用其中得出的稀疏系數求解對應的高分辨率字典，這里采用低分辨率和高分辨率字典聯合訓練的方法同時訓練得出，增強了字典對之間的相

關性。

4 實驗結果和分析

這一部分將提出的改進方法與雙三次插值、Yang等人提出的重建方法以及Zeyde等人提出的基于稀疏表示重建算法進行比較。以峰值信噪比（Peak Signal to Noise Ratio，PSNR）作為比較指標，PSNR的值越大說明重建圖像與原始圖像越接近，重建效果越好。由于人們對于圖像亮度比較敏感，因此在實驗中我們首先將彩色RGB圖像轉換為YUV圖像再對亮度通道Y進行超分辨率重建，而對于其他U和V通道我們僅使用簡單的雙三次插值方法進行簡單放大。本研究的算法參數設置如下：訓練樣本塊個數為1 084 648，分為3類，訓練字典大小為1 000，低分辨率圖像塊大小為3×3，圖像放大倍數為3，即把輸入的低分辨率圖像長寬各方法3倍，輸出重建的高分辨率圖像X。PC機配置CUP 2.6 GHz，內存為8 GB，整個實驗是在Matlab 2013b軟件的仿真平臺上進行的。PSNR值的比較見表1所列。

從14幅經典測試圖像中隨機抽取5幅作為實驗數據，考慮測試圖像不一定是3的倍數，因此在實驗中對測試圖像進行預先修剪，方便重建的超分辨率圖像和原始圖像進行對比。表3中比較了改進的方法、文獻Yang和文獻Zeyde的PSNR值大小，并在圖4中繪制了直觀的曲線圖。從表中可以看出本文提出的算法在重建效果上有顯著提高，其中改進算法比Zeyde文獻中的算法平均高0.2 dB左右。PSNR的計算公式

如下：

（7）

式中：表示重建出的圖像在點的像素值，Xhi表示原始圖像在點的像素值，N表示重建圖像總的像素個數。

以上幾種算法對同一幅測試圖像的超分辨率重建效果如圖5所示。從圖中可以看出雙三次插值算法的重建結果較為模糊，Yang和Zeyde算法相對雙三次插值算法均有明顯提高，而文中算法重建出的圖像細節信息更加完善，優于其他三種方法具有較好的視覺效果。

5 結 語

本文提出了一種新的圖像SR重建算法。該算法使用SM的尺度不變性作為訓練和重建模型中圖像塊分類的依據，文中將訓練集分為三類再使用K-SVD算法聯合訓練出三個子字典對。在重建階段，LR塊的SM值用來選擇它所屬的集群，其次所選集群的子字典對DLi和DHi用來重建未知的HR塊，這樣可以有效地提高重建信息的準確性。另外，考慮訓練集分類后的圖像塊較少不能滿足訓練冗余字典的需求，采用圖像90°，180°，270°旋轉和相應圖像翻轉的方法，將訓練集圖像擴大為原來的八倍，進一步提高了該方法的重建效果。通過實驗證明所提出的算法優于采用單個字典對的算法。在五幅測試圖像上進行的PSNR數值測試和視覺觀測都揭示了該算法相對傳統的基于稀疏表示的圖像重建算法有顯著提高。

參考文獻

[1] OUWERKERK J D V. Image super-resolution survey [J]. Image &vision; computing，2006，24（10）：1039-1052.

[2]符祥，郭寶龍. 圖像插值技術綜述[J]. 計算機工程與設計，2009，30（1）：141-144.

[3]賈永紅. 數字圖像處理[M]. 武漢：武漢大學出版社，2015.

[4] BAKER S，KANADE T. Limits on super-resolution and how to break them [J]. IEEE Transactions on pattern analysis & machine intelligence，2000，24（9）：1167-1183.

[5] IRANI M，PELEG S. Improving resolution by image registration [J]. Cvgip graphical models & image processing，1991，53（3）：231-239.

[6]楊宇翔. 圖像超分辨率算法研究[D]. 合肥：中國科學技術大學，2013.

[7] FREEMAN W T，PASZTOR E C. Learning low-level vision [J]. International journal of computer vision，2000，40（1）：25-47.

[8] YANG J，WRIGHT J，HUANG T，et al. Image super-resolution as sparse representation of raw image patches [C] // IEEE Conference on computer vision & pattern recognition，2008：1-8.

[9] CUI Z，CHANG H，SHAN S，et al. Deep Network Cascade for image super-resolution [M] // Computer vsion eccv 2014. springer international publishing，2014：49-64.

[10] ZEYDE R，ELAD M，PROTTER M. On single image scale-up using sparse-representations [C]. Springer-verlag berlin heidelberg，2012：711-730.

[11] HAN Y，ZHAO Y，YU H. Adaptive regularized -boosting on clusteredsparse coefficients for single image super-resolution [J]. The institution of engineering and technology，2017 ：517-529.

[12] ELAD M，FEUER S. Restoration of a single super resolution image from several blurred，noisy，and under-sampled measured image [J]. IEEE transactions on image processing a publication of the ieee signal processing society，1997，6（12）：1646-58.

[13] FAEZEH Y， MAHMOUD N，MURAT U，et al. Image super-resolution via sparse representation over coupled dictionary learning based on patch sharpness [C]. 2014 European modelling symposium，2014：203-208.

[14] YANG J，WRIGHT J，HUANG T，et al. Image super-resolution via sparse representation [J]. IEEE signal processing society，2010，19（11）：2861-2873.