一種改進的稀疏表示超分辨率重建方法

李冠葳

（四川大學計算機學院，成都610065）

0 引言

在當今社會，隨著科技的進步和發展，人們對圖像質量的要求也隨之增高，圖像分辨率作為圖像質量的一種重要評價方式，有兩類方法可對其進行提升，其一是提高硬件設備的質量，采用提升硬設備質量的方法會提高成本，不利于推廣使用；另一類方法是圖像超分辨（Super Resolution，SR）重建技術，該方法通過一定的算法從低分辨率圖像重建出高分辨圖像[1]，圖像超分辨率技術相較提高硬件設備的方法成本低，效果好，應用領域廣泛，可用于軍事偵察、醫療圖像等領域，為解決這一問題提供了有效的解決方式，因此一直是一個研究熱點。

現有的超分辨技術目前總的來說，可分為三大類：（1）基于插值的方法[2-4]；（2）基于重建的方法[5-8]；（3）基于學習的方法[9-10]。其中，基于插值的超分辨技術是最早提出的，也是最容易實現的超分辨技術，這類算法復雜度較低，通過相鄰像素的信息來得到待插值像素的值，從而實現圖像的超分辨。主要有三種方式，其中雙立方插值是效果最好且使用最多的，它通過采用三次函數作為插值核，來求得待求像素值。但這類算法沒有考慮邊緣信息的方向性，不能較好地處理圖像邊緣及紋理信息，因此，存在一定的鋸齒現象且細節模糊。Stark等[11]人在集合理論的影響下提出凸集投影法，由此基于重建的超分辨算法也出現了，基于重建的方法主要通過從輸入的多幀圖像中提取出可用信息，但這種方法結合先驗知識不足，在一些場景不能表現出很好的效果，同時，在重建尺度較大時效果較差，邊緣細節模糊。因此，基于學習的超分辨技術隨之產生，很好的解決了這些問題，該類方法依靠一個事先建立的圖像訓練庫對待復原的單幅低分辨率圖像進行超分辨率重建。從外部訓練集中學習得出高低分辨率圖像間的對應關系，再利用這個模型重建出高分辨率圖像，提高圖像分辨率，更好的結合先驗知識。其中，Yang等[12]受壓縮感知理論的啟發，首次將其應用到圖像超分辨領域，由此一種新的算法被提出，即基于稀疏表示的圖像超分辨方法，算法在字典訓練階段進行聯合訓練得到兩個對應的具有相同稀疏系數的高低分辨率字典對，高分辨率字典對目標高分辨率圖像進行重建，同時由低分辨率字典與輸入圖像計算得出重建所需的稀疏系數。該算法通過冗余字典構建較為全面，因此得到的高分辨率圖像具有更多的邊緣和紋理細節。綜上，本文提出一種改進的稀疏表示的超分辨率重建算法，在字典訓練階段將高頻信息分解，分別進行訓練得到主要高頻字典和殘余高頻字典，針對不同的高頻信息對圖像進行重建，并針對會對評估造成變差的細節信息，采用一種改進的迭代反投影法進行全局約束，從而得到最終的高分辨率圖像。

1 本文算法

圖像超分辨率重建算法具體包含字典學習和圖像重建兩個部分。考慮到重建圖像與原圖像之間存在誤差，為了獲得更好的重建效果，本文算法在字典學習階段將高頻信息提煉為主要高頻信息和殘差高頻信息，在納入殘余圖像的考慮下，通過字典學習訓練出字典對。然后利用該字典重建低分辨率圖像，并得到其主要高頻信息和殘差高頻信息，將二者融合從而獲得重建后的高分辨圖像。

1.1 字典學習

本小節主要介紹進行字典訓練的具體過程，并得到主要高頻字典和殘余高頻字典。在字典學習階段通過引入稀疏表示，采用OMP求解稀疏系數，通過基于學習的方法構建字典。在對字典進行訓練時，需要對高低分辨率圖像提取特征及分塊處理，再利用K-SVD過完備字典訓練算法構造字典。

（1）訓練樣本及特征提取

首先，對已有的高分辨率圖像HORG進行預處理作為訓練圖像，在下采樣算子等的作用下獲得低分辨率圖像LLF，進一步由雙三次插值得到相同尺寸的高分辨率低頻成分圖像HLF，將二者進行差分得到差值圖像HHF，對其進行特征提取。從低分辨率圖像中提取其邊緣特征，通過4個濾波器提取低分辨率圖像的梯度信號，4個濾波器依次定義為：

對HLF進行濾波得到相應地4個特征向量，合并后得到最后的特征向量。

（2）主要字典訓練

在第一重字典訓練的時候，通過高低分辨率圖像塊得到低頻主要字典LMD和高頻主要字典HMD。由（1）中提取到的圖像特征塊構成高低分辨率圖像訓練庫，由高低分辨率圖像塊構建高分辨率訓練集與低分辨率訓練集。繼而通過K-SVD算法訓練交替地求得低頻主要字典，對其進行求解，約束方程為：

求解上述方程式，若Q為行滿秩矩陣，則方程解可被表示為：

其中，ph和Q分別表示由和所組成。

（3）殘余字典訓練

利用（2）中訓練得到的LMD和HMD對HLF重建得到HMHF，與HHF差分可得HRHF。將重建后圖像HMHF與低分辨率圖像HLF進行融合，引入HTMP，將HRHF和HTMP經過特征提取后的圖像進行訓練圖像塊提取，得到訓練庫，然后利用K-SVD全局字典學習對殘余字典訓練，訓練過程與（2）相同，進而得到殘余字典對LRD和HRD。

1.2 超分辨圖像重建

首先，利用已知的LMD與HMD字典對重建輸入圖像，獲得目標高分辨率圖像，發現重建后的高分辨率圖像對比原始高分辨率圖像仍缺失一些細節，對于這一情況，本文對殘余高頻信息進行字典訓練，進一步提取高頻細節，用殘余稀疏字典對目標高分辨率圖像進行重建。這樣得到的高分辨率圖像包含兩類細節信息，一類是可以確定的低分辨率圖像降質后的位置，另一類不可確定的需進行估計的位置信息。因此，本文算法中加入迭代反投影算法進行全局約束，利用輸入的低分辨率圖像對高分辨率圖像進行全局約束進行修正。

迭代反向投影（IBP）算法的核心思想是結合圖像序列插值，通過估計得到初始高分辨率圖像，然后經過已知降質模型得到初步估計的低分辨率圖像。將其與輸入低分辨率圖像進行誤差計算，若在允許誤差范圍內，則初始高分辨率圖像就是目標高分辨率圖像。否則將誤差投影到初始高分辨率圖像上，重復上述迭代，直到誤差收斂到可接受范圍內或達到了設定的最大迭代次數，估計得到目標高分辨率圖像。Rasti P等[13]提出了一種改進的迭代反向投影算法，通過在每次迭代的過程中加入雙三次插值和雙三次下采樣進行處理，得到效果更好的目標高分辨率圖像。本文將重建出的高分辨率圖像進行退化處理，然后將退化后的圖像與輸入的低分辨率圖像差分，并在原始高分辨率圖像上疊加殘差圖像的作用，重復上述過程直至收斂，以期望獲得具有更豐富細節的高分辨率圖像。

具體的圖像重建算法流程如下：

（1）輸入低分辨率圖像HTl進行雙三次插值得到HTh，用1.1小節的方法對低分辨率圖像進行特征提取，并進行分塊表示得到集合

（3）根據高低分辨率字典之間的一一對應關系可得到高頻特征圖像塊，則高分辨率主要高頻圖像HMHF可表示為：

其中，Rk為在圖像中提取位于位置k的圖像塊的算子。

（4）將高分辨率主要高頻圖像HMHF和低分辨率圖像HTl相加得到重建后主要高頻成分高分辨率圖像HTMP。

（5）對主要高頻成分高分辨率圖像HTMP進行分塊得到集合，求解在殘差字典的低分辨率字典上的稀疏表示

其中，Hk表示第k次迭代所得的模擬低分辨率圖像，D表示下采樣算子，B表示模糊算子，nk表示額外的噪聲。

其中，fn表示第n次迭代估計的高分辨率圖像，反向投影算子由HBP表示，Hnk表示估計的高分辨率圖像fn通過降質模型得到的低分辨率圖像。

2 實驗結果及分析

本節對算法進行實驗與評估。與雙三次插值算法和稀疏表示法進行比較，分別對其進行實驗。在本次實驗中，采用輸入圖像以及其下采樣5倍的圖像作為訓練集，在進行字典訓練時，字典大小設置為128，設定圖像塊為3×3，在進行稀疏重建時，重疊像素為1。采用峰值信噪比（PSNR）和結構相似度（SSIM）比較各算法結果，達到客觀評價，其計算方式如下：

式中，M、N代表圖像尺寸，Yi,j與Y?i.j分別代表初始圖像和結果圖像，μx和μy為圖像平均亮度，σx與σy代表方差，σxy為二者協方差。峰值信噪比為圖像峰值信號和背景噪聲之間的比值，重建圖像質量與其正相關，PSNR值越大，即重建效果越好。結構相似度考量的是測試圖像與參考圖像之間的相似性，SSIM值介于0和1之間，越接近1則表明重建圖像與參考圖像越相似，重建效果越好。

圖1 實驗圖像Girl的三種方法的重建圖像

從圖1可以看出，雙三次插值重建的結果圖像存在明顯的模糊現象。Yang算法和本文算法能夠較好地恢復得到圖像的細節，從Girl圖像可以看出，與插值方法和Yang算法相對比，本文算法對臉部邊緣輪廓的重建更加清晰，顏色較為統一，視覺效果更好。

通過PSNR和SSIM比對實驗進行客觀評價，如表1所示，體現了不同方法下對測試圖像進行重建得到的PSNR值和SSIM值。

表1 不同算法PSNR和SSIM結果對比

由表1可以看出，應用本文算法重建圖像的PSNR值SSIM值高于Yang等算法，表明本文提出的算法獲得了較好的重建效果。如Girl圖像的重建效果，雙三次插值算法對該圖像的PSNR值最低為34.859，Yang算法所的PSNR值也低于本文的峰值信噪比0.561dB。對比SSIM值，本文算法所得的SSIM值為0.9298，相較于其他兩種算法效果更好。因此從實驗結果可以看出，利用本文提出的方法達到了較好的效果，實驗結果表明本文提出的算法優于其他算法。

3 結語

本文在基于稀疏表示的超分辨率重建框架下，在字典訓練階段將高頻信息分解為主要高頻信息和殘余高頻信息，分別進行字典訓練，通過雙重字典對低分辨率圖像進行重建，以獲得具有更豐富細節的重建圖像，在重建得到高分辨率圖像后，為了進一步修正圖像，引入一種改進的迭代反投影法對圖像進行全局約束，獲得了更好的效果。客觀上印證了結論，本文提出的改進算法在各項指標評價上表現地更好，使圖像的重建質量得到了提高。