結合分組聯合字典的圖像超分辨率重建

岳彥敏，劉 叢

（上海理工大學光電信息與計算機工程學院，上海 200093）

0 引言

遙感衛星圖像分辨率越高包含的地物信息越豐富，其利用價值就越高。但是圖像的采集過程容易受到外界環境和成像設備等多種因素影響，會丟失高頻信息。提升硬件設備性能的成本高、難度大。因此，從軟件方面來提高遙感圖像分辨率成為研究熱點。圖像超分辨率重建（Super-Resolution Reconstruction，SRR）［1］是利用一幅或多幅低分辨率（Low-Resolution，LR）圖像獲得一幅高分辨率（High-Resolution，HR）圖像，它可以較好地改善遙感圖像的重建質量，在遙感衛星領域具有重要的應用價值。

圖像超分辨率重建是一個病態逆問題［2］。為解決該問題，研究人員提出了基于插值［3］、基于重建［4］和基于學習等［5-7］方法。其中，基于稀疏學習的超分辨重建算法應用最為廣泛。Yang 等［8］、Zhang 等［9］受壓縮感知（Compressive Sensing，CS）思想啟發，利用字典學習將稀疏編碼引入圖像的超分辨率重建問題中，提出一種基于稀疏表示（Sparse-Representation，SR）的圖像超分辨率重建算法；Rohit 等［10］、Zeyde 等［11］使用主成分分析（Principal Component Analysis，PCA）和正交匹配追蹤（Orthogonal Matching Pursuit，OMP）算法對字典學習方法進行改進，提高了算法速度，取得了較好的重建效果。在面對結構較為復雜的圖像重建時，以上算法學習的單一聯合字典具有一定局限性；后來Dong等［13］提出了非局部自回歸模型方法，將樣本分類，利用PCA 算法得到的每個類的子字典較好地重構了圖像結構；Wang 等［14］使用分組字典思想，根據主方向角對圖像塊分類并訓練多個字典和殘差字典，取得了較好的重建效果。但是分組字典也有缺點，即每個子字典都是一個獨立的字典，并沒有考慮每個子字典與樣本間的關聯性；在圖像分類方面，Yang［15］使用具有關聯性的分組字典比其他算法更有效。上述研究啟發我們要加強每個子字典與樣本間的關聯性，以提高字典的精確性。

因此，本文提出結合分組聯合字典的圖像超分辨重建算法。該模型首先將訓練樣本分類，針對每一類學習一組聯合字典。每類樣本不僅可以被其學習到的子聯合字典強線性表示，還可以被所有分組聯合字典所組成的總字典線性表示。實驗表明，本文提出的分組聯合字典在遙感圖像超分辨重建中效果較好。

1 基于稀疏表示的重建模型

一幅低分辨率圖像是由其對應的高分辨率圖像經模糊及下采樣等操作獲得，該退化模型可表示為：

其中，X、Y分別為高、低分辨率圖像；H表示模糊算子，S表示下采樣，v表示噪聲矩陣。一個d維的輸入信號x∈Rd可用一組原子的線性組合對其逼近，表示為x ≈Dα。由于L0 范數在優化過程中存在一定困難，通常將其松弛為L1 范數形式。其中D∈Rd×m表示稀疏字典，m表示字典中原子的個數。通過求解如下模型可獲得具有稀疏性的系數：

2 圖像超分辨重建

2.1 分組聯合字典模型建立

基于聯合字典和分組字典學習的思想，本文設計了一種基于分組聯合字典的超分辨率重建方法。將LR 特征圖像塊劃分為C 類，其對應的HR 圖像也賦予相應的類標簽，分別表示為，其中分別表示第i類的HR 圖像塊和LR特征圖像塊，ni為樣本數目。HR 圖像與LR 圖像的字典對為{Dh,Dl}，分別表示HR 圖像和LR 圖像對應的字典。每個類別都需要學習一個子字典，所以高、低子字典可表示為和分別表示第i類樣本的HR 字典和LR 字典，mi為第i類字典的原子數目。n個樣本的稀疏系數矩陣表示為A=[α1,α2…,αn]∈Rm×n，系數矩陣對應C 個類，表示為A=[A1,A2…,AC]。建立分組聯合字典模型如下：

根據文獻［15］算法優化方法將式（3）展開：

結合文獻［8］，上式可改寫為：

2.2 模型優化與圖像重建

本節對模型進行優化，優化算法仿照文獻［15-16］設計。

（1）求解稀疏系數Ai。固定字典和所有的系數Aj（j≠i），分別更新系數Ai（i=1，2，…，C）并合成系數矩陣A。根據式（5）可得：

式（6）可由迭代軟閾值算法［17］求解：

其中，soft（*，*）為軟閾值算子，k為迭代次數，表示Q(Ai)對Ai求一階導數為軟閾值。

對式（8）求解計算的過程如下：

固定變量Ai，更新：

依據此步驟迭代更新編碼系數A 和分組聯合字典D，直到滿足停止標準后停止更新。然后，使用分組聯合字典進行圖像重建。

重建過程：①首先使用一階和二階梯度算子提取圖像特征，獲得一幅低分辨率特征圖像；②將該圖像劃分成n個尺寸相同的子塊，并對所有子塊向量化，得；③計算每個圖像塊到類中心（訓練模型時分組獲得）的歐氏距離，將劃分到C 個不同類中，表示為，每個類對應一個子聯合字典。根據分組聯合字典思想，使用公式（11）可獲得圖像塊的稀疏表示系數，式中λ 為正則化標量參數。

使用該系數重建高分辨率圖像塊，將獲得的圖像塊合并為整幅初始估計Xh，并加強圖像塊間的全局約束，得到最終的高分辨率圖像：

3 實驗結果與分析

為驗證本文算法的有效性，使用UCMerced_LandUse［18］作為訓練集和測試集。所有算法都使用Matlab R2016a 仿真軟件編程，在Windows 10 64 位操作系統中運行。硬件配置為CPU Inter（R）Core（TM）i7 2.6GHz，運行內存8G。在字典訓練過程中，將高分辨率圖像塊大小設為6×6，兩個相鄰塊之間的重疊像素寬度設為4，并對其做去均值運算。低分辨率圖像塊大小設為3×3，重疊像素為2。分別與SCSR 算法、Zeyde’s 算法和Gong’s 算法［19］進行對比。重建質量使用峰值信噪比（PSNR）和結構相似性（SSIM）兩種指標進行評價。圖1—圖3 展示了3 張使用不同重建算法獲得的高分辨率圖像重建結果。

通過觀察圖1—圖3 的局部效果可以看出，Bicubic 算法出現明顯的模糊現象，SCSR 算法對圖像的整體銳化度較高，局部邊緣輪廓模糊并伴有偽影，Zeyde’s、Gong’s 算法較好地保持了圖像邊緣，但是引入了噪聲點，圖像部分出現了塊狀和邊緣白邊現象，視覺效果欠佳。本文算法較好地保持了圖像邊緣清晰度，有效抑制了噪聲點對重建效果的影響，圖像輪廓保持較好。

Fig.1 Comparison of reconstructed images of airplane23圖1 airplane23 重建圖像比較

Fig.2 Comparison of reconstructed images of intersction34圖2 intersction34 重建圖像比較

Fig.3 Comparison of reconstructed images of residenal93圖3 residential93 重建圖像比較

使用PSNR 和SSIM 指標來客觀評價算法性能。由表1可知，本文算法與SCSR 和Zeyde’s 相比，PSNR 和SSIM 均相對提高，單幅圖像的PSNR 最高可達1.36dB。與Gong’s 算法相比，本文算法PSNR 平均提高0.20dB，說明本文算法確實有效。SSIM 的平均值提高約0.02～0.06，表明本文重建出的圖像與原圖的結構更接近，進一步說明了本文算法的有效性。

Table 1 Comparison of PSNR/SSIM values of different algorithms表1 不同算法的PSNR/SSIM 值比較

4 結語

本文受分組字典和字典—樣本間關聯性思想啟發，提出了一種結合分組聯合字典的圖像超分辨率重建算法。根據重建樣本所屬的類別找到最合適的主子字典和次子字典進行重建，使重建出的遙感圖像邊緣細節更為清晰，圖像整體更為自然。但本文方法仍有一些可改進之處，如圖像塊的聚類方法、圖像塊的提取特征方法需改進，以及加快稀疏字典編碼的速度。本文方法可推廣到其他領域進行圖像重建。