基于多尺度自相似性和非局部均值的單幅圖像超分辨率方法

劉 哲，黃世奇，姜 杰

?

基于多尺度自相似性和非局部均值的單幅圖像超分辨率方法

劉 哲，黃世奇，姜 杰

（西京學院信息工程學院，陜西 西安 710123）

提出了一種基于多尺度局部自相似性和非局部均值的單幅圖像超分辨率算法，該算法不依賴于外界圖像，僅僅在原始圖像的局部子窗口中搜索目標圖像塊的相似子塊，利用非局部均值算法對相似子塊進行加權求和來估計待復原圖像，然后在復原圖像上疊加最相似子塊的高頻細節圖像，獲得高分辨率圖像。實驗結果表明，本文算法不僅能很好地重構圖像的高頻細節，還能很好地恢復圖像的紋理特征。

超分辨率；多尺度；局部自相似；非局部均值

0 引言

這些年，隨著圖像超分辨率技術的快速發展，使得實現低成本、高分辨率、高信噪比的圖像設備成為可能。圖像超分辨率技術，是指用圖像處理算法將低分辨率圖像轉換成高分辨率圖像，構建更高分辨率圖像所缺失的高頻細節。高分辨率意味著圖像中的像素密度高，能夠提供更多的細節，而這些細節在許多實際應用中不可或缺。圖像超分辨率技術在醫學診斷、模式識別、視頻監控、生物鑒別、高清晰電視成像、遙感圖像解譯、高空對地觀測等領域有著廣泛的應用。一直以來，圖像超分辨率技術是視頻圖像處理領域研究的熱門方向和一個具有相當挑戰性的理論分支[1]。

傳統的圖像超分辨率技術有基于插值的超分辨率重建、基于重建的圖像超分辨方法和基于學習的超分辨率算法[2]。近年來，隨著圖像局部自相似性和非局部均勻理論[3-6]的出現，局部自相似性和非局部均勻理論在圖像增強、圖像降噪和圖像復原等方面得到了很好的應用，尤其是在在圖像超分辨率方面取得了比其它方法更好的效果。基于圖像局部自相似性的超分辨率方法利用了圖像廣泛具有的局部自相似性，并將這種結構自相似性作為圖像重構過程中的附加信息[3-6]。近年來相繼出現了一些利用非局部（nonlocal, NL）自相似結構的超分辨率方法[3-4]，其基本思路是在整幅圖像中搜索相同尺度的相似圖像塊，利用這些相似圖像塊所提供的互補信息重構高分辨率圖像。由于圖像自身中相同尺度相似圖像塊所提供的附加信息具有一定的局限性，因而制約了這種方法圖像重構效果的進一步提升，文獻[5]構建與圖像高、低頻子圖所對應的高、低頻碼本，并通過高頻碼本所提供的附加信息實現圖像重構，這種方法實際上是利用了圖像自身不同尺度相似圖像塊所提供的附加信息。文獻[6]將相同尺度和不同尺度相似圖像塊所提供的附加信息均加入到圖像重構過程中，利用相同尺度相似圖像塊就如同利用多幅低分辨率圖像，而不同尺度相似圖像塊又提供了不同分辨率圖像塊間的對應關系，取得了良好圖像重構效果和視覺效果。Freedman等[7]使用簡單的灰度信息作為特征，使得復原效果提升有限。文獻[8-11]使用稀疏表示技術，通過自相似性建立冗余字典或典書（codebook）進行超分辨率復原，取得不錯的效果，但是該算法復雜度較大；Glasner等[12]由輸入圖像采用金字塔的形式構建訓練庫，利用圖像塊的冗余度并結合傳統超分辨算法和基于樣本的超分辨率算法，得到了較好的算法結果，但是算法容易產生人工痕跡。

針對傳統插值超采樣算法和相關的基于學習的超分辨率算法的缺陷[13-15,16-18]，在考察了局部自相似性學習的超采樣方法各自的優勢后，本文針對單幅圖像超分辨率重建問題，提出了一種基于多尺度局部自相似單幅和非局部均值單幅圖像超分辨率方法。首先，給出了本文提出的“類高斯”引導濾波器技術，該濾波器具有良好的圖像邊緣保持和圖像平滑降噪能力；其次利用該引導濾波器與該圖像卷積求差，求出圖像的高頻細節圖像HF（下文用HF表示高頻細節圖像）；再次使用輪廓模板插值方法將原始圖像放大倍，得到放大后的LR圖像；接著，利用圖像自身的局部自相似性，在LR圖像上取一個小窗口，分別在原始圖像和HF圖像上對應的一個大窗口內，利用非局部均值（NLM）計算圖像塊間的相似重建系數，繼而將此重建系數傳遞給對應原始圖像中的圖像塊，通過相似塊的加權平均來重建圖像塊的值；最后，將重建圖像塊和其對應最相似塊的高頻細節圖像疊加，得到最終的超分辨率圖像。重復這個過程，直至達到需要的放大倍數。

1 高頻細節圖像HF的求取

1.1 “類高斯”引導濾波器

引導濾波是近年才出現的濾波技術，在引導濾波的定義中，用到了局部線性模型。該模型認為，某函數上一點與其鄰近部分的點成線性關系，一個復雜的函數就可以用很多局部的線性函數來表示，當需要求該函數上某一點的值時，只需計算所有包含該點的線性函數的值并進行平均即可。這種模型在表示非解析函數上非常有用。

同理，我們可以認為圖像是一個二維函數，而且沒法寫出解析表達式，因此我們假設該函數的輸出與輸入在一個二維窗口內滿足線性關系，我們構造如下函數：

q＝aI＋b(1)

式中：是輸入圖像；是輸出圖像；a和b的表達式為：

a＝(I－)2/[＋(I－)2]

b＝－a(2)

式中：為滿足0＜＜1的因子，用來控制a值的大小及函數寬度，同時避免a過大。

式(1)表示在以為中心的×方形區域內，輸出圖像和輸入圖像滿足線性映射關系。×方形區域所有像素的均值用表示，其計算公式為：

式(1)～(3)組成了本文所提出的均值引導濾波器。下面對所給出的均值引導濾波器性質進行討論：

1）?q＝a?I，即當輸入圖像有梯度時，輸出圖像也有類似的梯度，這就是可以解釋均值濾波器具有邊緣保持功能。

2）當I不是邊緣點時，I的值趨近于時，即I?，此時a≈0，b≈，由此可得q＝b，輸出圖像的像素點q被平滑。

3）當I是邊緣點時，I的值和的值相差較大，此時a?0，b≈0，由此可得q＝I，由此輸出圖像的像素點q的邊緣點得以保持。

下面對函數a進行討論，為了討論方便，將I的歸一化到[0,1]區間，此時＝0.5。I在[0,1]區間內作為輸入，a作為輸出，分別畫出＝0.5、＝0.1、＝0.01、＝0.05時a的圖形，分別如圖1所示。

由圖1可知，函數a具有以下優良的性質：

1）該函數圖形是“倒高斯分布圖”，在本文中稱作“類高斯核”，具有軸對稱、各向同性，連續性、光滑性好。

2）它與圖像卷積不會改變圖像的整體動態特性。

3）當I?時，a?0；當I與差距越來越大時，a?1；所以該函數能自適應保持像素點的特性。

4）當尺度因子越來越小時，該函數寬度越來越小，函數變化越迅速；尺度因子越來越大時，該函數寬度越來越大，函數變化越緩慢；較大時，表現為平滑性越好，當較小時，表現為邊緣保持性好。

5）具有與高斯函數相同的性質，可以做為核平滑函數，在圖像處理領域可以得到廣泛應用。

圖1 當e取不同值時函數ak的圖形

1.2 HF圖像的求取

優異的圖像超分辨率算法應該滿足以下2個條件：

①能很好地恢復圖像的高頻細節部分；②能很好地恢復圖像的局部紋理特征。

設輸入圖像為，是引導濾波器，則輸入圖像的高頻細節圖像HF計算如下：

HF＝－*(4)

式中：*代表卷積；的尺寸選為5×5。

通過求HF，可以把隱藏在圖像內部的高頻信息給挖掘出來，如圖2所示。圖2左圖是原始圖像，右圖是運用式(4)所求原始圖像的高頻細節圖像。由圖2可以看出，運用引導濾波器可以很好地獲得圖像豐富的邊緣細節信息。

圖2 高頻細節圖像求取結果

2 多尺度局部自相似超分辨率算法

2.1 基本思想

圖像的局部自相似性是指在同一幅圖像中存在相同尺度或不同尺度的相似結構，其具體表現為圖像中相同尺度或不同尺度中位于局部鄰域中的圖像具有相似圖像塊。研究這種局部自相似性，提取這些相似塊中的高頻細節成分，進行分析處理和紋理細節合成，估計出高分辨率圖像中的高頻細節成分，以此實現圖像的超分辨率。利用局部自相似性進行超分辨率重建的方法原理，訓練集合包含3幅圖像，分別是原始圖像、原始圖像對應的高頻圖像HF以及原始圖像對應的插值放大圖像LR。我們的目標是不依賴于任何外界圖像，利用圖像在不同尺度間的自相似性特征，生成超分辨率圖像HR。

2.2 插值和塊匹配搜索

對原始圖像，首先采用插值算法將其放大倍得到初始高分辨率圖像LR，插值算法的選取會對最終結果產生一定影響，一個較好的插值算法必然會得到一個較好的最終結果。選取Getreuer的輪廓模板插值算法[16]。算法利用高分辨率圖像的輪廓與輸入的低分辨率圖像的輪廓保持一致的特性，事先估計自然圖像輪廓的形狀得到了具有57個輪廓模板的待選模板的集合。對于輸入的低分辨率圖像的每個像素點計算其為中心的鄰域的輪廓模板值，選取合適的模板進行插值。最終得到了較好的高分辨率圖像。輪廓模板插值算法在保持插值圖像整體輪廓和細節等方面都取得了很好的效果，但是由于缺少先驗知識，得到的高分辨率圖像和自然圖像相比，紋理部分有所缺失。本文進一步處理，補充高頻的紋理細節部分。

在初始高分辨率圖像LR中以像素(,)為中心，構造一個小窗口圖像塊作為待匹配窗，在中對應位置(,)為中心的一個大窗口鄰域內搜索相似塊，其中：

＝/，＝/(5)

式中：為縮放因子。

塊匹配搜索如圖3所示。圖3的左側代表插值放大后的圖像LR，右圖代表原始圖像，在LR中選取大小為3×3的待匹配窗，在中選取大小為5×5的搜索窗，的中心坐標是(,)，的中心坐標是(,)，分別是圖中黑框表示的像素坐標值。匹配窗在搜索窗內進行相似塊的搜索，本文采用兩個圖像塊對應點像素值之差的絕對值之和（sum of absolute difference, SAD）作為相似度的標識。

圖3 塊匹配搜索示意圖

2.3 基于非局部均值的灰度圖像自相似性重構

非局部均值濾波是一種基于塊匹配來確定濾波權值的濾波算法，非局部均值濾波在計算中加入了每一個點的權重值，所以能夠保證在相鄰且相差很大的點在方框中求平均值時相互之間的影響減小，也就對圖像邊緣細節部分保留很多，這樣圖像看起來會更清晰，同時還能很好的抑制噪聲。因此，首先進行基于非局部均值的灰度圖像自相似性超分辨率重構。這樣既保證了超分辨率重構圖像大量邊緣信息的保留，同時也抑制了噪聲。

式中：()表示第個相似塊p。權值()滿足：

()可以表示為：

式中：()表示圖像塊與p之間的歐式距離；表示歸一化常數。

于是根據式(9)可以求出歸一化常數：

由上面的推導知道，利用式(6)可完成基于非局部均值的灰度圖像自相似性的超分辨率重構。雖然利用這種方法進行超分辨率重構的圖像能保留大部分邊緣細節信息，但會使相當多的紋理特征損失。對于損失的紋理特征通過高頻細節自相似性重構來進行恢復。

2.4 基于最佳匹配塊的高頻細節自相似性重構

下面利用圖像自相似性，待匹配窗在搜索窗的鄰域內進行匹配搜索，找到與最相似的匹配塊，再在HF圖像找到與最匹配塊相對應的高頻圖像塊h。本文中SAD作為相似度的標識，所以最匹配塊就是SAD值最小的兩個塊。所以：

＝argmin|－|(11)

根據式(4)可以求出最佳匹配塊的高頻圖像塊h：

h＝－*0(12)

2.5 多尺度框架下超分辨率算法

在2.2節中，我們提到了用輪廓模板將原始圖像放大倍，當這個取不同值時，最佳匹配塊之間的SAD均值是否接近，這是我們進行多尺度設計的主要依據。為此，我們設計了一個實驗，來說明尺度因子取不同值時，局部自相似性的效果。其中，匹配塊的大小為3×3，搜索窗的大小為5×5，特征為RGB空間灰度值（0～255），并對SAD均值進行歸一化。圖4給出了放大因子取不同值時，SAD歸一化均值的取值情況。

圖4 放大因子a取不同值時SAD歸一化均值

由圖可知，隨著放大因子的增大，SAD歸一化均值也增大，即圖像的局部自相似性變得越差，尤其是當逐步增大時，圖像的局部自相似性急劇變差。所以我們設為放大尺度因子，它的取值可以比較小，通過逐步迭代把圖像放大到需要的倍數。設為為每一次迭代時的尺度因子，為最終要達到的放大倍數，要達到放大倍數，需要迭代次：

＝ln/ln(14)

這就是多尺度自相似性的主要原理。

由式(14)可以看出，當的取值過小，迭代次數過多，算法的時間復雜度就大大增加。當的取值逐步增大時，尋找到的匹配塊相似度會下降很快。本文所處理的圖像是放大到2倍，我們選取放大尺度因子的值為1.25，需要迭代4次就可以完成。

2.6 算法實現

基于引導濾波和多尺度局部自相似單幅圖像超分辨率算法實現過程如下：

1）對原始圖像，首先采用輪廓模板插值算法將其放大倍得到初始高分辨率圖像LR。

2）將LR有重疊劃分成3×3的子塊，重疊區域寬度為1個像素，構成待匹配窗；將原始圖像有重疊劃分成5×5子塊，重疊區域寬度為2個像素，構成搜索窗。

4）利用圖像自相似性，待匹配窗在搜索窗的鄰域內進行匹配搜索，找到與最相似的匹配塊；利用式(12)求出最佳匹配塊的高頻細節圖像塊h。

6）合并所有的超分辨率重構的待匹配窗，相鄰圖像塊重疊區域的像素值使用平均融合得到，得到最終的超分辨率圖像HR。

7）令＝HR，返回步驟1），直至得到最終放大倍數。

3 實驗和分析

為了驗證本文算法的有效性，將基于多尺度局部自相似性和非局部均值單幅圖像超分辨率算法，與Freedman算法[7]、Glasner算法[12]進行綜合分析比較。在所有實驗中選取如下參數：

①放大尺度因子＝1.25，通過4次迭代圖像放大到2倍；②搜索窗的大小為5×5，匹配窗的大小為3×3；③引導濾波器的尺度因子＝0.01。

測試環境為：①操作系統Windows XP SP3；②應用程序開發環境Matlab 2012a；③筆記本計算機配置Inter Core i5-Y430p，8.0GB內存。

3.1 高頻細節對比分析

分別利用Freedman算法、Glasner算法和本文算法對圖像進行2倍的超分辨率放大重構，分別如圖5的(a)、(b)、(c)所示，而后利用本文提出的基于引導濾波算法，求取圖像(a)～(c)的HF圖像，其結果分別如圖5的(d)～(f)所示。由圖5可知，由本文超分辨重構圖像的高頻細節最為豐富，其次是Freedman算法，Glasner算法最差。由圖5的(c)和(f)可以看出，本文算法可以很好地重構圖像的細節部分，尤其是對具有大面積紋理特征（如毛發）的圖像也能夠進行有效的恢復。

3.2 主觀對比分析

針對不同的算法，選取各自算法最合適的參數以達到最好的效果。同一算法對不同圖像選取相同的參數。主觀效果如圖6～圖8所示，選擇超分辨率圖像的局部（如圖中方框標記的部分）進行局部對比。對圖6的處理中，Freedman算法和Glasner算法在數字的邊緣處有很寬的過渡、銳度不夠，Freedman算法在數字的邊緣處產生了輕微振鈴效應，Glasner算法在數字邊緣比較模糊，本文算法邊緣保持的很好，沒有偽影等不良現象產生，邊緣銳度較好。對圖7的處理中，Glasner算法在帽子紋理邊緣沒有很好的清晰度和銳度，Freedman算法和本文算法的清晰度和銳度都很好，Freedman算法在臉部的邊緣有類似于殘影的不良現象產生，在相同的地方，Glasner算法比Freedman算法有更為嚴重的類似于殘影的不良現象，本文算法不僅沒有不良現象產生，而且具有非常好的清晰度和銳度。圖8中，Glasner、Freedman算法和本文算法得到了紋理較為豐富毛發，但對馬腿部分，本文算法比Glasner和Freedman算法有更好的對比度和細節保持效果。因此，從主觀效果來看，本文算法效果整體優于對比算法。

圖5 高頻細節對比圖

圖6 3種算法超分辨率對比圖（1）

圖7 3種算法超分辨率對比圖（2）

Fig.7 Comparison of three super-resolution algorithms(Ⅱ)

圖8 3種超分辨率算法整體對比圖

Fig.8 Comparison of three super-resolution algorithms

3.3 客觀指標對比分析

用圖像峰值信噪比（PSNR）和圖像結構的相似性（SSIM）評價不同算法的性能。表1是測試圖像在2倍超分辨率放大情況下的客觀評價結果。可以看出，本文方法在所有情況下都比其他2種方法獲得的結果要好。

為進一步評價不同算法超分辨性能，圖6～圖8比較了分別使用3種不同算法重建的結果。可以看出，Glasner算法不能有效恢復圖像的高頻信息，生成的圖像有些模糊。與Glasner算法結果相比較，經典的Freedman算法通過學習HR與LR圖像間的對應關系，在一定程度上能有效恢復出LR圖像中丟失的高頻細節，得到的結果比較清晰。從視覺質量上看，Freedman算法能夠得到比Glasner算法更多的高頻細節，但由于重建過程直接使用1次放大到需要的倍數，得到的圖像在紋理細節區域仍出現明顯的失真。與上述2種方法得到的結果相比，基于引導濾波和多尺度局部自相似性單幅圖像超分辨率算法在保持圖像邊緣和恢復紋理細節方面都有不同程度的改善，得到的結果不僅邊緣更清晰更真實，而且紋理更加豐富。這是由于圖像的局部自相似特性在小的尺度因子范圍下可以保持良好的特性，在鄰域選擇過程中，結合局部自相似特性，使得參與重建的圖像塊均與目標圖像塊具有相似的結構，因而能獲得較好的重建質量。

表1 3種超分辨率算法PSNR和SSIM的比較

4 結論

提出了基于多尺度局部自相似性和非局部均值單幅圖像超分辨率算法。首先，引進了類高斯分布的“類高斯核”，在此基礎上構建均值引導濾波器，該濾波器是一種線性邊緣保持濾波器，可以得到圖像的高頻細節。其次，根據圖像的自相似性，對初始高分辨率圖像和原始低分辨率圖像進行分塊，得到待匹配窗和搜索窗，根據NLM，待匹配窗圖像塊的值利用搜索窗中相似塊的加權平均計算得到。再次，利用圖像自相似性，待匹配窗在搜索窗的鄰域內進行匹配搜索，找到與待匹配窗最相似的匹配塊，計算出最佳匹配塊的高頻細節圖像塊，與相似塊的加權平均值相加，重構出高分辨率待匹配窗。最后，合并所有的超分辨率重構的待匹配窗，相鄰圖像塊重疊區域的像素值使用平均融合得到，得到最終的超分辨率圖像。實驗結果表明，本文算法不僅能很好地重構圖像的高頻細節，還能很好地恢復圖像的紋理特征，得到的結果不僅邊緣更清晰更真實，而且紋理更加豐富。在下一步的研究中，將重點研究基于學習的多尺度自相似性單幅圖像超分辨率算法。

[1] Nasrollahi K, Moeslund T B. Super-resolution: a comprehensive survey[J]., 2014, 25(6): 1423-1468. doi:10.1007/ s00138-014-0623-4.

[2] Van Ouwerkerk J D. Image super resolution survey[J]., 2006, 24(10):1039-1052.doi:10.1016/j.imavis.2006.02.026.

[3] Protter M, Elad M, Takeda H, et al. Generalizing the nonlocal-means to super-resolution reconstruction[J]., 2009, 18(1): 36-51.doi:10.1109/TIP.2008.2008067.

[4] Mairal J, Bach F, Ponce J, et al. Non-local sparse models for image restoration[C]//12th,Kyoto, Japan, 2009: 2272-2279.

[5] Suetake N, Sakano M, Uchino E. Image super-resolution based on localself similarity[J]., 2013, 15(1): 26 -30 .doi:10.1007/ s10043-008-0005-0.

[6] Glasner D, Bagon S, Irani M. Super-resolution from a single image[C] //12th, Kyoto, Japan, 2009: 349-356 . doi:10.1109/ICCV.2009.5459271.

[7] Freedman G, Fattal R. Image and video up scaling from localself -examples[J]., 2011, 30(2):1-11. doi: 10.1145/1944846.1944852.

[8] Kawano H, Suetake N, Cha B, et al. Sharpness preservingimage enlargement by using self-decomposed codebook and Mahalanob is distance[J]., 2014, 27(6): 684-693. doi:10.1016/j.imavis.2008.07.013

[9] ZHANG Y Q, LIU J Y, YANG W H, et al. Image super-resolution based on structure-modulated sparse representation[J]., 2015, 24(9): 2797-2810. doi:10.1017/ s11444-014 -5768-4.

[10] ZHANG Y Q, XIAO J S, LI S H, et al. Learning block-structured incoherent dictionaries for sparse representation[J]., 2015, 58(10): 1-15. doi:10.1007/s 11432-014-5258-6.

[11] YANG C Y, HUANG J B, YANG M H. Exploiting self-similarities for single frame super-resolution[C]//10th(ACCV), Queen-stown, New Zealand: Springer, 2016: 497-510.

[12] Glasner D, Bagon S, Irani M. Super-resolution from a single image[C]//12th(ICCV). Kyoto, Japan, 2009: 349-356. doi:10.1109/ ICCV.2009. 5459271.

[13] Schulter S, Leistner C, Bischof H. Fast and accurate image up scaling with super-resolution forests[C]//2015, Boston, MA, 2015: 3791-3799.

[14] Sajjad M, Ejaz N, Baik S W. Multi-kernel based adaptiveinterpolation for image super-resolution[J]., 2015, 72(3): 2063-2085. doi:10.1109/CVPR.2015.7299003.

[15] Catalin Ionescu, Orestis Vantzos, Cristian Sminchisescu. Matrix back propagation for deep networks with structured layers[C]//, 2015: doi:10.1101/ ICCV.2015.65789987.

[16] Getreuer P. Contour stencils: total variation along curvesfor adaptive image interpolation[J]., 2011, 4(3): 954-979. doi:10.1137/100802785.

[17] XIAO Jinsheng, DU Kanghua, TU Chaoping, et al. Bokeh display based on depth information extraction of multi-focus images[J]., 2015,41(2): 304-311.

[18] XIAO J S, LI W H, LIU G X, et al. Hierarchical tone mapping based on image colour appearance model[J]., 2015, 8(4): 358-364.

Single Image Super Resolution Method Based on Multi-scale Self-similarity and Non Local Means

LIU Zhe，HUANG Shiqi，JIANG Jie

(,,’710123,)

In this paper, we propose a new single image super resolution algorithm based on multi-scale local self-similarity and non local means. This algorithm does not rely on an external example database nor use the whole input image as a source for example patches. Instead, we extract similar patches from extremely localized region in the input image, similar patches are weighted summed to estimate the image to be restored using a non-local mean algorithm, and then the high frequency detail image of the most similar patch is added to the restored image to obtain a high-resolution image. Experimental results show that the proposed algorithm can not only reconstruct the high frequency details of the image, but also restore the texture features of the image.

super resolution，multi-scale，self-similarity，non-local mean

O121.8，G558

A

1001-8891(2017)04-0345-08

2016-11-02；

2016-12-28.

劉哲（1972-），男，博士，教授級高工，研究方向為機器視覺、人工智能及模式識別。

國家自然科學基金（61473237）資助。