基于多引導濾波器的單幅圖像超分辨率技術

劉 哲，韓九強，黃世奇

?

基于多引導濾波器的單幅圖像超分辨率技術

劉 哲1,2，韓九強2，黃世奇1

（1. 西京學院電子信息工程系，陜西 西安 710123；2. 西安交通大學電信學院計算機科學與技術系，陜西 西安 710049）

提出了一種基于多引導濾波器的單幅圖像超分辨率方法。首先，該方法通過大量的自然圖像建立高低分辨率圖像塊樣本訓練庫，并通過聚類算法將具有相似性質的高低分辨率樣本塊進行聚類；其次，將輸入低分辨率圖像進行重疊分塊，并在樣本庫中搜索最近鄰的高低分辨率樣本聚類；再次，將輸入低分辨率圖像塊作為輸入圖像，與樣本庫中最近鄰的低分辨率聚類樣本作為引導圖像，運用本文提出的多引導濾波器計算引導濾波器的參數；最后，利用樣本庫中最近鄰的高分辨率聚類樣本和引導濾波器的參數，通過多引導濾波器就可以重構高分辨率圖像。實驗結果表明，本文算法不僅能很好地重構圖像的高頻細節，還能很好地恢復圖像的紋理特征。

超分辨率；引導濾波器；樣本訓練庫；高頻細節

0 引言

單幅圖像超分辨率[1-2]（SISR）技術，是指用圖像處理算法將單幅低分辨率圖像轉換成高分辨率圖像，構建更高分辨率圖像所缺失的高頻細節，這在數學上是一個病態問題。高分辨率意味著圖像中的像素密度高，能夠提供更為豐富的圖像細節，而這些細節在許多實際應用中不可或缺，所以圖像超分辨率技術在醫學診斷、模式識別、視頻監控、生物鑒別、高清晰電視成像、遙感圖像解譯、高空對地觀測等領域有著廣泛的應用。一直以來，單幅圖像超分辨率技術是視頻圖像處理領域研究的熱門方向和一個具有相當挑戰性的理論分支[1]。

傳統的圖像超分辨率技術有基于插值的超分辨率重建、基于重建的圖像超分辨方法和基于學習的超分辨率算法[2]。SISR更先進的方法是基于統計圖像先驗[1,3]或基于復雜的機器學習算法[4-5]來學習從低分辨率到高分辨率的映射函數，其中最好的算法之一是基于稀疏字典學習方法，其假設可以使用字典原子的稀疏編碼來表示自然圖像塊。特別是耦合字典學習方法[6-8]實現了很好的單幅圖像超分辨率的結果。Timofte[9]通過研究指出了該方法的計算瓶頸，并提出用許多較小的字典替換單個字典，從而避免在推理期間耗時的稀疏編碼步驟，大大提高了計算速度，同時保持與以前方法相同的超分辨率結果精度。

稀疏字典學習技術[10-12]，其主要思想是高低分辨率圖像塊對具有相同的稀疏字典表示。然而，該稀疏約束同時涉及在訓練和推理階段最小化L1范數函數，從而導致復雜的數學計算[13-15]。最近，隨著學者對自然圖像塊流形結構的更深的理解，基于流形學習方法的單幅圖像超分辨率技術[10-13,16]有了很大進展。流形學習就是從高維采樣數據中恢復低維流形結構，即找到高維空間中的低維流形，并求出相應的嵌入映射，以實現維數約簡或者數據可視化。它是從觀測到的現象中去尋找事物的本質，找到產生數據的內在規律。近年來，我們目睹了從耗時復雜的稀疏字典技術向更高效的流形學習模型的轉變。基于流形的學習，將耗時的推理階段學習轉為離線學習，大大降低了學習的復雜性，提高了算法的效率和精度。

在本文中，提出了一種基于多引導濾波器的流形學習單幅圖像超分辨率方法，該方法能實現快速在線學習。首先，該方法通過大量的自然圖像建立高低分辨率圖像塊樣本訓練庫，并通過聚類算法將具有相似性質的高低分辨率樣本塊進行聚類；其次，將輸入低分辨率圖像進行重疊分塊，并在樣本庫中搜索最近鄰的高低分辨率樣本聚類；再次，將輸入低分辨率圖像塊作為輸入圖像，與樣本庫中最近鄰的低分辨率聚類樣本作為引導圖像，運用本文提出的多引導濾波器計算引導濾波器的參數；最后，利用樣本庫中最近鄰的高分辨率聚類樣本和引導濾波器的參數，通過多引導濾波器就可以重構高分辨率圖像。實驗結果表明，本文算法不僅能很好地重構圖像的高頻細節，還能很地的恢復圖像的紋理特征，同時本文算法具有很高的執行效率。

1 多引導濾波器原理及其性質

1.1 引導濾波器

引導圖像濾波器由He等人[11]提出，其濾波輸出是引導圖像的線性變換。在引導濾波的定義中，用到了局部線性模型。該模型認為，某函數上一點與其鄰近部分的點成線性關系，一個復雜的函數就可以用很多局部的線性函數來表示，當需要求該函數上某一點的值時，只需計算所有包含該點的線性函數的值并做平均即可。一方面，引導圖像濾波器和雙邊濾波器一樣具有很好的保留邊緣、平滑噪聲的作用；另一方面，在引導圖像的作用下，該濾波器可以使輸出圖像比輸入圖像具有更多邊緣信息。

引導濾波器的關鍵就是假設引導圖像和濾波輸出圖像之間是局部線性模型。在以像素點為中心的窗口w中，輸出圖像是引導圖像的線性變換：

q＝aI＋b"?w(1)

式中：(a,b)為常量。該線性模型假定當且僅當引導圖像有邊緣時才會有邊緣，這是因為?＝?。為了求出線性系數(a,b)要對濾波輸入圖像進行約束。假設輸出圖像是由輸入圖像減去噪聲得到的：

q＝p－n(2)

為了求出線性系數(a,b)的最優解，要使和之間的差異最小，等價為最小化窗口w中的代價函數：

公式(3)是一個線性回歸模型，它的最優解是：

1.2 多引導濾波器

q＝1k1i＋2k2i＋…＋aI＋b"?w(6)

式中：(1k,2k, …,a,b)是常量，為了求出線性系數(1k,2k, …,a,b)，要對濾波輸入圖像進行約束。假設輸出圖像是由輸入圖像減去噪聲得到的：

q＝p－n(7)

為了求出線性系數(1k,2k,…,a,b)的最優解，要使和之間的差異最小，等價為最小化窗口w中的代價函數：

式中：1,2, …,為正則化參數。公式是一個線性回歸模型，運用最小二乘可以對(8)式進行求解。先對(8)式中的各參數求導，使得導數等于0：

…………

對上面的各等式進行移項得到：

…………

對上面各等式(9)、(10)、(11)、(12)統一寫成矩陣的形式，見式(13)：

＝(13)

式中：

＝(￠)－1￠(14)

因此，通過式(6)和(14)可以計算得到輸出圖像。

1.3 多引導濾波器的性質

基于學習的超分辨率方法，首先需要構建高低分辨率圖像的訓練樣本庫，樣本訓練庫在構建時，需要對高低分辨率圖像的訓練庫的樣本進行聚類，最直接的聚類是根據樣本特征圖像灰度相似度進行聚類。然后通過學習訓練樣本，對高低分辨率樣本圖像之間的關系進行編碼（encoding），最后對于低分辨率測試圖像，在樣本庫中搜索最接近的聚類，利用上述學習到的編碼關系指導超分辨率重建過程。

設圖像1、2、…、I是樣本庫中同一聚類，即它們具有灰度上和結構上的相似性，即存在以下的關系：

1≈2≈…≈I(15)

下面我們就這種情況討論多引導濾波器的性質。

1.3.1 邊緣保持功能

要討論多引導濾波器的性質，設輸入圖像和引導圖像近似相等，即1≈2≈…≈I≈，代入(6)式得到：

q≈(1k＋2k＋…＋a)1i＋b(16)

令a＝1k＋2k＋…＋a及1i＝1i，則(16)式變為：

q≈aI＋b(17)

可以看出，在此種情況下，多引導濾波器的表達式和單引導濾波器表達式相似，于是可以求出：

下面進行討論：

1）?q＝a?I，即當輸入圖像有梯度時，輸出圖像也有類似的梯度，這就是可以解釋均值濾波器具有梯度保持功能；

2）當圖像處于邊緣時，方差2的取值比較大，當?2時，a?1，b?0，q＝I，此時多引導濾波器具有邊緣保持功能；

3）當圖像處于平坦區域時，方差2的取值比較小，當?2時，a?0，b?1，q＝，此時多引導濾波器具有圖像平滑功能。

另外，我們考慮更為一般的情況，對于(6)式表示的多引導濾波器，求解(8)式代價函數，并且滿足1≈2≈…≈I≈和1≈2≈…≈≈，于是可以得到參數(a,2k,…,a,b)的通用解：

b＝－(1k＋2k＋…＋a)(20)

且滿足：

下面進行討論更為一般的情況：

1.3.2 結構保持功能

有趣的是，多引導濾波器不是簡單的邊緣保持平滑濾波器。由于q＝aI＋b的局部線性模型，使得可以將結構從引導圖像轉移到輸出圖像上，即使濾波輸入是平滑的也同樣滿足這個性質。從這點上講，引導濾波器和流形學習具有類似的性質。

假設數據是均勻采樣于一個高維歐氏空間中的低維流形，流形學習就是從高維采樣數據中恢復低維流形結構，即找到高維空間中的低維流形，并求出相應的嵌入映射，以實現維數約簡或者數據可視化。它是從觀測到的現象中去尋找事物的本質，找到產生數據的內在規律。也就是說，在局部區域內，高維流形和低維流形具有類似的結構。

2 基于多引導濾波器超分辨率技術

2.1 樣本訓練庫構建

基于多引導濾波器超分辨率技術，首先構建訓練樣本庫。我們通過搜集大量自然圖像，建立了豐富的低分辨率（LR）樣本庫及其對應的高分辨率（HR）樣本庫。

高分辨率（HR）圖像塊h和低分辨率（LR）圖像塊l存在以下關系：

l＝(h?)ˉ(22)

式中：?代表卷積；是高斯卷積核；ˉ代表下采樣；表示下采樣尺度因子。

2.2 算法實現

基于多引導濾波器超分辨算法實現過程如下：

1）對構建的樣本庫按照灰度相似性進行聚類，本文采用兩個圖像塊對應點像素值之差的絕對值之和（SAD）作為相似度的標識，用來度量兩個圖像塊的相似度。設有兩個圖像塊和，如果兩個圖像塊對應點像素值之差的絕對值之和（SAD）滿足式(23)的關系，則圖像塊和是一個聚類，式中是選擇的閾值：

通過式(23)可以將低分辨率樣本庫和對應高分辨率樣本庫進行聚類。

2）設樣本訓練庫中低分辨率樣本塊l的大小為5×5，高分辨率樣本快h的大小為5×5，表示尺度因子。

3）將輸入的低分辨率圖像LR劃分成5×5的子塊，相鄰子塊的重疊區域寬度為2個像素，構成匹配圖像塊。圖像塊在樣本訓練庫中進行搜索，找到與之匹配的聚類，這個聚類有個相似低分辨塊(l1,l2,…,lk)，與之對應的是個相似高分辨塊(h1,h2,…,hk)。

4）運用雙三次插值將(l1,l2,…,lk)和插值放大到5×5。對放大后的引導圖像(l1,l2,…,lk)和輸入圖像，利用公式(6)和(14)，可以計算出多引導濾波器的輸出圖像，由此可以計算出參數(1,2,…,a,b)。

＝1h1＋2h2＋…＋ahk＋b(24)

6）合并所有的超分辨率重構的匹配窗，相鄰圖像塊重疊區域的像素值使用平均融合得到，這樣就求出了最終的超分辨率圖像HR。

3 實驗和分析

在本文實驗中，選擇測試的環境為：

1）操作系統Windows XP SP3；

2）應用程序開發環境Matlab 2012a；

3）計算機配置Inter Core i5，主頻3.5GHz，8.0GB內存。

3.1 多引導濾波器的特性實驗

為了對多引導濾波器的特性進行驗證，我們選擇了圖1中的(a)作為輸入圖像，圖1中的(b)、(c)、(d)3幅圖像作為引導圖像，而且這3幅引導圖像逐漸變得有些模糊，這主要是為了驗證在引導圖像逐步變得模糊情況下，多引導濾波器能否保持圖像的邊緣。由于本文基本圖像塊的大小選擇為5×5，所以多引導濾波器的半徑為＝3，圖1中(e)、(f)、(g)、(h)分別是在正則化參數取不同值時多引導濾波器的圖像，由輸出圖像結果可以得到以下幾個結論：

1）引導濾波器具有良好的圖像邊緣保持和增強功能，由圖1中(e)、(f)、(g)、(h)輸出圖像結果可以看出，在正則化參數比較小的情況下，尤其是當正則化參數＝0.1（圖1(e)）時，多引導濾波器的輸出對圖像邊緣的保持效果尤為明顯。

2）由圖1中(e)、(f)、(g)、(h)輸出圖像結果可以看出，隨著正則化參數原來越大，多引導濾波器輸出圖像變得越來越模糊。所以在選擇用多引導濾波器時，一定要選擇合適的參數。

3）在輸入圖像和部分引導圖像質量比較好，部分引導圖像質量下降情況下（如變得模糊等），總體上不太會影響多引導濾波器的輸出。

4）多引導濾波器可以利用積分圖和并行化計算來進行加速，所以該濾波器的執行效率很高，如果運用GPU就可以達到實時計算。

根據實驗結果，我們選取正則化參數＝0.1，來對本文所提方法進行驗證。

3.2 主觀對比分析

將本文提的算法分別與Kim算法[17]、Wang算法[18]、Sun算法[19]進行比較分析，Kim算法基于稀疏回歸和自然圖像先驗、Wang算法基于半耦合字典學習、Sun算法主要基于梯度分布先驗。同一算法對不同圖像選取相同的參數。主觀效果如圖2和圖3所示，選擇超分辨率圖像的局部圖像（如圖中矩形框標記的部分）進行局部對比分析。對圖2的處理中，Sun算法和Wang算法在圖像的邊緣處會產生鋸齒、銳度不夠；Kim算法在圖像的邊緣處產生了輕微振鈴效應，邊緣比較模糊；本文算法邊緣保持得很好，沒有偽影等不良現象產生，邊緣銳度較好。本文算法的整體清晰度和圖像邊緣銳度明顯好于其他3種方法，頭部和石頭圖像部分的紋理也比較清晰，但是本文算法在圖像邊緣也會產生的鋸齒效應。

圖1 多引導濾波器實驗結果

圖2 四種算法超分辨率對比圖

（(a)與(e)是Sun算法結果，(b)與(f)是Wang算法結果，(c)與(g)是Kim算法結果，(d)與(h)是本文算法結果）

Fig.2 Comparison of four super - resolution algorithms result（(a)and (e) Sun,(b) and (f)Wang，(c) and (g) Kim，(d) and (h) proposed）

圖3 四種算法超分辨率對比圖

（(a)與(e)是Sun算法結果，(b)與(f)是Wang算法結果，(c)與(g)是Kim算法結果，(d)與(h)是本文算法結果）

Fig.3 Comparison of four super - resolution algorithms result（(a）and (e) Sun, (b) and (f)Wang, (c) and (g) Kim, (d) and (h) proposed）

3.3 客觀指標對比分析

對客觀效果評估，用可量化的技術指標來進行評價。本文用圖像峰值信噪比（PSNR）和圖像結構的相似性（SSIM）評價不同算法的性能。表1是測試圖像在2倍超分辨率放大情況下的客觀評價結果。本文所測試的3幅測試圖像來源于加州大學伯克利分校圖像分割數據庫。從表1的分析數據可以看出，本文提出的方法在所有情況下都比其他3種方法獲得的結果要好，表現最優。

表1 PSNR和SSIM比較

為進一步評價不同算法超分辨性能，圖2、圖3分別比較了使用4種不同算法重建的結果。可以看出，Sun算法不能有效恢復圖像的高頻信息，生成的圖像有些模糊。與Sun算法結果相比較，經典的Wang算法通過學習HR與LR圖像間的字典表示，在一定程度上能有效恢復出LR圖像中丟失的高頻細節，得到的結果比較清晰。Kim算法的效果從整體上看與Wang算法效果相當。從視覺質量上看，Wang算法能夠得到比Sun算法更多的高頻細節，與上述3種方法得到的結果相比，本文提出的基于多引導濾波器單幅圖像超分辨率算法在保持圖像邊緣和恢復紋理細節方面都有不同程度的改善，得到的結果不僅邊緣更清晰更真實，而且紋理更加豐富。這是由于圖像的局部流形結構在局部范圍可以保持良好的一致性，在學習過程中，結合最近鄰域自相似特性，使得參與重建的圖像塊均與目標圖像塊具有相似的結構，因而能獲得較好的重建質量。

3.4 算法運行時間比較分析

為了分析比較4種不同算法的運行時間，對圖像大小為64×32個像素的原始圖像分別放大2倍、3倍、4倍、5倍，不同算法在不同放大倍數的情況下，其運行時間如圖4所示。由圖4可以看出，本文所提算法的運行時間大大低于其他3種算法，隨著放大倍數的增加，其他3種算法的運行時間快速增加，而本文算法運行時間增加比較緩慢。當圖像超分放大5倍時，本文算法的執行效率幾乎是Sun算法執行效率的100倍。之所以本文算法效率很高，其主要原因是本文算法將最耗時的學習訓練改為了離線學習，在進行本文算法超分辨計算時，只需通過查表，找到對應的映射函數，從而大大提高了算法的運行效率。

圖4 圖像不同放大倍數運行時間

4 結論

在本文中，提出了一種基于多引導濾波器的流形學習單幅圖像超分辨率方法，該方法能實現快速在線學習。首先，該方法通過大量的自然圖像建立高低分辨率圖像塊樣本訓練庫，并通過聚類算法將具有相似性質的高低分辨率樣本塊進行聚類；其次，將輸入低分辨率圖像進行重疊分塊，并在樣本庫中搜索最近鄰的高低分辨率樣本聚類；再次，將輸入低分辨率圖像塊作為輸入圖像，與樣本庫中最近鄰的低分辨率聚類樣本作為引導圖像，運用本文提出的多引導濾波器計算引導濾波器的參數；最后，利用樣本庫中最近鄰的高分辨率聚類樣本和引導濾波器的參數，通過多引導濾波器就可以重構高分辨率圖像。實驗結果表明，本文算法不僅能很好地重構圖像的高頻細節，還能很好地恢復圖像的紋理特征，同時本文算法具有很高的執行效率。

[1] Freeman W T, Jones T R, Pasztor E C. Exaple-based super-resolutio[J]., 2002, 22(2): 56-65.

[2] Glasner Daniel, Bagon Shai, Irani Michal. Super resolution from a single image[C]//12, 2009: DOI:10.1109/ICCV.2009.5459271.

[3] Fattal R. Upsampling via Imposed Edges Statistics[J]., 2007, 26(3): 95.

[4] DONG C, Change Loy C, HE K, et al. Learning a deep convolutional network for image super-resolution[C]//, 2014: 35-40.

[5] YANG C Y, YANG M H. Fast direct super-resolution by simple functions. [C]//, 2015: 223-227.

[6] WANG S, ZHANG L, LIANG Y, et al. Semi-coupled dictionary learning with applications to image super-resolution and photo-sketch synthesis[C]//, 2012: 79-84.

[7] CUI Z, CHANG H, SHAN S. Shan, et al. Deep network cascade for image super-resolution [C]//, 2014: 49-64.

[8] Zeyde R, Elad M, Protter M. On single image scale-up using sparse-representations[J]., 2010: 541-552.

[9] FAN W, YEUNG D Y. Image hallucination using neighbor embedding over visual primitive manifolds[C]//, 2007: 1-7.

[10] Timofte R, Smet V D, Gool L V. Anchored neighborhood regression for fast example based super-resolution[C]//, 2013: 256-266.

[11] YANG C Y, YANG M H. Fast direct super resolution by simple functions[C]/, 2013: 105-112.

[12] YANG J, LIN Z, Cohen S. Fast image super resolution based on in-place example regression[C]//, 2013: 753-761.

[13] Timofte R, Rothe R, Gool L V. Seven ways to improve example-based single image super resolution[J].,2016: 1865-1873.

[14] YANG J, WRIGHT J, MA Y. Image super resolution via sparse representation[J]., 2010, 19(11): 2861-2873.

[15] Zeyde R, Elad M, Protter M. On single image scale up using sparse-representations[C]//, 2012: 6920: 711-730.

[16] Timofte R, Smet V D, Gool L V. A+: Adjusted anchored neighborhood regression for fast super-resolution[C]//, 2014: 283-290.

[17] Kim K I, Kwon Y. Single-image super-resolution using sparse regression and natural image prior[J]., 2010, 32(6): 1127-1133.

[18] WANG S, ZHANG L, LIANG Y, et al. Semi-coupled dictionary learning with applications to image super-resolution and photosketch synthesis[C]//, 2012: 586-593.

[19] SUN J, XU Z, et al. Image super-resolution using gradient profile prior[C]//, 2008: 862-871.

[20] Nasrollahi K, Moeslund T B. Super-resolution: a comprehensive survey[J]., 2014, 25(6): 1423-1468.

[21] Mairal J, Bach F, Ponce J, et al. Non-local sparse models for image restoration[C]//, 2010, 30(2): 2272-2279.

[22] Glasner D, Bagon S, Irani M. Super-resolution from a single image[C]//, 2009, 30(2): 349-356.

[23] Freedman G, Fattal R. Image and video upscaling from local self-examples[J]., 2011, 30(2): 1-11.

[24] Kawano H, Suetake N, Cha B, Aso T. Sharpness preserving image enlargement by using self-decomposed codebook and Mahalanobis distance[J]., 2014, 27(6): 684-693.

[25] ZHANG Y Q, LIU J Y, YANG W H, et al. Image super-resolution based on structure-modulated sparse representation[J]., 2015, 24(9): 2797-2810.

[26] ZHANG Y Q, XIAO J S, LI S H, et al. Learning block-structured incoherent dictionaries for sparse representation[J]., 2015, 58(10):1-15.

[27] YANG C Y, HUANG J B, YANG M H. Exploiting self-similarities for single frame super-resolution[C]/10th(), Queen-stown, New Zealand: Springer, 2016: 497-510.

Single Image Super-Resolution Based on Multi-Guided Filtering

LIU Zhe，HAN jiuqiang，HUANG Shiqi

(1.,,’710123,; 2.,,’710049,)

In this paper, a single image super-resolution method based on multi-guided filtering is proposed. First, anexemplar training database consisting of pairs of low-resolution and corresponding high-resolution image patches is constructed using many natural images. High- and low-resolution image patches with similar properties are clustered using a clustering algorithm. Next, the low-resolution input image is divided into overlapping patches, and the nearest neighbor high-and low-resolution sample cluster is searched againstthe exemplar training database. Then, the low-resolution input image patch is used as the new input; the nearest neighbor low-resolution clustering sample is used as the guide image. The multi-guided filter is used to calculate the parameters of the guide filter. Finally, the high-resolution images can be reconstructed with the multi-guided filter using the nearest neighbor high-resolution clustering samples and the parameters of the multi-guide in the sample bank. Experimental results show that the proposed algorithm not only reconstructs the high-frequency detail of an image, but also recovers the texture features.

super resolution，guided filtering，exemplar training database，high frequency detail

TP391.41

A

1001-8891(2017)10-0920-08

2017-01-25；

2017-03-06.

劉哲（1972-），男，教授級高工，博士，研究方向為機器視覺、人工智能及模式識別。

國家自然科學基金（61473237）。