基于小波方法的超分辨率圖像重建

王 靜，吳愛弟

（天津職業(yè)技術(shù)師范大學(xué)理學(xué)院，天津 300222）

近年來，隨著科學(xué)技術(shù)的提高，人們能夠獲得的信息量越來越多，對信息量的需求也越來越大。對于圖像而言，人們希望所獲得的圖像的分辨率越高越好。自從1970年以來，伴隨著CCD（電耦合元件）與CMOS（互補金屬氧化物半導(dǎo)體）圖像傳感器的發(fā)明及應(yīng)用，使得圖像的質(zhì)量有所改善。但是，在采集圖像時，傳感器很容易受到外界因素的影響，使得圖像的清晰度不高而且伴有噪聲的干擾，無法很好地反映原始場的信息，影響了圖像的質(zhì)量，視覺效果難以滿足人們的需要。人們設(shè)法通過改變傳感器的內(nèi)部硬件來提高獲取的圖像的分辨率。但是，這種改善物理硬件的方法成本很高，而且有時難以實現(xiàn)。因此，有必要考慮一種能克服這種限制的新措施來提高圖像分辨率。超分辨率重建技術(shù)在這種背景下應(yīng)運而生。超分辨率圖像重建技術(shù)（super resolution image reconstruction，SRIR）是指利用質(zhì)量較差的、空間分辨率較低的已知圖像獲取高于成像系統(tǒng)分辨率的圖像。該技術(shù)無需硬件參與就可以提高圖像的空間分辨率，而且現(xiàn)有的低分辨率成像系統(tǒng)仍可以使用，既經(jīng)濟又容易實現(xiàn)。超分辨率重建技術(shù)已在軍事領(lǐng)域、衛(wèi)星遙感領(lǐng)域、醫(yī)學(xué)領(lǐng)域等很多方面得到了廣泛應(yīng)用[1-5]。

近年來，隨著小波理論的成熟，人們越來越多地將其引入到圖像重建技術(shù)中去并取得了很重要的研究成果。小波變換有很多優(yōu)點，它可以分離出圖像的高頻和低頻信息，也具有分解多尺度的特性[5－7]。以往的超分辨率重建技術(shù)中，經(jīng)常采用插值法，如最鄰近插值法、雙線性插值法等對觀測圖像進行放大[8－9]。

本文研究單幀圖像的超分辨率圖像重建，結(jié)合小波方法和迭代方法[10－11]來進行圖像重建。迭代過程中對高頻部分采用非線性外推[12]來獲得新的高頻分量，再結(jié)合原始的圖像進行反復(fù)迭代，直到收斂到最優(yōu)解為止。該方法彌補了插值算法中不能提供豐富的高頻信息量的不足，而且使圖像在保持較好的邊緣和細節(jié)的前提下達到更高的峰值信噪比。

1 超分辨率圖像重建的數(shù)學(xué)模型

超分辨率圖像重建的首要步驟是建立觀測模型，建立低分辨率與高分辨率圖像的聯(lián)系。每幅低分辨率都是由其高分辨率圖像經(jīng)過運動偏移、模糊退化和下采樣后形成，在圖像的形成過程中不可避免地會有噪聲的干擾。其形成過程如圖2所示。

圖1 低分辨率圖像成像過程

首先，將待重建的高分辨率圖像假設(shè)為f，大小為L1N1× L2N2，其向量表示為f=（f1，f2，…，fN）T。其中N=L1N1×L2N2；L1與L2分別為水平和垂直方向的降采樣尺度，相應(yīng)的低分辨率圖像g大小為N1×N2，向量表示為g=（g1，g2，…，gN）T，其中 M=N1× N2。由以上分析可知，圖像g可以表示為如下矩陣形式：

式中：D為降采樣矩陣；B為模糊矩陣；F為運動變換矩陣；n為加性噪聲。

本文算法中，將以上觀測模型轉(zhuǎn)換成其等價模型為：

其中：矩陣L表示從高分辨率圖像f到低分辨率圖像g過程中的運動、模糊與下采樣處理。采用文獻[13]中的矩陣模型，矩陣L=Lx? Ly，“?”代表張量積，Lx與Ly分別代表水平和垂直方向的循環(huán)矩陣。矩陣L的第一行可以表示為其中，前個元素為1，最后個元素為非零元。

2 非線性外推方法

本文在超分辨率圖像重建的過程中，對分解后的高頻分量采用了非線性外推技術(shù)，即：如果圖像I0為原始的低頻圖像，對I0中的高頻分量H0進行非線性濾波，可以外推出與H0相位一致的更高頻的圖像H，其非線性濾波是對H0削波而得到的,如下所示：

式（3）中的c為剪切參數(shù)；H0max為高頻圖像H0中的灰度最大值，c決定非線性濾波的剪切閾值T。式（4）中的BOUND（x）為對H0中像素 x的剪切函數(shù)。式（5）中用幅度s對剪切后的H0進行縮放。式（6）中的BP表示帶通濾波[12]。

3 基于小波方法的超分辨率圖像重建算法

由于小波變換具有空域和頻域“變焦距”的特性，選擇小波方法對圖像進行重建，可以在不同分辨率上分析信號的局部性質(zhì)。文獻[14]最早提出基于小波變換的單幀圖像的超分辨率重建算法，具體步驟如下：

①將觀測圖像進行小波變換，得到低頻子帶和水平、垂直、對角線3個方向相應(yīng)的高頻子帶。

②將高頻子帶進行插值，得到頻率增加一倍的高頻子帶。

③將處理過的高頻子帶去噪進行能量控制，結(jié)合觀測圖像一同進行小波逆變換，得到高分辨率圖像。

由于此方法沒有對低頻部分進行處理而在處理高頻子帶的時候采用了插值，這對圖像重建帶來一定的弊端，為了優(yōu)化此算法，胡熹[15]提出了一種優(yōu)化的算法。該算法將觀測圖像進行了鄰域插值處理，再進行小波變換，得到處理過的低頻部分。同時，運用小波逆變換來代替插值的方法提高圖像的分辨率，即將小波一級分解后的高頻子帶當(dāng)作低頻部分，對應(yīng)的高頻子帶全部置零，再進行小波逆變換，這樣就得到分辨率增加一倍的高頻子帶，然后再對3個方向分辨率增加后的高頻子帶進行能量控制，最后再將能量控制后的高頻子帶與處理過的低頻部分進行逆變換，得到分辨率增加的重建圖像。

4 迭代和小波方法的超分辨率圖像重建算法

4.1 去噪問題

在重建過程中涉及圖像預(yù)處理問題以及高頻能量控制問題，本文采用小波閾值去噪方法對圖像進行處理，即對小波分解后的各層系數(shù)中大于和小于某閾值的系數(shù)分別處理，然后對處理完的小波系數(shù)再進行小波變換，重構(gòu)出經(jīng)過去噪后的圖像。常用的閾值函數(shù)主要是硬閾值函數(shù)和軟閾值函數(shù)。本文主要采用軟閾值函數(shù)[4]。軟閾值函數(shù)如圖2所示，可表示為：

圖2 軟閾值函數(shù)

圖中：橫坐標(biāo)ω表示原始小波系數(shù)；縱坐標(biāo)η（ω）表示閾值化后的小波系數(shù)；T為閾值。

4.2 閾值估計

Donoho在1994年提出了VisuShrink方法（或稱統(tǒng)一閾值去噪方法）。它是針對多維獨立正態(tài)變量聯(lián)合分布，在維數(shù)趨向無窮時得出的結(jié)論，在最小最大估計的限制下得出的最優(yōu)閾值[4]。閾值的選擇滿足：

式中：σn為噪聲標(biāo)準(zhǔn)方差；N為信號的長度。

4.3 本文的算法

上述圖像的重建算法，將小波分解后的高頻子帶進行了插值處理，本文算法將小波分解得到的高頻子帶當(dāng)作低頻部分，相應(yīng)的高頻部分全部置零進行小波逆變換，再利用圖像非線性外推技術(shù)來增加高頻部分的信息量。另外，本文算法不再將處理過的高頻子帶與原始圖像直接進行逆變換，而是利用迭代方法來得到最優(yōu)的重建圖像。

這里，結(jié)合文獻[13]將式（2）中的Ld當(dāng)作小波低通分解矩陣，采用文獻[13]中構(gòu)造的相應(yīng)的小波低通重構(gòu)矩陣Ld，小波高通水平、垂直、對角線方向的分解矩陣 H1，H2，H3，小波高通水平、垂直、對角線方向的重構(gòu)矩陣顯然滿足因此，對任意的f，有于是可以利用迭代的方法求解，即：

給原始圖像一個初值處理，如插值，然后再進行迭代。算法具體步驟如下：

①將原始圖像g插值得到f0作為迭代的初始估計。

②對插值后的圖像f0進行小波變換，即計算Lf0、H1f0、H2f0、H3f0。

③將高頻成分H1f0、H2f0、H3f0進行非線性濾波，可以外推出與 H1f0、H2f0、H3f0相位一致的3個方向的高頻子帶，即 S1、S2、S3。

④將③處理過的高頻子帶進行上述小波去噪處理。

⑤將原始圖像當(dāng)作低頻部分結(jié)合外推后的高頻部分進行小波逆變換得到超分辨率重建圖像f1。

上述重建過程中，很好地保留了圖像的原始信息，同時也很好地保留了圖像的細節(jié)和輪廓，能夠有效地重建出高分辨率圖像。

5 實驗結(jié)果與分析

為了說明本算法的有效性，將算法中參數(shù)K選為4，t選為0.5，并選取大小為128×128的 woman2和512 ×512的lena作為測試圖像。對原始圖像進行平均濾波、下采樣并加入隨機的高斯白噪聲，獲得大小減半的低分辨率圖像。為了研究本文算法在超分辨率圖像重建上的優(yōu)越性，采用小波方法、最鄰近插值法、雙線性插值法及本文的方法分別進行圖像重建。選用峰值信噪比PSNR作為圖像重建質(zhì)量的客觀評價標(biāo)準(zhǔn)。PSNR的具體表達式為[16]：

實驗1：給出大小為128×128的圖像，如圖3（a）所示。圖3（b）為運用平均濾波下采樣，采樣因子為2，產(chǎn)生的低分辨率圖像，大小為64×64。依次運用小波方法、最鄰近插值方法、雙線性插值方法和本文方法對低分辨率圖像（b）進行圖像重建實驗。實驗結(jié)果如圖3所示。

圖3 woman2高分辨率重建圖像算法比較

實驗2：給出大小為512×512的lena圖像，如圖4（a）所示。圖4（b）為相應(yīng)的低分辨率圖像大小為256×256。同樣地，依次運用小波方法、最鄰近插值方法、雙線性插值方法和本文方法對低分辨率圖像（b）進行圖像重建實驗。實驗結(jié)果如圖4所示。

從主觀的圖像質(zhì)量來看，本文方法相比小波方法而言，圖像質(zhì)量明顯提高，圖像紋理較清晰，而且既沒有最鄰近插值那么明顯的邊緣鋸齒，也沒有雙線性插值那樣模糊，由表1數(shù)據(jù)可知，采用本文方法進行超分辨率圖像重建，其PSNR值比小波方法、最鄰近插值法和雙線性插值法也均有不同程度的提高。說明本文方法能有效地改善圖像的重建質(zhì)量。

圖4 lena高分辨率圖像算法比較

表1 lena與woman2的圖像重建結(jié)果的PSNR值dB

6 結(jié)束語

隨著圖像處理技術(shù)的日益推廣，超分辨率重建技術(shù)越來越成為圖像處理領(lǐng)域研究的熱點，不僅有重要的理論研究意義，也有重要的實際應(yīng)用價值。由于傳統(tǒng)的算法存在著一定的不足，影響了圖像重建的質(zhì)量，使圖像的部分信息丟失。本文針對這些不足提出改進的基于小波方法的超分辨率圖像重建算法，該算法結(jié)合了小波變換和迭代算法，一方面，利用小波變換的諸多優(yōu)點，如它的多尺度分解，高頻低頻信息的可分離性等；另一方面，利用非線性外推方法增加高頻分量加快了迭代速度。本方法使得重建的圖像保持了良好的細節(jié)和邊緣信息，提高了圖像的峰值信噪比。

［1］張良培，沈煥鋒，張洪艷，等.圖像超分辨率重建［M］.北京：科學(xué)出版社，2012.

［2］孫濤.光學(xué)遙感影像復(fù)原與超分辨率重建［M］.北京：國防工業(yè)出版社，2012.

［3］楊欣.圖像超分辨率技術(shù)復(fù)原與應(yīng)用［M］.北京：國防工業(yè)出版社，2013.

［4］周偉.基于MATLAB的小波分析應(yīng)用［M］.西安：西安電子科技大學(xué)出版社，2010.

［5］唐曉初.小波分析及其應(yīng)用［M］.重慶大學(xué)出版社，2005.

［6］CHAN T F，SHEN J.圖像處理與分析［M］.北京：科學(xué)出版社，2013.

［7］NGUYEN N，MILANFAR P.An effieient wavelet-based algorithm for image super resolution［J］.IEEE Intemational Conferenee on Image Proeessing，2000（2）：351-354.

［8］李慶揚，王能超，易大義.數(shù)值分析［M］.武漢：華中科技大學(xué)出版社，2006.

［9］董理.超分辨率圖像重建研究［D］.廣州：華南理工大學(xué)，2011.

［10］何進榮.基于加權(quán)范數(shù)迭代算法的總變差正則化圖像復(fù)原方法［D］.武漢：武漢理工大學(xué)，2009.

［11］胡學(xué)剛，吳勇，劉艷.一種變步長迭代正則化圖像復(fù)原的新算法［J］.計算機應(yīng)用研究，2010，27（4）：1572-1574.

［12］戴天榮，張立明.一種改進的非線性外推圖像增強算法及在高分辨率圖像重建中的應(yīng)用［J］.紅外與毫米波學(xué)報，2003，22（3）：197-202.

［13］RAYMOND H C，TONY F.Wavelet algorithms for high-resolution image reconstruction［J］.SIAM J SCI Comput，2003，24（4）：1408-1432.

［14］HONGGIU T，XINJIAN T，JIAN L，et al.Super-resolution remote sensing image processing algorithm based on wavelet transform and interpolation［J］.Proceedings of SPIE，2003，98：259-263.

［15］胡熹.基于第二代小波的圖像超分辨率重建研究［D］.武漢：華中科技大學(xué)，2009.

［16］喬建蘋.超分辨率重建與圖像增強技術(shù)研究［D］.濟南：山東大學(xué)，2008.