一種基于Contourlet變換的遙感影像超分辨率重建改進(jìn)方法

周靖鴻，周　璀,2，朱建軍，章浙濤，樊東昊

(1.中南大學(xué) 地球科學(xué)與信息物理學(xué)院，湖南 長(zhǎng)沙 410083；2.湖南交通職業(yè)技術(shù)學(xué)院 交通信息學(xué)院，湖南 長(zhǎng)沙 410132)

?

一種基于Contourlet變換的遙感影像超分辨率重建改進(jìn)方法

周靖鴻1，周璀1,2，朱建軍1，章浙濤1，樊東昊1

(1.中南大學(xué) 地球科學(xué)與信息物理學(xué)院，湖南 長(zhǎng)沙 410083；2.湖南交通職業(yè)技術(shù)學(xué)院 交通信息學(xué)院，湖南 長(zhǎng)沙 410132)

摘要：針對(duì)原有方法輪廓波(Contourlet)分解高頻信息處理的不足，提出用零填充重采樣代替雙三次插值用于高頻信息處理的新方法，該方法可使Contourlet分解后的高頻信息重采樣過(guò)程不引入噪聲能量的同時(shí)獲得理想的插值結(jié)果。改進(jìn)方法利用Contourlet多分辨率分析的特征，以及零填充重采樣方法較傳統(tǒng)插值方法優(yōu)越的性能，此兩者相結(jié)合可改進(jìn)原有方法的不足，提高單幀影像的超分辨率重建效果。經(jīng)理論分析與試驗(yàn)驗(yàn)證，改進(jìn)后方法的超分辨率重建結(jié)果無(wú)論在定性分析與定量對(duì)比上都要優(yōu)于傳統(tǒng)方法。

關(guān)鍵詞：超分辨率；圖像重建；輪廓波變換；傅里葉變換；零填充重采樣；小波變換

遙感影像超分辨率重建是利用同一地區(qū)一副或多幅觀測(cè)影像通過(guò)一定的算法提高影像的分辨率，增加影像信息量，從而使影像細(xì)節(jié)信息更精確視覺效果更佳的一個(gè)過(guò)程。

Contourlet變換最早由Do等[1,2]提出，其將拉普拉斯金字塔濾波器[3]與方向?yàn)V波器[4]充分結(jié)合實(shí)現(xiàn)圖像多尺度多方向多分辨率的分析，而二維小波變換僅是一維小波在水平、垂直方向上的張成，分解得到的也只是這兩方向的高頻分量，兩者相比用于遙感影像的多分辨率分析前者更顯優(yōu)勢(shì)，為此Contourlet變換被廣泛地應(yīng)用于遙感影像與測(cè)量數(shù)據(jù)的處理當(dāng)中[5-8]。文獻(xiàn)[9]提出在Contourlet域?qū)AI插值與圖像融合技術(shù)相結(jié)合實(shí)現(xiàn)多幀影像的超分辨率重建方法，但這在對(duì)數(shù)據(jù)量少的單幀影像并不適用；文獻(xiàn)[10]中提出Contourlet域的正則化模型超分辨率重建方法具有較好的效果，但是算法在求取收斂性與正則化過(guò)程中計(jì)算量較大影響計(jì)算的效率；文獻(xiàn)[11]中在Contourlet域雙三次插值進(jìn)行遙感影像超分辨率重建取得較好的結(jié)果，但雙三次插值的效果不是最優(yōu)，對(duì)高頻也會(huì)引入一定的噪聲能量。同時(shí)，Smith[12]指出頻率域重采樣插零等價(jià)于空域的理想插值，證實(shí)將二維數(shù)據(jù)經(jīng)傅里葉變換轉(zhuǎn)化到頻率域后進(jìn)行重采樣插零，再進(jìn)行傅里葉逆變換得到理想插值結(jié)果，該方法優(yōu)于傳統(tǒng)插值方法[13]。

在Contourlet變換的基礎(chǔ)上，提出一種改進(jìn)的超分辨率重建方法。對(duì)原圖像Contourlet分解后的各個(gè)高頻子圖進(jìn)行離散傅里葉變換零填充重采樣(以下簡(jiǎn)稱DFT零填充重采樣)獲得變換后的高頻，將原圖作為低頻與變換得到的高頻進(jìn)行Contourlet逆變換得到最終結(jié)果。改進(jìn)方法將高頻進(jìn)行零填充處理是為了得到高頻部分的理想插值以最大程度的相似于重建過(guò)程的高頻圖像。通過(guò)試驗(yàn)驗(yàn)證，該方法有效可行，并較原有方法優(yōu)越。

1Contourlet變換

二維小波是小波的高階形式，濾波器的方向仍只是單方向的，處理二維影像數(shù)據(jù)時(shí)僅僅是對(duì)水平與垂直方向依次進(jìn)行濾波。而Contourlet變換采用的是拉普拉斯金字塔濾波器[3]與方向?yàn)V波器組[4]，相比于二維小波變換而言，方向?yàn)V波器組才是真正意義上的多方向分解。拉普拉斯金字塔與方向?yàn)V波器相結(jié)合將原圖進(jìn)行N層分解時(shí)可得到1個(gè)方向上的低頻子圖與2N個(gè)方向的高頻子圖[14]。分解過(guò)程為

(L1,H1,H2,…,H2N)=ContourletN(image).

(1)

其中L1，H1，H2,…,H2N分別為低頻與2N個(gè)方向高頻，ContourletN為N層Contourlet分解，image為原圖。

該分解過(guò)程可以用圖1所示直觀表述。采用zoneplate圖像進(jìn)行3層Contourlet分解得到1個(gè)低頻子圖與8個(gè)不同方向的高頻子圖。

圖1　Contourlet分解

2改進(jìn)的超分辨率重建方法

單幀圖像的超分辨率重建是近年來(lái)研究熱點(diǎn)[15]，傳統(tǒng)基于Contourlet變換的超分辨率重建方法是將Contourlet變換與插值方法相結(jié)合。文獻(xiàn)[11]中將Contourlet變換與雙三次插值相結(jié)合的方法取得了一定的效果。但雙三次插值法處理高頻信息時(shí)，將帶入多余的能量，從而模糊高頻部分。因此傳統(tǒng)的插值方法是有局限性的，導(dǎo)致插值的效果并不最優(yōu)。DFT零填充重采樣是對(duì)傳統(tǒng)插值方法的改進(jìn)，被廣泛應(yīng)用于一維及二維數(shù)字信號(hào)處理過(guò)程[16]，此過(guò)程未引入能量不會(huì)產(chǎn)生噪聲。首先利用二維傅里葉變換：

(2)

式中：F為f的二維傅里葉變換；w,v為頻率；m,n為坐標(biāo)。

對(duì)傅里葉變換后的二維信息進(jìn)行零填充處理，即將變換后所得數(shù)據(jù)放置到一個(gè)較其兩倍大小的空矩陣中心處，其余部分取零值。然后對(duì)此矩陣進(jìn)行傅里葉逆變換，得零填充重采樣的最終結(jié)果。傅里葉逆變換：

(3)

DFT零填充重采樣操作是對(duì)二維序列信號(hào)的理想插值，相比于傳統(tǒng)插值方法更加優(yōu)越[17]?；诖吮疚膶?duì)文獻(xiàn)[11]方法中的高頻插值過(guò)程進(jìn)行改進(jìn)，用DFT零填充重采樣插值代替雙三次插值過(guò)程。利用零填充重采樣明顯優(yōu)于傳統(tǒng)雙三次插值的優(yōu)勢(shì)，獲得超分辨率重建過(guò)程各方向上更精確的高頻信息，此過(guò)程不會(huì)引入噪聲。方法的整體流程圖見圖2。

改進(jìn)方法的具體步驟如下：

1)Contourlet分解。將原圖利用Contourlet變換獲得一個(gè)方向低頻與多個(gè)方向的高頻。

2)高頻信息處理。對(duì)各個(gè)方向高頻信息經(jīng)零填充重采樣處理，得到對(duì)應(yīng)方向上處理后的各高頻分量。

3)Contourlet重構(gòu)。將原圖作為超分辨率重建過(guò)程的低頻，與處理后的各高頻信息作為對(duì)應(yīng)方向上重建過(guò)程的高頻進(jìn)行Contourlet逆變換獲得最終的超分辨重建結(jié)果。

圖2　改進(jìn)的Contourlet域超分辨率重建方法

3實(shí)驗(yàn)與分析

3.1實(shí)驗(yàn)一

為比較傳統(tǒng)方法與改進(jìn)方法的超分辨率效果，實(shí)驗(yàn)選取Matlab中自帶的Cameraman圖像，將該圖進(jìn)行二維小波分解獲得低頻圖像如圖3(a)所示，此圖為去除高頻細(xì)節(jié)后的模糊圖像，將此圖作為實(shí)驗(yàn)用圖。分別采用直接雙三次插值方法、文獻(xiàn)[13]中的DFT零填充重采樣方法、文獻(xiàn)[18]中小波雙三次插值方法、文獻(xiàn)[11]中Contourlet域雙三次插值方法以及本文改進(jìn)方法進(jìn)行超分辨率實(shí)驗(yàn)，Contourlet分解過(guò)程中分解層數(shù)選擇為3層，塔式濾波器類型為9-7，方向?yàn)V波器類型為pkva8。各方法的實(shí)驗(yàn)結(jié)果如圖3所示。

圖3 各種超分辨率重建方法比較

將各方法超分辨率結(jié)果與原始Cameraman圖像比較。采用峰值信噪比(PSNR)與均方根誤差(RMSE)[19]進(jìn)行定量分析，PSNR值越大表示重建效果越好，RMSE值越小代表重建效果越好，求取：

(4)

(5)

表1　各種超分辨率方法重建結(jié)果

3.2實(shí)驗(yàn)二

為驗(yàn)證改進(jìn)方法適用于遙感影像的超分辨率重建，進(jìn)行一組真實(shí)遙感影像試驗(yàn)。試驗(yàn)選取的是某地區(qū)的航空光學(xué)遙感影像，截取其中像素大小為400×400的圖像如圖4(a)所示。同模擬實(shí)驗(yàn)，對(duì)原圖進(jìn)行二維小波分解獲得的低頻子圖作為實(shí)驗(yàn)用圖。圖4(b)、4(c)、4(d)分別為小波雙三次插值、Contourlet域雙三次插值與改進(jìn)方法的超分辨率重建結(jié)果。各方法PSNR與RMSE的計(jì)算結(jié)果如表2所示。

表2　各方法真實(shí)遙感影像重建結(jié)果比較

圖4　各種超分辨率重建方法的結(jié)果比較

通過(guò)以上兩組實(shí)驗(yàn)分析可得無(wú)論從定性分析與定量對(duì)比都可以看出，改進(jìn)方法與傳統(tǒng)方法相比用于圖像的超分辨率重建效果都明顯優(yōu)于各傳統(tǒng)方法。通過(guò)實(shí)驗(yàn)得到以下幾點(diǎn)結(jié)論：DFT零填充重采樣方法明顯優(yōu)于傳統(tǒng)雙三次插值方法，適用于圖像超分辨率重建；重建過(guò)程中高頻進(jìn)行雙三次插值會(huì)引入多余信息，從而造成重建圖像視覺效果不佳；單一運(yùn)用DFT零填充重采樣，其超分辨重建過(guò)程中未引入能量而圖像尺寸卻增大一倍，平均能量降低使得圖像的亮度變得較暗，不便于觀測(cè)；Contourlet變換與小波變換相比，由于方向?yàn)V波器的作用使得Contourlet分解能獲得更多方向的高頻子圖，多方向分解得更充分，用于超分辨率重建較二維小波變換效果更好；DFT零填充重采樣代替原有的雙三次插值方法用于Contourlet域超分辨率重建，可獲得較好結(jié)果。

總結(jié)起來(lái)，改進(jìn)方法基于Contourlet變換多分辨率分析的優(yōu)勢(shì)，利用DFT零填充重采樣較雙三次插值優(yōu)越的特點(diǎn)，兩者相結(jié)合使得重建過(guò)程的高頻信息最大程度的相似于高分辨率圖像，低頻用原圖進(jìn)行替代遵循Contourlet變換各層低頻信息相似性的特點(diǎn)，最終結(jié)果在定性視覺效果與定量數(shù)據(jù)分析上都能得到更優(yōu)的效果，是一種較為實(shí)用的單幀圖像超分辨率重建方法。

4結(jié)束語(yǔ)

本文將DFT零填充重采樣與Contourlet變換相結(jié)合應(yīng)用于遙感影像的超分辨率重建，將Contourlet域的雙三次插值方法用零填充重采樣來(lái)代替以實(shí)現(xiàn)高頻信息的理想插值。并通過(guò)與基于Contourlet域雙三次插值以及小波雙三次插值等傳統(tǒng)重建方法進(jìn)行實(shí)驗(yàn)比較與分析，驗(yàn)證本文改進(jìn)方法的重建效果優(yōu)于傳統(tǒng)方法，具有較好的應(yīng)用價(jià)值。

參考文獻(xiàn)：

[1]DO M N,VETTERLI M.Contourlets：a directional multiresolution image representation[C]//Image Processing.2002.Proceedings.2002 International Conference on.IEEE,2002,1：357-360.

[2]DO M N,VETTERLI M.The contourlet transform：an efficient directional multiresolution image representation[J].Image Processing,IEEE Transactions on,2005,14(12)：2091-2106.

[3]BURT P,ADELSON E.The Laplacian pyramid as a compact image code[J].Communications,IEEE Transactions on,1983,31(4)：532-540.

[4]BAMBERGER R H,SMITH M J T.A filter bank for the directional decomposition of images：Theory and design[J].Signal Processing,IEEE Transactions on,1992,40(4)：882-893.

[5]賀崢嶸,劉智,王番，等.非下采樣Contourlet域的ICA法SAR圖像相干斑抑制[J].測(cè)繪工程,2011,20(3)：28-32.

[6]陳颯,吳一全.基于Contourlet域Hausdorff距離和粒子群的多源遙感影像匹配[J].測(cè)繪學(xué)報(bào),2010,39(6)：599-604.

[7]吳艷,焦驚眉,楊曉麗,等.基于Contourlet域HMT和D-S證據(jù)融合的SAR圖像分割[J].測(cè)繪學(xué)報(bào),2011,40(2)：148-155.

[8]孫曉霞,張繼賢,高井祥,等.基于IHS變換和非下采樣Contourlet變換的不同波段多極化SAR圖像融合[J].測(cè)繪通報(bào),2011(6):1-4.

[9]ZHANG X,CAO K,JIAO L.A contourlet-based interpolation restoration method for super-resolution of SAR image[C]//Synthetic Aperture Radar,2009.APSAR 2009.2nd Asian-Pacific Conference on.IEEE,2009：1068-1071.

[10] 王強(qiáng),彭國(guó)華,陳曉.在多尺度Contourlet域中的SAR圖像正則化超分辨[J].計(jì)算機(jī)工程與應(yīng)用,2010(3):186-188.

[11] 徐彤陽(yáng),方勇.基于 Contourlet 變換的雙三次插值算法[J].計(jì)算機(jī)工程,2010,36(7)：20-22.

[12] SMITH J O.Mathematics of the discrete fourier transform (DFT)[M].Center for Computer Research in Music and Acoustics (CCRMA),Stanford University,2002.

[13] 周武.精密圖像配準(zhǔn)方法研究及在精密電子組裝中的應(yīng)用[D].廣州：華南理工大學(xué),2012.

[14] 邵振峰,朱先強(qiáng),張斯斯.利用Contourlet變換和譜直方圖進(jìn)行多源遙感影像紋理特征檢索[J].武漢大學(xué)學(xué)報(bào)(信息科學(xué)版),2010,35(6)：723-726.

[15] 張慧,徐暉,林兩魁.基于稀疏重構(gòu)的空間鄰近目標(biāo)紅外單幀圖像超分辨方法[J].光學(xué)學(xué)報(bào),2013 33(4)：52-59.

[16] RAGUIN L G,CIOBANU L.Localized NMR Velocity Measurements in Small Channels[J].Magnetic Resonance Microscopy,2008.

[17] 周武,胡躍明.基于相位相關(guān)和重采樣的亞像素圖像配準(zhǔn)算法術(shù)[J].華南理工大學(xué)學(xué)報(bào) (自然科學(xué)版),2010,38(10):68-73.

[18] 屈有山,田維堅(jiān),李英才,等.基于小波雙三次插值提高光學(xué)遙感影像空間分辨率的研究[J].光子學(xué)報(bào),2004,33(5)：601-604.

[19] 陶珂,朱建軍.多指標(biāo)融合的小波去噪最佳分解尺度選擇方法[J].測(cè)繪學(xué)報(bào),2012,41(5)：749-755.

[20] 康永輝,戴激光,宋偉東.異源高分辨率遙感影像的三維重建[J].測(cè)繪科學(xué)，2015，40(6)：156-161

[21] 孔令婷,楊英寶,章勇.基于不同分辨率遙感影像的分類方法對(duì)比研究[J].測(cè)繪與空間地理信息，2015，40(3)：40-43.

[責(zé)任編輯：李銘娜]

An improved super-resolution reconstruction method of remote sensing image using Contourlet transformZHOU Jinghong1,ZHOU Cui1,2,ZHU Jianjun1,ZHANG Zhetao1,FAN Donghao1

(1.School of Geosciences and Info-Physics,Central South University,Changsha 410083,China；2.College of Traffic Information,Hunan Communication Polytechnic,Changsha 410132,China)

Abstract：An improved method that uses zero-filled resampling in Fourier domain instead of the bi-cubic interpolation is proposed to solve the problem of high frequency information process using traditional Contourlet transform.This algorithm will not make the resampling process of high frequency to introduce noise energy and also can get the expected interpolation results.The improved method takes the advantage of Contourlet transform multi-resolution analysis and zero-filled resampling,which can improve the traditional method’ insufficient and also enhance the super-resolution reconstruction’ effect of single frame image.Theoretical analysis and experimental verification approve the improved method both in qualitative analysis and quantitative comparison is better than traditional methods.

Key words：super-resolution；image reconstruction；Contourlet transform；Fourier transform；zero-filled resampling；wavelet transform

中圖分類號(hào)：TP751

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1006-7949(2016)05-0059-05

作者簡(jiǎn)介：周靖鴻(1989-)，男，碩士研究生.

基金項(xiàng)目：國(guó)家973計(jì)劃資助項(xiàng)目(2013CB733303)；國(guó)家863資助項(xiàng)目(2012AA121301)；國(guó)家自然科學(xué)基金資助項(xiàng)目(41274010，40974007)

收稿日期：2015-01-12；修回日期：2015-07-11