全景圖拼接中圖像融合算法的研究

黃立勤 陳財淦

?

全景圖拼接中圖像融合算法的研究

黃立勤*陳財淦

(福州大學物理與信息工程學院 福州 350108)

為了實現平滑連續的全景圖拼接融合效果，針對全景圖拼接的特點，提出了利用彩色空間變換和Contourlet變換結合對比度金字塔分解的圖像融合算法。首先進行HSI彩色空間變換，得到圖像的亮度信息，然后利用基于對比度金字塔的Contourlet變換對亮度信息進行塔式分解，得到不同的頻帶信息，再對不同頻帶進行融合處理。實驗證明，該文提出的算法充分利用Contourlet變換的輪廓特性，展示了圖像的細節信息，從而很好地實現了全景圖的拼接融合效果。

圖像拼接；圖像融合；Contourlet變換

1 引言

圖像融合是信息融合與圖像處理領域的研究熱點。圖像融合是將兩幅圖像中的有用信息綜合到一幅圖像中，以獲得同一場景更加全面的信息[1,2]。圖像融合技術的發展可以追溯到20世紀80年代，主要應用于遙感圖像、紅外圖像、醫學圖像處理等領域。

Contourlet變換是文獻[9]提出的一種多尺度局域的圖像處理與表達方法，應用廣泛。文獻[10]利用Contourlet算法進行可視對象跟蹤的研究，取得了良好的效果。而文獻[11]利用Contourlet算法進行圖像檢索的研究也取得了不錯的效果，而更多的，如文獻[12,13]等利用Contourlet變換進行圖像融合的研究，取得了比較滿意的效果。因此，本文在前人研究Contourlet變換的基礎上，結合全景圖拼接的特點，展開應用Contourlet變換的全景圖拼接融合算法的研究。

2 本文算法概述

全景圖拼接是一種局域圖像處理的過程，并對圖像輪廓的拼接要求很高，而Contourlet變換又是很好的輪廓處理算法，所以本文在Contourlet變換的基礎上實現基于Contourlet變換的全景圖拼接融合方法。算法流程如圖1所示，包括預處理、HSI分解、對比度Contourlet變換、融合、逆變換以及HSI重構等。

圖1 本文算法流程

3 預處理

對于全景圖拼接，首先要進行配準、仿射變換等預處理操作。本文采用SURF算法[14]結合二次雙向匹配[15]的方法對欲拼接的圖像進行配準處理，然后對配準后的圖像進行坐標的統一變換，即仿射變換。一般地，在同一地點捕獲的具有重合部分的兩幅圖像如圖2所示(陰影部分為重合部分)。然而由于相機的旋轉，實際的場景應為圖3所示的形式。為此，要在圖像配準的基礎上，對圖2所示的源圖像進行仿射變換。

除了利用配準的數據對圖像進行仿射變換處理外，往往還需要對融合前的圖像進行曝光補償、增強、除噪等處理，以提高最終融合圖像的質量。

4 HSI分解

對于RGB形式的圖像，可以通過式(1)轉換到HSI空間。

圖3 實際圖像

5 融合原理

5.1 對比度Contourlet變換

Contourlet變換可以很好地捕獲圖像特征的方向信息并且具有較低的冗余度。Contourlet變換主要分為兩個部分：(1)對圖像進行帶通采樣，建立拉普拉斯金字塔進行多尺度分解；(2)采用方向濾波器組進行方向分解，得到方向子帶，如圖4所示。可見，兩過程相互獨立，易于理解。

圖4 Contourlet 變換

本文是基于對比度金字塔的Contourlet變換，定義圖像的對比度為

圖 5 方向濾波器組框圖

如前所述，因為對比度金字塔可以很好地體現圖像的對比度特征，更加符合人眼的感知。所以，本文將原Contourlet變換的拉普拉斯分解過程替代為對比度金字塔分解，以增強融合圖像的對比度特征，增加圖像的識別效果。

5.2 融合規則設計

圖像經Contourlet變換后將獲得相應的高頻分量和低頻分量。由數字圖像知識可知，高頻分量主要描述了圖像的細節特征，包括紋理的突變、輪廓邊緣等，這些細節對圖像拼接效果的影響最為明顯，若融合不當會有明顯的重影、模糊等現象；而低頻分量主要描述了圖像中較為平緩的區域，對圖像拼接的效果主要體現在背景信息中。所以，針對Contourlet變換后的高低頻分量，我們分別采用不同的融合規則。

(1)低頻分量融合規則 本文對于低頻分量的融合規則采用直接求算術平均的方式對其進行融合，這樣運算速度不會降低并且易于實現，可以在很大程度上節約運算時間。

即對于高頻分量，采用絕對值比較的方式來代替融合圖像的高頻分量，這樣可以極大地保留細節豐富圖像的細節信息，避免了融合過程導致圖像細節的模糊化。

以上的融合規則，只針對待拼接圖像的重合部分，而對于非重合部分，則直接保留原有的信息。即對于圖3所示的圖像，將左圖的空白部分直接作為融合結果的左部，兩圖的陰影部分利用以上所述的融合規則進行融合后作為融合圖像的中間部分，最后右圖的空白部分直接作為融合圖像的右部。這樣可以最大限度地保留源圖像非重合區域的原有信息，防止因變換過程而導致的信息的丟失，同時又可以很好地實現重合區域的無縫融合。

6 融合過程設計

本文所述的圖像融合算法主要針對全景圖拼接中的融合，因此需要首先對來自同源或非同源的多幅圖像進行精確的配準，并按要求進行坐標空間變換，最后對圖像進行拼接融合。

根據第1節的介紹，本文將按以下幾個步驟對圖像進行拼接融合：

步驟1 對已配準的待拼接的圖像的重合區域做色彩空間變換。即利用式(1)，將圖像從RGB色彩空間轉換成HSI色彩空間。

步驟2 對轉換得到的HSI空間圖像進行基于對比度金字塔的Contourlet變換。即選取圖像的亮度分量I進行基于對比度金字塔的Contourlet變換。對于色度H和飽和度S，分別進行算術平均計算，這樣可減少二者在色度和飽和度上的差異，增加融合的連續性。

步驟3 對于步驟2獲得的低頻分量系數，按照5.2節中描述的算術平均方法處理。

步驟4 對于步驟2獲得的高頻分量系數，按照5.2節中描述的絕對值比較法計算。

步驟5 將步驟3 和步驟4獲得的數據進行基于對比度金字塔的Contourlet變換的逆變換，得到融合后的HSI空間的亮度分量I的數據。

步驟6 最后，將融合后的圖像轉換回RGB色彩空間并疊加到拼接圖像中去，從而得到最終的全景圖。

7 實驗結果與分析

本文算法的性能驗證實驗采用Matlab7.12 (R2011a)在Windows XP操作系統上進行。

7.1 多聚焦融合實驗

圖 6 各算法融合結果

通過觀察圖6(c)~6(f), Contourlet算法在圖像融合的效果上表現良好但與小波變換法、加權融合法相比，得到的融合圖像，雖然可以比較清晰地展示左右兩邊的文字，但仔細觀察，仍存在邊界模糊的現象。而本文算法在利用Contourlet算法在輪廓處理性能優越性的基礎上，采用對比度金字塔分解，實現了對圖像較好的融合，因此可以發現本文算法的融合效果表現較佳。

評價算法的質量，除了以上的主觀判斷，還需要客觀的數據。本文針對融合圖像的信息熵、互信息和平均梯度等常用的評價指標[1,20]對本文算法及其它算法做進一步的比較。

信息熵：根據香農信息理論，一幅圖像信息熵的大小表明了圖像所含信息的多少，因此，本文利用信息熵公式，計算經各算法融合后的圖像的信息熵，其計算公式為

互信息：圖像1,2,之間的互信息可以通過式(11)計算得到：

平均梯度：平均梯度體現的是圖像上細節部分的信息，它可通過(12)式獲得

通過觀察圖6和表1的數據可以總結出以下幾點：

(1)本文算法在圖像細節上表現較好，從圖6(f)中可以發現，圖像可以較好地突出細節信息，對圖像的輪廓也有很好的體現。從表1的平均梯度可以很客觀地體現出來。

(2)本文算法融合的圖像整體信息表現豐富，且完整地表現了源圖像的信息。表1的互信息值可以體現這一點。說明本文算法可以極大地保留源圖像的信息。

表1各融合算法性能評價指標

評價指標融合算法 Contourlet算法小波變換算法加權融合算法本文算法 信息熵5.86895.99725.88235.9138 互信息2.40081.78272.16532.3238 平均梯度2.21073.34172.20323.8589

(3)對于圖像的信息熵指標，從表1來看，各算法的區別并不是很大。從圖6來看，圖像上灰度數量之間較均衡，因此，各算法在實驗所提供的圖像上得到的信息熵都較為接近。

對算法而言，運算時間直接體現了算法的性能。根據算法計算復雜度()(其中表示圖像的像素個數)，本文算法經過了色彩空間變換、對比度金字塔分解、方向濾波器分解等步驟，從而相對其它算法而言復雜度有所提高。各算法的融合時間見表2。

表2各算法融合時間比較(s)

圖像大小 (像素)Contourlet算法小波變換算法加權融合算法本文算法 512×512×21.6631.9590.3612.126

表2的結果表明，本文算法的融合時間較長，特別是當圖像較大時，融合時間也會更長。

7.2 平移、尺度變化實驗

針對具有平移和尺度變化的圖像之間的實驗如圖7，其中圖7(a)與圖7(b)之間存在平移關系，圖7(c)和圖7(d)之間存在尺度變化的關系。實驗首先利用SURF算法和二次雙向匹配對圖像進行配準，然后對圖像進行平面坐標仿射變換[1]。最后利用本文算法對圖像進行融合，結果如圖8所示，其中圖8(a)為平移的融合結果，圖8(b)為尺度變化的融合結果。

圖 7 平移、尺度實驗源圖

圖 8 融合結果

觀察圖7(a), 7(b)和圖8(a)可以發現，本文算法對平移關系的圖像之間的融合具有連續性，并在融合中增強了圖像的細節(圖8(a)的埃菲爾塔中部的亮點體現了細節，因亮點在圖7(a)沒有，圖7(b)中有)。對比圖7(c), 7(d)和圖8(b)，也可以發現，本文算法對尺度變化的圖像之間也具有良好的融合效果。

觀察以上實驗，同時還可以發現，實驗源圖之間還具有一定的小角度的旋轉關系，在拼接融合中可以很好地解決。但本文算法在對具有較大旋轉角度的圖像之間的融合，效果不佳，因此本文今后將重點研究解決較大旋轉角的圖像之間的融合。

7.3 多幅拼接實驗

本實驗采用4幅連續的圖像對現實場景的全景圖拼接展開驗證。首先，利用相機(采用手機)拍攝4幅連續的含重復場景的圖像，如圖9。再利用SURF算法結合二次雙向匹配，對圖像進行配準，并完成對圖像的平面坐標下的變換。最后利用本文算法對4幅圖像進行融合拼接，結果如圖10(a)。在實際應用中，只需獲取拼接圖像中有用的部分，因此將圖10(a)進行裁剪，即可獲得所要求的全景圖像，如圖10(b)。

經過實際場景融合實驗可以發現，本文算法對現實場景圖像具有良好的融合效果，融合結果非常符合人眼的視覺效果。現有的全景圖應用軟件包括手機或數碼相機可以實現全景拍照的功能，但大都是廣角圖，圖像中的對象會有扭曲的現象，并且全景圖的高度或寬度有限。而本文算法可以很好地解決以上問題，并且經實踐證明，本文算法具有廣泛的應用價值。

圖 9 拼接源圖

圖10 圖像拼接結果

8 結束語

在研究各種圖像融合算法的基礎上，本文針對全景圖拼接的特點，提出利用Contourlet變換結合對比度金字塔分解的圖像融合算法。實驗證明，本文的算法對多聚焦圖像融合處理具有較好的融合效果。此外，現實場景的全景圖拼接實驗，充分說明了本文算法可以很好地利用Contourlet變換的輪廓特性，展示圖像的細節信息，很好地過渡重合區域。因此，利用本文所提的算法可以較好地實現全景圖的拼接，得到較好的拼接效果，具有較高的應用價值。不過，由于算法的復雜度相對其它算法有所提高，導致運算時間也有所增加，并且對較大旋轉角度的圖像之間的融合效果欠佳，所以在算法優化方面有待進一步的改進。

[1] 劉衛光. 圖像信息融合與識別[M]. 北京: 電子工業出版社, 2008: 2-105.

[2] Barbara Z and Jan F. Image registration methods: a survey[J]., 2003, 21(11): 977-1000.

[3] 張德祥, 張晶晶, 吳小培, 等. 基于Directionlets變換的偏振圖像融合[J]. 電子與信息學報, 2011, 33(12): 2795-2800.

[4] Burt P J and Adelson E H. A multiresolution spline with application to image mosaics[J]., 1983, 2(4): 217-236.

[5] Brown M and Lowe D G. Automatic panoramic image stitching using invariant features[J]., 2007, 74(1): 59-73.

[6] Xu Han and Jiang Tong-bin. Multi-source remote sensing image fusion algorithm based on combined wavelet transform and HIS transform[J]., 2012, 7(18): 392-400.

[7] Yang Shao-qing, Lin Hong-wen, Zhang An-qing,. A color image fusion method using discrete wavelet frames[C]. Proceedings of 2011 International Conference on Electronic and Mechanical Engineering and Information Technology, Harbin, China, 2011: 2807-2810.

[8] Kaur A and Khullar S. Image fusion using HIS, PCA and wavelet technique[J]., 2013, 2(2): 92-94.

[9] Do M N and Vetterli M. The Contourlet transform: an efficient directional multiresolution image representation[J]., 2005, 14(12): 2091-2106.

[10] He Zhi-wei, Huang Guan-ren, Liu Yuan-yuan,. Visual object tracking based on the Contourlet transform[C]. Proceedings of the 2012 7th IEEE Conference on Industrial Electronics and Applications, ICIEA, Singapore, 2012: 1768-1771.

[11] An Zhi-yong, He Xue-rui, Zhao Feng,. Image retrieval based on the Contourlet transform and local binary pattern[J]., 2012, 4(6): 323-330.

[12] Liu Hui. Image fusion method based on non-subsampled Contourlet transform[J]., 2012, 7(12): 2816-2822.

[13] Shen Yu, Ren En-en, Dang Jian-wu,. A nonsubsampled Contourlet transform based medical image fusion method[J]., 2013, 12(4): 749-755.

[14] Herbert B, Tinne T, and Luc V G. SURF: speeded up robust features[C]. Proceedings of European Conference on Computer Vision, Graz, Austria, 2006, 1: 404-417.

[15] 馮政壽, 王美清. 基于Harris與改進SIFT算法的圖像匹配算法[J]. 福州大學學報(自然科學版), 2012, 40(2): 176-180.

[16] Toet A, Van RL J, and Valeton J M. Merging thermal and visual images by a contrast pyramid[J]., 1989, 28(7): 789-792.

[17] 金海燕, 劉芳, 焦李成. 基于多尺度對比度塔和方向濾波器組的圖像融合[J]. 電子學報, 2007, 35(7): 1295-1300.

[18] He Dong-xu, Meng Yu, and Wang Cheng-yi. Contrast pyramid based image fusion scheme for infrared image and visible image[C]. Proceedings of International Geoscience and Remote Sensing Symposium (IGARSS),Vancouver, BC, Canada, 2011: 597-600.

[19] Bamberger R H and Smith M J T. A filter bank for the directional decomposition of images: theory and design[J]., 1992, 40(4): 882-893.

[20] 余先川, 裴文靜. 針對不同融合算法的質量評價指標性能評估[J]. 紅外與激光工程, 2012, 41(12): 3416-3422.

黃立勤： 男，1973年生，博士，副教授，研究方向為圖像處理與通信、計算機網絡通信.

陳財淦： 男，1988年生，碩士生，研究方向為圖像處理與通信.

Study on Image Fusion Algorithm of Panoramic Image Stitching

Huang Li-qin*Chen Cai-gan

(,,350108,)

In order to achieve smooth and continuous panorama stitching effect, an image fusion algorithm which based on contrast pyramid and combines color space conversion and Contourlet transform is proposed by considering the characteristics of panorama stitching. Firstly, luminance information of images is calculated using HSI transform. Then contrasting pyramid based Contourlet transform is used to decompose luminance information to get sub-band information of images. Finally, images are reconstructed by fusing different sub-band’s information. Experimental results show that the proposed algorithm which leverages the contour features of Contourlet transform and the detail information of images could achieve good effects on panorama stitching fusion.

Image stitching; Image fusion; Contourlet transform

TP391

A

1009-5896(2014)06-1292-07

10.3724/SP.J.1146.2013.01220

黃立勤 hlq@fzu.edu.cn

2013-08-13收到，2013-12-13改回

國家自然科學基金(61103175)，福建省科技計劃項目(2011H0027)和福建省自然科學基金(2012J01268)資助課題