基于多特征的高光譜與全色圖像融合方法

張筱晗，楊 桄，楊永波，黃俊華

?

基于多特征的高光譜與全色圖像融合方法

張筱晗，楊 桄，楊永波，黃俊華

（空軍航空大學，吉林 長春 130022）

高光譜分辨率的高光譜圖像與高空間分辨率的全色圖像融合可以綜合兩類圖像的優勢。將全色圖像與高光譜部分波段分別融合，再合成假彩色圖像是融合的有效思路。引進多分辨率分析框架，首先對源圖像進行小波變換，得到低頻系數與高頻系數；然后從中提取平均梯度特征和邊緣特征分別作為兩類系數融合的依據；最后將融合后的系數經過小波逆變換還原為各波段融合圖像，進行假彩色合成得到最終的彩色融合圖。實驗結果表明，與PCA、HIS等經典方法相比，本文方法不僅能夠在保證融合效率前提下有效保持光譜信息，提高融合圖像的空間分辨率，融合圖像的標準差、平均梯度、信息熵等各項指標也均優于其他融合方法。

高光譜；全色圖像；圖像融合；多分辨率分析；平均梯度；邊緣特征

0 引言

高光譜技術代表了遙感領域的發展前沿。高光譜傳感器能夠獲取地物豐富的光譜信息，但同時也犧牲了一定的空間分辨率，降低了圖像的可觀性[1]。將高光譜圖像與空間分辨率較高的全色圖像進行融合，不僅能夠將全色圖像優良的空間特性賦予高光譜圖像，還將高光譜豐富的光譜信息賦予全色圖像，是提高兩類圖像可觀性的有效途徑[2]，有利于目視解譯等后續處理的進行，具有較強的實用價值。

目前各類融合算法致力于提高融合圖像的質量、降低融合時間的研究。在選擇融合算法時，要充分考慮高光譜圖像數據量大、波段間相關性強的特性以及特定的融合需求。針對高光譜圖像融合的經典方法有葛志榮等[3]改進的基于特征變換的主成分分析（PCA）融合法，Xavier Otazu、Myungjin Choi等[4-5]改進的基于顏色空間變換的HIS變換法以及基于多分辨率分解的空頻域變換方法等。其中，Piella等[6]提出的多分辨率圖像融合框架，將圖像的多分辨率分解與融合規則相結合，在紅外與可見光圖像融合等多源圖像融合實踐中取得良好的效果。本文將該框架引用到高光譜與全色圖像融合中，并進行改進，提出了基于多特征的適合高光譜與全色圖像融合的多分辨率融合方法。首先對源圖像進行配準等處理，選擇參與融合的高光譜波段；然后進行多分辨率分解，分別將全色圖像與選出的各波段兩兩進行融合以保留高光譜圖像的光譜信息；在確定融合規則時，為保留兩類圖像的紋理信息及全色圖像較高的空間分辨率，分別提取兩類圖像的平均梯度特征以及全色低頻圖像的邊緣特征，用來指導兩類圖像低頻系數和高頻系數的融合。最后對融合后的低頻系數和高頻系數進行多尺度逆變換，得到各波段的融合圖像，利用它們合成彩色圖像，得到最終的融合結果。

1 方法框架與步驟

1.1 方法框架

利用本文方法進行高光譜與全色圖像融合的方法框架如圖1所示。

圖1 本文算法框架圖

1.2 融合波段選擇與源圖像配準

高光譜圖像波段眾多，波段間存在較強的相關性，在融合時為避免不必要的工作量，實現要進行波段選擇實現數據降維。波段選擇的數量取決于實際需要，本文以利用高光譜圖像與全色圖像合成高質量假彩色圖像的應用為例來進行說明。彩色圖像由R、G、B三個通道分量構成，因此需要選擇高光譜3個波段分別與全色圖像進行融合。選擇波段組合時應遵循波段包含的信息量大、波段間相關性低的原則。利用文獻[7]所提出的波段選擇方法，首先根據波段間相關系數將所有波段分為3組，同組內波段相關性強、組間波段相關性弱；然后以標準差指標衡量波段信息量，選擇各組標準差最大的波段參與融合。具體方法參考文獻[7]。假設選出的3個波段圖像分別為1、2、3，全色圖像設為4。

為實現高光譜圖像和全色圖像的像素級融合，還要對源圖像進行圖像配準，實現圖像上各地物點的一一對應。

1.3 多分辨率分析

在此選用的多尺度多分辨率分析工具為小波變換[8]。小波變換可以對圖像進行多層分解，每層分解都可形成一幅低頻近似圖像與3個方向的高頻細節圖像，由于總體數據量不會降低，因此減少了光譜信息的損失；各層的融合計算可并行，在提高計算速度的同時減少了對存儲空間的需求；此外小波變換運算相對簡單，能夠降低融合所需的時間。

1.4 平均梯度特征提取

圖像的細小反差與紋理可以用平均梯度來表述。平均梯度指圖像的邊界或影線兩側附近灰度值的變化率，反映了圖像在多維方向上密度變化的速率，表征圖像的相對清晰程度[9]。平均梯度越大，表示圖像越清晰，目視效果越好。平均梯度特征表達式如下：

1.5 邊緣特征提取

由于高光譜圖像光譜能量有限，圖像中地物邊緣不夠清晰，因此提取全色圖像小波分解后的各低頻系數圖像的邊緣特征來指導融合。由于Prewitt算子構造簡單，能夠抑制噪聲，檢測效果較為精細[10]，本文選用Prewitt算子，梯度幅值表達式：

式(2)可簡化為：

式中：p、p表示3×3像素窗口的中心像素(,)在方向和方向上的梯度。(,)與3×3的梯度模板中心點對應，該模板為：

由此得到邊緣信息二值圖X，對X進行形態學膨脹，得到擴大邊緣信息的二值圖Y。

1.6 融合規則

1.6.1 低頻系數融合規則

小波變換得到的低頻圖像包含了源圖像絕大部分的能量，同時也蘊含源圖像的大量互補信息。融合互補信息、保留圖像細微差別是低頻系數融合的關鍵。加權平均法或只利用某幾幅圖像低頻信息的偏袒法不能很好地達到融合目的，在此以平均梯度為自適應加權指標，指導高光譜與全色圖像低頻系數的融合。高光譜第幅圖像與全色圖像對應的低頻系數融合時，賦予高光譜圖像與全色圖像的權重為：

由此得到的低頻圖像融合公式為：

以平均梯度作為自適應加權的指標，對低頻圖像每一像元依次處理，平均梯度大的圖像在融合中占的比重大，可以充分保留紋理豐富、邊緣清晰的圖像波段細節信息，提高了融合圖像的信息量，從而增強了圖像的目視效果。

1.6.2 高頻系數融合規則

小波變化后得到的高頻圖像，代表了圖像在水平、垂直、對角3個方向上的突變信息，包括地物邊緣、異常目標信息等。因此高頻圖像的融合將直接影響到融合圖像目標的視覺效果。在實施高頻系數融合時，通常采用的是保留絕對值較大系數的方法，但是該方法對圖上所有的點“一視同仁”，沒有區分目標邊緣與非邊緣的區別。因此，本文提出提取全色各層低頻系數圖像的邊緣信息以指導高頻系數融合的方法，充分考慮多幅源圖像的邊緣信息，保證了目標邊緣的完整性。具體方法如下：

首先利用Prewitt算子得到全色圖像每層小波分解低頻圖像中包含著邊緣信息的圖邊緣形態膨脹圖Y，其中對第一層小波分解得到的低頻圖像進行邊緣特征提取得到的1如圖2所示。

圖2 邊緣特征形態膨脹圖Y1

圖3 高頻系數取大圖

當對應位置高頻系數符號不一致時，融合公式為：

2 實驗驗證

2.1 實驗條件

通過Matlab軟件對本文算法的有效性進行實驗驗證。實驗所使用的數據為德國ROSIS光譜儀獲取的高光譜遙感影像，獲取地點為意大利的帕維亞大學，共包含103個波段；高空間分辨率的圖像從同時期同場景的谷歌地球上獲取，經過配準并處理為全色圖像。配準后的空間域圖像大小為340×610。根據高光譜圖像波段間相關系數差異將所有波段分為1～29、30～84、85～103共3組，再計算各波段標準差，選擇各組信息量最大的第8、48、92波段參與融合。3個波段灰度圖像如圖5(a)～(c)所示；利用這3個波段代表紅、綠、藍3個通道分量值，可以得到一幅假彩色圖像如圖5(d)所示；圖5(e）則展示了參與融合的高空間分辨率全色圖像。

融合圖像應當盡量保留高光譜圖像的光譜信息以及全色圖像的空間信息。

圖5 所用數據部分波段示意圖

2.2 實驗結果

根據文獻[2]的理論，選用小波基bior4.7進行3層小波分解。為比較本文算法（簡稱MF），還對經典的融合規則為低頻系數采用平均加權法、高頻系數采用絕對值取大法的基于小波變換的方法[12]（簡稱DWT）、基于主成分變換的PCA方法（用全色圖像代替PCA變換后的第一主成分）[6]以及基于顏色空間變換的HIS方法進行了仿真實驗，實驗結果分別如圖6(a)～(c)所示。利用本文方法提取平均梯度、邊緣信息分別對低頻系數和高頻系數進行融合，經過小波逆變換及假彩色合成得到結果如圖6(d)所示。

2.3 結果分析

分別從主觀、客觀兩方面來評價這4種方法得到的融合結果圖像質量。

圖像質量的主觀評價，即目視判讀效果評判，主要依據人眼對圖像的感受對圖像進行評價[13]。首先，從光譜信息保留角度，融合圖像色彩越接近高光譜3波段合成的假彩色圖像說明光譜信息保留越好，通過觀察可以看出，本文方法與DWT方法得到的結果色彩與原假彩色圖像最相似，而PCA、HIS方法均存在一定的色彩變形，說明在光譜信息保持方面，小波變換的方法要優于這2種方法；在空間信息方面，除了HIS方法外，另外3種方法中空間分辨率較高光譜源圖像均有一定的提高。其中，提取部分細節圖像如圖7所示，可以發現本文方法和PCA方法得到的融合結果圖消除了地物邊緣的鋸齒，邊緣表現最清晰。

圖6 融合實驗結果圖

圖像質量的客觀評價，即通過一定指標進行定量分析，評判圖像質量高低。本文選取了標準差（standard deviation，SD）、平均梯度（average gradient，AG）、信息熵（entropy of information，EI）、圖像清晰度等指標（figure definition，FD）[14-15]進行評價。這4類指標分別反映了圖像的信息量、紋理細節豐富程度以及清晰程度，指標越大說明圖像質量越好。由于4類指標都是針對灰度圖像，因此需要將4幅合成彩色圖像轉換為灰度圖像再進行指標計算。此外還統計了4類算法的融合計算時間，結果如表1所示。

從表中可以看出，前4項指標中本文方法最高，PCA方法其次，說明本文方法與PCA得到的融合結果空間信息最豐富對比度最高，這與主觀評價得到的結論一致。由于融合規則更簡單，DWT方法的融合時間要比本文方法快0.3285s，但是本文方法計算時間仍要短于PCA、HIS方法。綜合運算效率、融合效果等各類指標，本文方法在幾類方法中表現最佳。

圖7 融合結果細節圖

表1 融合結果客觀評價表

3 結論

將光譜信息豐富的高光譜圖像與高空間分辨率的全色圖像進行融合，是多源傳感器圖像融合理論的重要組成部分。采用小波變換為多分辨率分析工具，提出用平均梯度為自適應加權指標進行低頻系數融合、全色圖像邊緣信息來指導高頻系數融合的方法，能夠很好地保留兩類圖像的信息，減少光譜空間的變形，又保證了空間信息能夠很好的傳遞到融合圖像中，使融合后的圖像具有良好的視覺特性，有利于目視解譯等圖像后續分析處理工作的進行。同時本文方法運用靈活，不限于合成假彩色圖像的單一應用，可以根據需要選擇不同數量的高光譜波段參與融合，若省略降維步驟、將高光譜全部波段都用于融合，則可以得到空間分辨率提升的高光譜數據。

[1] 張兵, 高連如. 高光譜遙感圖像分類與目標探測[M]. 北京: 科學出版社, 2011.

ZHANG Bing, GAO Lianru.[M]Beijing: The Science Publishing Company, 2011.

[2] 王克成. 基于小波理論的超光譜圖像融合研究[D]. 哈爾濱: 哈爾濱工程大學, 2008: 34-58.

WANG Kecheng. Research on Hyperspectral Image Fusion Based on Wavelet Theory[D]. Harbin: Harbin Engineering University, 2008: 34-58.

[3] 葛志榮, 王斌, 張立明. 一種基于殘差的遙感圖像融合新方法[J]. 中國圖像圖形學報, 2007, 12(1): 135-140.

GE Zhirong, WANG Bin, ZHANG Liming. A new scheme for fusion of remote sensing images based on residual error[J]., 2007, 12(1): 135-140.

[4] Maria Gonzalez Audicana, Xavier Otazu, Octavi Fors. A low computational-cost method to fuse IKONS images using the spectral response function of its sensors[J]., 2006, 42(7): 1683-1690.

[5] Tania Stathaki. I:[M]. Elsevier Singapore Pte Ltd., 2014.

[6] PIELLA G. A general framework for multiresolution image fusion: from pixels to regions[J]., 2003, 4(4): 259-280.

[7] 楊金紅, 尹球, 顧松山. 城區高光譜遙感數據假彩色波段組合研究[J]. 南京氣象學院學報, 2005, 28(3): 289-296.

YANG Jinhong, YIN Qiu, GU Songshan. Band combination research of city region hyperspectral remote sensing data in false color synthesis[J]., 2005, 28(3): 289-296.

[8] 袁金樓, 吳謹, 劉勁. 基于NSCT與DWT的壓縮感知圖像融合[J]. 紅外技術, 2015, 37(11): 957-961.

YUAN Jinlou, WU Jin, LIU Jin. Image fusion based on compressed sensing of NSCT and DWT[J]., 2015, 37(11): 957-961.

[9] Myungjin Choi. A new intensity-hue-saturation fusion approach to image fusion with a tradeoff parameter[J]., 2006, 44(6): 1672-1682.

[10] 李俊山, 李旭輝. 數字圖像處理[M]. 北京: 清華大學出社, 2010: 168-172.

LI Junshan, LI Xuhui.[M]. Beijing:, 2010: 168-172.

[11] 童濤, 楊桄, 孟強強, 等. 基于邊緣特征的多傳感器圖像融合算法[J]. 紅外與激光工程, 2014, 28(1): 288-29.

TONG Tao, YANG Guang, MENG Qiangqiang, et al. Multi-sensor image fusion algorithm based on edge feature[J]., 2014, 28(1): 288-29.

[12] 孫永明, 吳謹, 劉勁, 等. 基于DWT的高頻系數壓縮感知圖像融合[J]. 紅外技術, 2014, 36(9): 714-719.

SUN Yongming, WU Jin, LIU Jing, et al. Image fusion based on compressed sensing of DWT high frequency coefficients[J].2014, 36(9): 714-719.

[13] 楊桄, 童濤, 陸松巖, 等. 基于多特征的紅外與可見光圖像融合方法[J]. 光學精密工程, 2014, 22(2): 489-497.

YANG Guang, TONG Tao, LU Songyan, et al. Fusion of infrared and visible images based on multi-features[J]., 2014, 22(2): 489-497.

[14] 楊勇, 童松, 黃淑英. 快速離散Curvelet變換域的圖像融合[J]. 中國圖象圖形學報, 2015, 20(2): 220-229.

YANG Yong, TONG Song, HUANG Shuying. Image fusion based on fast discrete Curvelet transform[J]., 2015, 20(2): 220-229.

[15] 許廷發, 李俊濤, 張一舟, 等. 真彩色傳遞雙波段圖像融合[J]. 中國光學, 2014, 7(3): 402-410.

XU Yanfa, LI Juntao, ZHANG Yizhou, et al. True color transfer for dual band image fusion[J]., 2014, 7(3): 402-410.

Hyperspectral and Panchromatic Images Fusion Method Based on Multi-feature

ZHANG Xiaohan，YANG Guang，YANG Yongbo，HUANG Junhua

(,130022,)

Fusion of hyperspectral image with rich spectral information and panchromatic image with high spatial resolution can improve the quality of both two images effectively. It is a good way to choose proper bands of hyperspectral data to be fused with panchromatic image respectively, and the results are used for false color image composition for the fusion of two resources of images. In this paper, multi-resolution analysis frame is taken for fusion. Firstly, wavelet decomposition is carried out to resource images; multi features including average gradient and edge information are extracted from low frequency coefficients of two kinds of images. Then the low frequency coefficient of the fused image is obtained with regional average gradient weight method, while the high frequency coefficient is fused conducted by the edge feature of panchromatic image. Besides, the sigh of frequency coefficient is considered to avoid effect offset. At last, the fusion image of each band is obtained by performing inverse wavelet transforms, and after false color image composition, the fusion image is finally got. The experimental results indicate that the fused image obtained by this method can maintain both the spectral and spatial information effectively and efficiently. Compared with classical methods such as PCA and HIS, the fusion image using this method has the best performance in both subjective and objective evaluation.

hyperspectral image，panchromatic image，image fusion，multi-resolution analysis，average gradient，edge feature

TP751

A

1001-8891(2016)10-0832-05

2016-04-20；

2016-06-03.

張筱晗（1992-），女，山東日照人，碩士研究生，主要從事遙感圖像解譯以及高光譜遙感方向的研究。E-mail：15584175041@163.com。

楊桄（1975-），男，黑龍江省齊齊哈爾人，博士后，教授，主要從事圖像解譯與地理信息應用方面的研究。E-mail：yg2599@126.com。

吉林省科技發展計劃資助項目（20140101213JC）；吉林省教育廳“十二五”科研項目（2015448）。