結合局部能量與邊緣信息的高光譜圖像融合方法*

張筱晗 楊 桄 楊永波 黃俊華

(空軍航空大學 長春 130022)

?

結合局部能量與邊緣信息的高光譜圖像融合方法*

張筱晗 楊 桄 楊永波 黃俊華

(空軍航空大學 長春 130022)

在對高光譜圖像進行融合時，為盡可能保留目標邊緣信息，論文基于小波分解，提出一種結合了梯度以及圖像邊緣特征的多波段圖像融合算法。首先選取融合波段，分別進行小波分解和邊緣特征提取；然后進行融合，低頻系數采用局部能量自適應加權的方法，高頻系數使用圖像邊緣信息指導其融合，并根據系數的正負性分別進行討論以避免效果的抵消；最后通過小波逆變換還原融合圖像。實驗表明，論文方法能有效保留目標的邊緣信息，融合圖像的標準差、信息熵、平均梯度等各項指標均有提高，融合性能優于其他融合方法。

高光譜; 圖像融合; 區域能量; 邊緣信息

Class Number TP751

1 引言

高光譜圖像融合對高光譜圖像的應用有著重要的意義。所謂高光譜圖像融合，是指對高光譜圖像去除冗余、合并互補信息，以利于人工解譯和后續處理的過程[1～2]。通過融合，可以有效降低圖像的數據量，減輕海量數據對后續處理造成的計算壓力。

高光譜圖像融合技術從多光譜圖像融合發展而來，但由于高光譜圖像維數更高，傳統的多光譜融合方法并不一定完全適合高光譜圖像融合。目前的融合算法中，主要有Xavier Otazu、Myungjin Choi等[3～4]改進的基于顏色空間變換的HIS變換法、基于特征變換的融合如葛志榮[5]等改進的主成分分析(PCA)變換融合法以及基于空間-頻率域變換的方法[2,6～9]。HIS變換法從視覺效果上提升融合圖像質量，但會造成光譜失真嚴重；PCA方法著重保持了光譜信息但是空間信息提高方面不甚理想；基于空頻域變換的方法更受青睞。B. Aiazzi、A. Garzelli、F. Nencini等采用金字塔變換對圖像進行分解[7～9]，通過一定規則融合后再進行反變換將多幅子圖像合成一幅圖像或圖像子集，但該方法過程繁瑣，效率不高。此外，在多源遙感圖像融合領域得到廣泛應用的小波變換也被引入高光譜圖像融合。王克成在文獻[8]中提出了小波變換后基于方差加權的方法，陳瀚孜則改進了小波基[2]，提出第二代提升小波融合，這些嘗試都取得了較好的效果。在此基礎上，本文根據目視解譯需要提高圖像目視效果的特定需求對小波變換后的融合規則進行了改進，對于代表源圖像近似信息的低頻部分，采用局部能量自適應加權的方法處理，對于代表了源圖像突變信息的高頻部分，提取低頻圖像邊緣特征指導其融合。實驗證明本文方法能夠很好地保留目標邊緣特征，提升融合質量。

2 基于小波變換的圖像融合理論

基于小波分解的高光譜圖像融合的實現步驟如下：

1) 數據降維。本文選用文獻[10]針對融合提出的聯合偏度-峰度指數(Joint Skewness-Kurtosis figure，JSKF)模型進行降維。為避免降維時的盲目性，減少計算量，首先按照藍光波段(440nm～500nm)、綠光波段(500nm～580nm)、黃光波段(580nm～622nm)、紅光波段(622nm～780nm)、Herschel波段(780nm～1100nm)、近紅外波段(1100nm～2400nm)波長對高光譜的成像波段進行初步分組，在每個子空間上計算JSKF指數，綜合選出值較大的波段，具體方法在此不再敘述。假設選用經過JSKF方法降維后選出的k個波段圖像I1,I2,…,Ik進行融合。

3)邊 緣特征提取[11]。對得到的隔層低頻系數圖像利用Prewitt算子進行邊緣特征提取。

5) 小波逆變換。利用上一步得到的融合圖像F的低頻、高頻系數進行小波逆變換，得到最終的融合圖像F。

3 高光譜圖像融合法則

3.1 低頻系數融合法則

低頻系數包含著源圖像大部分能量，是源圖像的近似。源圖像的大量互補信息也存在于低頻圖像。因此低頻系數的融合注重保留這些互補信息。同時，由于圖像中每一個像元與其周圍的區域有很大關系，因此在考慮像素級融合時應考慮其周圍的像元。在低頻系數融合時，選用區域能量作為自適應加權的測度。

區域能量反映了圖像一定窗口區域的整體亮度。一般來說越清晰的圖像在該窗口表現越活躍，區域能量也就越大，在融合時應加大其權重。區域能量的定義如下：

|Lj,s(m+m′,n+n′)|2

(1)

其中Ej,Ii表示圖像Ii在層分解的低頻圖像以(m,n)為中心、窗口K×L內低頻系數的區域能量，其中w(m,n)為窗口像元能量對應的權重矩陣定義為

(2)

以區域能量指標作為圖像融合的自適應加權，賦予第i幅圖像的權重為

pIi= Ej,Ii(m,n)/[Ej,I1(m+n)+…+Ej,Ii-1(m,n)

+Ej,Ii+1(m,n)+…+Ej,Ik(m,n)]

(3)

LN,F(m,n)= pI1(m,n)LN,I1(m,n)

+pI2(m,n)LN,I2(m,n)

+…+pIk(m,n)LN,Ik(m,n)

(4)

3.2 高頻系數融合法則

小波變化后得到的高頻圖像，代表了圖像在水平、垂直、對角三個方向上的突變信息，包括地物邊緣、紋理等信息。因此高頻圖像的融合將直接影響到融合圖像目標的邊緣效果。在實施高頻系數融合時，通常采用的是提取絕對值較大的系數。但是在實施多幅圖像融合時，每一處僅保留一幅源圖像的信息，會造成信息浪費。因此，本文提出提取邊緣信息以指導高頻系數融合的方法，考慮多幅源圖像的邊緣信息，保證了目標邊緣的完整性。具體方法如下：

首先，提取邊緣信息。利用Prewitt算子對每層小波分解得到的低頻圖像進行邊緣提取。由于各個波段對地物描述能力不同，得到的邊緣二值圖像也不同。將邊緣信息圖記作XI1,XI2,…,XIk。圖1展示了部分波段第一層小波分解得到的邊緣信息圖。

圖1 一層小波分解低頻圖像邊緣信息圖

(5)

圖2 第1層小波分解水平方向高頻系數取大選擇圖

圖3 第1層小波分解水平方向高頻系數最終選擇圖

(6)

最后，根據高頻系數進行討論。小波分解得到的高頻系數有正有負，而由上式得到的分析系數為1或0。若融合時對相同符號的系數進行加權求和，不會影響信息的抵消；若符號不相同，直接進行相加會造成對應位置幅值的抵消，反而削弱了細節信息。而對于高光譜圖像融合來說，由于要融合的波段圖像多，相應位置符號不同的可能性更大。通過對高頻系數取絕對值再確定其符號的方法可以將兩種情況統一起來，即當負的系數比較大時，取負號；正的系數比較大時，取正號。融合公式如式(7)所示。這樣就將邊緣信息融入高頻系數的融合中去。

(7)

4 實驗驗證

4.1 實驗條件

為驗證本文算法的有效性，下面通過實驗進行驗證。實驗所使用的數據為由美國機載可見光紅外成像光譜儀(Airborne Visible Infrared Imaging Spectrometer, AVIRIS)獲取的美國圣地亞哥海軍基地高光譜圖像。該實驗圖像已經過預處理，選取189個波段作為研究對象，圖像大小為175×275。根據先驗判讀，得知圖中停機坪上停有6架飛機，同時圖中還包括道路、房屋等目標。不同波段圖像展示的地物效果不同，存在大量互補信息。

4.2 實驗結果

通過JSKF指數進行自適應子空間的分解和波段選擇，選出參與融合的6個波段，分別為10、44、71、137、167、218波段。將6個波段的灰度圖像如圖4所示。

根據文獻[2]的理論，選用小波基bior4.7進行3層小波分解。分別對低頻系數和高頻系數進行融合，經過小波逆變換得到結果如圖7所示。同時為比較本文算法，還利用經典的基于主成分變換的PCA方法[6]、以方差為自適應加權測度的方差加權法(簡稱VAR)[9]以及低頻系數采用平均加權高頻系數取大處理的取大法(簡稱MAX)得到融合結果，分別如圖5所示。

圖4 6個參與融合的波段

圖5 融合實驗結果圖

4.3 結果分析

下面分別從主觀、客觀兩方面來評價這三種方法得到的融合結果圖像質量。

圖像質量的主觀評價，即目視判讀效果評判，主要依據人眼對圖像的感受對圖像進行評價[12]。從視覺效果上看，除了PCA方法效果較差、沒有突出目標信息外，其余三種融合方法均能保留各波段圖像的基本信息，一定程度上都能夠突出飛機目標的目視效果；從細節上看，VAR方法融合圖中背景平滑，場景的紋理信息有一定丟失，MAX方法背景又過于斑駁，相對本文方法效果最好，6架飛機目標得到較為清晰的表現。為展現重點目標細節，特選取6架飛機的局部放大圖進行對比，如圖6所示。

圖6 融合實驗結果細節圖

圖像質量的客觀評價，即通過一定指標進行定量分析，評判圖像質量高低。本文選取了標準差(σ)、信息熵(SH)、平均梯度(AG)、邊緣強度(EI)、圖像清晰度(FD)等五個指標[14]對四種方法進行評價。指標值越大說明圖像對比度越高，紋理越清晰，效果就越好。四種融合方法的客觀評價指標值如表1所示。

表1 四種方法融合圖像客觀指標評價結果

從表中可以看出，除PCA方法外，另外三種方法在圖像對比度、信息量方面均有較好的表現，尤其是本文方法，在各指標上表現出的融合性能最好，通過計算可以得出，本文方法在標準差、信息熵、平均梯度、邊緣強度以及圖像清晰度方面較VAR方法指標分別提升了7.74%、1.08%、22.35%、20.61%、41.72%，較MAX方法分別提升了11.87%、1.91%、9.08%、10.16%、16.51%。

綜合上述，無論從主觀評價角度還是從客觀評價指標，本文提出的方法在融合性能方面均優于傳統的PCA方法或改進的方法。

5 結語

將高光譜多波段圖像融合，同時保留必要的視覺信息，既克服了數據量大給判讀造成的困難，又使細節信息得以保留，便于分析。本文采用區域能量自適應加權融合低頻系數、邊緣信息指導高頻系數融合的方法，能夠很好的保留各個波段圖像的邊緣信息，使融合后的圖像符合人眼目標判讀的習慣。此外，本文方法也可以用于基于波段子集特征融合的降維處理。但是，高光譜圖像光譜分辨率雖高，但空間分辨率低，這是其在圖像解譯方面的一個“軟肋”。因此，在下一步的研究中，要將高光譜融合同提高空間分辨率結合起來，將多源傳感器融合技術引入高光譜融合，推動高光譜圖像在實際中的應用。

[1] 張兵,高連如.高光譜遙感圖像分類與目標探測[M].北京:科學出版社,2011.

[2] 陳瀚孜.高光譜圖像融合算法研究[D].哈爾濱:哈爾濱工程大學碩士學位論文,2008：4-37.

[3] Maria Gonzalez Audicana, Xavier Otazu and OctaviFors. A low computational-cost method to fuse IKONS images using the spectral response function of its sensors[J]. IEEE Transaction on geoscience and remote sensing,2006,42(7):1683-1690.[4] Myungjin Choi. A new intensity-hue-saturation fusion approach to image fusion with a tradeoff parameter[C]. IEEE Transaction on geoscience and remote sensing,2006,44(6):1672-1682.

[5] A. Garzelli. F. Nencini, Interband structure modeling for Pan-sharping of very high resolution multispectral images[J]. Information Fusion,2005,6(3):213-224.

[6] 葛志榮,王斌,張立明.一種基于殘差的遙感圖像融合新方法[J].中國圖像圖形學,2007,12(1):135-140.

[7] B. Aiazzi, L. Alparone, S. Baronti, and A. Garzelli. Context driven fusion of high spatial and spectral resolution images based on oversampled multi-resolution analysis[J]. IEEE Transaction on geoscience and remote sensing,2002,40(10):2300-231.

[8] 王克成.基于小波理論的超光譜圖像融合研究[D].哈爾濱:哈爾濱工程大學碩士學位論文,2005(1):34-58.

[9] Tania Stathaki. Image Fusion: Algorithms and Applications[M]. Singapore: Elsevier Singapore Pte Ltd,2014.

[10] 郭雷,常威威,付朝陽,等.高光譜圖像融合最佳波段選擇方法[J].宇航學報,2011,32(2):374-377.

[11] 李俊山,李旭輝.數字圖像處理[M].北京：清華大學出社,2010:168-172.

[12] 童濤,楊桄,孟強強,等.基于邊緣特征的多傳感器圖像融合算法[J].紅外與激光工程,2014,28(1):288-29.

Hyperspectral Image Fusion Method Combined With Area Energy and Edge Feature

ZHANG Xiaohan YANG Guang YANG Yongbo HUANG Junhua

(Aviation University of Air Force, Changchun 130022)

In this paper, specific to preserve the edge information of targets in each band of hyperspectral data, a novel multi-band fusion algorithm based on wavelet decomposition combined with areas energy information and edge feature is proposed. Firstly, after band selection, the edge features are extracted from each band and wavelet decomposition is carried out. Then for low frequency coefficients, they are fused by adaptive weighted method based on regional average gradient, while the high frequency coefficient fusion is conducted by using the edge information. Besides, to avoid effect offset, the sigh of frequency coefficient is considered. Finally, the fusion image is obtained by performing inverse wavelet transforms. The experimental results indicate that the fused image obtained by the proposed method has a better subjective visual effect and fusion performance than traditional fusion methods, and the fusion quality index of standard deviation and information entropy has increased effectively.

hyperspectral image, image fusion, area energy, edge information

2016年5月13日,

2016年6月27日

吉林省科技發展計劃資助項目(編號：20140101213JC)；吉林省教育廳“十二五”科研項目(編號：2015448)資助。

張筱晗,女,碩士研究生,研究方向：遙感圖像解譯以及高光譜遙感。楊桄,男,博士后，副教授,研究方向：遙感圖像解譯、地理信息系統。

TP751

10.3969/j.issn.1672-9730.2016.11.011