基于Pansharp模型色彩高保真優化的高分遙感影像融合方法

常學立，郭鑫軼，嚴 盟

(湖北工業大學 計算機學院，湖北 武漢430068)

0 引言

在遙感數據應用領域中，道路檢測、水體提取、路徑規劃等多個方面的應用都要求圖像既有高空間分辨率又兼有高光譜分辨率的特性，而遙感影像的空間分辨率與光譜分辨率是一對“矛盾”，若要獲得高空間分辨率影像，則該影像的光譜信息保真度就不會很高；相反，若要獲得高光譜分辨率影像，則該影像的空間信息融入度就不夠。當前大多對地觀測遙感衛星同時搭載全色載荷和多光譜載荷，其中全色載荷具有高空間分辨率的特點，多光譜載荷具有高光譜成像獲取的能力，在后期數據處理中將全色載荷獲得的高空間分辨率全色影像和多光譜載荷獲得的高光譜分辨率多光譜影像進行融合，可以兼顧高空間分辨率與高光譜保真度的特點，從而提高遙感數據應用效能。

傳統遙感影像融合算法中基于空間域的方法較多，基于空間域的遙感影像融合方法是直接在像素級別上進行運算，常用的算法有Pansharp算法[1]、IHS算法[2-3]、Brovey算法[4-5]和SFIM算法[6-7]等。Pansharp算法是根據全色影像與多光譜影像之間的關系，利用最小二乘法求出調制解調系數，該方法具有良好的空間信息保持度但存在局部光譜畸變的問題；Wei等[8]利用Pansharp模型的特性，將該融合算法巧妙地運用在醫學圖像處理方面，對PET/CT圖像進行融合，達到了很好的效果；IHS算法是將影像從RGB色彩空間轉換到IHS色彩空間，然后用全色影像替換I分量，逆變換到RGB空間，該方法同樣存在光譜畸變的問題；王瀛等[9]將IHS、PCA、小波變換3種融合算法相結合，利用各個算法的優勢，最大程度地減少替換成分相關性不高造成的光譜扭曲問題，取得了較好的融合效果；SFIM算法是將全色影像鄰域濾波結果作為模擬全色影像，然后再根據融合模型進行融合，該方法存在空間信息融入度不足的問題；王密等[10]提出了一種自適應高斯濾波與SFIM模型相結合的全色多光譜影像融合方法，通過高斯濾波得到的模擬全色影像來替換鄰域濾波得到的模擬全色影像，彌補了SFIM算法空間信息融入度不足的缺點；Brovey算法是一種將全色影像波段與低分辨率彩色影像各波段相乘得到融合影像的方法，該方法存在嚴重的光譜畸變；林志壘等[11]提出了一種改進的Brovey變換方法，針對傳統Brovey變換融合存在的光譜信息丟失及光譜扭曲等問題，引入自適應加權平均對其進行改進，能有效地減少融合過程中光譜信息的損失和畸變。

通過以上闡述和分析，可以發現傳統融合方法只能在光譜保真度或空間信息融入度中的某個方面有較好的效果，針對此現象，不同學者對傳統融合算法進行了改進，使其兼顧高空間信息融入度與高光譜信息保真度的特點。本文也是從這個角度出發，提出了一種基于Pansharp模型，利用IHS變換計算模擬全色影像的遙感影像融合方法，通過IHS變換可提高圖像的色彩保真度，解決了融合結果出現光譜畸變的問題，從而可以使圖像在光譜保真度和空間信息融入度2個方面都有很好的表現，以下將對本文方法進行詳細介紹。

1 基于Pansharp模型色彩高保真優化的高分遙感影像融合方法

1.1 Pansharp算法分析

Pansharp融合算法是基于最小二乘法對參與融合的原始多光譜影像、全色影像與融合后的多光譜影像、全色影像之間的灰度值關系進行最佳匹配的方法，是采用統計的方法來解決融合過程標準化和自動化問題的方法[12]。Pansharp模型為：

(1)

式中，x,y為圖像像素的坐標點；FusedBandi為融合后圖像的第i波段；Multii為多光譜圖像的第i波段；PanOrig為原始的全色影像；PanSyn為全色影像和多光譜影像根據最小二乘法計算出的模擬全色影像，用于消除多光譜影像的空間信息以及全色影像的光譜信息。

Pansharp融合算法有很好的空間信息融入度，但計算出的模擬全色影像不足以消除全色影像的光譜信息，從而導致融合影像產生光譜畸變的問題，因此本文提出了一種可有效地消除全色影像光譜信息的方法，將新計算出的模擬全色影像代入Pansharp融合模型中，可以得到具有高空間分辨率與高光譜保真度的融合影像，解決了Pansharp算法導致的光譜畸變問題。

1.2 改進策略

Pansharp模型的特點在于：如果模擬全色影像具有與多光譜影像相似的空間分辨率，且具有與全色影像相似的光譜分辨率，則利用該模型計算出的融合影像將具有多光譜影像光譜信息以及全色影像空間信息的特點，因此在模擬全色影像計算方法上加以改進，使其在消除多光譜影像空間信息的同時還可進一步地消除全色影像的光譜信息是本文方法改進的重要方向。本文算法流程如圖1所示。

首先以全色影像為參考影像，對同區域內的多光譜影像進行配準，使得兩圖中同一空間位置的點對應起來；然后將多光譜影像通過IHS正變換計算出的I分量歸一化得到模擬全色影像，用于消除多光譜影像的空間信息以及全色影像的光譜信息；最后依照Pansharp模型對全色影像、多光譜影像以及計算出的模擬全色影像進行融合即可獲得高分辨率多光譜影像。

1.3 本文方法

1.3.1 影像配準

對遙感影像進行配準，主要目的是將不同時間、不同視角或不同傳感器下捕獲到的相同場景中的2幅或多幅影像(參考影像和待配準影像)對準到共同空間軸[13]。在遙感領域，全色載荷獲取的影像相較于多光譜載荷獲取的影像有著較高的空間分辨率，并且由于傳感器以及視點的不同導致獲取的影像存在點對點之間的差異，如果不進行配準，則全色影像與多光譜影像在相同坐標空間下信息的不一致會導致融合影像融合了不同坐標下的空間信息，因此在影像融合前需要進行影像配準，使得全色影像與多光譜影像對應于空間同一位置的點一一對應起來，從而達到增強信息融合的目的。本文采用SIFT[14-15]算法以全色影像為參考影像對多光譜影像進行配準，首先利用雙線性插值算法對多光譜影像上采樣，使其具有與全色影像相同的空間分辨率；然后通過特征點提取與特征點匹配確定圖像變換模型；最后根據圖像變換模型對圖像進行變換插值計算出配準后的多光譜影像。整體流程如圖2所示。

1.3.2 模擬全色影像計算

在實際條件下，Pansharp模型很難獲得理想的模擬全色影像，導致多光譜影像與全色影像的融合結果存在光譜畸變的問題。本文提出的新模擬全色影像計算方法可極大程度上避免融合影像光譜信息丟失，達到色彩高保真的效果。

IHS變換用全色影像作為新的I分量替換IHS坐標系下原始I分量，然后再逆變換至RGB坐標系中得到融合影像，該方法具有良好的空間信息融入度。只替換I分量就可以使影像融入全色影像的空間信息，由此可見，I分量可以用來表示全色影像的空間信息，因此本文采用IHS正變換獲得模擬全色影像以此提高融合影像的光譜保真度。模擬全色影像計算步驟如下：

① 取得以全色影像為參考影像配準后的多光譜影像。

② 對配準后的多光譜影像進行正變換獲取I分量，計算公式如式(2)所示，其中R，G，B分別為3個通道的像素值組成的向量，I為IHS坐標系下I分量組成的向量，V1,V2為中間變量：

(2)

③ 利用式(3)對I分量進行歸一化，計算出模擬全色影像Inew，其中gray為目標圖像的最大灰度值，Imax，Imin分別為原I分量中的最大最小值，此時，模擬全色影像就有著與原始多光譜影像相似的空間分辨率和全色影像相似的光譜分辨率：

(3)

根據上述步驟計算出模擬全色影像，如圖3所示。

由圖3可以看出，一方面，模擬全色影像的空間分辨率明顯低于全色影像的空間分辨率且與多光譜影像的空間分辨率基本相同；另一方面，模擬全色影像的光譜分辨率與全色影像保持一致。因此本文方法獲得的模擬全色影像非常適合Pansharp模型，它可以很好地消除多光譜影像空間分辨率和全色影像光譜分辨率，讓融合影像能夠兼顧高空間分辨率和高光譜保真度的特性。

(a) 原始多光譜影像

1.3.3 影像融合

影像融合是按一定規則將多光譜影像和全色影像進行融合從而獲得高空間分辨率多光譜影像的過程。本文采用的是Pansharp融合模型，該模型主要利用模擬全色影像保留全色影像的空間信息以及多光譜影像的光譜信息，以此獲得高空間分辨率和高光譜保真度的融合影像。在上述步驟中已經計算獲得了配準后的多光譜影像以及全色影像，并且根據本文方法計算出了新模擬全色影像，因此通過式(4)即可計算融合影像每個波段的像素值，最終按照多光譜影像波段的排列順序對每個波段的計算結果進行組合即可得到融合影像：

(4)

式(4)在式(1)的基礎上替換了模擬全色影像的計算方法，其中x,y為圖像像素的坐標點；i表示當前為第i波段；FusedBandi為融合后影像的第i波段；Multi為配準后的多光譜影像；Panorig為原始全色影像；PanSyn_new為本文方法計算出的新模擬全色影像。

2 實驗結果與分析

2.1 實驗數據

本文采用高分辨率多模成像衛星(高分多模衛星)數據作為實驗驗證數據，高分多模衛星是《國家民用空間基礎設施中長期發展規劃(2015—2025年)》中分辨率最高的光學遙感衛星，也是我國第一顆優于0.5 m分辨率敏捷智能遙感衛星，該衛星搭載了1臺分辨率全色0.5 m/多光譜2 m的高分辨率光學相機。高分多模衛星傳感器參數如表1所示。

表1 高分多模衛星傳感器參數

2.2 算法比較與分析

本文方法在Pansharp算法以及IHS算法的基礎上提出改進策略，為了證明該方法的有效性，實驗選取Pansharp算法、IHS算法與本文方法進行比較，地物為山時不同融合方法與本文融合方法融合效果的對比結果如圖4所示，地物為房屋時的不同融合方法與本文融合方法融合效果的對比結果如圖5所示。

(a) 原始多光譜影像

(a) 原始多光譜影像

圖像融合質量評價包括空間質量、多光譜圖像色彩保真度2個方面，評價方法分為主觀評價和客觀評價[16-17]兩大類。從主觀上看，3種算法的融合效果與原始多光譜影像相比空間分辨率均得到了改善，提高了影像輪廓信息并且保留了影像的光譜特性。客觀上選取6個評價指標對融合結果進行質量評價，分別是平均梯度(Average Gradient，AG)、相關系數(Correlation Coefficient，CC)、信息熵(Information Entropy，IE)、光譜保真度指數(Spectral Fidelity，SF)、結構相似性指數(Structure Similarity，SS)以及通用像質計(Universal Image Quality Indicator，UIQI)[18-19]。平均梯度可以反映圖像的清晰度，平均梯度越大影像越清晰；相關系數反映2幅影像之間光譜特征的相似程度，相關系數越高，光譜的保真度越高，相關系數的理想值為1；信息熵是一種基于信息量的評價指標，信息熵值越大，表明影像攜帶的信息量越大，影像輪廓越清晰；光譜保真度指數是一種基于光譜信息保真度的評價指標，光譜保真度越大說明影像的光譜信息保持的越好；結構相似性指數是指融合后的影像與原始多光譜影像的相似度，指數越大，相似性越高；通用像質計是對影像綜合質量的評價，指數越大表明影像融合效果越好。針對不同融合算法的評價指標如表2和表3所示，表2對應圖4中的融合結果，表3對應圖5中的融合結果。

表2 地物為山時不同融合算法質量評價表

表3 地物為房屋時不同融合算法質量評價表

平均梯度和信息熵可以很好地表示空間信息的融入度。就平均梯度而言，Pansharp融合算法的平均梯度不管地物是山還是房屋時都處于最高位置，效果最好，本文方法次之，效果居中；就信息熵而言，在地物為山時，本文方法信息熵最大，比Pansharp融合算法稍高，效果最好，IHS算法效果較好。因此Pansharp算法和本文算法的空間信息融入度最高，效果最好，而在地物為房屋時，Pansharp融合算法的信息熵最高，效果最好，本文方法與IHS算法相差不大，效果居中。

相關系數和光譜保真度指數可以很好地表示光譜信息的保真度。就相關系數而言，各種算法相差不大；就光譜保真度指數而言，地物為山時，本文方法效果最好，Pansharp算法居中，IHS算法效果較差，地物為房屋時，IHS算法效果最好、本文算法效果居中，Pansharp算法效果最差。

結構相似性指數可以用來表示融合結果與原始多光譜影像結構之間的相似度，通用像質計可以用來評價融合影像的總體質量。地物為山時，結構相似性指數和通用像質計表現為相同的結果，IHS算法效果最好，本文算法效果居中，Pansharp算法效果最差，而地物為房屋時，本文方法效果最好，Pansharp算法效果居中，IHS算法效果最差。

2.3 實驗結論

本文對IHS正變換獲得的I分量進行歸一化處理來獲得模擬全色影像；然后根據Pansharp模型特性將得到的模擬全色影像代入求得融合影像。不論從主觀還是客觀評價2個方面都可以看到本文方法在多個方面表現出的融合效果都要優于傳統融合算法，能夠很好地解決IHS算法和Pansharp算法出現的光譜畸變問題，并合理利用Pansharp模型的特性，在保證融合結果有良好光譜信息保真度的同時還能夠融入全色影像的空間信息，得到具有高空間分辨率和高光譜分辨率的融合影像。

3 結束語

本文首先介紹了Pansharp算法基本原理，指出了Pansharp算法計算出的模擬全色影像不足以消除全色影像光譜信息導致的光譜畸變問題，并就如何提高光譜保真度來解決光譜畸變的問題提出了改進方向。然后，提出了一種基于Pansharp模型的改進高分遙感影像融合方法，該方法通過利用IHS變換計算新的模擬全色影像，達到了提高融合圖像色彩高保真度的目的，優化了空間信息融入度不夠與光譜畸變的問題。最后，通過高分多模衛星全色和多光譜影像數據對本文方法進行了實驗驗證，并從主觀和客觀2個方面對融合結果進行了評價，實驗結果表明本文方法除了在色彩保真度方面具有較好的效果外，還能很好地融入全色影像的空間信息，達到了較好的融合效果。