基于改進的IHS、PCA和小波變換的遙感圖像融合算法*

王 瀛 余嵐旭 王春喜 左 方 王澤浩

（1.河南大學智能網絡系統研究所 開封 475001）（2.河南大學河南省現代網絡技術實驗教學示范中心 開封 475001）（3.河南大學河南省高等學校學科創新引智基地-河南大學軟件工程智能信息處理創新引智基地 開封 475001）（4.河南大學研究生院 開封 475001）（5.河南大學河南省智能網絡理論與關鍵技術國際聯合實驗室 開封 475001）

1 引言

現在越來越多不同功能的傳感器不斷涌現，使得人們獲取不同地區遙感數據信息變得更豐富［1］。人們獲取大量的地面觀測數據，比如高光譜圖像，多光譜圖像，全色圖像等，從這些多樣化的遙感數據獲得更豐富的信息［2］。在如此大的數據中，遙感圖像融合成為快速高效地從海量數據中得到符合實際需求的有效手段。圖像融合就是根據一定的空間轉換、圖像分解或者模型優化等方法，將兩幅或者多幅圖像的優點結合到一起，組合形成一幅新圖像。

常用的遙感圖像融合的算法有基于IHS（Intensity Hue Saturation）變換的融合方法［3］、基于主成分分析（Principal Component Analysis）變換的融合方法［4］、Brovey變化融合方法［5］以及Gram-Schmidt光譜銳化方法［6］、基于小波變換的融合算法［7］等。其中基于深度學習的融合方法近年來發展迅速，該類融合方法與傳統的融合方法不同，其采用某種學習機制學習得到融合影像與原有圖像的關系。PCA和IHS融合算法均是對圖像矩陣進行操作，將其轉換成不同的分量，通過對其中的一些分量進行轉換，實現圖像信息的融合。PCA變換的融合方法在多光譜圖像波段數較多時有著較大的處理優勢，在其處理過程中得到的第一主成分分量是包含了多光譜圖像各個波段中大量的有效信息，與PAN圖像中的細節信息存有差異。但IHS融合方法可處理的多光譜圖像具有波段限制，其波段數不能超過3個［8］。小波變換具有多分辨率的特性，可以對圖像進行分解處理，得到高頻細節分量、低頻細節分量，由于它們各自代表的信息不同，使用不同的融合規則分別進行信息處理，可以更大效率地使用圖像間的互補、冗余信息，對圖像中的細小目標進行強化。所以，為了在光譜波段較多時提高融合圖像的效果，本文充分結合三種融合算法的優點，提出一種基于IHS、PCA和小波變換結合的融合算法。下面對以上改進內容進行詳細敘述。

2 遙感圖像融合方法

2.1 IHS融合方法

IHS變換的融合方法主要是將獲取的原屬于RGB空間的多光譜圖像，變換到IHS顏色空間表示，擁有I、H、S三個相對獨立分量［9］。然后把全色圖像與強度分量I進行成分替換，進行IHS-RGB轉換得到融合圖像。下面是RGB-IHS變換公式：

其中，V1和V2是中間變量。從IHS空間變換到RGB空間的逆變換如下所示：

由于全色圖像與變換得到的強度分量圖之間的灰度值存在差異，兩者的相關性較低，這樣會使得到的融合圖像與原始圖像的光譜差異信息差距較大，違背了融合目的。為了解決光譜失真問題，伍娟、盧凌等［10］提出將全色圖像與強度分量圖進行直方圖匹配，使得兩者具有更高的相關性，取得更好的融合效果。但是傳統的IHS變換融合方法只能處理三個波段的多光譜圖像，現在遙感數據所含波段已包括四個波段（R、G、B、NIR）甚至更多，為了解決此問題，Tu［11］等提出了快速的IHS（Fast Intensity Hue Saturation）融合方法，該方法在擁有快速有效計算能力的同時，還將IHS融合算法能處理的波段數從三個提升到了任意波段。

2.2 PCA融合方法

主成分分析就是把多維數據進行簡化處理，將其用幾個綜合信息較豐富的成分來表示，它們中攜帶了原數據中大量的信息，并且各自相對獨立，操作起來對別的成分影響較小，避免出現冗余信息［12］，其中第一主成分（PC1）擁有數據或者圖像的主要信息，主成分分析有著簡化數據結構的作用。PCA變換的融合方法主要思想是對多光譜圖像進行成分變換，得到幾個主成分，其中第一主成分與全色圖像進行成分替換，利用逆變換得到融合圖像。其變換過程的數學描述如下所示。

1）計算協方差矩陣C。多光譜圖像的波段數為，按照向量的表示形式如下所示：

不同波段間的方差如下所示：

則協方差矩陣為C：

2）求解C的特征值和特征向量，其對應的特征向量根據式（10）求解得到：

3）主成分矩陣分解：

得到主成分矩陣Y：

其中，PC為主成分分量，PC1為第一主成分。PCA融合方法相較于傳統的IHS融合方法，它可以融合多個波段的多光譜圖像［13］。

2.3 小波變換融合方法

基于小波變換的圖像融合方法是多分辨率分析融合的重要方法之一［14］。1987年，Mallat將小波理論與多分辨率分析結合，提出了小波多分辨分析的概念，隨著眾多學者的應用研究已成功地將其應用到了圖像融合領域［15］。該方法的主要思路是，首先從空間分辨率較高的全色圖像中獲取細節信息，然后將其加入到多光譜圖像，得到信息豐富的融合圖像，減少光譜失真。小波變換作為新的數學工具，從根本上克服了傅里葉變換在時域內不具有局部性的缺陷，小波變換在空間域和頻率域上都具有良好的局部性特質，它能夠將信號分解成空間與時間相互獨立的同時，更好地保存原信號所包含的信息，實現信號無冗余分解，聚焦分析對象的任意細節。

3 本文算法

3.1 算法過程

本文提出的遙感圖像融合改進算法過程如圖1所示。

圖1 圖像融合過程

本文對融合時所需的圖像都已經過嚴格的圖像配準與采樣，多光譜圖像與全色圖像大小保持一致，小波分解層數為3。

Step1：對低分辨率的多光譜圖像進行PCA變換得到主成分PC1、PC2、PC3，將得到的降維后的多光譜圖像進行IHS變換得到I、H、S分量。

Step2：為了提高替換分量的相關性，將全色圖像與Step1中得到的強度分量I進行均衡化處理；計算全色圖像的灰度級為rk的概率估計值p(rk)：

同理對全色圖像進行均衡化處理得到sz(rk)。

Step3：為了獲得I和全色圖像最佳的灰度變換關系，需要盡可能地使選取的sz(zk)和sr(rk)與原多光譜強度分量的灰度級zk、全色圖像的灰度級rk保持相等。根據zk與rk之間的對應關系，調整圖像的灰度級，從而獲得匹配度較高的強度分量Inew。

Step4：將得到的強度分量Inew與全色圖像進行直方圖匹配，得到匹配后的newPAN。

Step5：對高頻、低頻細節分量使用不同的融合規則，根據圖像間的匹配度不同，低頻分量使用最大值融合策略或平均融合策略，高頻分量采用絕對值策略進行融合；然后進行逆小波變換，得到融合后的亮度分量。

Step6：對生成的強度分量和Step1中得到的H、S分量進行IHS逆變換得到融合圖像。

3.2 融合規則

在融合時融合規則的選擇對融合圖像的質量有著一定的主導作用，下面對本文小波融合中所用的不同融合規則進行說明。

1）低頻融合規則

假設C(X)為圖像X進行小波分解的低頻系數矩陣，p=(m，n)代表系數矩陣的空間位置，區域Q表示p的鄰域空間，C(X，p)表示低頻系數矩陣中下標為(m，n)的元素值，μ(X，p)表示p的鄰域空間Q中元素的均值。假定G(X，p)是X中p位置的區域方差，那么G(X，p)可根據下面的等式進行計算：

其中，w(q)表示權重，q與p的距離越近，其w(q)的值越大。

假設G(A，p)和G(B，p)表示A和B的低頻系數矩陣相對與p的區域方差，所以A和B相對于p的方差匹配度Mp如下表示：

其中，Mp的值的變化范圍在0～1之間，它的值越小說明兩幅圖像低頻系數矩陣之間的相關性越低。

假設T為匹配度閾值，T的取值范圍一般在0.5≤T≤1，在本文的實驗中選取T=0.6。

當Mp＜T時，說明圖像間的匹配度較低，使用最大值融合策略：

當Mp≥T時，使用平均融合策略：

其中，Wmin=0.5Wmax=1-Wmin。

2）高頻融合規則

由于高頻細節分量主要涵蓋的是圖像的細節紋理，一般來說全色圖像的高頻細節分量信息量更豐富，為了更好地保持圖像的細節紋理，針對高頻分量的融合采用絕對值策略進行融合，即：

4 實驗結果分析

為了驗證所提算法的性能，本采用三組實驗數據進行驗證，融合數據都已經過嚴格的圖像配準與采樣，并將其與IHS、PCA、Brovey、HPF圖像融合算法進行對比。圖2、圖3、圖4分別是兩組實驗數據的融合結果。

圖2 不同算法在測試圖一中的融合結果

圖2、圖3、圖4的（c）、（d）、（e）、（d）、（f）分別為IHS、PCA、Brovey、HPF和與本文算法的融合結果圖。在對兩組圖的直觀觀察中，對于圖像中的一些目標特征信息，如河流、居民區、建筑、樹木等的細節特征和光譜信息都有了更清晰的表達，相較于原始的多光譜圖像有了很明顯的改善，可以看出這幾個融合算法對圖像的分辨率都有了一定的提高。從上面的融合結果圖中可以很直觀地看到IHS融合算法存在較嚴重的光譜扭曲問題，其中圖2、3中的PCA融合結果圖也存在著一定程度的光譜信息丟失。從圖2（e）可以看出Brovey融合結果的光譜信息的保持較好，對于圖像里的一些細節特征也比較突出，但是圖像的視覺觀感也就是清晰度稍有欠缺。三組HPF算法結果圖中可以看出圖像中細節相較于其他算法已經有了明顯的提高，其中也存在著一定的不足，在圖2、3、4中可以看出融合結果的圖像存在一定的光譜信息扭曲。圖（g）是本文算法融合結果，可以很直觀地感受到，它的細節信息表現得更加突出，起到了一定得增強效果，而且在這兩組融合結果中，光譜信保持得最為完整。人的主觀觀感也較佳，融合質量更高。

圖4 不同算法在測試圖三中的融合結果

本實驗測試圖一的客觀評價［16］如表1所示，測試圖二的客觀評價如表2所示，圖4的客觀評價如表3所示。從表中可以看出本文得到的融合圖像的各項評價指標表現較好。IHS算法和PCA算法的相關性系數、光譜相對熵比較小，反映到圖像中的樹木等光譜失真嚴重。本文算法在這些指標中性能較優于其他IHS、PCA、Brovey算法，在光譜信息的保持和空間細節信息方面都體現出來不錯的效果，這些性能指標上明顯優于其他算法，在保持了源圖像空間細節的同時對光譜信息最大化保留，在多方面都是最優的。

表1 不同算法在測試圖一中的融合結果

表2 不同算法在測試圖二中的融合結果

表3 不同算法在測試圖三中的融合結果

5 結語

文章介紹了關于IHS融合算法的相關改進算法：首先對IHS算法中出現光譜扭曲現象，提出了基于直方圖優化的改進思想，得到最優強度分量，有效地提高了強度分量與全色圖像的相關性，減少光譜扭曲。最后在此基礎上，利用PCA變換可以對多波段圖像處理的優勢與小波變換根據不同融合規則對圖像信息進行融合的特點，結合PCA算法對圖像進行融合處理。在對比實驗中，結果表明文章所提算法可以更好地保持圖像中光譜信息。