基于各向異性GGF與自適應PCNN的NSST域圖像融合

姚 杰，侯至群，朱大明，阮理念，付志濤

（1.昆明理工大學 國土資源工程學院，云南 昆明 650221；2.昆明市測繪研究院，云南 昆明 650051）

0 引言

高分辨率圖像在國土空間規劃、環境監測、場景解譯、目標識別等領域均起到非常重要的作用，但由于傳感器技術限制，目前無法獲得既保留多光譜信息，又具有高分辨的空間細節信息的圖像。

圖像融合方法包括基于分量替換、多分辨率分析（MRA）、稀疏表示［1-2］及深度學習方法［3-4］。其中，基于多分辨率分析是目前的研究熱點，由拉普拉斯金字塔和小波變換衍生而來［5］，但小波變換存在方向限制、混疊等缺點。為了解決該問題，不少學者提出曲波變換［6］、輪廓波變換［7］、剪切波變換［8］等多尺度分解方法。然而，該方法不具有平移不變性，在融合圖像邊緣時會發生偽吉布斯現象。

非下采樣輪廓波變換（Non-subsampling Contourlet Transform，NSCT）［9-10］和非下采樣剪切波變換（Non-subsampling Shear let Transform，NSST）［11-12］相較于NSCT 的計算量更少，又因其平移不變性受到廣泛研究。例如，吳一全等［13］提出一種混沌蜂群優化的NSST 域融合方法。蕭明偉等［14］對低頻子帶采用區域能量平均方法，對高頻子帶采用改進拉普拉斯能量和（Sum ModifiedLaplacian，SML）激勵的脈沖耦合神經網絡（Parameter Adaptive Pulse Coupled Neural Network，PCNN）方法融合孔徑雷達圖像與光學圖像。Wang 等［15］分析NSST 低頻和高頻子帶的方向性和樹狀結構，提出基于方向鄰域和樹狀結構的融合策略。

脈沖耦合神經網絡被稱為第三代人工神經網絡，具有出色的圖像處理特性。例如，神經元的全局耦合和脈沖同步，現已被廣泛應用于圖像分割、圖像增強、模式識別等領域［16］。Yin 等［17］提出一種紅外和可見光圖像融合算法，利用邊緣梯度確定鏈接系數，但其他參數均使用常量。Li等［18］提出一種基于PCNN 的方法融合遙感圖像，并利用圖像清晰度自適應設置網絡參數。Wang 等［19］提出一種基于PCNN 的多面自適應圖像融合算法，根據圖像信息自適應設置參數，但仍需要手動設置部分參數。Chen 等［20］提出PAPCNN 模型根據輸入圖像自適應確定模型內參，無需人工設置，在醫學圖像融合領域取得了不錯的效果［21］，但在遙感圖像融合中應用較少。

引導濾波器（Guided Filtering，GF）是一種局部線性濾波器，具有計算速度快、效率高等優勢［22］，但仍屬于局部線性模型，可能會導致暈輪偽影。為此，Kou［23］提出一個梯度域引導濾波器，引入顯式一階邊緣條件約束更好地保留邊緣。Ochotorena 等［24］研究表明，引導濾波器及其衍生產品無法處理高強度的過濾行為，當輸入圖像和引導圖像結構不一致時濾波器性能較差，而這些問題的根源來自濾波器采用非加權平均方法。

為了解決上述問題，本文將多光譜圖像和高空間分辨率的全色圖像進行融合，基于MRA 提出一種結合各向異性梯度域引導濾波器（Anisotropic Gradient Domain Guided Filtering，AnisGGF）和PAPCNN 的NSST 域遙感圖像的融合方法。本文創新點如下：①引入AnisGGF 調制NSST 域的低頻子帶，在保持最大光譜信息的同時，盡量減少邊緣模糊現象；②引入PAPCNN 模型針對高頻子帶，自適應計算模型的相關參數；③采用局域方差作為PAPCNN 模型中的鏈接強度，依據區域特征自適應地調整鏈接強度；④采用S型函數解決PCNN 模型負值丟失現象。

2 相關理論

2.1 非下采樣剪切波變換

非下采樣剪切波變換（NSST）包括非下采樣多尺度分解和方向局部化兩部分［16］（見圖1）。其中，采用非下采樣金字塔濾波器組實現非下采樣多尺度分解，保證NSST 的多尺度特性，源圖像經過k層NSP 分解后得到一個低頻分量和k個高頻子帶分量，（k+1）個和源圖像的大小相同的子帶；采用剪切濾波器組實現方向局部化，首先建立偽極坐標系和笛卡爾坐標系，然后使用Meyer 窗函數生成剪切波濾波器組，最后將NSP 分解得到的k個高頻子帶與Meyer窗函數進行卷積操作。

在二維空間中，連續剪切波變換是復合小波變換的一種特殊情況，通常被定義為：

Fig.1 Schematic diagram of NSST圖1 NSST示意圖

2.2 各向異性梯度域引導濾波器

首先，定義一個成本函數：

式中，N（i，j）表示以（i，j）為中心的8 鄰域及中心。設置加權平均的目的是為了最大化擴散，當趨近于0 時擴散最大，可建立目標函數：

2.3 脈沖耦合神經網絡

PCNN［25］是一種具有全局脈沖同步和脈沖耦合的神經網絡，每個神經元由接收域、調制域和脈沖發生器構成。點火發生時間越長，圖像對應的像素區域信息就越多，其表達式可以寫為：

式中，n為迭代次數，Fij(n)為神經元反饋輸入，Dij為外部輸入，Lij(n)為連接輸入，αL、αθ表示衰減時間常數，β為神經元之間的鏈接權重，Uij(n)代表神經元的內在活動，θij(n)為動態閾值，VL為連接輸入的放大系數，ωij，pq表示神經元的突觸聯系，Vθ為閾值放大系數，Yij(n)表示神經元的PCNN 輸出脈沖。

如圖2 所示，在原模型中，若Uij(n) ＞θij(n)，神經元產生的脈沖值為1，采用S 形函數計算模型在迭代過程中的點火輸出幅值。T為模型經過n次迭代后點火輸出總幅值。

Fig.2 PCNN architecture圖2 PCNN架構

3 圖像融合

3.1 融合流程

圖像融合流程如圖3所示，具體步驟如下：

步驟1：將預處理后的MS 圖像進行RGB-YUV 變換，從中提取亮度分量Y，并將PAN 圖像與Y 進行直方圖匹配。

步驟2：將匹配后的PAN 圖像進行NSST，得到低頻子帶（LY、LP）和高頻子帶（HY、HP）。

步驟3：對于低頻子帶，采用AnisGGF 融合規則獲得融合后的低頻子帶LF；對于高頻子帶，采用PAPCNN 獲得相應方向的高頻子帶HF。

步驟4：對LF、HF進行逆NSST，得到Y'。

步驟5：將Y'與U、V 通道進行YUV-RGB 變換得到融合圖像F。

Fig.3 Image fusion process圖3 圖像融合流程

3.2 融合策略

3.2.1 低頻子帶

傳統低頻子帶融合策略通常采用加權平均方法或基于區域能量的方法，但存在對比度降低和詳細信息丟失的現象。此外，系數選擇偏差也會導致頻譜失真。

為此，本文設計基于各向異性梯度域GF 的低頻子帶融合規則，通過NSST 分解的低頻子帶保留原始圖像大部分能量和詳細的空間信息。首先將PAN 的低頻子帶矩陣LP作為引導；然后利用各向異性梯度域引導濾波器對亮度分量Y 的低頻子帶矩陣LY進行空間細節優化；最后生成融合后的低頻子帶矩陣LF。具體數學表達式如下：

3.2.2 高頻子帶

Chen 等［20］提出PAPCNN 模型根據輸入圖像自適應調整模型參數，現已在醫學圖像融合領域取得了不錯的效果［21］。為此，本文采用PAPCNN 作為高頻子帶的融合策略，該模型存在5個自由參數：αf、β、VL、αe和VE。

由式（19）可知，β、VL是的權值，可看作為一個整體進行處理。因此，設λ=βVL表示加權連接強度，其他參數為：

式中，σ（S）表示［0，1］范圍中輸入圖像S 的標準差。S'、Smax分別表示歸一化的Otsu 閾值和輸入圖像的最大強度。

為解決融合高頻子帶時發生的負值丟失情況，采用經過S形函數調制后的高頻子帶作為PCNN 的外部輸入：

由于PCNN 模型參數中的鏈接強度對融合效果的影響較大。本文采用高頻子帶的區域方差來決定神經元之間的鏈接強度，依據區域特征自適應調整鏈接強度。具體數學表達式如下：

其中，T1、T2分別代表P 和Y 的高頻子帶的PCNN 模型輸出。

綜上所述，首先根據式（25）調制相同方向的高頻子帶，并將結果作為PAPCNN 的輸入；然后由局域方差確定的PAPCNN 計算脈沖點火次數；最后根據式（26）和高頻子帶的脈沖點火次數確定融合后的高頻子帶HF。

4 實驗結果與分析

4.1 實驗數據及環境

為分析本文方法的融合性能，選擇GF-2、GF6 和Geo-Eye 共3 種衛星的影像作為實驗數據集，通過平均梯度（AG）、分辨率（SF）、信息熵（E）、融合質量（QAB/F）、基于視覺信息保真度的指標（VIFF）和特征互信息（FMI）共6 種指標對本文所提方法與SE、NSCT-PCNN、GF 和ISCM 進行比較，從主觀視覺和客觀評價指標兩個方面對各方法的融合性能進行綜合評價。

實驗基于MATLAB R2018b 平臺，CPU 為Intel Core i5-5200U，內存為4GB。NSST 分解濾波器為“maxflat”，引導濾波器中的窗口半徑r為2，模糊度?=10-6。PAPCNN 模型迭代次數設置為110，W=

4.2 分解層數設置

由于NSST 的分解層數及相應的方向數會影響融合效果，因此通過實驗確定最佳分解層數，相關設置如表1 所示，融合結果的定量評價指標與分解層數的關系如圖4所示。

Table 1 Settings of NSST decomposition layers and corresponding directions表1 NSST分解層數和對應方向數設置

Fig.4 Influence of decomposition layers on fusion effect圖4 分解層數對融合效果的影響

由圖4 可見，當分解層數≥4 時，6 項指標性能均較優，融合效果較好；當分解層數繼續增大時，融合性能提升不明顯?？紤]到分解層數較多會增加時耗，因此將NSST 的分解層數設置為4。

4.3 GF-2衛星影像

4.3.1 實驗數據

第一組數據來自于高分二號衛星影像，其全色影像空間分辨率為1m，多光譜影像空間分辨率為4m，本文共裁剪12 組影像進行實驗，大小均為512×512 像素，源圖像如圖5所示。

Fig.5 The first group of experimental data圖5 第一組實驗數據

4.3.2 實驗結果及分析

第一組圖像融合結果如圖6 所示，可見圖6（a）融合結果整體顏色偏黑，光譜失真嚴重，矩形框中空間信息丟失嚴重；圖6（b）、圖6（c）清晰度相似，相較于圖6（a）更清晰，空間細節更多，但相較于PAN 仍存在視覺模糊問題；圖6（d）相較于前兩種融合方法圖形更清晰，空間信息保留更多，但圖像邊緣細節存在模糊，且植被地物顏色略有失真；圖6（e）最為清晰，邊緣細節保留最好，對比度也最好。

各方法的定量評價指標如表2 所示。其中，加粗值為5 種方法的最優評分，表格中“↑”表示評價指標越大，融合效果越好。

Table 2 Quantitative evaluation of the first group of experiments表2 第一組實驗定量評價

Fig.6 Fusion results of the first group圖6 第一組融合結果

由表2 可知，本文方法在第一組實驗中，定量評價指標排在前2 位且排名第1 的指標居多，融合效果最好。GF方法雖具有較高的客觀性，但無法平衡光譜信息和空間細節，易產生顏色失真現象。

4.4 GeoEye衛星影像

4.4.1 實驗數據

第二組數據來自于GeoEye 衛星影像，全色影像為0.41m，多光譜影像為1.64m。本文共裁剪16 組影像進行實驗，大小均為512×512像素，源圖像如圖7所示。

Fig.7 The second group of experimental data圖7 第二組實驗數據

4.4.2 實驗結果及分析

第二組圖像融合結果如圖8 所示，定量評價指標見表3。由此可見，圖8（d）、圖8（e）相較于前3 種方法更清晰，空間信息保留更好。為了區分GF 方法和本文所提方法的差異，由表3 中6 種評價指標可知GF 相較于其他方法客觀性更優。綜上所示，本文所提方法在總體上具有更優的圖像融合效果。

Table 3 Quantitative evaluation of the second group of experiments表3 第二組實驗定量評價

4.5 GF-6衛星影像

4.5.1 實驗數據

第三組數據來自于GF-6 衛星影像，全色影像為2m，多光譜影像為8m。本文共裁剪22 組影像進行實驗，大小均為512×512像素，源圖像如圖9所示。

Fig.8 Fusion results of the second group圖8 第二組融合結果

Fig.9 The third group of experimental data圖9 第三組實驗數據

4.5.2 實驗結果及分析

第三組融合結果如圖10 所示，定量評價指標見表4。綜合對比光譜保真和空間保真性能，本文所提方法的圖像融合效果均優于其他方法，6 項指標均排在前2 位，位于第1 位的指標（表中加粗部分）占大多數，證實該方法能較好平衡光譜和空間保真。

Table 4 Quantitative evaluation of the third group of experiments表4 第三組實驗定量評價

Fig.10 Fusion results of the third group圖10 第三組融合結果

5 結論

本文提出一種結合AnisGGF 和PAPCNN 的NSST 域圖像融合方法。其中，采用AnisGGF 技術對NSST 域的低頻子帶注入空間信息，減少邊緣的模糊；針對高頻子帶，引入PAPCNN 模型和局域方差自適應地調整神經元之間的鏈接強度。實驗結果表明，該算法能盡可能保留源圖像信息，優化圖像融合效果。

為驗證本文所提方法的有效性和優越性，將其與SE、NSCT-PCNN、GF、ISCM 方法進行比較，選取AG、SF、QAB/F、VIFF、E 和FMI 共6 種定量評價指標對融合性能進行評價。實驗結果表明，本文所提方法的5 項指標均排在前3，綜合性能最好。

然而，本次實驗僅對圖像的R、G、B 通道進行研究，但衛星圖像中波段更多，在實際研究過程中需要將不同波段進行組合。因此，下一步將融合方法擴展到圖像的各種波段，以進一步提升圖像空間質量。