結合自適應PCNN的非下采樣剪切波遙感影像融合

成飛飛,付志濤,黃 亮,2,陳朋弟,黃 琨

1. 昆明理工大學國土資源工程學院，云南 昆明 650093； 2. 云南省高校高原山區空間信息測繪技術應用工程研究中心，云南 昆明 650093

圖像融合是圖像處理領域的一個重要研究課題，具有很大的研究潛力和廣闊的發展前景。圖像融合技術是從多個傳感器或多種方式獲取的圖像中提取重要信息，然后通過特定的處理方法和融合策略進行組合得到融合圖像，可以獲得單一傳感器無法提供的信息，已被廣泛應用于紅外和可見光融合，醫學影像融合和遙感影像融合等多源影像融合領域中[1-2]。在遙感影像融合中，高分辨的影像可以為現代遙感技術提供保障[3]，其中全色(PAN)與多光譜(MS)影像融合是熱點和難點問題，它們具有不同的成像模式和特點。多光譜圖像具有豐富的光譜信息，但其空間分辨率較低，而全色影像具有較高的空間分辨率，但缺乏足夠的光譜信息。利用MS和PAN影像各自優勢將兩種不同的影像融合在一起，不僅能夠提高全色影像的光譜信息，而且能提高多光譜影像的空間細節信息，融合后的影像具有更強的解譯能力，從而提高信息提取的準確性和穩健性。

綜合來看，影像融合劃分方法主要分為基于空間域的融合方法和基于變換域的融合方法[4-5]。其中，基于空間域的影像融合主要有主成分分析、比值變換及IHS等方法，這些方法計算簡單，速度快，雖然可以改善影像的空間細節信息，但會造成嚴重的光譜失真和紋理損失，現在空間域的方法與其他方法結合使用[6-7]。隨著小波變換被廣泛應用于影像融合[8-9]領域，但其方向有限和缺乏平移不變性，融合會造成空間細節信息的損失和光譜失真，隨后人們提出多種方法來解決小波變換融合中方向有限和缺乏平移不變性的問題。文獻[10]提出基于曲波變換的遙感影像融合方法，該方法在保留原始影像重要信息和抑制噪聲方面比小波變換方法更好。文獻[11]提出基于粒子群優化算法優化輪廓波變換，在保證MS光譜信息同時提高了影像的清晰度。雖然輪廓波變換繼承了曲波變換的各向異性，但仍然沒有改變其缺乏平移不變性，之后又通過不斷研究在輪廓波和剪切波基礎上提出NSCT和NSST。NSCT變換是對輪廓波變換的改進，在影像分解和重建過程中沒有進行下采樣操作，解決了輪廓波和剪切波中的平移不變性問題。文獻[12]利用NSCT方法充分提取了原影像中的方向信息，有效地消除了偽吉布斯現象。NSST通過剪切波變換改進得到，具有良好的影像稀疏表達和低成本計算的能力，適合于MS與PAN影像的融合[13]。

NSST的出現為影像融合提供了解決思路。近年來，基于NSST變換的影像融合方法受到了廣泛關注，脈沖耦合神經網絡作為重要的融合策略得到廣泛應用。文獻[14]將PCNN應用于低頻系數，并利用PCNN的點火發射次數，通過加權射擊能量融合規則對低頻系數進行融合，該方法在不增加計算時間的情況下，能夠同時保持空間細節和光譜特征。文獻[15—16]采用Sigmoid函數對PCNN模型輸出的各子帶系數迭代過程中的點火輸出幅度進行計算，使得融合結果能夠較好的保持光譜分辨率的同時，有效利用了影像中地物邊緣和細節信息，但是以上方法中PCNN模型的自由參數不能自適應計算。

針對以上問題，本文提出一種結合參數自適應脈沖耦合神經網絡(PA-PCNN)模型和保持能量(EA)細節的NSST遙感影像融合方法：①本文采用的NSST分解方法既能很好地保留原始影像的特征，又能有效地減少影像信息的冗余，降低影像處理的復雜度和計算量。②針對高頻子帶融合策略中采用了自適應的PA-PCNN參數模型，可以對所需要的參數進行自適應調整，使模型的適應能力大幅度增強，更好地適應于復雜遙感影像的融合。低頻采用能量的融合策略，進一步減少了紋理和背景信息的丟失，使得融合結果更接近原始影像。最后，將所提方法與SE[17]、DGIF[18]和COF[19]、PA-PCNN[20]4種融合方法進行比較來驗證本文方法的有效性和優越性。

1 基本理論

1.1 非下采樣剪切波變換

NSST將非下采樣金字塔變換與剪切濾波器結合，提供一個最優的稀疏表示，可以更加有效地描述圖像信息。利用NSST進行影像融合處理，既能很好地保留原始影像的特征，又能有效地減少影像信息的冗余，降低影像處理的復雜度和計算量。NSST實現主要有多尺度分解和方向局部化兩部分組成，非下采樣剪切波多個尺度多個方向的子帶分解如圖1所示。其中NSLP指非下采樣金字塔濾波器多尺度分解，q指多尺度分解層數，SF指剪切濾波器方向局部化。NSST不僅具有多尺度特性，而且具有較強的平移不變性和方向敏感性，因此，本文將采用NSST對全色與多光譜影像進行分解。

圖1 非下采樣剪切波多個尺度多個方向的分解子帶Fig.1 Decomposed sub-bands with multiple scales and directions of non-subsampled shearlet transform

1.2 脈沖耦合神經網絡

PCNN最早由文獻[21]提出，有傳統影像處理算法無法比擬的先天優勢，無須學習和訓練即可從復雜的背景中提取有效信息。目前基于PCNN的大部分自由參數(如鏈接強度、振幅和衰減系數等)還不能完全自適應，需要手動調整[22]。為了克服傳統PCNN模型難以設置自由參數、降低標準PCNN模型的復雜度以及提高計算速度問題，文獻[23]提出一種自適應的策略，文獻[20]將其應用到圖像融合領域，得到了良好的試驗效果，這種融合策略目前已經成功應用到紅外和可見光[24]圖像融合領域。

2 本文方法

2.1 YUV變換

色彩融合技術是一種典型的技術，YUV[25]具有亮度信息和色彩信息分離特性的一種方法。其中“Y”表示亮度分量，“U”和“V”表示顏色分量，用來描述影像色彩及飽和度，并指定像素的顏色。RGB-YUV變換的具體步驟如下。

(1) 采用YUV變換從原始多光譜影像的顏色分量中分離出Y、U、V。

(2) 融合MS的Y分量與PAN影像，得到融合Y′分量。

(3) 將分量Y′與分離的色度U分量V分量進行YUV-RGB變換，實現影像融合。

本文方法如圖2所示，具體步驟如下。

(1) 對MS影像進行RGB-YUV變換，分離出影像的亮度分量Y。

(2) 利用NSST對PAN和MS影像的Y分量分別進行分解，得到相應的高頻子帶(HA,HB)、低頻子帶(LA,LB)。

(3) 采用PA-PCNN和EA的融合策略分別對高頻和低頻子帶系數進行處理。

圖2 本文融合方法流程Fig.2 Flow chart of fusion method

(4) 分別對處理后的系數進行NSST逆變換，得到融合后Y′亮度分量，然后將Y′、U和V進行YUV-RGB變換，得到最終的融合影像。

2.2 高頻子帶融合

高頻子帶系數不僅提供了影像多尺度信息，而且還包含了豐富的原影像空間細節信息。本文方法在文獻[20]的基礎上提出了一種適合遙感影像的融合方法。該方法借助PA-PCNN模型在醫學影像融合方面的優越性，將自適應PA-PCNN方法引入遙感影像融合領域，將高頻子帶系數與自適應計算PCNN參數的方法結合，其中PA-PCNN中模型中有4個自由參數，所有參數可以自適應的計算，公式為

af=log(1/σ(S))

(1)

(2)

VE=e-af+1+6λ

(3)

(4)

式中，σ(S)表示范圍[0，1]的輸入影像S的標準差；S′表示歸一化Otsu閾值；Smax輸入圖影像的最大強度；VE動態閾值E的振幅；ae、af表示E、F的指數衰減系數；λ表示加權鏈接強度。有關參數更多細節信息可參考文獻[20,25]。

Tij[N]=Tij[N-1]+Yij[N]

(5)

(6)

2.3 低頻子帶融合

低頻子帶包含影像的紋理、結構等信息，其融合策略對最終融合質量影響重大，通常采用較為簡單的平均融合規則來處理低頻子帶系數，但這樣不僅降低了融合影像的對比度，而且損失原影像的一些有用信息。因此，低頻系數選擇的融合規則是否準確決定了融合影像的質量。為了充分保留NSST分解后低頻子帶包含的有用信息，在低頻子帶融合中采用一種能量屬性(EA)融合策略[26]，該融合策略分為3個步驟。

(1) 計算低頻子帶的固有屬性值，計算公式為

IPA=μA+MeA

(7)

IPB=μB+MeB

(8)

(2) EA函數中EA和EB由式(9)和式(10)計算

(9)

(10)

(3) 低頻子帶的融合通過加權平均值獲得

(11)

式中，LF表示低頻子帶加權平均值。

3 試驗數據與結果分析

3.1 評價指標

為了更好地驗證方法的優越性和泛化能力，本文分別選用了資源三號(ZY-3)、高分二號(GF-2)和Worldview(WV)3種不同空間分辨率多幅遙感影像進行試驗，試驗數據的分辨率見表1。裁剪為30對影像集，并對影像進行了輻射校正、重采樣和影像配準的預處理工作。本文選取了空間頻率(SF)、相對無量綱全局誤差(ERGAS)、相關系數(CC)、視覺信息保真度(VIFF)、基于梯度的融合性能(QAB/F)和結構相似度測量(SSIM)等6種客觀評價指標來評價影像融合的質量。

3.2 參數分析

為了更好地適應復雜的遙感影像，本文各選取ZY-3、GF-2和WV的2組影像主要針對NSST的分解層數q進行參數分析試驗。NSST分解層數參數分析結果如圖3所示，此次試驗中，設置NSST分解層數q為1—5層，迭代次數N固定為110，α固定為4，根據經驗設置了16、8、4方向數。由圖3可以看出，隨著q的增加，SF、ERGAS、VIFF、QAB/F和SSIM基本趨于上升的趨勢，CC趨于略有下降的趨勢，當q=4之后變化比較平穩，當q>4時，VIFF和SSIM部分結果略有下降的趨勢。因此考慮到當q增加時，時間成本也會隨之增加，通過試驗分析，本文將NSST分解層數q設置為4，PA-PCNN迭代次數和調節參數根據文獻設定[20,26]，N設置為110，調節參數α設置為4。

表1 試驗數據的分辨率

圖3 NSST分解層數結果Fig.3 Results of NSST decomposition layers

3.3 資源三號數據

3.3.1 試驗數據

第1組數據來源于ZY-3衛星，其中空間分辨率多光譜影像(MS)為5.8 m，PAN影像為2.1 m，分別裁剪了像素大小為512×512像素的10組影像進行試驗，部分試驗影像如圖4所示。

圖4 資源三號試驗影像Fig.4 ZY-3 experimental image

3.3.2 試驗結果分析

下面給出ZY-3衛星10組影像對MS和PAN影像在不同算法下融合的試驗結果，選取了其中2組影像的試驗結果進行展示，圖5顯示了SE[17]、DGIF[18]和COF[19]、PA-PCNN[22]和本文算法的融合結果，表2給出了5種融合方法的客觀評價結果。

圖5 第1組影像融合結果Fig.5 Results of the first group of imaging experiments

將較低分辨率ZY-3影像數據作為第1組試驗。圖5(a)—(e)為影像融合結果，其清晰程度相比原來的多光譜影像都有提高，其中SE、COF和DGIF方法融合后的整體細節信息不清晰，而且SE融合視覺效果一般，COF方法出現嚴重偽影。在紅色矩形框區域可以清楚看出PA-PCNN和本文方法融合后紋理信息更加清晰，色彩信息更加豐富，更加符合人眼視覺系統。ZY-3影像融合的客觀評價結果見表2，由表2可以看出，本文方法在SF、ERGAS、CC、VIFF、QAB/F和SSIM評價指標優于其他4種方法，說明本文采用的融合策略是可行的，在主觀和客觀評價中總體獲得最優的效果，融合后影像空間和光譜信息更加豐富。

表2 試驗1不同方法的客觀評價

3.4 高分二號數據

3.4.1 試驗數據

第2組數據來源于GF-2衛星，其中空間分辨率多光譜影像(MS)為4 m，PAN影像為1 m，分別裁剪了像素大小為512×512像素的10組影像進行試驗，部分試驗影像如圖6所示。

3.4.2 試驗結果分析

下面給出GF-2衛星10組MS和PAN遙感影像在不同算法下融合的試驗結果，選取了其中2組影像的試驗結果進行展示，圖7顯示了5種不同算法的融合結果，表3給出了5種融合方法對影像融合的客觀評價結果。

將高分辨率高分二號影像數據作為第2組試驗。圖7(a)—(e)為影像融合結果，其清晰程度相比原來的多光譜影像都有一定的提高，其中SE融合提升效果較小，COF出現局部偽影、DGIF融合后的紋理結構不清晰，存在一定的顏色失真，PA-PCNN和本文方法融合后紋理結構清晰，色彩信息豐富，紅色矩形框區域本文方法比PA-PCNN方法影像細節也更加清晰，GF-2影像融合的客觀評價結果見表3，通過表3可以看出，本文方法在SF、ERGAS、CC、VIFF、QAB/F指標優于其他4種方法，表明融合影像的信息量豐富，說明本文采用的適合高分辨率的影像融合，可以更準確地保留原始影像光譜信息及空間細節信息。相比ZY-3試驗，SSIM達到一個次優的效果，說明本文方法對較高分辨的SSIM相比PA-PCNN弱一些，但總體上還是達到一個最好的效果。

圖6 GF-2試驗影像Fig.6 GF-2 experimental image

圖7 第2組影像融合結果Fig.7 Results of the second group of experimental images

表3 試驗2不同方法的客觀評價

3.5 Worldview數據

3.5.1 試驗數據

第3組數據來源于WV衛星，其中空間分辨率多光譜影像(MS)為1.2 m，全色影像為0.3 m，分別裁剪了像素大小為512×512像素的10組影像進行試驗，部分試驗影像如圖8所示。

3.5.2 試驗結果分析

下面給出WV衛星10組MS和PAN影像在不同算法下融合的試驗結果，選取了其中2組影像的試驗結果進行展示，圖9顯示了5種不同算法的融合結果，表4給出了5種融合方法對影像融合的客觀評價結果。

將高分辨率WV影像數據作為第3組試驗，圖9(a)—(e)為影像融合結果，其清晰程度相比原來的多光譜影像都有很大提高，在紅色矩形框區域可以清楚PA-PCNN和本文方法更加清晰。WV影像融合的客觀評價結果見表4，通過表4可以看出，本文方法在SF、ERGAS、CC、QAB/F和SSIM指標優于其他4種方法，表明融合影像的信息量豐富，顯著信息多，與原影像相關性強，信息損失量較小，說明本文采用的融合策略，可以更準確地保留原始影像紋理信息和細節信息。相比ZY-3和GF-2試驗,本文方法VIFF取得了相對較差的結果，說明對于低分辨率影像灰度值變化小，輪廓清晰度較低，視覺的保真度一般，但本文方法總體上優于其他方法的融合效果。

圖8 WV試驗影像Fig.8 WV experimental image

圖9 第3組影像融合結果Fig.9 Fusion results of the third group of images

表4 試驗3不同方法的客觀評價

綜上所述，本文通過對不同分辨的遙感影像進行試驗驗證本文方法的泛化能力，通過試驗說明針對不同分辨率的遙感影像適應性不同，客觀評價也很難達到所有指標均最優。融合的過程就是綜合平衡視覺效果和各種客觀指標以達到最優的融合效果。通過以上分析，本文方法面對不同分辨率影像仍然能達到綜合最優的效果，說明本文融合算法具有較強的泛化能力，不僅適用于較低分辨率影像融合，同樣適用于較高分辨率影像融合。

4 結 論

提出基于PA-PCNN模型和保持能量屬性融合策略的NSST遙感影像融合算法。該方法將PA-PCNN模型引入遙感影像高頻子帶系數的融合中，PCNN模型中的自由參數均可根據PA-PCNN模型自適應計算，克服了手動設置自由參數的困難，更好地實現空間和光譜信息融合。通過與4種具有代表性的融合方法對比，大量試驗結果表明，本文提出的方法在視覺感知和客觀評價方面整體優于SE、COF、DGIF、PA-PCNN方法，說明本文融合算法不僅適用于低分辨率全色和多光譜影像融合，而且同樣適用于高分辨率全色和多光譜影像融合。本文方法不僅克服了PCNN的不足，而且可以適應復雜的遙感影像，使得在融合領域的適應性大大增強，后續筆者將致力于設計更有效的融合策略來提高算法的時間效率，提升融合低分辨率影像的能力。此外，隨著深度學習已經廣泛應用影像領域，在未來的研究中，筆者將重點研究遙感影像融合的深度學習方法。