一種改進的SAR與可見光圖像融合算法

張 瑞，董張玉

(1. 合肥工業大學計算機與信息學院，安徽合肥 230601；2. 工業安全與應急技術安徽省重點實驗室，安徽合肥 230601)

0 引言

合成孔徑雷達(Synthetic Aperture Radar,SAR)對地面建筑與人造橋梁都比較敏感，成像原理為主動式微波反射成像，SAR具有更多細節表現信息和紋理特征；與此同時，SAR不受氣候環境干擾，能全天成像接收更多的地理信息。可見光圖像(Visible image)成像需要依賴發光源，原理為光反射成像，能很好地體現出地表的光譜信息、地面物的物理屬性[1]。兩者對比，SAR的優勢在于能體現出更多的細節特征，但卻易受地物的特性干擾，也沒有目視觀測能力、地物直視能力；Visible image的優勢在于具備直視效果、目標解譯能力，但若成像條件不好，則已丟失地物細節特征。將SAR與Visible image融合的目標在于使得遙感影像同時具備更多的細節特征、目標直視解譯能力，融合兩種圖像的優點[2]。與傳統的多光譜、全色遙感影像融合相比，SAR與Visible image兼顧地物光譜信息與細節特征，且SAR有抗干擾能力較強的特性[3]。故使SAR和Visible image做有效融合，可獲得一幅同時具備高空間、高細節、高光譜的遙感影像，其更具有可視性，在實際應用中例如軍事偵測、農業規劃、目標提取等圖像處理工作提供了更多的有效信息。

近年來，多尺度分析法跟主成分替換法為在SAR與可見光圖像的融合領域被廣泛得到應用。多尺度分析法中NSST變換不僅具有傳統Con- tourlet 變換的局部化特性等優點，且具備更高效的計算能力、擁有平移不變性，同時能減小偽吉布斯現象，因此NSST變換在圖像融合領域獲得了顯著的優勢[4]，可通過NSST變換后的圖像低頻分量體現的是其近視特性，近視值大都達不到標準指標，圖像的低頻信息無法較好體現出本身特征。主成分替換法中IHS變換是讓Visible image經IHS分離出的I分量被SAR經對比度拉伸之后替換，將亮度、光譜兩種信息分開，使融合圖像保持良好的光譜信息，但缺點在于融合的過程只在像素間發生，較易產生頻譜混疊的情況，無法同時兼備融合圖像的細節表現。脈沖耦合神經網絡(PCNN)具備耦合跟同步脈沖的優點，與此同時圖像信息經過PCNN模型處理，可以使得最終結果保留更多細節信息，提高所得圖像的質量[5]。

針對以上算法一些不足之處，根據NSST算法計算力高效，具有平移不變性、IHS變換可以較好地分開Visible image的光譜、亮度兩種信息，PCNN模型能使得目標圖像保持更多細節信息等長處，本文提出一種NSST-IHS結合PCNN模型的改進融合算法。本文算法提升了SAR與Visible image的融合質量、各類評價指標、最終融合圖的光譜信息，線性結構特征更多地保留下來。

1 算法原理

1.1 PCNN模型與NSST變換

1.1.1 PCNN模型

PCNN模型是一種旨在模擬猩猩等動物的腦部視覺皮層神經元，類似于一種動物處理視覺信息的過程，此模型由 Eckhorn等[6]提出，復雜的參數設計，會某個程度上阻礙PCNN模型的應用，本文采取簡化的PCNN模型，方程描述如下：

Amn(t)=Bmn(t)

(1)

Cmn(t)=exp(-αC)Cmn(t-1)+

(2)

Zmn(t)Amn(t)×(1+βCmn(t))

(3)

θmn(t)=exp(-αθ)θmn(t-1)+

VθYmn(t-1)

(4)

(5)

式中：下標(m,n) 為神經元的坐標；t為迭代次數；k，l為神經元的鏈接區間；Tmn為外部激勵；Amn為反饋輸入；β為鏈接強度因子；Zmn為內部活動項；Cmn為鏈接輸入；Wmn,kl為伴隨著Cmn的突觸權矩陣系數，而Zmn則是β使得Cmn與Amn共同結合得到；VC，Vθ，αθ和αC分別為振幅收益系數、放大系數、衰減時間常數、時間衰減系數。Wmn,kl的計算方程描述如下：

Wmn,kl=

(6)

θmn是動態閾值，此數值根據上一個狀態θmn與輸出結果Ymn而得到。如果Zmn(t)≥θmn(t)，稱為一次點火，又稱神經元生成1個脈沖。

1.1.2NSST變換原理

非下采樣金字塔(Non Subsampled Pyramid，NSP)濾波組的多尺度分解、基于改進的剪切波濾波器組(Shearlet Filter，SF)的多方向分解為NSST離散化過程的兩個主要部分。圖像通過NSST變換，得到一幅低頻與多幅高頻跟原圖像大小相同的圖像。變換所得低頻圖像與原圖十分近似，所得高頻圖像其中大部分含有原圖的細節特征，故選取較好的融合規則對融合的結果有很關鍵的作用。NSST離散原理圖如圖1所示。

圖1 NSST離散原理過程圖

1.2 改進的融合算法

1.2.1 低頻子帶分量融合規則

低頻子帶分量融合采取基于PCNN模型的自適應融合方法，重點在于此模型Tmn與β數值的確定。空間頻率可以很好地體現原圖的細節特征，將區域空間頻率當作PCNN的Tmn值，以獲得良好的融合效果。其中，水平方向、垂直方向及對角線方向是空間頻率需要確定的計算，方程如下:

(7)

式中，OA為水平方向頻率；PA為垂直方向頻率；QHA為對角方向頻率。下式中I、J是原圖的行列數，P(i,j) 是原圖經NSST分解在坐標(i,j) 的低頻子帶分量系數。

計算公式如下:

(8)

(9)

QHA=U+R

(10)

(11)

(12)

因圖像像素的特征根據鏈接強度β來體現，同時β能直接影響鏈接通道在內部活動的比重。為加強融合圖像的質量，本文采取以平均梯度為基礎的指數衰減形式的辦法[7]。本文以平均梯度為PCNN模型中的β值，圖像的平均區域表達方程為

(13)

h1(m,n)=|M(m,n)-N(m+1,n)|

(14)

h2(m,n)=|M(m,n)-N(m,n+1)|

(15)

其中M×N表示區域大小，在此取3×3。以脈沖點火次數為根據來選擇融合系數。融合規則表達如下:

(16)

式中，C1(m,n)，Y1(m,n) 為Visible image通過NSST獲得的低頻子帶系數、低頻脈沖輸出；C2(m,n)，Y2(m,n)為SAR通過NSST獲得的高頻子帶系數、高頻脈沖輸出；PF(m,n)則是最終融合圖像的在坐標(m,n) 處的低頻系數。

1.2.2 高頻子帶分量融合規則

高頻分量本身就含有豐富的原圖細節特征，故本文采取改進的拉普拉斯能量和(SML)融合規則[8]，此融合與傳統的空間頻率、方差等相比，SML更加看重像素間在局部圖像塊區域中的相互的關聯。改進的ML與SML方程如下：

XZef(p,q)=

式中：Eef(p,q)為在像素圖像坐標(p,q)第f方向的系數，step為在系數間的可調整的變量。本文中的step值只為1。

(18)

(19)

根據上述融合規則，本文算法融合步驟為首先對實驗用圖作預處理，對處理完的Visible image運用IHS、NSST，對SAR運用 NSST，獲得相應的低頻與高頻子帶分量；再將所得頻與高頻子帶分量運用相應融合規則，得到相應的低頻與高頻子帶融合分量，再分別運用逆NSST、IHS得到融合圖像,融合流程如圖2所示。

圖2 NSST-IHS-PCNN算法流程

2 實驗結果與分析

為驗證本文所提出的算法優越及有效性，選用matlab2014對實驗所用影像進行融合實驗，影像區域選擇天津渤海地區，SAR影像來源于歐盟“哨兵1號”(Sentinel-1)雷達衛星所屬C波段圖像,且SAR采用BM3D算法濾波[9]，影像分辨率為5 m；Visible image來源于landsat-8，影像分辨率為30 m。同時選取基于IHS、NSCT、NSST變換以及NSST-IHS算法的融合實驗結果進行對比分析。

在參數設計上，IHS變換的I分量波段權重系數設計為(0.3,0.75,0.25)；NSCT變換的多尺度分解采取“maxflat”濾波器，方向濾波器采取 “dmaxflat7”，方向級數[1,2,3]； NSST、NSST-HIS及本文算法均采用“maxflat”濾 波 器。本文的PCNN模型參數如下：αC=1,αθ=0.2,(k,l)=(3,3),VC=1,Vθ=20,t=200。

2.1 實驗結果

本文實驗用圖挑取的Visible image與SAR分別為圖3(a)、(b)，此區域包含很多建筑和水域，影像具有大量的光譜和線性結構特征信息。由圖3(c)～(e)得知，IHS變換比NSCT、NSST整體顏色略淺，卻未出現顯著的光譜丟失，但線性結構特征等細節信息保留卻沒有另外兩種方法好。由圖3(d)～(f)得知,NSST-IHS變換相比于NSCT、NSST線性結構特征方面保留相差都不大，基本都包含原圖像大部分的細節信息，但同時光譜信息保留也相對比NSCT、NSST稍好一些，可在圖3(f)中河邊建筑區域邊緣上仍存在一些光譜失真現象，有略微的扭曲。圖3(g)完全整合了圖3(f)與前幾種方法的優勢，在所有融合圖中最接近于圖3(a)的直視感覺，圖3(g)同時降低了3(f)出現的光譜失真，保留了更多的光譜信息，也將圖3(b)中的線性結構特征更完好地保留，故綜上所述，從各個方面來說，本文方法所得融合圖質量最高。

圖3 本文算法結果及對比算法結果

2.2 融合指標評價

本文以文獻[10]Wald質量評價指標為標準，因缺少具備高空間分辨率的Visible image作參照圖像，SAR影像有擾亂地表目標解譯的線性結構特征，若作為融合影像的空間細節對比圖有較大差異，原可見光圖像則在光譜信息與空間結構信息與融合圖像最為相近，故選圖3(a)作為融合圖像的最終參照圖像。實驗數據結果以相關系數(Correlation Coefficient,CC)、相對平均光譜(Relative Average Spectral,RASE)、相對無量綱全局誤差(ERGAS)、通用質量評價指標(Universal Image Quality Index,UIQI)四種指標來進行對比評價[10]。以上，CC、RASE用來評價表1是本文算法及對比算法所得融合圖各項指標數據，由數據可知，IHS相比NSCT、NSST光譜評價指標(CC、RASE)較高；但在細節信息評價指標(ERGAS、 UIQI)上NSCT、NSST則比IHS變換要有優勢；由此可得IHS有光譜信息保留能力，NSCT、NSST則擁有稍好線性細節特征保留能力。NSST-IHS與NSCT、NSST變換相比細節信息保留能力基本不變的同時，在光譜信息評價指標上也有提高。本文算法比較于其他四種變換，各類評價指標上都有明顯的提高，說明本文算法改進效果明顯。

表1 實驗數據對比

3 結束語

本文算法為一種改進的SAR與可見光圖像融合算法，主要基于IHS、NSST、PCNN模型，與一些傳統融合方法相比此算法同時具備保留更多光譜、線性細節特征兩種信息。此算法主要針對低頻子帶分量采取結合PCNN模型的自適應融合規則，利用空間方向信息自動調整PCNN模型參數；高頻子帶分量采取SML融合規則。通過實驗對比驗證，本文算法有效提高融合圖像的融合質量、視覺效果以及各類評價指標。