基于剪切波變換和脈沖耦合神經(jīng)網(wǎng)絡(luò)的圖像融合方法

毛興翔， 白昊， 鄭寧

(1.中國石油大學(xué)(北京),機(jī)械與儲(chǔ)運(yùn)工程學(xué)院， 北京 102249；2.中國石油大學(xué)(北京),石油工程學(xué)院， 北京 102249；3.長(zhǎng)慶油田分公司第十采油廠， 甘肅,慶陽 745100)

0 引言

不同傳感器采集相同場(chǎng)景圖像時(shí)，所采集圖像中包含大量冗余信息和互補(bǔ)信息[1]。例如紅外傳感器所采集紅外圖像可重點(diǎn)描述場(chǎng)景中的熱源信息，突出紅外輻射信息；可見光傳感器所采集圖像可重點(diǎn)描述場(chǎng)景中的背景信息和環(huán)境信息[2-4]，具有紋理清晰的優(yōu)勢(shì)。融合不同傳感器所采集圖像具有較高的必要性。圖像融合是將多源圖像的重要信息融合至一幅圖像的技術(shù)，圖像融合后具有信息豐富的優(yōu)勢(shì)[4-6]。圖像融合技術(shù)已廣泛應(yīng)用于地質(zhì)遙感、交通、計(jì)算機(jī)視覺以及醫(yī)療成像等領(lǐng)域中[7]。

目前國內(nèi)外學(xué)者針對(duì)圖像融合進(jìn)行大量研究，焦姣等[8]研究形態(tài)學(xué)濾波和改進(jìn)PCNN的NSST域多光譜與全色圖像融合，將待融合圖像通過形態(tài)學(xué)濾波方法處理；侯瑞超等[9]研究結(jié)合視覺顯著性與Dual-PCNN的紅外與可見光圖像融合，充分考慮紅外圖像以及可見光圖像的視覺顯著性，兩種方法均可實(shí)現(xiàn)圖像的有效融合，但融合后圖像視覺效果較差。

剪切波變換是具有較低計(jì)算復(fù)雜度的算法，作為圖像融合領(lǐng)域的研究熱點(diǎn)和主流方法[6]，已廣泛應(yīng)用于圖像特殊處理和圖像融合中。脈沖耦合神經(jīng)網(wǎng)絡(luò)存在同步脈沖發(fā)放特性[7]，同樣被廣泛應(yīng)用于圖像處理領(lǐng)域的圖像去噪、圖像分割和圖像融合中。將剪切波變換和脈沖耦合神經(jīng)網(wǎng)絡(luò)同時(shí)應(yīng)用于圖像融合中，可有效提升圖像融合性能。為了提高圖像融合效果，提出了剪切波變換和脈沖耦合神經(jīng)網(wǎng)絡(luò)的圖像融合方法，通過實(shí)驗(yàn)驗(yàn)證該方法具有較高的圖像融合有效性。

1 剪切波變換和脈沖耦合神經(jīng)網(wǎng)絡(luò)的圖像融合方法

1.1 有限離散剪切波變換

拋物線剪切矩陣和縮放矩陣公式分別如下：

(1)

(2)

通過膨脹、平移和剪切變換處理函數(shù)Ψ∈L2(R2)獲取連續(xù)剪切波公式如下：

(3)

二維傅里葉變換連續(xù)剪切波Ψa,s,t，獲取隨機(jī)函數(shù)f的連續(xù)剪切波變換，其相應(yīng)Parsecal等式如下：

(4)

(5)

通過式(5)可利用二維快速傅里葉變換求解，利用有限離散剪切波變換將源圖像利用L層分解獲取高頻方向子帶以及低頻方向子帶。

1.2 脈沖耦合神經(jīng)網(wǎng)絡(luò)

脈沖耦合神經(jīng)網(wǎng)絡(luò)是由眾多包括接收域、調(diào)制域以及脈沖產(chǎn)生器的神經(jīng)元所形成的神經(jīng)網(wǎng)絡(luò)。將圖像中各像素點(diǎn)視為脈沖耦合神經(jīng)網(wǎng)絡(luò)相應(yīng)神經(jīng)元[11]，脈沖耦合神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像處理中簡(jiǎn)化模型數(shù)學(xué)表達(dá)式如下：

(6)

利用區(qū)域改進(jìn)拉普拉斯能量和作為脈沖耦合神經(jīng)網(wǎng)絡(luò)輸入，區(qū)域改進(jìn)拉普拉斯能量可體現(xiàn)圖像邊緣信息以及細(xì)節(jié)信息[12]，其公式如下：

?MLf(i,j)=|2f(i,j)-f(i-d,j)-f(i+d,j)|+

|2f(i,j)-f(i,j-d)-f(i,j+d)|

(7)

式中，d為體現(xiàn)紋理基元大小的可變空間距離。

脈沖耦合神經(jīng)網(wǎng)絡(luò)輸入項(xiàng)Fij公式如下：

(8)

式中，N表示區(qū)域窗口大小。

脈沖耦合神經(jīng)網(wǎng)絡(luò)方法應(yīng)用于圖像融合時(shí)，融合系數(shù)的判決規(guī)則選取脈沖耦合神經(jīng)網(wǎng)絡(luò)的點(diǎn)火次數(shù)設(shè)置，該方法屬于硬限幅函數(shù)，點(diǎn)火輸出僅可為0或1，無法直觀體現(xiàn)同步脈沖所激發(fā)幅度差異[13]。將軟限幅Sigmoid函數(shù)應(yīng)用于不同系數(shù)迭代過程中的點(diǎn)火幅度，依據(jù)輸出幅度和判決融合系數(shù)可得輸出幅度公式如下：

(9)

式中，Tij(n)表示待融合圖像(i,j)的點(diǎn)火輸出幅度。可得點(diǎn)火次數(shù)為n時(shí)，輸出幅度總和為

Zij(n)=Zij(n-1)+Tij(n)

(10)

1.3 低頻分量與高頻分量的圖像融合

1.3.1 高頻分量融合

圖像高頻分量包含眾多紋理、邊緣等細(xì)節(jié)信息，可體現(xiàn)圖像的突變特性。脈沖耦合神經(jīng)網(wǎng)絡(luò)中點(diǎn)火次數(shù)可體現(xiàn)圖像不同位置所包含信息的豐富程度。脈沖耦合神經(jīng)網(wǎng)絡(luò)的高頻分量融合過程為

(1) 將多源圖像利用4×4的區(qū)域滑動(dòng)窗口遍歷，利用公式(7)獲取通過剪切變換所獲取高頻分量Fij，歸一化處理Fij，處理結(jié)果即脈沖耦合神經(jīng)網(wǎng)絡(luò)輸入；

(2) 設(shè)置脈沖耦合神經(jīng)網(wǎng)絡(luò)初始參數(shù)Lij(0)=Uij(0)=θij(0)=0，設(shè)置其最大迭代次數(shù)Nmax；

(3) 利用式(6)重復(fù)迭代計(jì)算，依據(jù)式(9)獲取脈沖耦合神經(jīng)網(wǎng)絡(luò)點(diǎn)火輸出幅度總值；

(4) 當(dāng)n

(5) 決策矩陣如下：

(11)

利用決策矩陣選取高頻系數(shù)公式如下：

(12)

式中，SM(i,j)、SP(i,j)為不同源圖像利用剪切波變換所獲取高頻子帶系數(shù)。

1.3.2 剪切波變換和脈沖耦合神經(jīng)的多源信息圖像融合步驟

(1) 精準(zhǔn)配準(zhǔn)多源圖像P與M；

2 圖像融合的實(shí)例分析

為驗(yàn)證剪切波變換和脈沖耦合神經(jīng)網(wǎng)絡(luò)的圖像融合方法融合圖像有效性，選取相同場(chǎng)景相同角度的紅外傳感器以及可見光傳感器所采集紅外圖像和可見光圖像作為源圖像，檢測(cè)采用本文方法融合不同場(chǎng)景源圖像的融合結(jié)果。設(shè)置剪切波變換分解層數(shù)為4，脈沖耦合神經(jīng)網(wǎng)絡(luò)參數(shù)分別為：αL=αθ=0.25，VL=1.0，Vθ=0.25，設(shè)置最大迭代次數(shù)為150次。隨機(jī)選取城市場(chǎng)景，采用本文方法融合可見光圖像和紅外圖像所獲取效果圖如圖1所示。圖1實(shí)驗(yàn)結(jié)果可以看出，本文方法可有效融合可見光圖像與紅外圖像所包含全部細(xì)節(jié)信息，融合后圖像具有較高清晰度、紋理清晰、邊緣細(xì)節(jié)明顯。本文方法可實(shí)現(xiàn)源圖像高頻區(qū)域與低頻區(qū)域融合，具有較高的多源圖像融合效果。

圖1 本文方法融合結(jié)果

為進(jìn)一步驗(yàn)證本文方法融合圖像有效性，選取信息熵、互信息量、加權(quán)融合質(zhì)量指數(shù)、邊緣信息傳遞量以及灰度標(biāo)準(zhǔn)差作為客觀評(píng)價(jià)圖像融合效果的評(píng)價(jià)指標(biāo)。為直觀展示本文方法的圖像融合性能，選取形態(tài)學(xué)濾波方法(參考文獻(xiàn)[8])和視覺顯著性方法(參考文獻(xiàn)[9])作為對(duì)比方法。

采用不同方法融合8幅不同場(chǎng)景紅外圖像與可見光圖像，統(tǒng)計(jì)所融合圖像信息熵，對(duì)比結(jié)果如圖2所示。從圖2可以看出，采用本文方法的融合結(jié)果的信息熵均高于另兩種方法，對(duì)比結(jié)果有效驗(yàn)證本文方法具有較高的融合性能。

圖2 信息熵對(duì)比

統(tǒng)計(jì)所融合圖像的互信息量，結(jié)果如圖3所示。從圖3可以看出，采用本文方法融合多源圖像具有較高的互信息量。

圖3 互信息量對(duì)比

采用不同方法融合8幅不同場(chǎng)景的紅外圖像與可見光圖像，統(tǒng)計(jì)所融合圖像的加權(quán)融合質(zhì)量指數(shù)，對(duì)比結(jié)果如圖4所示。從圖4看出，采用本文方法融合圖像的加權(quán)融合質(zhì)量指數(shù)最低，表明本文方法融合圖像中可保留更多源圖像信息。

圖4 加權(quán)融合質(zhì)量指數(shù)對(duì)比

統(tǒng)計(jì)所融合圖像的邊緣信息傳遞量，對(duì)比結(jié)果如圖5所示。圖5實(shí)驗(yàn)結(jié)果可以看出，采用本文方法融合多源圖像所獲取邊緣信息傳遞量明顯高于另兩種方法，再次驗(yàn)證本文方法的圖像融合有效性。

圖5 邊緣信息傳遞量對(duì)比

統(tǒng)計(jì)所融合圖像的灰度標(biāo)準(zhǔn)差，對(duì)比結(jié)果如圖6所示。圖6實(shí)驗(yàn)結(jié)果可以看出，本文方法融合圖像的灰度標(biāo)準(zhǔn)差明顯高于另兩種方法，表明本文方法具有較強(qiáng)的圖像信息表達(dá)能力。

圖6 灰度標(biāo)準(zhǔn)差對(duì)比

3 總結(jié)

本文提出了剪切波變換和脈沖耦合神經(jīng)網(wǎng)絡(luò)的圖像融合方法，利用剪切波變換方法獲取源圖像高頻方向子帶和低頻方向子帶，利用脈沖耦合神經(jīng)網(wǎng)絡(luò)方法實(shí)現(xiàn)高頻方向子帶與低頻方向子帶融合，實(shí)現(xiàn)多源圖像整體信息以及細(xì)節(jié)信息的高效融合。通過實(shí)驗(yàn)驗(yàn)證采用該方法融合多源圖像有效性，采用該方法融合多源圖像不僅可獲取主觀的圖像融合效果，客觀評(píng)價(jià)的邊緣信息傳遞量以及互信息等指標(biāo)均較優(yōu)，驗(yàn)證采用該方法融合多源圖像具有較高有效性。