基于多尺度變換和VGG網(wǎng)絡(luò)的紅外與可見(jiàn)光圖像融合

付涵，嚴(yán)華

(四川大學(xué)電子信息學(xué)院，成都 610065)

1 介紹

圖像融合的目的是將不同源圖像中的重要信息整合到同一張融合圖像。近年來(lái)，紅外與可見(jiàn)光圖像的融合問(wèn)題已經(jīng)成為圖像融合領(lǐng)域一個(gè)重要的分支。紅外圖像由紅外傳感器獲得，反映了圖像中物體的溫度差異，但細(xì)節(jié)信息較少、對(duì)比度低；可見(jiàn)光圖像由可見(jiàn)光傳感器獲得，保存了目標(biāo)的顏色、亮度等信息。將紅外與可見(jiàn)光圖像進(jìn)行融合，可以提高圖像的分辨率，并獲得更為豐富、全面的信息。

基于多尺度變換的融合方法是解決紅外與可見(jiàn)光圖像融合問(wèn)題的經(jīng)典方法，如拉普拉斯金字塔(LP)[1]、低通金字塔(RP)[2]、梯度金字塔(GP)[3]、離散小波變換(DWT)[4]、平穩(wěn)小波變換(SWT)[5]、雙樹(shù)復(fù)小波變換(DTCWT)[6]和非下采樣輪廓波變換(NSCT)[7]等。這些方法一般是先將源圖像進(jìn)行多尺度分解，然后執(zhí)行特定的融合規(guī)則處理變換后的系數(shù)，最后再進(jìn)行多尺度逆變換。上述經(jīng)典方法雖然很好地保留了紅外與可見(jiàn)光圖像的細(xì)節(jié)，但是卻存在顏色失真、對(duì)比度損失等潛在問(wèn)題。基于優(yōu)化的融合方法在很大程度上解決了多尺度變換的局限性，如基于廣義隨機(jī)行走[8]和馬爾可夫隨機(jī)場(chǎng)[9]的方法。這些方法大多先求解能量函數(shù)，進(jìn)而估計(jì)空間平滑和邊緣對(duì)齊的權(quán)重，再將像素值進(jìn)行加權(quán)平均，以獲得融合圖像，但是由于多次迭代，效率十分低下。Li Shutao等人[10]提出了一種基于引導(dǎo)濾波的融合方法，該方法使用了快速的兩尺度分解，引導(dǎo)濾波的方法被用于圖像的局部濾波。但大量的實(shí)踐證明，該方法存在著可能出現(xiàn)偽影等問(wèn)題。Liu Yu等人[11]提出了一種圖像融合框架，該方法首先將源圖像進(jìn)行多尺度分解成高通和低通部分，低通部分與基于稀疏表示的融合方法進(jìn)行結(jié)合，高通部分則使用流行的最大絕對(duì)值融合規(guī)則。近年來(lái)，隨著深度學(xué)習(xí)的興起，許多深度學(xué)習(xí)的方法被應(yīng)用到圖像融合領(lǐng)域中。Liu Yu等人[12]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的融合方法，他們將源圖像灰度化后輸送到訓(xùn)練好的CNN模型中，經(jīng)過(guò)小區(qū)域去除和引導(dǎo)濾波后，獲得決策圖。然而，該方法只提取了后面幾層的結(jié)果，丟失了中間層的重要信息。Li Hui等人[13]提出了一種基于深度學(xué)習(xí)框架的方法，他們將圖像進(jìn)行兩尺度分解，細(xì)節(jié)內(nèi)容被輸送到VGG-19網(wǎng)絡(luò)中以提取特征，基礎(chǔ)部分使用了加權(quán)平均方法，使圖像丟失掉很多亮度信息。

本文將深度學(xué)習(xí)框架與多尺度變換進(jìn)行結(jié)合，提出了一種有效的紅外與可見(jiàn)光圖像融合方法。首先，將紅外與可見(jiàn)光圖像進(jìn)行拉普拉斯變換分解，獲得圖像的高通和低通部分。對(duì)于圖像的高通部分，我們將其輸入到預(yù)訓(xùn)練的VGG-19網(wǎng)絡(luò)模型中，獲取圖像的深層特征，通過(guò)L1范數(shù)和加權(quán)平均的融合策略，得到初始的特征圖，對(duì)于每個(gè)relu層執(zhí)行相同的操作，再通過(guò)平均策略，得到高通部分的融合圖像。對(duì)于圖像的低通部分，我們使用最大選擇策略，以獲取更多的亮度信息。將融合后的低通部分和高通合并后進(jìn)行拉普拉斯逆變換，就可以獲得最終的融合圖像。

2 提出的方法

提出的融合方法如圖1所示，大致分為以下幾個(gè)部分：

圖1 本文提出的融合框架

(1)LP分解：將獲得的一對(duì)紅外與可見(jiàn)光圖像通過(guò)拉普拉斯變換分解成低通和高通部分。

(2)低通部分的融合：采用最大融合策略。

(3)高通部分的融合：利用VGG-19深度學(xué)習(xí)網(wǎng)絡(luò)獲取高通部分的深層特征，再通過(guò)L1范數(shù)和平均策略獲得融合后的細(xì)節(jié)部分。

(4)圖像重構(gòu)：將融合后的低通與高通部分先進(jìn)行重構(gòu)，再經(jīng)過(guò)拉普拉斯逆變換，得到最終的融合圖像。

2.1 LP分解

假定有兩張預(yù)先配準(zhǔn)的紅外與可見(jiàn)光圖像，我們通過(guò)拉普拉斯變換將這兩張?jiān)磮D像分解成低通部分{s1_1，s2_1}和高通部分{s1_h，s2_h}。

2.2 低通部分的融合

為了獲得更多的亮度信息，增強(qiáng)融合圖像的對(duì)比度，我們?cè)诘屯ú糠植捎米畲筮x擇融合策略，如等式(1)所示。

S_1=max{s1_1,s2_1}

(1)

2.3 高通部分的融合

(1)讓表示第k張?jiān)磮D像的高通部分所提取的第i層細(xì)節(jié)特征，則：

(2)

其中，sk_h表示第k張?jiān)磮D像通過(guò)拉普拉斯變換分解獲得的高通部分，Φi(·)表示VGG-19網(wǎng)絡(luò)，i是我們從VGG-19網(wǎng)絡(luò)中提取的relu層，此處i∈{1，2，…，16}分別代表relu1-5中所有的relu層，共16層。

(2)讓表示第k張?jiān)磮D像的高通部分所提取的第i層細(xì)節(jié)特征，則：

(3)

其中，sk_h表示第k張?jiān)磮D像通過(guò)拉普拉斯變換分解獲得的高通部分，Φi(·)表示VGG-19網(wǎng)絡(luò)，i是我們從VGG-19網(wǎng)絡(luò)中提取的relu層，此處i∈{1，2，…，16}分別代表relu1-5中所有的relu層，共16層。

(4)

在本文中，k∈(1，2)。

(5)

為了保留更多細(xì)節(jié)，我們使r=1。

(6)

此處，我們令K=2。

(6)通過(guò)上采樣，將權(quán)重圖調(diào)整到和輸入圖像相同的大小：

(7)

p，q∈{0，1，…，(2i-1-1)}

(8)

此處K=2。

(8)最后，為了保證所有的細(xì)節(jié)內(nèi)容都不被丟失，我們對(duì)高通部分每個(gè)位置的初始融合圖像取平均值：

(9)

2.4 重建融合圖像

首先，將獲得的低通部分和高通部分的融合圖像進(jìn)行重構(gòu)，如(10)式所示：

F=S_1+S_h

(10)

然后，再進(jìn)行LP逆變換，以獲得最終的融合圖像。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)置

為了驗(yàn)證所提出的方法的有效性和可靠性，我們?cè)?7對(duì)紅外與可見(jiàn)光圖像上進(jìn)行了實(shí)驗(yàn)，它們分別來(lái)自不同的場(chǎng)景和細(xì)節(jié)。在本文中，我們選取了其中的4對(duì)源圖像。我們將9種先進(jìn)的圖像融合方法作為對(duì)比，包括基于ResNet的圖像融合[21]、自適應(yīng)稀疏表示(ASR)[16]、梯度傳遞融合(GTF)[17]、低通金字塔(RP)[2]、曲波變換(CVT)[18]、雙樹(shù)復(fù)小波變換(DTCWT)[6]、離散小波變換(DWT)[4]、拉普拉斯金字塔(LP)[1]和使用深度學(xué)習(xí)框架的圖像融合方法(DL)[13]。

3.2 主觀分析

由于篇幅限制，我們以兩組圖像為例，對(duì)我們的圖像進(jìn)行主觀評(píng)價(jià)。

第一對(duì)紅外與可見(jiàn)光圖像如圖2(a)(b)所示，(c)-(k)為不同方法生成的融合圖像，(l)為本文提出的方法生成的融合圖像。可以看出，本文提出的方法獲得的融合圖像在紅框內(nèi)具有更多的細(xì)節(jié)信息。在行人處，(e)(f)(g)(h)存在一些偽影，而本文提出的方法生成的融合圖像在保留細(xì)節(jié)的前提下做到了過(guò)渡自然，明顯優(yōu)于其他競(jìng)爭(zhēng)方法。

圖2 第一組實(shí)驗(yàn)圖像，(a)-(l)依次為紅外圖像和可見(jiàn)光圖像，ResNet、ASR、GTF、RP、CVT、DTCWT、DWT、LP、DL、OUR。

第二對(duì)紅外與可見(jiàn)光圖像如圖3(a)(b)所示，這是夜間植物的場(chǎng)景。(c)-(k)為不同方法生成的融合圖像，(l)為本文提出的方法生成的融合圖像。對(duì)于紅框內(nèi)的部分，通過(guò)所提出的方法獲得的融合圖像包含較少的噪聲，而圖(f)(g)(h)(j)則存在較為嚴(yán)重的噪聲。從圖片的整體上看，本文生成的融合圖像具有更多的亮度信息，且邊緣清晰，視覺(jué)效果更佳。

圖3 第二組實(shí)驗(yàn)圖像，(a)-(l)依次為紅外圖像和可見(jiàn)光圖像，ResNet、ASR、GTF、RP、CVT、DTCWT、DWT、LP、DL、OUR。

3.3 客觀評(píng)價(jià)

為了更好體現(xiàn)出不同融合方法的性能差異，本文采用了四種常用的圖像融合評(píng)價(jià)指標(biāo)，分別是熵(EN)、互信息(MI)、標(biāo)準(zhǔn)差(SD)和非線性相關(guān)信息熵(NCIE)。評(píng)價(jià)指標(biāo)的值越高，證明融合圖像的質(zhì)量越好。四個(gè)指標(biāo)的定義如下。

3.3.1 熵(EN)

根據(jù)香農(nóng)信息論，熵值大小反映了圖像包含信息量的多少，熵值越大，圖像融合的效果越好。熵定義如下：

(11)

其中，pi是圖像中第i個(gè)灰度級(jí)的概率，L表示圖像灰度級(jí)別，在我們的實(shí)驗(yàn)中，將L設(shè)置為256。若圖像存在嚴(yán)重的偽影或噪聲，會(huì)使EN的值增大，因此，EN的值并不能完全代表融合圖像的質(zhì)量。

3.3.2 互信息(MI)

互信息反映了融合圖像與源圖像的相似性，它描述融合圖像保留源圖像的信息量的多少。MI的值越大，表示從源圖像到融合圖像的信息量越大。根據(jù)文獻(xiàn)[19]，定義如下：

(12)

其中PABF(i，j，k)表示源圖像A、B與融合圖像。

F的歸一化聯(lián)合灰度直方圖分布，PAB(i，j)是圖像A與B的歸一化聯(lián)合灰度直方圖分布，PF(k)是融合圖像F的歸一化邊緣灰度直方圖分布。L為灰度級(jí)數(shù)，(i，j，k)分別代表源圖像A、B與融合圖像F的像素值。

3.3.3 標(biāo)準(zhǔn)差(SD)

圖像的標(biāo)準(zhǔn)差表示圖像中單個(gè)像素的值相對(duì)于圖像像素均值的偏移程度。在數(shù)學(xué)上，定義如下：

(13)

其中x是M×N維的融合圖像，xi，j表示在(i，j)處的像素值，μ是融合圖像的平均像素值。標(biāo)準(zhǔn)差越大，灰度越分散，也就說(shuō)明圖像具有較高的對(duì)比度，視覺(jué)效果更佳。

3.3.4 非線性相關(guān)信息熵(NCIE)

根據(jù)文獻(xiàn)[20]，非線性相關(guān)信息熵(NCIE)定義為：

(14)

3.3.5 實(shí)驗(yàn)數(shù)據(jù)分析

進(jìn)一步地，我們通過(guò)圖像的評(píng)價(jià)指標(biāo)來(lái)驗(yàn)證所提出的方法的有效性。

表1第一行列出了第一對(duì)圖像的所有融合方法的評(píng)價(jià)指標(biāo)。不難看出，本文提出的方法的EN和NCIE值略高于其他方法，MI和SD值則明顯高于其他方法。從評(píng)價(jià)指標(biāo)的數(shù)據(jù)上來(lái)看，我們的方法保留了大量源圖像的有用信息，且具有較高的對(duì)比度。

表1 四組圖片的評(píng)價(jià)指標(biāo)對(duì)比

表1第二行列出了第二對(duì)圖像的所有融合方法的評(píng)價(jià)指標(biāo)。對(duì)于指標(biāo)EN和NCIE，所有方法的值都非常接近，我們的方法略有優(yōu)勢(shì)。DWT、DL和我們的方法的MI值明顯高于其他的方法，進(jìn)一步地，我們的方法相比DWT和DL又具有更大的優(yōu)勢(shì)。而對(duì)于指標(biāo)SD，我們的方法明顯優(yōu)于其他方法。通過(guò)以上分析可以得出結(jié)論，我們的方法具有更大的價(jià)值。

表1第三行列出了第三對(duì)圖像的所有融合方法的評(píng)價(jià)指標(biāo)。從數(shù)據(jù)上來(lái)看，對(duì)于第三對(duì)圖像，我們的四項(xiàng)評(píng)價(jià)指標(biāo)值雖然沒(méi)有與其他方法拉開(kāi)明顯的差距，但是都會(huì)稍高與其他的方法，結(jié)合主觀視覺(jué)效果分析，我們的方法是優(yōu)于其他方法的。

表1第四行列出了第四對(duì)圖像的所有融合方法的評(píng)價(jià)指標(biāo)。從EN、MI和SD三項(xiàng)指標(biāo)值來(lái)看，我們的方法均與其他方法拉開(kāi)明顯差距，具有非常大的潛力。而NCIE值也略高于其他方法，綜上分析，我們的方法總體上優(yōu)于其他方法，在紅外與可見(jiàn)光的圖像融合方面具有一定優(yōu)勢(shì)。

4 結(jié)語(yǔ)

本文提出了一種有效的基于VGG-19深度學(xué)習(xí)框架的圖像融合方法。首先，通過(guò)拉普拉斯變換將源圖像分解為低通部分和高通部分。低通部分包含圖像更多的基礎(chǔ)信息，高通部分則含有更多的細(xì)節(jié)內(nèi)容。對(duì)于低通部分，我們采用最大融合策略。對(duì)于高通部分，我們利用預(yù)訓(xùn)練的VGG-19深度學(xué)習(xí)網(wǎng)絡(luò)來(lái)獲取深層特征，然后通過(guò)L1范數(shù)和平均操作進(jìn)行優(yōu)化，再經(jīng)過(guò)Softmax和上采樣，獲得最終的權(quán)重圖，將所有relu層的權(quán)重圖進(jìn)行平均，就得到高通部分的融合圖像。最后，我們將融合后的高通和低通部分進(jìn)行重構(gòu)，通過(guò)拉普拉斯逆變換，獲得最終的融合圖像。為了驗(yàn)證提出的方法的可靠性，我們?cè)?7對(duì)紅外與可見(jiàn)光圖像上進(jìn)行了實(shí)驗(yàn)，在4個(gè)指標(biāo)的基礎(chǔ)上與9種先進(jìn)的圖像融合方法進(jìn)行了對(duì)比。實(shí)驗(yàn)結(jié)果表明，我們的方法無(wú)論是從主觀視覺(jué)效果還是客觀評(píng)價(jià)指標(biāo)上來(lái)看，都具有先進(jìn)的性能。