卷積自編碼融合網(wǎng)絡(luò)的紅外可見光圖像融合

楊 勇，劉家祥，黃淑英，張迎梅，吳嘉驊，李露奕

1(江西財經(jīng)大學(xué) 信息管理學(xué)院，南昌 330032)2(江西財經(jīng)大學(xué) 軟件與通信工程學(xué)院，南昌 330032)

1 引 言

紅外圖像的目標(biāo)輪廓清晰，熱度信息豐富，但是存在視覺性不強(qiáng)、清晰度不高、細(xì)節(jié)信息少等缺點(diǎn).可見光圖像的對比度和分辨率都比較高，具有光譜信息豐富、細(xì)節(jié)信息多、視覺性好等優(yōu)點(diǎn)，但是可見光圖像抗干擾能力差.紅外與可見光圖像融合是將不同類型的傳感器獲得的紅外圖像與可見光圖像進(jìn)行融合，提取源圖像中的顯著特征，然后將這些特征通過適當(dāng)?shù)娜诤戏椒ㄊ蛊浼傻絾蝹€圖像中.融合算法廣泛應(yīng)用于許多應(yīng)用中，如公共安全和軍事應(yīng)用等領(lǐng)域.

近些年來，圖像融合領(lǐng)域得到廣泛的關(guān)注.在變換域，有多尺度變換[1]，基于顯著性的方法[2]、稀疏表示[3，4]和定向梯度直方圖[5]融合方法.在空間域，有基于引導(dǎo)濾波[6]和基于稠密尺度不變特征變換[7]的方法，這些方法大多數(shù)要經(jīng)過復(fù)雜的圖像像素點(diǎn)活躍度系數(shù)的測量以及復(fù)雜融合規(guī)則的制定，其實(shí)施難度與計算成本較高.

深度學(xué)習(xí)能夠讓計算機(jī)自動學(xué)習(xí)模式特征，并將特征學(xué)習(xí)融入到建立模型的過程中.目前，許多融合方法都以此為基礎(chǔ)來進(jìn)行研究.劉等人[8]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)的方法，CNN能夠有效提取源圖像的特征，但是其方法計算復(fù)雜度高，時間較長，并且忽略了許多在中間層獲得的有用信息.馬等人[9]提出了一種基于生成對抗網(wǎng)絡(luò)模型的方法FusionGAN，它是一種端到端的網(wǎng)絡(luò)模型，不用設(shè)計復(fù)雜的融合規(guī)則，但是由于GAN網(wǎng)絡(luò)的不穩(wěn)定性，其訓(xùn)練與測試過程都相對不穩(wěn)定.李等人[10]提出了一種基于CNN的融合網(wǎng)絡(luò)DenseFuse，可以得到較好的融合效果，但是其網(wǎng)絡(luò)相對復(fù)雜，計算復(fù)雜度較高.

為了克服以上缺點(diǎn)，本文基于CNN和編解碼結(jié)構(gòu)，構(gòu)建出一種簡單、高效、泛化能力強(qiáng)的卷積自編碼網(wǎng)絡(luò)，并考慮到融合中需要保留圖像結(jié)構(gòu)信息的要求，在傳統(tǒng)損失函數(shù)的基礎(chǔ)上，提出了一種基于圖像梯度紋理信息保留的損失函數(shù)來指導(dǎo)網(wǎng)絡(luò)的訓(xùn)練，提高融合結(jié)果的質(zhì)量.本文提出的基于卷積自編碼融合網(wǎng)絡(luò)的紅外與可見光圖像融合方法，是使用編碼網(wǎng)絡(luò)提取兩類源圖像的特征，通過融合規(guī)則來實(shí)現(xiàn)特征圖的融合，再通過重建的解碼網(wǎng)絡(luò)獲得融合圖像.自編碼融合網(wǎng)絡(luò)是由卷積層構(gòu)造，其中每層的輸出用來作為下一層的輸入.在提出的深度學(xué)習(xí)架構(gòu)中，編碼網(wǎng)絡(luò)由三個卷積編碼層構(gòu)成，用于提取特征圖，解碼網(wǎng)絡(luò)由三個卷積解碼層構(gòu)成.

本文融合方法首先訓(xùn)練卷積自編碼網(wǎng)絡(luò)，再利用訓(xùn)練好的卷積編碼網(wǎng)絡(luò)提取源圖像相應(yīng)的特征，得到多張?zhí)卣鲌D，特征圖在不同維度上包含了源圖像的各項信息；接著對多張圖像特征圖利用融合規(guī)則將其融合，得到包含所有源圖像信息的特征圖，然后利用卷積解碼網(wǎng)絡(luò)對其進(jìn)行重建的操作，最終輸出一張包含多張源圖像信息的融合結(jié)果.圖1給出了一個代表例子，左邊兩幅圖像是待融合的紅外和可見光圖像，其中紅外圖像突出了目標(biāo)，而可見光圖像包含豐富的背景細(xì)節(jié)和紋理信息，但是關(guān)鍵目標(biāo)信息丟失，而本文的融合結(jié)果很好地包含了紅外圖像的目標(biāo)信息與可見光圖像的紋理背景信息.

圖1 基于卷積自編碼融合網(wǎng)絡(luò)的紅外與可見光圖像融合結(jié)果Fig.1 Infrared and visible image fusion result based on convolutional auto-encoding fusion network

論文結(jié)構(gòu)如下：在第2節(jié)中，簡要介紹自編碼器與卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識；在第3節(jié)中，給出了本文融合方法的詳細(xì)介紹；在第4節(jié)中，將本文方法與現(xiàn)有的多種融合方法進(jìn)行主觀與客觀實(shí)驗對比分析；在第5節(jié)中，對本文工作進(jìn)行總結(jié).

2 自編碼器與卷積神經(jīng)網(wǎng)絡(luò)

2.1 自編碼器

自編碼器[11]主要用于降維和特征學(xué)習(xí)的任務(wù)，對提取的高階特征信息進(jìn)行編碼與解碼，是一種無監(jiān)督學(xué)習(xí)的非線性特征提取方法，其輸出與輸入具有相同的維度，隱藏層被用來對原始數(shù)據(jù)的特征進(jìn)行編碼.自動編碼器是指保持輸入與輸出盡可能一致(通過信息損失來判定)的情形下，實(shí)現(xiàn)無監(jiān)督方式下的隱層特征提取與參數(shù)學(xué)習(xí)[12].目的是讓神經(jīng)網(wǎng)絡(luò)的輸出能和原始輸入一致.相當(dāng)于在特征空間上學(xué)習(xí)一個恒等式 y=x.將原始圖像作為輸入，對圖像進(jìn)行編碼解碼，使提取到的特征保持輸入與輸出接近一致.本文將利用自編碼器的結(jié)構(gòu)思想，利用兩個并行的編碼網(wǎng)絡(luò)分別對兩類圖像進(jìn)行特征提取，然后對兩類特征圖進(jìn)行融合，最后對融合后的特征圖重建出與輸入圖像大小相同的融合結(jié)果.傳統(tǒng)的自編碼器因其無監(jiān)督特征提取方法的特點(diǎn)，其雖可快速提取特征，但特征提取準(zhǔn)確性與還原性卻無法保證.

2.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)[13]是一種特殊的可訓(xùn)練權(quán)重和偏置的前饋神經(jīng)網(wǎng)絡(luò)，是深度學(xué)習(xí)中最經(jīng)典的算法之一，誕生于上世紀(jì)80年代，當(dāng)時只是應(yīng)用于支票數(shù)字的識別，隨著計算機(jī)硬件的發(fā)展和算法的創(chuàng)新，CNN已經(jīng)在計算機(jī)視覺領(lǐng)域發(fā)揮了巨大的作用.CNN因為具有深度結(jié)構(gòu)，以及局部感受野與共享權(quán)重的特點(diǎn)，使其可以提取更加完整的特征信息.以二維圖像為例，CNN可以直接處理二維圖像數(shù)據(jù)，通過卷積核和池化操作對原始輸入進(jìn)行特征提取，對輸入數(shù)據(jù)進(jìn)行特征表示，然后通過反向傳播算法(Back Propagation，BP)進(jìn)行參數(shù)的更新.CNN仿造生物的視覺感知機(jī)制構(gòu)建，可以進(jìn)行監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)，其隱含層內(nèi)的卷積核參數(shù)共享和層間連接的稀疏性使得CNN能夠以較小的計算量對像素點(diǎn)提取特征.因此本文將利用CNN的優(yōu)點(diǎn)，與自編碼結(jié)構(gòu)結(jié)合，提出一種卷積自編解碼融合網(wǎng)絡(luò).

3 本文融合方法

本文提出的基于卷積自編碼融合(Convolutional Auto-encoding Fusion，CAEFuse)網(wǎng)絡(luò)的紅外與可見光圖像融合的過程，可以概括為如下四個步驟：

1)利用公共數(shù)據(jù)集訓(xùn)練CAEFuse網(wǎng)絡(luò)模型的參數(shù)，選擇所提出的損失函數(shù)來調(diào)整整個網(wǎng)絡(luò)的參數(shù)訓(xùn)練；

2)分別對源圖像A、B利用CAEFuse編碼層進(jìn)行深層特征圖的提取；

3)對兩類源圖像提取的特征圖采取等權(quán)重相加的融合策略，得到融合后的卷積特征圖；

4)利用CAEFuse解碼網(wǎng)絡(luò)對卷積特征圖進(jìn)行重建，得到最終的融合圖像.

3.1 卷積自編碼融合網(wǎng)絡(luò)

由于自編碼網(wǎng)絡(luò)提取信息準(zhǔn)確率較低，單一的卷積神經(jīng)網(wǎng)絡(luò)忽略淺層特征，本文將卷積神經(jīng)網(wǎng)絡(luò)與自動編碼器相結(jié)合，構(gòu)建出CAEFuse網(wǎng)絡(luò).根據(jù)紅外與可見光圖像融合的特性設(shè)置卷積核的參數(shù)、調(diào)整網(wǎng)絡(luò)框架，并根據(jù)融合特性提出一種基于圖像紋理梯度信息的損失函數(shù)來指導(dǎo)網(wǎng)絡(luò)訓(xùn)練.所提出的CAEFuse的網(wǎng)絡(luò)框架如圖2所示.該網(wǎng)絡(luò)分為三個部分，第一部分是提取特征圖的卷積編碼層，第二部分為融合過程，將提取的兩類圖像的卷積特征圖進(jìn)行融合，第三部分是對于融合后的卷積特征圖進(jìn)行重建的解碼層.第一、三部分構(gòu)成一個自編碼網(wǎng)絡(luò)，需要利用數(shù)據(jù)集提前被訓(xùn)練，自編碼網(wǎng)絡(luò)的結(jié)構(gòu)包含了三個3×3卷積核的卷積層，其步長為1，其參數(shù)設(shè)置如表1所示；在自編碼網(wǎng)絡(luò)訓(xùn)練好的基礎(chǔ)上，利用第二部分的融合策略來實(shí)現(xiàn)編碼網(wǎng)絡(luò)中特征圖的融合，再由解碼網(wǎng)絡(luò)重建融合圖像.

圖2 本文的融合框架Fig.2 Proposed fusion framework

表1 CAEFuse結(jié)構(gòu)
Table 1 Structure of CAEFuse

卷積層大小輸入通道輸出通道激活層卷積C13116ReLu編碼卷積C231632ReLu卷積C333264ReLu卷積C436432ReLu解碼卷積C533216ReLu卷積C63161ReLu

CAEFuse網(wǎng)絡(luò)結(jié)構(gòu)中的卷積編碼層用來提取源圖像的深層特征，使用卷積計算的方式，利用卷積的平移不變性，對圖像上的每個像素進(jìn)行卷積運(yùn)算.在訓(xùn)練過程中，每層的卷積核會根據(jù)損失函數(shù)進(jìn)行訓(xùn)練修正，以此降低損失.卷積計算公式如下表示：

(1)

其中，?表示卷積運(yùn)算，這個公式表示卷積核Q在輸入圖像I上的空間滑動，Conv(i,j)表示卷積核Q對應(yīng)的輸出矩陣所對應(yīng)位置的元素值，Q(m,n)表示卷積核的參數(shù)，經(jīng)過多層的卷積編碼網(wǎng)絡(luò)得到源圖像的卷積特征圖.

3.2 基于圖像紋理梯度信息的損失函數(shù)

損失函數(shù)是深度學(xué)習(xí)優(yōu)化中至關(guān)重要的一部分，沒有一個適合所有深度學(xué)習(xí)任務(wù)的損失函數(shù)，常見的損失函數(shù)有L1損失、L2損失等，這些損失函數(shù)在分類任務(wù)中表現(xiàn)良好，但是在融合任務(wù)中表現(xiàn)不足.為了更加精準(zhǔn)地重建源圖像中包含的紋理結(jié)構(gòu)，本文改進(jìn)了傳統(tǒng)的損失函數(shù)，提出一種針對于紅外與可見光圖像融合任務(wù)的損失函數(shù)，CAEFuse網(wǎng)絡(luò)將通過最小化該損失函數(shù)訓(xùn)練得到.

CAEFuse的損失函數(shù)由兩部分構(gòu)成，如公式(2)所示：第一項的目的是將輸入圖像的全局顯著性信息保留在融合圖像中；第二項的目的是將輸入圖像的梯度紋理信息保留在融合圖像中：

(2)

Iin代表輸入卷積編碼網(wǎng)絡(luò)的圖像，Iout代表卷積解碼網(wǎng)絡(luò)輸出的圖像，代表梯度算子，‖·‖F(xiàn)代表矩陣Frobenius范數(shù)，ξ為經(jīng)過實(shí)驗設(shè)置的權(quán)重參數(shù)，在本文實(shí)驗中，設(shè)置為5.

為了說明本文損失函數(shù)的優(yōu)勢，圖3選取了一組圖像在不同損失函數(shù)訓(xùn)練網(wǎng)絡(luò)得到的主觀實(shí)驗對比，從圖中可以看出通過本文損失函數(shù)所得到的樹枝在細(xì)節(jié)提取上更豐富，并且對比度更強(qiáng).表2給出了不同損失函數(shù)訓(xùn)練網(wǎng)絡(luò)所得到的8組圖像(源圖像見圖6)的客觀平均結(jié)果.其中，邊緣保持度(QAB/F)[20]能夠反映融合圖像中紋理信息的保留程度，差異的相關(guān)系數(shù)之和(SCD)[21]代表了融合圖像從源圖像中獲得的信息量.從表2可以看出，本文提出的損失函數(shù)在邊緣保持度等指標(biāo)上均優(yōu)于傳統(tǒng)損失函數(shù)，說明本文所提出的損失函數(shù)在紋理梯度信息上的提取更為豐富，獲得的信息量更多.

圖3 不同損失函數(shù)的融合結(jié)果對比Fig.3 Comparison of fusion results obtained by different los

表2 不同損失函數(shù)訓(xùn)練網(wǎng)絡(luò)結(jié)果客觀指標(biāo)的對比
Table 2 Comparison of objective indicators of fusion resultsobtained by different loss functions

QAB/FSCDL2損失函數(shù)0.46901.8895本文損失函數(shù)0.48461.9037

3.3 融合策略

融合策略是圖像融合中重要的一部分，本文經(jīng)過大量對融合策略的對比實(shí)驗，選擇了特征圖等權(quán)重相加的融合策略.

圖4 加權(quán)融合策略下的不同融合權(quán)重的SSIM曲線Fig.4 SSIM curve with different fusion weights under weighted fusion strategy

圖4給出了融合圖像的平均SSIM[23]指標(biāo)隨融合權(quán)重變化曲線.從圖4中可以看出，在等權(quán)重策略或6/4(紅外圖像/可見光圖像)融合權(quán)重下SSIM達(dá)到峰值；圖5給出了L1-norm〗融合策略以及加權(quán)融合策略下不同權(quán)重的融合圖像，圖5(a)為L1-norm融合策略下的融合圖像，圖5(b)-圖5(j)為加權(quán)融合策略下的不同權(quán)重值的融合圖像，右上角的矩形框為左下角的矩形框的放大圖.從人物框處可以看出，圖5(g)-圖5(i)中嚴(yán)重丟失紅外的目標(biāo)信息；從樹枝放大框處可以看出，圖5(a)-圖5(d)中嚴(yán)重丟失樹枝的紋理信息；在圖5(e)-圖5(j)中，等權(quán)重策略(j)的紅外信息與可見光信息保持得最完整.綜上，在L1-norm融合策略下以及在加權(quán)融合策略下紅外特征圖的融合權(quán)重較大時，融合圖像中樹枝的紋理細(xì)節(jié)丟失嚴(yán)重；在加權(quán)融合策略下可見光特征圖的融合權(quán)重較大時，融合圖像中紅外圖像目標(biāo)信息丟失嚴(yán)重，因此本文選擇等權(quán)重相加的融合策略，其定義如下：

(3)

圖5 L1-norm融合策略與加權(quán)融合策略下不同權(quán)重的融合圖像Fig.5 Fused images of L1-norm fusion strategy and weighted fusion strategy with different fusion weights

3.4 訓(xùn)練過程與測試過程

在訓(xùn)練過程中，只考慮CAEFuse網(wǎng)絡(luò)的第一部分提取特征的編碼層和第三部分重建解碼層.選取多個公共數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)，其中包括公共數(shù)據(jù)集OSU[14](選取80組紅外與可見光圖像)、TNO[15](選取了40組紅外與可見光圖像)和MS-COCO[16](包含82700張灰度圖像).訓(xùn)練過程是將單張圖像作為輸入送進(jìn)網(wǎng)絡(luò)，通過特征提取重建等過程得到輸出圖像，利用Adam[17]優(yōu)化算法對損失函數(shù)進(jìn)行最小值優(yōu)化，調(diào)整整個網(wǎng)絡(luò)參數(shù)，本文的方法是在NVIDIA GTX 1070 GPU上進(jìn)行訓(xùn)練.通過對數(shù)據(jù)集的對比實(shí)驗發(fā)現(xiàn)，提出的CAEFuse網(wǎng)絡(luò)的泛化能力高，該部分將會在第三節(jié)數(shù)據(jù)集部分進(jìn)行實(shí)驗說明.

在測試過程中，將紅外與可見光圖像分別作為網(wǎng)絡(luò)的輸入圖像，通過三層的卷積編碼網(wǎng)絡(luò)提取兩類圖像的特征圖，將特征圖送入融合策略進(jìn)行等權(quán)重的加權(quán)融合，最后通過三層的卷積解碼網(wǎng)絡(luò)對融合的特征圖進(jìn)行重建，得到最終的融合結(jié)果.

圖6 八組紅外與可見光源圖像Fig.6 Eight groups of infrared and visible source images

4 實(shí)驗結(jié)果及分析

為了驗證本文所提出方法的有效性，本文選擇了8組被廣泛用于實(shí)驗研究的紅外與可見光圖像進(jìn)行對比，其中包括people、house、plane、lake、mailbox、car、window、bridge，如圖6所示.本文方法與五種當(dāng)前主流的融合方法進(jìn)行了比較，包括交叉雙邊濾波(CBF)[18]、梯度轉(zhuǎn)移和總變異最小化法(GFT)[19]、卷積神經(jīng)網(wǎng)絡(luò)(CNN)[8]、融合對抗生成網(wǎng)絡(luò)(FusionGAN)[9]、DenseFuse[10].五種方法的代碼均是作者發(fā)布的，它們的參數(shù)選擇均與各文獻(xiàn)中保持一致，所有的實(shí)驗均是在python3.6上實(shí)現(xiàn)的，實(shí)驗配置是AMD Ryzen 7 2700X的CPU和NVIDIA GTX 1070 GPU.

4.1 融合圖像質(zhì)量客觀評價指標(biāo)

融合圖像的質(zhì)量評價主要包括主觀評價和客觀評價兩部分.由于融合技術(shù)的不斷提升，主觀評價的標(biāo)準(zhǔn)已經(jīng)很難發(fā)現(xiàn)不同融合方法得到的效果的差異.在本文中，將同時考慮融合圖像的主觀視覺效果和客觀定量評價，其中客觀定量評價通過四種常用的圖像融合質(zhì)量評價指標(biāo)來衡量.

4.1.1 邊緣信息保持度

邊緣信息保持度(QAB/F)[20]使用Sobel邊緣檢測算子計算源圖像與融合圖像像素的強(qiáng)度和方向信息，以此衡量源圖像傳遞到融合圖像的邊緣信息的多少.QAB/F的值越大說明融合圖像保留了越多源圖像的邊緣信息.其定義為：

(4)

式中：

(5)

(6)

4.1.2 差異的相關(guān)系數(shù)之和

差異的相關(guān)系數(shù)之和(SCD)[21]，是基于輸入圖像傳輸?shù)淖畲蟮幕パa(bǔ)信息設(shè)計的，計算融合圖像與輸入圖像的信息相關(guān)度.輸入圖像(S2)與融合圖像(F)之間的差值圖像可以得到從另一個輸入圖像(S1)的信息.反之亦然.F和S1之間的差實(shí)際上產(chǎn)生了從S2收集到的信息.這些差分圖像(D1和D2)可以表示為：

(7)

在圖像融合應(yīng)用中，要求融合后的圖像盡可能多地包含輸入圖像的信息.將D1與S1、D2與S2關(guān)聯(lián)得到的值表示這些圖像之間的相似性.換句話說，這些值表示從每個輸入圖像傳輸?shù)饺诤蠄D像的信息量.SCD指標(biāo)利用這些相關(guān)值的和作為融合圖像的質(zhì)量度量.它的表達(dá)式如下：

圖7 五組典型的紅外與可見光圖像融合結(jié)果Fig.7 Five typical fusion results of infrared and visible images

SCD=r(D1,S1)+r(D2,S2)

(8)

其中r函數(shù)計算S1與D1、S2與D2的相關(guān)關(guān)系：

r(Dk,Sk)=

(9)

4.1.3 離散余弦變換的互信息

離散余弦變換的互信息(FMIdct)[22]用來計算經(jīng)過離散余弦變換的互信息.互信息是一個隨機(jī)變量，其包含另一個隨機(jī)變量的信息量的度量，它通過測量聯(lián)合分布p(x, y)與完全獨(dú)立情況下的分布p(x)·p(y)之間的Kullback-Leibler分布來衡量兩個變量X和Y之間的依賴程度.

4.1.4 改進(jìn)的無參考圖像的結(jié)構(gòu)相似度

結(jié)構(gòu)相似度(SSIM)[23]通過計算圖像結(jié)構(gòu)的信息改變量來衡量圖像的失真程度，改進(jìn)的無參考圖像的結(jié)構(gòu)相似度定義如下：

SSIMa(F)=(SSIM(F,I1)+SSIM(F,I2))×0.5

(10)

其中，F(xiàn)表示融合圖像，I1和I2表示輸入的源圖像.

4.2 圖像融合實(shí)驗

4.2.1 主觀視覺效果

由于篇幅的限制，圖7給出源圖像以及六種方法的融合圖像：從上到下分別是紅外圖像、可見光圖像、CBF[18]、GFT[19]、CNN[8]、FusionGAN[9]、DenseFuse[10]以及本文方法的融合結(jié)果，從左到右分別是people、plane、lake、mailbox、car.從圖7可以看出，CBF[18]方法引入噪聲嚴(yán)重，圖像嚴(yán)重失真，GFT[19]與CNN[8]，F(xiàn)usionGAN[9]方法在保留紋理信息方面存在不足，造成了圖像邊緣處的模糊現(xiàn)象，相對來說，Dense-Fuse[10]的結(jié)果較好.本文提出的方法很好地融合了紅外圖像的整體目標(biāo)信息以及可見光圖像的紋理細(xì)節(jié)信息，相對于CBF[18]、GFT[19]、CNN[8]和FusionGAN[9]方法，本文方法的細(xì)節(jié)信息明顯增多，原因在于用梯度算子作為損失函數(shù)的一項，更好的保留了梯度紋理信息.本文方法相對于DenseFuse[10]方法得到的結(jié)果在視覺上雖然很難看出差異，但后續(xù)的進(jìn)一步分析可知本文提出的網(wǎng)絡(luò)在訓(xùn)練時間與測試時間上都有較為明顯的優(yōu)勢，具有更為簡單、高效的優(yōu)點(diǎn)，得到的融合圖像在客觀定量指標(biāo)上表現(xiàn)也更好.

表3 不同融合方法得到的客觀指標(biāo)對比
Table 3 Comparison of objective indicators obtained by different fusion methods

源圖像指標(biāo)CBF[17]GTF[18]CNN[8]FusionGAN[9]DenseFuse[10]CAEFuseWindowQAB/F0.30610.28910.24200.19090.45310.4534SCD0.02201.02891.79791.83951.99251.9926FMIdct0.21720.39120.24450.33180.40650.4065SSIMa0.51470.76760.77540.59240.71990.7204HouseQAB/F0.08180.54790.42220.29990.61660.6166SCD0.24750.97510.91141.68881.95081.9517FMIdct0.11450.44430.41540.39750.45080.4521SSIMa0.51630.76950.7640.78700.79570.7954PeopleQAB/F0.23650.41120.38340.24180.40840.4187SCD0.26580.96971.33851.13791.89831.8991FMIdct0.20100.43040.28820.32430.35650.3812SSIMa0.40100.69840.70540.69320.72330.7334LakeQAB/F0.10870.48130.21750.2330.40710.4048SCD0.63371.17271.66241.5821.76161.7775FMIdct0.11880.45000.40990.38950.43160.4318SSIMa0.60260.74250.73150.75410.80100.8018MailboxQAB/F0.11640.47550.32610.22940.42300.4230SCD0.41851.11131.44561.59331.79671.7954FMIdct0.11560.43810.4030.36600.43910.4394SSIMa0.39430.67180.66420.64810.73620.7367CarQAB/F0.23890.31640.26520.27320.48040.4806SCD0.88831.05061.71921.76221.99411.9939FMIdct0.14190.39610.27160.36230.40860.4087SSIMa0.39140.66060.68160.66000.67110.6711PlaneQAB/F0.15330.37150.40780.23140.52780.5278SCD0.50070.55481.52071.27591.95981.9606FMIdct0.10970.28880.26310.19800.35680.3571SSIMa0.5490.83430.8250.79820.75040.7503BridgeQAB/F0.10450.55020.23040.21460.55090.5519SCD0.47570.9741.46111.43081.85291.8592FMIdct0.10710.47550.44870.41080.46710.4677SSIMa0.59700.7320.72770.68930.79550.7948AverageQAB/F0.16820.43030.31180.23920.48350.4846SCD0.43150.97961.48211.53881.90081.9037FMIdct0.14070.41430.34300.34750.41460.4180SSIMa0.49570.73450.73430.70270.74910.7504

4.2.2 客觀定量評價

為了進(jìn)一步驗證本文方法的性能，本文對六種方法的結(jié)果進(jìn)行了客觀質(zhì)量評價.利用QAB/F[20]和SCD[21]、FMIdct[22]、SSIMa[23]對融合結(jié)果進(jìn)行定量分析，評價結(jié)果如表3所示，其中黑色加粗為所有方法中的最大值.

從表3中可以看出，本文方法的四種定量指標(biāo)大部分都能得到最大值，少數(shù)指標(biāo)是第二大值，所提出方法的客觀指標(biāo)明顯優(yōu)于傳統(tǒng)融合方法CBF[18]和GTF[19]，也優(yōu)于CNN[8]、FusionGAN[9]、DenseFuse[10]等深度學(xué)習(xí)融合方法.從平均定量指標(biāo)來看，本文方法的結(jié)果都是最優(yōu)的.因此，綜合全部評價指標(biāo)的結(jié)果來看，本文方法在有效信息提取上優(yōu)于其它五種主流方法.

4.2.3 算法效率分析

在時間上，表4給出了不同紅外與可見光圖像融合的方法在八組融合實(shí)驗中的平均耗時.從表4可以看出，在對比方法中，GTF[18]和DenseFuse[10]是效率較高的兩種方法，分別需要4.88秒和3.53秒.CNN[8]是最耗時的方法，這是由于CNN[8]方法中結(jié)合了傳統(tǒng)方法，計算復(fù)雜度較高，本文提出的方法是所有對比方法中效率最高的方法，可以達(dá)到準(zhǔn)實(shí)時任務(wù)的響應(yīng)需求.因此，可以證明本文方法與其他方法相比，性能優(yōu)越.

表4 不同融合方法的耗時對比
Table 4 Comparison of time-consuming of different fusion methods

融合方法耗時/sCBF17.27GTF4.88CNN132.15FusionGAN8.52DenseFuse3.53CAEFuse3.14

表5 不同網(wǎng)絡(luò)模型的模型大小與訓(xùn)練時間的對比
Table 5 Comparison of model size and training time of different network models

模型模型大小(kb)訓(xùn)練時間(s)CAEFuse5462.55DenseFuse87023.15

在模型和訓(xùn)練成本上，表5給出了DenseFuse[10]與本文方法的模型大小與訓(xùn)練時間對比，可以看出本文提出的模型訓(xùn)練時間(該訓(xùn)練時間指的是在TNO[15]數(shù)據(jù)集上迭代一次的時間)上優(yōu)于DenseFuse模型，CAEFuse網(wǎng)絡(luò)模型更為簡單、高效.

4.3 數(shù)據(jù)集

本文利用了不同數(shù)據(jù)集來訓(xùn)練CAEFuse網(wǎng)絡(luò)模型，接下來將討論不同數(shù)據(jù)集對于網(wǎng)絡(luò)的影響，說明網(wǎng)絡(luò)的泛化能力.

本文對三組數(shù)據(jù)集OSU[14]、TNO[15]和MS-COCO[16]訓(xùn)練得到的模型分別進(jìn)行了實(shí)驗.選取八組紅外與可見光進(jìn)行融合測試，得到的客觀指標(biāo)的平均值如表6所示.

表6 MS-COCO與TNO、OSU數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)結(jié)果客觀指標(biāo)的對比
Table 6 Comparison of objective indicators of training network results on MS-COCO, TNO and OSU datasets

QAB/FSCDFMIdctSSIMaMS-COCO0.48461.90370.41800.7504TNO0.48691.91290.41750.7476OSU0.46901.90770.40950.7450

從表6中，可以看出利用三種訓(xùn)練集訓(xùn)練得到的網(wǎng)絡(luò)模型進(jìn)行融合，其客觀結(jié)果基本接近，說明我們構(gòu)建的網(wǎng)絡(luò)模型對于訓(xùn)練集有著很強(qiáng)的泛化能力，可以通過小數(shù)據(jù)集迅速調(diào)整網(wǎng)絡(luò)參數(shù)，提高訓(xùn)練的效率.

5 結(jié) 論

本文針對紅外與可見光圖像融合中紋理信息保留不全的問題，基于CNN和自編碼結(jié)構(gòu)的優(yōu)點(diǎn)，提出了一種基于卷積自編碼融合網(wǎng)絡(luò)的紅外與可見光圖像融合方法.該方法首先利用訓(xùn)練集訓(xùn)練卷積自編碼網(wǎng)絡(luò)，然后利用等權(quán)重相加的融合策略對編碼網(wǎng)絡(luò)得到的特征圖進(jìn)行融合，最后利用解碼網(wǎng)絡(luò)得到融合后的圖像.實(shí)驗證明，所提出網(wǎng)絡(luò)模型在不同大小的公共數(shù)據(jù)集上，網(wǎng)絡(luò)收斂較快，具有很強(qiáng)的泛化能力.該融合方法用于紅外與可見光圖像融合時，能同時保持紅外圖像的整體目標(biāo)信息以及可見光圖像的紋理細(xì)節(jié)信息，融合后圖像能夠清晰地突出目標(biāo)與豐富細(xì)節(jié)信息.本文同時使用主觀評價與客觀指標(biāo)來評估提出的方法，與五種主流的融合方法進(jìn)行了實(shí)驗對比，實(shí)驗表明本文的結(jié)果無論在視覺效果還是客觀指標(biāo)上皆優(yōu)于其它主流方法，并且無論從網(wǎng)絡(luò)訓(xùn)練時間、測試時間上，其效率也都優(yōu)于其它方法.

本文提出的CAEFuse網(wǎng)絡(luò)由于對數(shù)據(jù)集的低依賴性，同樣也是處理其它融合任務(wù)的通用框架，下一步將考慮將其應(yīng)用在其它融合任務(wù)，希望同樣能夠得到好的融合性能.