紅外與可見光圖像多特征自適應融合方法

王君堯，王志社，武圓圓，陳彥林，邵文禹

（太原科技大學 應用科學學院，山西 太原 030024）

0 引言

紅外傳感器具備全天時全天候工作能力，能夠獲取捕捉目標的熱輻射信息，但所獲取的紅外圖像存在分辨率低、對比度差、邊緣模糊等缺點。可見光傳感器通過光反射成像，能夠獲取場景、紋理和細節(jié)等信息，但容易受惡劣天氣、光照等環(huán)境因素影響。紅外與可見光傳感器成像機理不同，成像頻段不同，表征前景目標和后景細節(jié)的特征信息差異大，成像條件和成像特性都具有很強的互補性。因此，圖像融合技術(shù)可以整合紅外與可見光圖像的互補特征信息，從而合成一幅有利于人眼觀察或其他視覺任務(wù)的單一圖像，能夠廣泛應用于實時監(jiān)控[1]、目標跟蹤[2]、目標檢測[3]、行人識別[4]等領(lǐng)域。

傳統(tǒng)圖像融合方法通常依據(jù)目標特性或成像機制等先驗知識，構(gòu)建相應特征提取模型，再設(shè)計相應的融合規(guī)則，通過反變換得到最終的融合圖像。常見的融合方法有多尺度變換[5]、稀疏表示[6]、顯著性融合[7]和混合方法[8-9]等。傳統(tǒng)的融合方法依賴固定的數(shù)學模型，僅能對某一類特征敏感，且無差別提取紅外與可見光圖像特征，特征提取能力不足。此外，需要人工設(shè)計相應的融合規(guī)則，計算復雜度高，且規(guī)則單一，缺乏對圖像特征自適應的提取能力。因此，傳統(tǒng)方法的融合圖像容易導致細節(jié)丟失、圖像扭曲和人造紋理等問題，無法達到理想效果。

近年來，由于卷積運算具有較強特征提取能力，基于深度學習融合方法[10-13]利用大量圖像數(shù)據(jù)，不斷訓練網(wǎng)絡(luò)模型，獲取最優(yōu)模型參數(shù)，有效地提高了圖像融合性能。文獻[14]提出了DenseFuse，在編碼器中引入密集連接模塊，利用中間層特征增強特征表征能力，但其網(wǎng)絡(luò)結(jié)構(gòu)簡單，且不能提取圖像的多尺度特征。文獻[15]提出了IFCNN，選擇不同的特征融合策略以適應不同的融合要求，實現(xiàn)多任務(wù)圖像融合。文獻[16]提出了UNFusion，構(gòu)建了多尺度編碼器與解碼器，且采用密集連接結(jié)構(gòu)，可以有效地提取和重建多尺度深度特征。盡管這些方法取得了較好的融合效果，但仍需人工設(shè)計相應的融合規(guī)則，是非端到端方法。為解決上述問題，文獻[17]提出FusionGAN，首次將生成對抗網(wǎng)絡(luò)引入圖像融合領(lǐng)域中，將圖像融合問題視為特征對抗問題。接著，又提出了GANMcC[18]，進一步將圖像融合問題轉(zhuǎn)化為多分類限定問題。文獻[19]設(shè)計了RFN-Nest，采用兩階段訓練，先訓練編碼器和解碼器，再訓練融合規(guī)則。這些雖然規(guī)避了融合規(guī)則的人為限制，但無法依據(jù)源圖像特征自適應變化，造成圖像特征提取不充分，導致融合結(jié)果不能同時保留紅外目標特征與可見光紋理細節(jié)。

針對上述問題，本文提出了紅外與可見光圖像多特征自適應融合方法。首先，構(gòu)建了多尺度密集連接網(wǎng)絡(luò)，在解碼和編碼器中建立密集連接，可以聚合所有不同尺度不同層的中間特征，有效地提高了網(wǎng)絡(luò)模型的特征提取和重構(gòu)能力。其次，構(gòu)造了多特征自適應損失函數(shù)，依據(jù)VGG-16 網(wǎng)絡(luò)提取源圖像各自的特征信息，自適應監(jiān)督融合網(wǎng)絡(luò)訓練，從而獲得更加平衡的融合結(jié)果。

1 融合方法

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

多特征自適應融合方法的原理框架如圖1所示，其中，左半部分為編碼器（encoder），普通卷積層Conv1-4 采用3×3 卷積核，用于提取4 個不同尺度的淺層特征。ECB 表示編碼卷積模塊，由卷積核為1×1、3×3 的兩個卷積層組成，用于提取圖像深層特征。網(wǎng)絡(luò)的右半部分為解碼器（decoder），DCB 表示解碼卷積模塊，包含了兩個3×3 卷積層，用于重構(gòu)圖像特征。卷積層Conv5 用于輸出最終結(jié)果，采用Sigmoid 作為激活函數(shù)，而其他卷積層都采用PReLU 作為激活函數(shù)。此外，向下箭頭表示下采樣操作，采用步長卷積運算，而向上箭頭表征上采樣操作，采用最近鄰插值法。可以看出，垂直方向表明了網(wǎng)絡(luò)的尺度變化，水平方向表征了網(wǎng)絡(luò)的深度變化，利用密集跳轉(zhuǎn)連接，可以聚合所有不同尺度不同層級的中間特征，進一步提高網(wǎng)絡(luò)的特征提取與重構(gòu)能力。

圖1 多特征自適應融合方法原理Fig.1 The principle of multi-feature adaptive fusion method

在訓練時，將紅外與可見光圖像分別輸入至VGG-16 網(wǎng)絡(luò)的3 個通道中，并于最大池化前獲取5個不同尺度的特征圖，最后通過計算，得到多特征自適應權(quán)重ωir、ωvis，以控制損失函數(shù)中的比例參數(shù)，自適應調(diào)整不同源圖像與融合圖像之間的特征誤差，獲得信息更加均衡的結(jié)果。在測試時，網(wǎng)絡(luò)無需加載VGG-16 網(wǎng)絡(luò)與多特征自適應損失函數(shù)，僅將紅外與可見光圖像進行通道合并（concatenate），輸入至編碼器，最后，將獲取的不同尺度的特征圖通過解碼器，重構(gòu)得到融合結(jié)果。

1.2 多特征自適應損失函數(shù)

紅外與可見光圖像融合應同時保留紅外圖像與可見光圖像的特征信息，即紅外目標與可見光紋理細節(jié)。若某一源圖像包含豐富的信息，那么其特征保留的比例應該增加，使融合結(jié)果與該源圖像具有較高的相似性。而現(xiàn)有的融合方法等同看待源圖像的固有特征，無法針對源圖像的固有特征的差異性，自適應調(diào)節(jié)融合圖像與源圖像之間的特征保留比例，造成信息損失。為此，本文方法綜合考慮不同類型源圖像的特征差異，設(shè)計了統(tǒng)一的信息度量。通過計算源圖像與融合結(jié)果之間的相似關(guān)系，自適應調(diào)整損失函數(shù)的參數(shù)，以監(jiān)督網(wǎng)絡(luò)訓練過程，有效解決了此類問題。本文結(jié)合紅外與可見光源圖像的各自的固有特征，以像素結(jié)構(gòu)與像素強度為度量準則，構(gòu)造了多特征自適應損失函數(shù)。依據(jù)VGG-16網(wǎng)絡(luò)提取源圖像各自的特征信息，自適應監(jiān)督融合網(wǎng)絡(luò)訓練，均衡地提取可見光圖像的紋理細節(jié)與紅外圖像的目標亮度，從而獲得更加平衡的融合結(jié)果。

在訓練時，采用VGG-16 網(wǎng)絡(luò)提取源圖像I的多尺度特征，其中j表示尺度，j＝1,2,…,5，k表示通道索引，取值區(qū)間為[1,Cj]。通過計算特征圖的梯度特征來獲取源圖像的結(jié)構(gòu)信息保留度δS，權(quán)重越高代表結(jié)構(gòu)信息保留程度越高，如公式(1)所示：

計算結(jié)構(gòu)信息保留度可以評估邊緣和細節(jié)等高頻信息，但容易引起圖像像素強度以及目標特征信息損失，因此需要獲取源圖像的像素強度信息保留度δI，以均衡測量源圖像與融合圖像之間的特征相似性，如公式(2)所示：

綜合上述的結(jié)構(gòu)特征保留度和像素強度保留度，總的特征信息保留度如公式(3)所示：

式中：α為超參數(shù)，用于權(quán)衡δS 與δI的比例關(guān)系。

每組源圖像Iir、Ivis可由信息保留度δir、δvis 計算得到ωir、ωvis，如公式(4)所示：

式中：超參數(shù)c用于縮放數(shù)值，以獲得更好的權(quán)重分配。softmax 函數(shù)將多特征自適應權(quán)重ωir、ωvis 映射到區(qū)間[0,1]，且ωir＋ωvis＝1。

將多特征自適應權(quán)重應用于損失函數(shù)，以監(jiān)督網(wǎng)絡(luò)訓練。多特征自適應損失函數(shù)從結(jié)構(gòu)相似性和強度分布兩個方面實現(xiàn)相似約束。結(jié)構(gòu)相似性指數(shù)測度（SSIM）通過在亮度、對比度和結(jié)構(gòu)3 個方面衡量兩幅圖像相似度，以該指標來測量融合結(jié)果與源圖像之間的信息損失，如公式(5)所示：

由于結(jié)構(gòu)相似性指數(shù)測度容易引起亮度變化和顏色偏差。因此，本文采用L1 損失函數(shù)以保留圖像目標亮度信息，彌補SSIM 損失函數(shù)的不足，如公式(6)所示：

總損失函數(shù)如公式(7)所示，其中β為超參數(shù)，以均衡兩類損失函數(shù)差異。

2 實驗

2.1 實驗參數(shù)設(shè)定

在訓練階段，選取TNO 數(shù)據(jù)集中的紅外與可見光圖像為訓練集。為了擴大訓練數(shù)據(jù)集，以滑動步長為12，將其裁剪為大小為256×256 的紅外與可見光圖像對，共10563 對，灰度值取值范圍為[0,255]。此外，設(shè)置迭代數(shù)（epoch）為1，優(yōu)化器為Adam，學習率（learning rate）為0.001，每批訓練量（batch size）為8。超參數(shù)設(shè)置為α＝1，c＝2，β＝0.87。測試及訓練配置為Intel i9-9900、GeForce RTX 2080Ti和32 GB 內(nèi)存。選定的編譯環(huán)境為pytorch。

在測試階段，選取 TNO[20]、Roadscene[21]與OTCBVS[22]為驗證數(shù)據(jù)集，以驗證方法的有效性。將本文方法與MDLatLRR（multi-level decomposition of LatLRR）[6]、DenseFuse[14]、IFCNN[15]、UNFusion[16]、GANMcC[18]、U2Fusion[23]、RFN-Nest[19]這7 種典型方法進行比較。在定性比較中，為了便于觀察，將融合圖像中的紅外目標與可見光細節(jié)分別標注，并將局部細節(jié)放大。定量評價指標選擇信息熵（entropy,EN）[24]、非線性相關(guān)信息熵（nonlinear correlation information entropy,NCIE）[25]、標準差（standard deviation,SD）[26]、相關(guān)差異和（the sum of the correlation differences,SCD）[27]、視覺信息融合保真度（the visual information fidelity for fusion,VIFF）[28]、多尺度結(jié)構(gòu)相似性（multi-scale structural similarity index measure,MS_ SSIM）[29]，可從圖像特征信息、結(jié)構(gòu)相似性、視覺感知等方面評估融合性能。

2.2 消融實驗

2.2.1 密集連接有效性驗證

為驗證密集連接的有效性，采用3 個對比驗證模型，分別是編碼器和解碼器都無密集連接，記作No_Dense，僅編碼器有密集連接，記作Only_En，僅解碼器有密集連接，記作Only_De。實驗選擇TNO數(shù)據(jù)集中的Kaptein_1654、House、Helicopter 三組典型的紅外與可見光圖像進行定性比較，如圖2所示。可以看出，No_Dense、Only_En 模型融合結(jié)果丟失了可見光圖像的紋理細節(jié)，降低了目標與背景的對比度，且圖像的背景出現(xiàn)噪點，部分邊緣細節(jié)處產(chǎn)生偽光暈；Only_De 模型結(jié)果在一定程度上提高了圖像對比度，但仍缺乏紋理結(jié)構(gòu)信息。例如，在Helicopter 結(jié)果中，天空云彩的結(jié)構(gòu)與灰度分布有所缺失。相比之下，本文方法在提高目標亮度的同時突出了圖像細節(jié)與對比度，圖像較為清晰，視覺效果優(yōu)于對比模型。

圖2 密集連接的定性比較結(jié)果Fig.2 Qualitative comparison results of dense skip connections

此外，為了避免視覺感知偏差，本文采用TNO數(shù)據(jù)集的25 組圖像以及6 個指標，在客觀方面量化比較模型有效性，表1 給出了密集連接的定量比較結(jié)果。觀察表中數(shù)據(jù)，本文模型獲得的融合結(jié)果在EN、SCD、VIFF 與MS_SSIM 指標上獲得最優(yōu)值，且NCIE，SD 指標僅次于Only_De。從結(jié)果可以看出，密集連接可以實現(xiàn)特征復用，有效增強圖像特征表示能力。且在解碼和編碼器中建立密集連接在主客觀評價上均優(yōu)于其他模型，即 No_Dense、Only_En 以及Only_De，表明本文模型可以有效聚合所有不同尺度不同層的中間特征，提高網(wǎng)絡(luò)模型的特征提取和重構(gòu)能力。

表1 密集連接的定量比較結(jié)果Table 1 Quantitative comparison results of dense skip connection

2.2.2 多特征自適應損失函數(shù)有效性驗證

為驗證多特征自適應損失函數(shù)的有效性，采用3個對比驗證模型，分別是僅保留像素亮度測量準則的融合模型，記作Finten，僅保留梯度測量準則的融合模型，記作Fgrad，直接采用固定權(quán)重系數(shù)，即ωir、ωvis 取值為0.5，記作Fmean。圖3 給出了多特征自適應損失函數(shù)的定性比較結(jié)果，由圖觀察得知，F(xiàn)inten融合結(jié)果邊緣細節(jié)不清晰，出現(xiàn)偽光暈，且圖像對比度不高。Fgrad、Fmean突出了可見光細節(jié)，但目標亮度與對比度依舊不高。相比于對比驗證模型，本文設(shè)計的多特征自適應模塊既保留了紅外圖像的目標亮度，又突出了可見光細節(jié)，取得更好的主觀融合效果。通過定性比較，證明了多特征自適應損失函數(shù)的優(yōu)越性。

圖3 多特征自適應模塊的定性比較結(jié)果Fig.3 Qualitative comparison results of multi-feature adaptive modules

此外，表2 給出了多特征自適應損失函數(shù)的定量比較結(jié)果，進一步驗證本文模型設(shè)計的合理性與有效性。觀察表中數(shù)據(jù)，本文方法在所有指標上均獲得最大值，與主觀評價結(jié)果一致，表明多特征自適應損失函數(shù)可以有效獲取源圖像紋理結(jié)構(gòu)以及像素強度的信息保留度，實現(xiàn)源圖像與融合圖像的特征相似性約束，包括邊緣細節(jié)、亮度變化以及灰度分布等，并平衡了兩類圖像的差異信息，獲得良好的融合結(jié)果。

表2 多特征自適應損失函數(shù)的定量比較結(jié)果Table 2 Quantitative comparison results of multi-feature adaptive loss function

2.3 TNO 數(shù)據(jù)集

為了驗證本文方法的優(yōu)越性，從TNO 數(shù)據(jù)集中選取25 組圖像進行實驗驗證，其中選取7 組典型的紅外與可見光圖像進行主觀評價， 包括Kaptein_1654、Sandpath、Nato_camp、Movie_18、Helicopter、Movie_01 和Marne_04。TNO 數(shù)據(jù)集的定性比較結(jié)果如圖 4所示。觀察結(jié)果得知，MDLatLRR、DenseFuse 以及IFCNN 融合結(jié)果保留了可見光圖像紋理細節(jié)，但是目標亮度嚴重缺乏，且圖像背景較暗，導致其對比度偏低，部分細節(jié)不明顯。GANMcC 獲得的融合結(jié)果傾向于保留紅外典型目標，而損失了大量的可見光結(jié)構(gòu)信息，例如Sandpath 結(jié)果中，路邊圍欄模糊不清。U2Fusion 和RFN-Nest 獲得較為良好的結(jié)果。圖像清晰，同時保留了豐富的細節(jié)，提高了目標與背景的對比度，但是其結(jié)果中典型目標亮度依舊不高。相比之下，UNFusion 和本文方法可以同時具有兩類圖像的差異信息，在不損失目標亮度的同時，突出細節(jié)，保留豐富的場景信息。主觀評價結(jié)果表明，本文方法能夠獲得較好的融合效果。

圖4 TNO 數(shù)據(jù)集的定性比較結(jié)果Fig.4 Qualitative comparison results of TNO datasets

表3 給出了TNO 數(shù)據(jù)集的定量比較結(jié)果，從客觀角度驗證融合方法的有效性，由表可知，本文方法在指標EN、SD、SCD 以及MS_SSIM 上獲得最優(yōu)值，并在指標NCIE 和VIFF 上僅次于UNFusion 以及U2Fusion。表明本文方法融合結(jié)果良好，具有較高的對比度以及圖像質(zhì)量。

表3 TNO 數(shù)據(jù)集的定量比較結(jié)果Table 3 Quantitative comparison results of TNO datasets

2.4 Roadscene 數(shù)據(jù)集

為進一步驗證該融合方法的有效性，選取Roadscene 數(shù)據(jù)集中的221 組圖像進行實驗驗證，圖5 為Roadscene 數(shù)據(jù)集的定性比較結(jié)果，觀察可知，MDLatLRR、DenseFuse、IFCNN 的融合圖像傾向于可見光圖像，提取紅外圖像的亮度信息不足，且圖像對比度低。GANMcC、RFN-Nest 結(jié)果傾向于紅外圖像，保留了目標亮度，但損失大量紋理細節(jié)，且目標邊緣模糊，RFN-Nest 存在較為嚴重的偽影。UNFusion 雖可均衡獲得紅外目標與可見光細節(jié)，但丟失了天空云彩的邊緣紋理。U2Fusion 及本文方法獲得優(yōu)于其他方法的融合結(jié)果，根據(jù)定性分析，兩者結(jié)果差異不明顯，故從定量分析進一步比較融合性能。

圖5 Roadscene 數(shù)據(jù)集的定性比較結(jié)果Fig.5 Qualitative comparison results of Roadscene datasets

Roadscene 數(shù)據(jù)集的定量比較如表4所示，本文方法取得了EN、SD、SCD 與VIFF 指標的最大值。EN、SD 值最高，證明多特征自適應融合方法整合不同尺度不同層級的中間層特征后，提取到更多的特征信息。SCD、VIFF 取得最優(yōu)值，則說明在圖像質(zhì)量與視覺效果比較中，本文方法優(yōu)于其他典型方法。雖然NCIE 指標略次于UNFusion 和U2Fusion，MS_SSIM 指標僅次于U2Fusion，但綜合分析，多特征自適應融合方法的融合效果綜合性能更優(yōu)。

表4 Roadscene 數(shù)據(jù)集的定量比較結(jié)果Table 4 Quantitative comparison results of Roadscene datasets

2.5 OTCBVS 數(shù)據(jù)集

為更進一步驗證該融合方法的魯棒性，選取了OTCBVS 基準數(shù)據(jù)集的40 組紅外與可見光圖像對進行實驗。圖6 給出了OTCBVS 數(shù)據(jù)集的定性比較結(jié)果，其中，MDLatLRR、DenseFuse、IFCNN 結(jié)果保留了可見光紋理信息，但對比度低，導致部分細節(jié)不清晰。GANMcC 目標亮度較高，但缺乏大量結(jié)構(gòu)信息，例如，圖像中幾乎沒有地縫，且目標邊緣模糊。RFN-Nest 目標亮度不高，可見光邊緣細節(jié)模糊，且存在偽影。在定性比較中，U2Fusion、UNFusion以及本文方法的融合結(jié)果優(yōu)于其他方法。而從主觀上來看，三者結(jié)果差異不明顯，因此從客觀上比較他們的融合性能。

圖6 OTCBVS 數(shù)據(jù)集的定性比較結(jié)果Fig.6 Qualitative comparison results of OTCBVS datasets

表5 為OTCBVS 數(shù)據(jù)集的定量比較結(jié)果，對比可得，本文方法在EN、SD、MS_SSIM、VIFF、SCD指標均優(yōu)于其他方法，僅 NCIE 指標略次于UNFusion。進一步驗證了本文的融合性能。

表5 OTCBVS 數(shù)據(jù)集的定量比較結(jié)果Table 5 Quantitative comparison results of OTCBVS datasets

本文采用TNO、Roadscene 與OTCBVS 三個公開數(shù)據(jù)集進行實驗驗證，綜合視覺感知以及多個指標進行評價。相比于其他典型方法，主觀上更均衡地保留了兩類圖像的典型特征，包括紅外圖像目標特征以及可見光圖像的紋理特征，客觀上隨著數(shù)據(jù)集的變化，評價指標趨勢基本一致，表明本文方法具有較強的魯棒性與優(yōu)越性。

3 結(jié)論

本文提出了多特征自適應紅外與可見光圖像融合方法。首先，采用了多尺度密集連接的網(wǎng)絡(luò)結(jié)構(gòu)，充分利用不同尺度的淺層及深層特征；其次，設(shè)計多特征自適應損失函數(shù)，引入VGG-16 網(wǎng)絡(luò)提取特征并用于計算特征的信息保留度，進而約束損失函數(shù)。特征自適應損失函數(shù)針對性地提取了紅外圖像的目標信息和可見光圖像的紋理細節(jié)信息，監(jiān)督網(wǎng)絡(luò)模型獲得更平衡的融合結(jié)果。消融實驗驗證了密集連接與多特征自適應損失函數(shù)的有效性。此外，在TNO、Roadscene 和OTCBVS 三種不同的數(shù)據(jù)集上，與7 種典型方法進行了主客觀實驗，結(jié)果表明本文方法的優(yōu)越性和魯棒性。