基于雙分支卷積神經(jīng)網(wǎng)絡(luò)的紅外與可見光圖像局部融合算法

許云英，楊 瑞，賀天福，劉尚為，范太然，徐晨晨

基于雙分支卷積神經(jīng)網(wǎng)絡(luò)的紅外與可見光圖像局部融合算法

許云英，楊 瑞，賀天福，劉尚為，范太然，徐晨晨

（江蘇海洋大學(xué) 電子工程學(xué)院，江蘇 連云港 222005）

紅外圖像和可見光圖像均存在一定的局限性，依靠單個種類圖像無法滿足工程實際需求，可通過引入圖像融合技術(shù)，獲取高質(zhì)量的融合圖像。為更好保障輸出信息特征的多樣性，本文引入一種雙分支卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)紅外與可見光圖像局部融合；在雙分支卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上，同時從紅外圖像、可見光圖像得到跨渠道信息、渠道內(nèi)信息種特征，增加了融合圖像的信息量。采用整數(shù)小波變換方法進行圖像壓縮。建立顏色空間模型時，合理調(diào)節(jié)因子的數(shù)值，獲得理想的融合圖像。實驗結(jié)果表明，與現(xiàn)有方法相比，本方法融合后圖像邊緣信息得到充分保留，圖像細節(jié)得到增強，紅外與可見光圖像融合效果更好。

雙分支卷積神經(jīng)網(wǎng)絡(luò)；紅外與可見光圖像；梯度下降理論；小波變換；圖像插值；圖像融合

0 引言

紅外圖像在很多重要領(lǐng)域發(fā)揮著重要的作用。紅外圖像通過熱像儀獲取[1]，紅外圖像可以反映超越人眼的紅外波段信息，轉(zhuǎn)換為可見信息映射至圖像，但是紅外圖像對比度以及細節(jié)表現(xiàn)能力不足[2]。可見光圖像具有較好分辨率，對于目標圖像的紋理邊緣信息具有較好的反映效果，但是成像質(zhì)量受到外界因素影響較大[3]。因此，紅外圖像和可見光圖像均存在一定的局限性，依靠單個種類圖像無法滿足工程實際需求，可通過引入圖像融合技術(shù)，獲取高質(zhì)量圖像。

王興龍、朱芳等[4]提出通過雙通道PCNN（Pulse Coupled Neural Network）處理高頻子帶，同時低頻子帶處理方法為小波變換，該方法使圖像融合效果得到提升。陳潮起等[5]提出的紅外圖像與可見光圖像融合方法是基于多尺度低秩分解。通過多尺度方式低秩分解圖像，將圖像分解為多層次局部以及全局低秩圖，結(jié)合最優(yōu)融合規(guī)則，該方法通過多層次的融合可有效補償圖像信息，圖像融合效果顯著。沈瑜等[6]提出通過構(gòu)建多尺度幾何變換模型快速融合圖像。以上各種方法在圖像融合整體效果上有所提升，但在圖像細節(jié)和邊緣信息保留方面還有提升空間。

隨著深度學(xué)習(xí)研究的日新月異，卷積神經(jīng)網(wǎng)絡(luò)框架層次不窮，卷積神經(jīng)網(wǎng)絡(luò)具有較強的特征提取功能，在目標檢測與識別融合領(lǐng)域發(fā)揮了重要作用[7]。利用雙分支卷積神經(jīng)網(wǎng)絡(luò)可以更好地完成檢測。任立成等[8]提出一種基于特征融合的雙分支模塊更新跟蹤算法，通過構(gòu)架分類和回歸兩個分支，實現(xiàn)一種高置信度的模板更新策略，使跟蹤穩(wěn)定，并且能更好地適應(yīng)快速移動和遮擋。吳佼華等[9]將雙分支神經(jīng)網(wǎng)絡(luò)在SAR（Synthetic Aperture Radar）與多光譜圖像融合中應(yīng)用，增加了融合圖像細節(jié)信息，得到高分辨率質(zhì)譜（Mass Spectrum）圖像。薛盼盼等[10]提出雙分支特征提取，構(gòu)建低幀頻分支和高幀頻分支，獲得更多的空間語義信息。張雪等[11]提出雙分支網(wǎng)絡(luò)分別進行全局和局部特征提取，更好地進行車輛重識別。

但目前利用雙分支卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)紅外與可見光圖像融合方面的研究還很少，基于以上研究，本文提出雙分支卷積神經(jīng)網(wǎng)絡(luò)進行紅外與可見光圖像融合，以期獲得更多的特征信息。該方法，由渠道內(nèi)分支和跨渠道分支組成，然后將兩個分支結(jié)果進行疊加，形成最終的融合圖像，可以保留更多的圖像信息，保障了融合圖像特征的多樣性，減少信息量損失；同時本文采用整數(shù)小波變換方法壓縮圖像，達到縮減圖像儲存空間目的，運用二值自適應(yīng)算術(shù)編碼對變換后的數(shù)據(jù)進行壓縮；通過圖像插值方法實現(xiàn)圖像配準；建立顏色空間模型，合理調(diào)節(jié)因子的數(shù)值，完成特征提取，實現(xiàn)較好的融合結(jié)果。

1 基于雙分支卷積神經(jīng)網(wǎng)絡(luò)的紅外與可見光圖像局部融合

1.1 雙分支卷積神經(jīng)網(wǎng)絡(luò)

本文提出從紅外圖像、可見光圖像同時獲取兩種特征，如圖1所示，分別是跨渠道信息和渠道內(nèi)信息[12]，構(gòu)成跨渠道分支和渠道內(nèi)分支，和并兩種特征，得到最終融合圖像。本文提出的雙分支卷積網(wǎng)絡(luò)可獲取的融合圖像信息量更多，融合圖像信息特征的多樣性加強，信息量損失減少。

在本文提出的雙分支卷積神經(jīng)網(wǎng)絡(luò)中，將標注任務(wù)和標注者引入到神經(jīng)元結(jié)構(gòu)。公式為：

式中：x是第個輸入；w是權(quán)重值；是偏置值；是神經(jīng)元激活函數(shù)。對T的結(jié)果進行分析后可以發(fā)現(xiàn)，其主要呈現(xiàn)為線性關(guān)系，將T的結(jié)果映射引入到函數(shù)中[13]。在雙分支的卷積神經(jīng)元網(wǎng)絡(luò)中，輸入值在這一網(wǎng)絡(luò)中被設(shè)定為，權(quán)值矩陣在這一網(wǎng)絡(luò)中被設(shè)定為，偏置矩陣在這一網(wǎng)絡(luò)中被設(shè)定為，輸出在這一網(wǎng)絡(luò)中被設(shè)定為h,b，反向傳播期望輸出值在這一網(wǎng)絡(luò)中被設(shè)定為()[14]。樣本量在這一網(wǎng)絡(luò)中被設(shè)定為，損失函數(shù)在該研究中被設(shè)定為，接下來可以選擇采用以下表達式來表示損失函數(shù)平方誤差：

對以及初始化[15]，更新神經(jīng)網(wǎng)絡(luò)中的參數(shù)，詳見圖2所示。

圖1 二分支卷積單元

圖2 神經(jīng)網(wǎng)絡(luò)中的梯度下降圖

結(jié)合梯度下降方向獲得、，更新、的值。公式如下：

1.2 圖像壓縮

在本文方法中為減少圖像儲存空間，采用整數(shù)小波變換IWT（Integer Wavelet Transform）的方法對圖像進行處理[18]。小波變換可以通過以下步驟實現(xiàn)：

假設(shè)輸入初始圖像信號為s，其中∈＋，通過小波變分解圖像信號序列，形成偶數(shù)以及奇數(shù)兩種不同形式：

1,l0＝even(s)＝2l(5)

1,l0＝odd(s)＝2l＋1(6)

小波對偶提升方式為預(yù)測因子的構(gòu)造，技術(shù)序列預(yù)測依照于偶數(shù)序列[19]，預(yù)測誤差計算方式如下所示：

假設(shè)做次對偶提升和基本提升可得：

1,l＝1,l/(8)

1,l＝1,l(9)

式中：1,l指做次對偶提升后得到的偶數(shù)圖像序列；1,l指的是次對偶提升后得到的基本提升值。

用以上方案對圖像進行壓縮，將可見光圖像序列的前一幀作為后一幀的參考圖像，從而進行譜間預(yù)測，以消除譜間的相關(guān)性[20]。接著對處理后所獲得的殘差圖像進行整數(shù)小波變換處理，圖像壓縮框如圖3所示。

圖3 圖像壓縮方案框架

其中運用二值自適應(yīng)算術(shù)編碼對整數(shù)小波變換后的數(shù)據(jù)進行壓縮，去除小波系數(shù)存在空間相關(guān)性，與其他編碼相比較，該方法能自動控制進位擴散并且對硬件要求不高[21]。通過上述框架完成對圖像的壓縮處理。

1.3 圖像配準

本文方法為更好地實現(xiàn)圖像融合、保證融合后圖像清晰程度，在圖像序列融合之前，需要進行配準處理。在不同場合、時間、位置等條件下，獲取圖像之間的幾何關(guān)系，確定兩幅圖像之前的幾何變換。同時為了避免采集到的圖像出現(xiàn)模糊不清或失真情況[22]，采集紅外光譜圖像后，需要通過紅外光譜成像系統(tǒng)，實施圖像校正，校正圖像的公式如下所示：

式中：、、、分別代表初始圖像、白板校正圖像、黑板校正圖像、被校正過的圖像。通過紅外光譜儀對紅外光譜圖像中樣本的光譜信息進行提取，該過程在校正圖像后進行，光譜值為使用紅外光譜的平均值。

本文所提方法為了使表征結(jié)果更加符合人體眼球的視覺特征，把視覺傳達下紅外圖像RGB顏色空間模型替換成HSV空間模型，通過顏色特征統(tǒng)計使其變?yōu)樘卣魇噶浚瑢⒓t外圖像不同顏色分量組合為統(tǒng)一特征矢量，表現(xiàn)形式為：

＝9＋3＋(11)

這樣、、三種分量在紅外圖中就能夠在一維矢量中分布開來。視覺傳達上紅外圖像區(qū)域顏色最多鏈接區(qū)域R，可通過顏色C中同一種顏色構(gòu)成的最大鏈接區(qū)域字塊表述，其滿足：

area(R)＝{(Max(Area(R,C8)))} (12)

式中：C8表示落入色彩C的紅外圖像像素數(shù)目，實行鏈接標記，(Max(Area(R,C8)))表示落入色彩C紅外圖像像素建造的最大鏈接區(qū)域的像素數(shù)量[23]。經(jīng)過估算紅外圖像邊緣像素以st為中心的不同領(lǐng)域的色彩粗糙度來表征邊緣區(qū)域的劇烈程度，并通過紅外圖像整體的最大鏈接區(qū)域的均勻色彩粗糙度來表征該區(qū)域和周圍區(qū)域色彩的變化程度：

以視覺傳達紅外圖像的子塊分割為基本，把一幅紅外圖像分割成×種子塊，提取出紅外圖像所有子塊內(nèi)不同色彩的鏈接區(qū)域和邊緣的粗糙度，估算出紅外圖像和所有分塊之間的類似度，把通過分塊處理的紅外圖像的類似度設(shè)定成所有分塊類似度的均值，即：

式中：S表示紅外圖像某種子塊之間的類似度；b表示以分塊作為基礎(chǔ)的紅外圖像的類似度。

圖像配準需要對比圖像灰度值轉(zhuǎn)換空間坐標點，使其呈現(xiàn)離散分布狀態(tài)[24]。促使經(jīng)過變換的點無法正好落在網(wǎng)格節(jié)點上面，本文通過雙線性差值的方法進行坐標值估計[25-26]。具體如圖4所示。

圖4 雙線性差值方法

以下分別給出對應(yīng)點和的灰度值，具體如以下公式所示：

()＝(￠－)[()－()]＋() (15)

()＝(￠－)[()－()]＋() (16)

此時(￠,￠)坐標處對應(yīng)的灰度值為(￠,￠)：

(￠,￠)＝(￠－)[()－()]＋() (17)

利用圖5給出插值。

圖5 PV插值

根據(jù)上述理論，即可完成視覺傳達下紅外圖像的優(yōu)化設(shè)計。

1.4 圖像特征提取

在本文方法中為更好地進行圖像融合，對可見光圖像構(gòu)建圖像空間結(jié)構(gòu)的顏色特征[27]，建立顏色空間模型。

IHS顏色空間模型：在IHS顏色空間中，I代表圖像亮度，H代表顏色，S代表圖像色彩的深淺度。顏色空間表征方式如圖6所示。

圖6 IHS顏色空間

為解決IHS進行變換時較為費時且效率較低的問題，提出一種快速IHS變換方法，其表達式為：

式中：＝－，＝0＋0＋0，代表黑白影像的灰度值；0、0以及0代表色彩影像的不同波段，new、new以及new代表完成融合后的圖像。

通過均值標準差實施歸一化處理，得出表達式即：

式中：￠代表配準結(jié)束后的高分辨率黑白影像；代表未配準時的高分辨率黑白影像；HRP代表未配準時的影像均值；HRP代表未配準時的方差；LRI代表未配準時較低分辨率的均值；LRI代表未配準時低分辨率的分量方差。

Brovery變換法：其影像方式主要根據(jù)較高分辨率的色彩影像和多光譜影像共有的波譜區(qū)間為基礎(chǔ)[28]，其表達式為：

式中：0、0以及0所描述的是色彩影像的不同波段；描述的是未配準時的高分辨率黑白影像。

在本文方法中為了更好地突出主體和客體的不同，提出對上述公式進行改進，得出其表達式為：

從式(21)中可得出，改變值，實現(xiàn)不同顏色空間模型。在＝1情況下，代表Brovery變換方式；在?￥情況下，則代表IHS變換方式，根據(jù)調(diào)節(jié)值進一步操控兩種方式間的變化。綜上所述，通過適當改變數(shù)值，進一步增強兩者之間的對比度，對所表達的具體內(nèi)容予以最好的傳達，實現(xiàn)更加符合人眼視覺效果的融合圖像。

1.5 圖像融合

本文利用整數(shù)小波變換對輸入數(shù)據(jù)進行分解，高頻分量采用能量重組，低頻分量進行絕對值最大規(guī)則融合，最后進行小波重建，將圖像轉(zhuǎn)換為圖像，完成圖像融合。

1.6 評價指標

本文方法采用絕對均方亮度表征圖像亮度，AMSLE（Absolute Mean Square Luminance Error）值越小，表示圖像亮度維持效果越好，表征圖像融合效果越好，形成圖像質(zhì)量越高，計算方式如下所示：

AMSLE＝|Meanf－MeanG|(22)

式中：Meanf表示輸入圖像的亮度均值；MeanG表示輸出圖像的亮度均值。

本文方法重點選用均方根誤差來準確衡量圖像的配準精度，以下給出具體的計算式：

式中：(,)表示參考圖像中的特征點；(￠,￠)為校正前后待配準圖像中相對應(yīng)的特征點；為最終的特征點對數(shù)。

2 實驗分析

本文方法為了驗證圖像融合性能，分析紅外與可見光圖像融合效果，進行了實驗分析。為了突出本文方法的有效性，實驗通過對本文方法、文獻[4]方法、文獻[5]方法以及文獻[6]方法進行對比。實驗中所利用的光源線是成像鏡頭構(gòu)建的紅外光譜正向系統(tǒng)，采集紅外光譜圖像，實驗操作系統(tǒng)為Windows XP系統(tǒng)，其運行內(nèi)存為16 GB，CPU為intel酷睿i7-7700，設(shè)定紅外光譜圖像的分辨率為330pixel×267pixel。本文實驗選擇的圖像來自O(shè)TCBVS數(shù)據(jù)庫，該數(shù)據(jù)庫中共包含13個子數(shù)據(jù)集合。

將紅外光譜成像系統(tǒng)曝光時間、控制平臺移動速度和物鏡尺寸進行合理調(diào)節(jié)，再收集紅外光譜圖像。把物鏡的尺寸調(diào)節(jié)至90cm，曝光的時間調(diào)節(jié)到1/5722，平臺的移動速度調(diào)整到35.8mm/s，曝光時間、移動速度與物鏡的高度都是通過較多實驗后得出的準確數(shù)值。

圖7是一組源圖像，左側(cè)是紅外圖像，右側(cè)是可見光圖像。圖8是由圖7的紅外圖像和可見光圖像進行融合得到的圖像進行實驗分析，從左到右依次是文獻[4]方法、文獻[5]方法、文獻[6]方法、本文方法所得的實驗結(jié)果，從上到下依次對該組圖像的人物、路況和樹枝細節(jié)進行對比。由圖8可以看出，本文方法從不同角度觀測圖像邊緣均較明顯，證明圖像邊緣信息得到充分保留，圖像細節(jié)信息增強。經(jīng)所提方法處理后，不同光譜之間區(qū)分分明，主要原因在于所提方法綜合了粒子群算法與特征提取方法，較單一特征的設(shè)計精準度要高。

如表1所示，在同等實驗條件下，相比其他方法，本文所提方法的均方誤差、均方亮度誤差以及模糊熵均達到了更好的結(jié)果，均方亮度誤差達到0.98，模糊熵值最高達到6.23，融合處理后的圖像視覺信息顯著性更高，所得圖像信息質(zhì)量更優(yōu)。

圖7 實驗數(shù)據(jù)集中的一組紅外圖像（左側(cè)）和可見光圖像（右側(cè)）

圖8 紅外與可見光融合圖像在細節(jié)部分的實驗對比

表1 本實驗的結(jié)果對比

與文獻[4]方法相比，本文方法在時間上增加11.7%，但是均方亮度誤差提升達36.4%，模糊熵提升了32.8%，均方誤差提升18.2%；與文獻[5]方法相比，本文方法時間增加相對較多，但是在均方亮度誤差、均方誤差方面提升效果最好，分別達到51.2%、23.8%，同時模糊熵提升了4.7%。總體而言，本文方法在時間花費有一定程度增加的情況下，其它指標均獲得了更好的結(jié)果，能獲得更優(yōu)質(zhì)的融合圖像。本文方法更適用于對融合圖像質(zhì)量要求較高的場合。

為了進一步驗證所提方法的優(yōu)越性，均方根誤差對比結(jié)果如表2所示。

表2 不同方法的均方根誤差

詳細分析表2可知，本文所提方法的均方根誤差在4種方法中為最低，均方根誤差最低為0.01，說明圖像的配準效果更好，圖像融合效果更好，主要原因在于本文所提的雙分支卷積網(wǎng)絡(luò)可獲取得輸出信息量更多，保障了輸出信息特征的多樣性，減少信息量損失。

實驗結(jié)果表明，融合后圖像邊緣信息得到充分保留，圖像細節(jié)信息增強，模糊熵值最高達到6.23，均方根誤差最低為0.01，則說明圖像的配準效果好，證明紅外與可見光圖像的融合達到了更好的效果。

3 結(jié)論

本文引入雙分支卷積神經(jīng)網(wǎng)絡(luò)，保障了輸出信息特征的多樣性，減少信息量損失；采用整數(shù)小波變換方法壓縮圖像縮減圖像儲存空間；基于圖像插值法配準圖像，保障融合圖像呈現(xiàn)較強清晰度；根據(jù)合理調(diào)節(jié)因子的數(shù)值，獲得最佳顏色空間模型，獲取到較理想的融合結(jié)果。融合后圖像邊緣信息得到充分保留，圖像細節(jié)信息增強，圖像的配準效果好，紅外與可見光圖像融合效果好。實驗結(jié)果表明：采用本文方法紅外與可見光圖像融合圖像精度有所提升，細節(jié)信息增強，更加符合人眼視覺效果。

[1] 朱瑩, 夏亦犁, 裴文江. 基于改進的BEMD的紅外與可見光圖像融合方法[J]. 計算機科學(xué), 2020, 47(3): 124-129.

ZHU Ying, XIA Yili, PEI Wenjiang. Infrared and visible image fusion method based on improved BEMD[J]., 2020, 47(3): 124-129.

[2] 蘇金鳳, 張貴倉, 汪凱. 結(jié)合魯棒主成分分析和非下采樣輪廓波變換的紅外與可見光圖像的壓縮融合[J]. 激光與光電子學(xué)進展, 2020, 57(4): 84-93.

SU Jinfeng, ZHANG Guicang, WANG Kai. Compression and fusion of infrared and visible images combined with robust principal component analysis and non-subsampled contourlet transform[J]., 2020, 57(4): 84-93.

[3] 鄧秋菊, 王寧. 非下采樣輪廊波變換的紅外與可見光圖像融合[J]. 激光雜志, 2020, 41(4): 92-95.

DENG Qiuju, WANG Ning. Infrared and visible image fusion based on non-subsampling contour wave transform[J]., 2020, 41(4): 92-95.

[4] 王興龍, 朱芳. 基于雙通道PCNN的NSST域紅外與可見光圖像融合[J]. 平頂山學(xué)院學(xué)報, 2020, 35(2): 55-61.

WANG Xinglong, ZHU Fang. Fusion of infrared and visible light images in NSST domain based on dual-channel PCNN[J]., 2020, 35(2): 55-61.

[5] 陳潮起, 孟祥超, 邵楓, 等. 一種基于多尺度低秩分解的紅外與可見光圖像融合方法[J]. 光學(xué)學(xué)報, 2020, 40(11): 72-80.

CHEN Chaoqi, MENG Xiangchao, SHAO Feng, et al. A fusion method of infrared and visible light images based on multi-scale low-rank decomposition [J]., 2020, 40(11): 72-80.

[6] 沈瑜, 陳小朋, 苑玉彬,等. 基于顯著矩陣與神經(jīng)網(wǎng)絡(luò)的紅外與可見光圖像融合[J]. 激光與光電子學(xué)進展, 2020, 57(20): 76-86.

SHEN Yu, CHEN Xiaopeng, YUAN Yubin, et al. Fusion of infrared and visible light images based on saliency matrix and neural network [J]., 2020, 57(20): 76-86.

[7] 張貴倉, 蘇金鳳, 拓明秀. DTCWT域的紅外與可見光圖像融合算法[J]. 計算機工程與科學(xué), 2020, 42(7): 1226-1233.

ZHANG Guicang, SU Jinfeng, TUO Mingxiu. Infrared and visible light image fusion algorithm in DTCWT domain [J]., 2020, 42(7): 1226-1233.

[8] 任立成, 劉勇, 張建林, 等. 基于特征融合的雙分支模板更新跟蹤算法[J]. 國外電子測量技術(shù), 2021, 40(5): 14-21.

REN Licheng, LIU Yong, ZHANG Jianlin, et al. Two-branch template update tracking algorithm based on feature fusion [J]., 2021, 40(5): 14-21.

[9] 吳佼華, 楊學(xué)志, 方帥,等. 基于雙分支卷積神經(jīng)網(wǎng)絡(luò)的SAR與多光譜圖像融合實驗[J]. 地理與地理信息科學(xué), 2021, 37(2): 22-30.

WU Jiaohua, YANG Xuezhi, FANG Shuai, et al. Experiment of SAR and multispectral image fusion based on double-branch convolutional neural network [J]., 2021, 37(2): 22-30.

[10] 薛盼盼, 劉云, 李輝, 等. 基于時域擴張殘差網(wǎng)絡(luò)和雙分支結(jié)構(gòu)的人體行為識別[J/OL]. 控制與決策: 1-10. [2021-09-29]. https://doi.org/ 10.13195/j.kzyjc.2021. 0648.

XUE Panpan, LIU Yun, LI Hui, et al. Human Behavior Recognition Based on Time Domain Dilated Residual Network and Dual Branch Structure [J/OL].: 1-10. [2021-09-29]. https ://doi.org/ 10.13195/j.kzyjc.2021.0648.

[11] 張雪, 孟令燦, 聶秀山. 基于雙分支網(wǎng)絡(luò)特征融合的車輛重識別方法[J]. 數(shù)據(jù)采集與處理, 2021, 36(3): 468-476.

ZHANG Xue, MENG Lingcan, NIE Xiushan. Vehicle re-identification method based on dual-branch network feature fusion [J]., 2021, 36(3): 468-476.

[12] 賀雙龍, 楊斌. 基于局部結(jié)構(gòu)和視覺顯著特征的紅外和可見光圖像泊松重構(gòu)融合算法[J]. 南華大學(xué)學(xué)報: 自然科學(xué)版, 2020, 34(5): 62-70, 76.

HE Shuanglong, YANG Bin. Poisson reconstruction fusion algorithm for infrared and visible light images based on local structure and visual salient features [J]., 2020, 34(5): 62-70, 76.

[13] 周嘵玲, 江澤濤. 結(jié)合脈沖耦合神經(jīng)網(wǎng)絡(luò)與引導(dǎo)濾波的紅外與可見光圖像融合[J]. 光學(xué)學(xué)報, 2019, 39(11): 132-139.

ZHOU Weiling, JIANG Zetao. Fusion of infrared and visible light images combined with pulse-coupled neural network and guided filtering[J]., 2019, 39(11): 132-139.

[14] 劉明君, 董增壽. 基于多特征的紅外與可見光圖像融合[J]. 激光雜志, 2019, 40(10): 81-85.

LIU Mingjun, DONG Zengshou. Fusion of infrared and visible light images based on multi-features [J]., 2019, 40(10): 81-85.

[15] 王寧, 周銘, 杜慶磊. 一種紅外可見光圖像融合及其目標識別方法[J]. 空軍預(yù)警學(xué)院學(xué)報, 2019, 33(5): 328-332.

WANG Ning, ZHOU Ming, DU Qinglei. An infrared and visible light image fusion and its target recognition method[J]., 2019, 33(5): 328-332.

[16] 宮睿, 王小春. BEMD分解和W變換相結(jié)合的紅外與可見光圖像融合[J]. 中國圖象圖形學(xué)報, 2019, 24(6): 987-999.

GONG Rui, WANG Xiaochun. Fusion of infrared and visible light images combined with BEMD decomposition and W transform[J]., 2019, 24(6): 987-999.

[17] 張雷雷, 王鐸. 基于局部能量和鄰域信息的紅外與可見光圖像融合[J]. 光電技術(shù)應(yīng)用, 2019, 34(3): 19-22.

ZHANG Leilei, WANG Duo. Fusion of infrared and visible light images based on local energy and neighborhood information[J]., 2019, 34(3): 19-22.

[18] 榮傳振, 賈永興, 吳城,等. 紅外與可見光圖像分解與融合方法研究[J]. 數(shù)據(jù)采集與處理, 2019, 34(1): 146-156.

RONG Chuanzhen, JIA Yongxing, WU Cheng, et al. Research on infrared and visible image decomposition and fusion methods [J]., 2019, 34(1): 146-156.

[19] 馮鑫. Tetrolet框架下紅外與可見光圖像融合[J]. 光子學(xué)報, 2019, 48(2): 76-84.

FENG Xin. Fusion of infrared and visible light images under Tetrolet framework[J]., 2019, 48(2): 76-84.

[20] 朱平哲. 基于DCT與PSO的可見光與紅外圖像融合方法[J]. 新疆大學(xué)學(xué)報: 自然科學(xué)版, 2018, 35(4): 452-458.

ZHU Pingzhe. Visible light and infrared image fusion method based on DCT and PSO [J].: Natural Science Edition, 2018, 35(4): 452-458.

[21] 孔玲君, 張志華, 曾茜, 等. 基于NSST和SWT的紅外與可見光圖像融合算法研究[J]. 包裝工程, 2018, 39(19): 216-222.

KONG Lingjun, ZHANG Zhihua, ZENG Qian, et al. Research on infrared and visible light image fusion algorithm based on NSST and SWT [J]., 2018, 39(19): 216-222.

[22] 邱澤敏. 結(jié)合區(qū)域與邊緣特征的紅外與可見光圖像融合算法[J]. 紅外技術(shù), 2018, 40(5): 449-454.

QIU Zemin. Infrared and visible image fusion algorithm combining region and edge features[J]., 2018, 40(5): 449-454.

[23] 朱亞輝. 聚類分析的紅外與可見光融合質(zhì)量指標相似性研究[J]. 計算機系統(tǒng)應(yīng)用, 2018, 27(2): 216-222.

ZHU Yahui. Research on the similarity of infrared and visible light fusion quality indicators based on cluster analysis[J]., 2018, 27(2): 216-222.

[24] 吳冬鵬, 畢篤彥, 馬時平, 等. 邊緣和對比度增強的NSST域紅外與可見光圖像融合[J]. 紅外技術(shù), 2017, 39(4): 358-364.

WU Dongpeng, BI Duyan, MA Shiping, et al. Edge and contrast enhanced fusion of NSST domain infrared and visible light images [J]., 2017, 39(4): 358-364.

[25] 傅志中, 王雪, 李曉峰, 等. 基于視覺顯著性和NSCT的紅外與可見光圖像融合[J]. 電子科技大學(xué)學(xué)報, 2017, 46(2): 357-362.

FU Zhizhong, WANG Xue, LI Xiaofeng, et al. Fusion of infrared and visible light images based on visual saliency and NSCT[J]., 2017, 46(2): 357-362.

[26] 李昌興, 王志強. 基于視覺特性的紅外與可見光圖像融合[J]. 西安郵電大學(xué)學(xué)報, 2016, 21(6): 98-102.

LI Changxing, WANG Zhiqiang. Fusion of infrared and visible light images based on visual characteristics [J]., 2016, 21(6): 98-102.

[27] 周華兵, 侯積磊, 吳偉, 等. 基于語義分割的紅外和可見光圖像融合[J]. 計算機研究與發(fā)展, 2021, 58(2): 436-443.

ZHOU Huabing, HOU Jilei, WU Wei, et al. Fusion of infrared and visible light images based on semantic segmentation[J]., 2021, 58(2): 436-443.

[28] 張蕾. 采用改進平均梯度與自適應(yīng)PCNN的圖像融合[J]. 計算機應(yīng)用與軟件, 2021, 38(3): 218-223.

ZHANG Lei. Image fusion using improved average gradient and adaptive PCNN [J]., 2021, 38(3): 218-223.

Local Fusion Algorithm of Infrared and Visible Light Images Based on Double-Branch Convolutional Neural Network

XU Yunying，YANG Rui，HE Tianfu，LIU Shangwei，F(xiàn)AN Tairan，XU Chenchen

(School of Electronic Engineering, Jiangsu Ocean University, Lianyungang 222005, China)

Both infrared and visible images have certain limitations, and relying on individual types of images cannot meet the practical needs of engineering. Instead, high-quality fused images can be obtained by introducing image fusion techniques. To better guarantee the diversity of the output information features, this study introduces a dual-branch convolutional neural network to achieve local fusion of infrared and visible images. Based on the dual-branch convolutional neural network, red and blue features are obtained from infrared images and visible light images simultaneously, thereby increasing the amount of information in the fusion image. The integer wavelet transform method is used for image compression. When the color-space model is built, the value of the t-factor is adjusted to obtain an ideal fusion image. The experimental results show that the edge information of the image after the fusion of this method is fully preserved, image detail information is enhanced, and fusion effect of infrared and visible images is improved, compared with the existing methods.

two-branch convolutional neural network, infrared and visible light images, Gradient descent theory, wavelet transform, image interpolation, image fusion

TP391.4

A

1001-8891(2022)05-0521-08

2021-09-23；

2022-05-03

許云英（1990-），女，碩士研究生，研究方向：圖像處理。E-mail：371739272@qq.com。

楊瑞（1976-），男，副教授，研究方向：智能信息處理、程序分析及測試等。E-mail：yangrui@jou.edu.cn。

江蘇海洋大學(xué)電子工程學(xué)院研究生科研創(chuàng)新項目（DZXS202006）。