基于卷積神經網絡的紅外與可見光圖像融合

董安勇，杜慶治，蘇 斌，趙文博，于 聞

（1.昆明理工大學 信息工程與自動化學院，云南 昆明 650500；2.昆明北方紅外技術股份有限公司，云南 昆明 650500）

0 引言

紅外成像傳感器具有捕捉物體熱輻射的能力，但對場景紋理細節信息的變化不具有敏感性。可見光成像傳感器具有捕捉場景空間細節信息的能力，但容易遭受周圍惡劣環境的影響。因此，融合紅外與可見光圖像可以捕捉各波段互補特征，顯示輻射目標保留場景信息。目前，在情報收集、監控安全以及航空航天等領域有廣泛的應用前景。

非下采樣剪切波變換（non-subsampled shearlet transform,NSST）具有平移不變特性和稀疏表示能力，在圖像融合領域已經成為眾多學者研究的熱點。文獻[1]提出了稀疏表示和非下采樣Shearlet 變換相結合的多聚焦圖像融合算法，該算法可以使用融合的低頻子圖構造過完備字典，捕捉源圖像更多的邊緣、紋理以及細節信息。文獻[2]提出了NSST與引導濾波相結合的多聚焦圖像融合算法，該算法設計了基于局部區域顯著性特征的引導濾波加權融合模式，可以保留源圖像較多的對比度和清晰度信息。但是，上述算法的融合模式都是人為給定的，缺乏自適應調節的能力。

卷積神經網絡（convolution alneuraln et work,CNN）可以將數據特征進行分層表示，從而有效地挖掘數據局部和全局的特征信息，可以克服現有算法缺乏學習自我特征能力的缺陷。文獻[3]提出了基于卷積神經網絡的紅外與可見光圖像融合算法，該算法使用卷積神經網絡得到了衡量源圖像特征信息的決策圖來自適應調整融合模式。文獻[4]提出了基于圖像分割的卷積神經網絡多聚焦圖像融合算法，該算法通過卷積神經網絡將源圖像進行分割來輸出對應的決策圖。但是，上述算法沒有從多尺度角度將源圖像劃分為高低頻子帶進行處理，不符合人眼視覺系統的特性。

脈沖耦合神經網絡（pulsecoupled neural network,P CNN）模型具有全局耦合和脈沖同步的特性，可以將變換域高頻子帶融入豐富的視覺特性信息。文獻[5]提出了基于自適應PCNN模型的四元數小波域圖像融合算法，該算法使用拉普拉斯算子優化PCNN模型的閾值，改善了融合圖像的視覺效果。但是，該算法未能解決人工設定自由參數的困難，不利于自適應地調整網絡參數。文獻[6]提出參數自動設置的簡易P CNN模型，該模型可以根據圖像的特征信息自適應地設置PCNN 模型的自由參數，具有較強的適用性。

針對上述問題分析，本文綜合NSST 變換、CNN（convolutional neuraln et work）模型以及PCNN模型的互補特性，提出了基于深度卷積神經網絡的紅外與可見光圖像融合算法（NSST-CNN-APCNN（Adaptive Pulse Coupled Neural Network,APCNN）算法）。該算法從變換域角度解決了低頻子帶不具有融合模式自適應調整的能力，同時又避免了經典簡易PCNN模型手動設置自由參數的困難，增強了算法的表現力，優化了融合處理過程，具有較高的適用性。

1 NSST變換與PCNN模型

1.1 非下采樣剪切波變換

圖1 NSST 變換過程Fig.1 NSST trans formation process

NSST變換主要包括兩個處理過程，即多尺度分解和方向局部化。多尺度分解過程是使用金字塔濾波器（non-subsam pledpyra midfilter,NSPF）將源圖像分解成k＋1個子帶（1個低頻分量和k個高頻分量）。方向局部化過程使用剪切波濾波器將高頻分量進行j級方向變換，可以得到2j個高頻分量，很大程度上克服了偽吉布斯效應[7]。“store”圖像2級NSST 變換過程如圖1所示，分解的部分子帶如圖2所示（其中，(a)為低頻子帶，(b)和(c)為高頻子帶）。

圖2 NSST 分解子帶Fig.2 NSST deco mpositionsubb and

1.2 參數自適應脈沖耦合神經網絡

為了解決經典PCNN模型需要人為設置自由參數的問題[8-9]，本文選用了參考文獻[10]提出的參數自適應脈沖耦合神經網絡（簡稱為APCNN模型）。APCNN模型的數學描述如式(1)：

在上述APCNN 模型中，Fij[n]、Lij[n]、Uij[n]以及Eij[n]分別為(i,j)坐標神經元迭代n次的反饋輸入、鏈接輸入、內部活動以及動態閾值。VL和αL分別為鏈接輸入的幅度系數和時間常數。VE和αE分別為變閾值函數的幅度系數和時間常數。Sij、β以及Wijkl分別為輸入激勵、鏈接強度以及突觸連接系數。從APCNN 模型中可以看出，存在VL、VE、αL、αE以及β5 個自由參數。其中，VL和β僅為的權重。因此，設λ＝βVL表示加權鏈接強度，將APCNN模型用來處理圖像融合問題，可以自適應地給出剩余4 個自由參數的數學描述：

式中：σ(S)為輸入圖像的標準偏差；S′和Smax分別表示歸一化閾值和輸入圖像的最大強度。

2 卷積神經網絡

卷積神經網絡可以利用高維空間關系來解決人為設定特征信息的問題，從而具有很強的特征學習和特征提取能力。CNN 模型主要由輸入層、卷積層、池化層、全連接層以及輸出層組成[11]，CNN 模型的基本結構如圖3 所示。其中，卷積層是模型的核心部分，主要作用是提取數據特征。每個卷積核都可以提取上一層輸入數據的特征，且隨著卷積核數量的不同，提取的特征豐富度也不同。池化層位于卷積層之后，主要作用是為了優化參數規模、降低空間容量以及減少過擬合的影響。全連接層位于模型的末端，類似于人工模型的全連接方式。另外，如果需要解決分類問題，可以依次連接分類層。

對于基于CNN 模型的圖像融合算法來說，圖像融合的處理轉變成了CNN 模型的設計，融合模式可以通過訓練CNN 模型自動生成。同時，學習的特征數據可以被視為“最優”方案。因此，基于CNN 模型的融合算法可以有效地解決需要人為設定自由參數的難題。為了保證兩幅源圖像特征提取和信息量估計的處理方式是一致的，本文選用了參考文獻[12]設計的孿生雙通道神經網絡（siamese convolution neural network, SCNN）。SCNN 模型可以通過雙通道的CNN特征學習將雙通道輸入圖像的匹配度進行估計，并由分類器輸出圖像匹配的結果，具有較高的收斂性。

3 基于NSST-CNN-APCNN 的紅外與可見光圖像融合算法

NSST-CNN-APCNN 算法首先將紅外與可見光圖像進行4 級NSST 分解得到具有結構特征的低頻子帶和保留細節特征的高頻子帶。然后，將NSST 域低頻子帶輸送到孿生雙通道CNN 模型，經過CNN 模型的特征學習和分類來評估出決策圖，再根據決策圖輸出概率值和局部相似性測量函數，判別出可以自適應調整的融合模式來完成NSST 域低頻子帶的融合。其次，使用NSST 域高頻子帶的絕對值作為APCNN 模型的激勵輸入，同時分別使用方差、區域能量以及可見度特征信息來調節式(2)中σ(S)的值。因此，可以根據輸入特征自適應地調整APCNN 模型的自由參數，從而輸出點火映射圖來完成NSST 域高頻子帶的融合。最后，通過使用NSST 逆變換將紅外與可見光融合圖像進行重構。基于NSST-CNN-APCNN 的紅外與可見光圖像融合算法框架如圖4 所示。

圖3 CNN 模型基本結構Fig.3 Basic structure of the CNN model

3.1 基于SCNN 模型的低頻系數融合

NSST 域低頻子帶系數融合決策圖的生成可以被認為是分類問題的處理。具體來說，可以通過測量圖像塊信息量的多少得到系數融合的決策圖。SCNN 模型的網絡結構具有相同權重和相同體系的兩個輸入分支，因此SCNN 模型對于兩個輸入圖像塊的特征提取和信息估計方式是一致的，且容易被數據集訓練，具有較好的收斂性。本文選用的SCNN 模型基本結構如圖5 所示。

本文算法將NSST 域低頻子帶分別輸送到SCNN模型的兩個分支，通過3 個卷積層和一個最大池化層可以得到兩個衡量圖像塊信息量的特征映射。兩個特征映射通過神經元數目分別為256 和2 的兩個全連接層實現決策分配可以得到最終的概率值決策圖。其中，神經元數目為2 的全連接層是分類層，神經元數目2 為分類類別，通過分類器Softmax 可以輸出分類的概率值。這樣，SCNN 模型輸出的決策圖決定了對應位置處源圖像塊細節信息的多少。為了使人類視覺神經系統獲得更好的感知效果，本文算法首先將NSST域低頻子帶進行了拉普拉斯分解，然后將SCNN模型輸出的決策圖進行了高斯濾波分解，最后在每個分解層級上完成NSST 域低頻子帶系數的融合。NSST域低頻子帶系數融合的基本框架如圖6 所示，具體的融合流程如下所示。

圖4 基于NSST-CNN-APCNN 的圖像融合框架Fig.4 Image fusion framework based on NSST-CNN-APCNN

圖5 SCNN 模型基本結構Fig.5 Basic structure of SCNN model

圖6 低頻子帶系數融合基本框架Fig.6 Basic framework for the fusion of low-frequency subband coefficients

步驟1：將大小為256×256 的紅外低頻子圖AL和可見光低頻子圖BL分成大小為16×16 的圖像塊集，成對地輸送到預先訓練的SCNN 模型。

步驟2：將SCNN 模型兩個分支輸出的256 個特征映射級聯，再與256 維特征向量完全連接可以得到特征映射圖。

步驟3：將步驟2 得到的特征映射圖重疊區域塊“求平均”，從而得到與源圖像具有相同尺寸的特征映射圖。

步驟4：將步驟3 得到的特征映射圖中概率值大于0.5 的視為細節信息特征，置為1；小于0.5 的，視為非細節特征信息，置為0。

步驟5：將步驟4 得到的特征映射圖輸入到Softmax 分類器，并重新按照順序拼接可以得到二值圖。

步驟6：將步驟5 得到的二值圖進行濾波處理，得到NSST 域低頻子圖系數融合最終的決策圖W。

步驟7：將成對輸入的圖像塊AL′和BL′進行拉普拉斯分解，分別得到L(AL′)l子帶和L(BL′)l。其中，l為拉普拉斯分解層級。

步驟8：將步驟6 得到的決策圖W進行高斯濾波處理，得到W分解子帶G(W)l。其中，步驟7 和步驟8 的分解級數設置為w和h分別為源圖像塊的空間大小，為向下取整。

步驟9：根據式(6)分別完成L(AL′)l子帶和L(BL′)l子帶的局部區域能量E(AL′)l(x,y)和E(BL′)l(x,y)的計算：

步驟10：設計了基于局部相似性的測量函數Sl(x,y)。其中，Sl(x,y)的函數值范圍為[－1,1]，設置閾值D來自適應地調整融合模式。Sl(x,y)測量函數如式(7)表示：

步驟11：當相似性較大時，SCNN 模型提取的特征信息是可靠的，此時可以根據SCNN 模型輸出的決策圖進行低頻系數融合：

步驟12：相似性較低時，決策圖W是不可靠的，此時應該選擇局部區域能量較大者，式(9)為具體的融合模式：

步驟13：將融合的低頻子帶L(FL′)l(x,y)進行拉普拉斯逆變換，可以得到融合的NSST 域低頻子圖。

3.2 基于APCNN 模型的高頻系數融合

經典的高頻子帶融合模式不能夠充分利用高頻細節特征，不僅容易導致圖像的結構和空間信息大量丟失，而且容易引入噪聲和忽略細節。

因此，本文算法克服了需要人為設置PCNN 模型自由參數的難題[13]，根據紅外和可見光圖像類型的特征分別選用了子帶的標準偏差、局部區域能量和以及局部區域可見度信息自適應地設置網絡參數來估計NSST 域高頻子帶系數的細節強度，可以有效地保留高頻子帶的顯著特征信息，符合人類的視覺神經感知。

對于基于PCNN 模型的融合模式，通常選用單個像素的灰度值來激勵PCNN 模型。但是，人類的視覺系統對單個像素是不敏感的，因此本文算法選用整個高頻子圖的絕對值來激勵APCNN 模型，即：

鏈接強度β可以改變鏈接通道權重來決定鄰域神經元的內部活動狀態，通常是通過實驗來確定β值。但是根據人眼視覺系統原理，神經元的β值是隨著周圍特性的變化而變化的，因此β值需要隨著高頻子圖的特征來自適應地調節。根據1.2 節APCNN 的設計，設λ＝βVL，則αL、λ、VE以及αe可以分別由式(2)、式(3)、式(4)以及式(5)表示。

式(2)的σ(S)為輸入圖像的標準偏差。但是，對于紅外與可見光圖像類型，局部區域能量和與局部區域可見光越大，表示視覺顯著性區域包含了較多的邊緣、輪廓以及紋理特征。因此，設σ(S)分別為局部區域能量和EOL、局部區域可見度VI 以及標準偏差SD來自適應地調節APCNN 模型的自由參數，捕捉NSST域高頻子圖更多的特征信息，即：

式中：f(u,v)表示(u,v)處的像素值；w表示尺寸為l×l的窗口；mk表示像素平均值；N表示窗口像素數；α表示常數。

NSST 域高頻子帶系數融合的具體流程如下所示：

步驟1：分別計算出NSST 域紅外高頻子圖AH和可見光高頻子圖BH的絕對值AHa和BHa。

步驟2：將絕對值AHa和BHa分別歸一化處理，賦值給Fij激勵APCNN 模型。

步驟3：將APCNN 模型進行參數初始化，即：

步驟4：設定EOL、VI 以及SD 特征分別為σ(S)。

根據公式(2)～(5)分別計算出APCNN 模型自適應參數。

步驟5：根據APCNN 模型的運行機制，實現Nmax次迭代，EOL、VI 以及SD 特征調參的點火次數分別為：TAE[Nmax]、TAV[Nmax]、TAS[Nmax]、TBE[Nmax]、TBV[Nmax]以及TBS[Nmax]。

步驟6：根據顯著性特征調參的點火輸出，構造加權函數：

步驟7：根據步驟6 設計的加權函數，構造紅外高頻子圖AH和可見光高頻子圖BH的點火映射圖：

步驟8：根據新點火圖，得到融合的高頻系數：

4 實驗結果與分析

4.1 實驗說明

為了驗證NSST-CNN-APCNN 算法的實用性，選用了大小為256×256 預配準的“森林”（場景復雜，而目標單一）、“船”（場景單一，而目標復雜）以及“商店”（場景復雜，且目標復雜）3 組紅外與可見光圖像進行融合實驗，并將NSST-CNN-APCNN 算法與較為先進的5 種融合算法進行性能比較，對比算法分別為：文獻[14]（簡稱NSCT-PCNN 算法）、文獻[15]（簡稱SR 算法）、文獻[16]（簡稱NSST 算法）、文獻[17]（簡稱NSST-PAPCNN 算法）以及文獻[18]（簡稱CNN 算法）。其中，仿真環境為2016b MATLAB，各組源圖像均進行“歸一化”處理，對于NSST 變換部分，均選用“maxflat”濾波器，分解級數為4，方向子帶為[8,8,16,16]（其他參數根據文獻設定）。

4.2 融合評價

圖像融合質量評價方法主要有兩個方面，即主觀視覺評價和客觀指標評價。為了可以更加客觀地評價NSST-CNN-APCNN 算法的性能，選用了空間頻率（SF）、清晰度（SP）、邊緣信息傳遞因子（QAB/F）、結構相似模型（SSIM）以及視覺信息保真度[19]（VIFF）5 個評價指標評估融合圖像的融合質量（指標值越大，融合質量越高，融合效果越好）。

第一組“森林”圖像實驗素材如圖7(a)～(b)所示，圖7(a)是可見光灰度圖像，圖7(b)是與之對應的紅外圖像。而圖7(c)～(h)是不同算法對圖7(a)～(b)進行圖像融合得到的融合結果灰度圖像。

從圖7(c)～(h)融合結果可以看出，上述融合算法均可以有效地將源圖像的互補信息進行融合，既顯示了目標，又刻畫了場景。但是，不同的融合算法捕捉特征信息的能力也是各不相同的。NSCT-PCNN 算法的實驗結果中，護欄紋理清晰，但樹木出現“重影”現象。SR 算法的實驗結果中，目標和場景層次感增強，但對比度嚴重減弱。NSST 算法和NSST-PAPCNN算法的實驗結果中，目標人物清晰，但紋理信息丟失嚴重。CNN 算法的實驗結果中，灰度層次感較強，但屋檐左側的樹木存在空間“不連續”現象。NSST -CNN-APCNN 算法的實驗結果中，目標和場景對比度增強，紋理結構特征明顯，保留了源圖像較多的細節信息。

第一組“森林”圖像的客觀質量評價指標如表1所示，評價指標值歸一化走勢如圖8 所示。

從表1 的客觀質量評價指標可以看出，NSST -CNN-APCNN 算法的QAB/F指標略低于CNN 算法，但SF、SP、VIFF 以及SSIM 指標均明顯優于5 種對比算法。從圖8 的歸一化走勢可以看出，雖然NSST -CNN-APCNN 算法的QAB/F指標略低，但是VIFF 指標相比于SR 算法提高了約28.62%，具有較好的視覺保真度。綜上可知，NSST-CNN-APCNN 算法捕捉邊緣信息的能力略弱于CNN 算法，但在活躍度、清晰度、保真度以及結構信息方面的保留能力優于5種對比算法，具有較優的融合性能。

第二組“船”圖像實驗素材如圖9(a)～(b)所示，

圖7 “森林”圖像不同算法的融合結果Fig.7 Fusion resultsof different algorithms for "forest"images

表1 “森林”客觀質量評價指標Table 1 “forest”objective qualityevaluation indicators

圖8 “森林”指標值歸一化走勢圖Fig.8 “forest”indicator valuenormalization chart

從表2的客觀質量評價指標可以看出，NSST 圖9(a)是可見光灰度圖像，圖9(b)是與之對應的紅外圖像。而圖9(c)～(h)是不同算法對圖9(a)～(b)進行圖像融合得到的融合結果灰度圖像。-CNN-APCNN算法的SSIM指標略弱于SR 算法，說明其空間結構特征信息的捕捉能力弱于SR 算法。但是，NSST-CNN-APCNN算法的其他客觀質量評價指標均明顯優于5種對比算法，可以提高觀察者對目標和場景的感知能力，有助于目標跟蹤和檢測識別的實際應用。從圖10的歸一化走勢可以看出，NSST-CNN-APCNN算法、CNN算法以及NSST-PAPCNN算法的走勢略為一致，NSST 算法、SR 算法以及NSCT-PCNN算法的走勢略為一致，且前三者的VIFF指標明顯高于后三者，刻畫了源圖像更深層面的保真度和結構特征信息。另外，NSST-CNN-APCNN 算法除了SSIM指標，其他客觀質量評價指標均為“最優值”，且VIFF指標相比于NSCT-PCNN算法提高了約71.44%，融合效果高度符合人眼視覺效果。

第3組“商店”圖像實驗素材如圖11(a)～(b)所示，圖11(a)是可見光灰度圖像，圖11(b)是與之對應的紅外圖像。而圖11(c)～(h)是不同算法對圖11(a)～(b)進行圖像融合得到的融合結果灰度圖像。

圖9 “船”圖像不同算法的融合結果Fig.9 Fusion results of different algorithms for “boat”images

表2 “船”客觀質量評價指標Table 2 “forest”objective quality evaluation indicators

圖10 “船”指標值歸一化走勢圖Fig.10 “boat”indicator valuenormalization chart

從圖11(c)～(h)融合結果可以看出，NSCT-PCNN算法的實驗結果中，物體邊緣輪廓模糊，丟失了部分亮度信息，分辨率較差。SR 算法的實驗結果中，目標和場景紋理清晰，但亮度信息丟失明顯。NSST算法的實驗結果中，物體邊緣過度平滑，且出現了重影干擾。CNN 算法的實驗結果中，幾乎丟失了全部的可見光信息，不適合用于目標復雜且場景復雜類型的圖像融合。NSST-PAPCNN算法和NSST-CNN-APCNN算法的實驗結果中，物體連續性較好，細節刻畫深刻，且灰度、亮度以及銳利度比較貼近源圖像。但是，NSST-PAPCNN算法的目標均存在“虛影”和“重影”的現象，使得人眼甄別困難。因此，NSST-CNN-APCNN算法的融合結果可以更好地分配可見光和紅外信息，有效地消除了“偽影”，保留了較好的細節信息。

第3組“商店”圖像的客觀質量評價指標如表3所示，評價指標值歸一化走勢如圖12所示。

圖11 “商店”圖像不同算法的融合結果Fig.11 Fusion results of different algorith msfor "store "images

表3 “商店”客觀質量評價指標Table 3 “Store” objective q ualityevaluation indicators

圖12 “商店”指標值歸一化走勢Fig.12 “Store”indicator value normalization chart

從表3的客觀質量評價指標可以看出，NSST -CNN-APCNN 算法的QAB/F指標和SSIM指標略弱于NSST 算法和CNN算法，說明NSST-CNN-APCNN算法遺失了少數的邊緣細節信息和深度結構特征。但是，NSST-CNN-APCNN算法的SF、SP 以及VIFF指標依舊明顯優于5種對比算法，能夠較好地改善圖像的分辨率、增強圖像的清晰度以及提高圖像的保真度。從圖12的歸一化走勢可以看出，NSST-CNN-APCNN 算法和NSST 算法的各項客觀評價指標均明顯優于其他4種對比算法。另外，NSST-CNN-APCNN 算法在QAB/F指標和SSIM 指標略弱于NSST算法，但從圖11(e)中可以看出，NSST算法的融合效果存在“振鈴效應”，從主觀視覺評價和客觀指標評價綜合分析來看，NSST-CNN-APCNN算法捕捉了更多的清晰度、相似性以及邊緣紋理等細節信息，具有較好的可識別度。

5 結束語

NSST-CNN-APCNN算法將NSST變換、卷積神經網絡以及參數自適應的PCNN 神經元模型相互結合，解決了NSST 分解低頻子帶融合模式給定的問題，同時又避免了手動設置脈沖耦合神經網絡（PCNN）參數的困難。為了提取到源圖像更加豐富的信息，NSST-CNN-APCNN 算法對于NSST 分解的低頻和高頻系數分別進行了更加細致的處理，其將低頻子帶進行了拉普拉斯分解，將SCNN 模型輸出的決策圖進行了高斯濾波分解，最終在每個分解層級上完成了低頻系數的融合。對于高頻子帶的融合，其分別使用了方差、局部區域能量以及可見度特征來激勵參數自適應PCNN 神經元模型。綜合分析實驗結果可知，在主觀和客觀評價方面，NSST-CNN-APCNN 算法均取得了較好的融合結果，較好地低刻畫了源圖像的結構、紋理以及相似性等特征，有效地抑制了“偽影”和“失真”狀況的出現，并且在“森林”圖像實驗中，融合圖像的SF 指標、SP 指標、VIFF 指標以及SSIM 指標相比于對比算法中最高的分別提高了約0.64%、3.67%、0.33%以及0.91%。在“船”圖像實驗中，融合圖像的SF 指標、SP 指標、QAB/F指標、VIFF 指標以及SSIM 指標相比于對比算法中最高的分別提高了約15.26%、1.69%、1.54%、0.18%以及1.56%。在“商店”圖像實驗中，融合圖像的SF 指標和SP 指標相比于對比算法中最高的分別提高了約3.51%和3.57%。且VIFF 指標和最高的指標一樣。綜上可以看出，NSST-CNN-APCNN 算法可以在保證其他指標減少較少的情況下提高圖像的SF 指標、SP 指標以及VIFF指標，具有刻畫源圖像更深層面幾何結構的能力。