基于顯著性檢測與MDLatLRR分解的紅外與可見光圖像融合

龍志亮，鄧月明，王潤民，董 俊

基于顯著性檢測與MDLatLRR分解的紅外與可見光圖像融合

龍志亮，鄧月明，王潤民，董 俊

（湖南師范大學 信息科學與工程學院，湖南 長沙 410081）

針對紅外與可見光圖像融合過程中細節信息的缺失、融合結果對比度較低等問題，提出一種基于顯著性檢測與多層潛在低秩表示的紅外與可見光圖像融合方法。首先，使用基于顯著性檢測的方法對紅外與可見光圖像進行預融合；然后，使用多層潛在低秩表示方法依次將紅外圖像、可見光圖像和預融合圖像分解為低秩層和細節層；其中細節層采用結構相似性和L2范數相結合的方法進行融合，低秩層使用基于能量屬性的方法進行融合；最后，將低秩層和細節層的融合結果重構便得到最終的融合圖像。文中將該方法與11種具有代表性的圖像融合方法進行了評估比較，通過對比多組融合圖像的主客觀評價，其結果表明，相較于對比方法，本方法能夠保留紅外與可見光圖像融合過程中源圖像的有效細節，且融合結果具有較高的對比度，更符合人們的視覺理解。

圖像融合；顯著性檢測；潛在低秩表示；紅外圖像；可見光圖像

0 引言

單一傳感器的成像不一定能反映目標場景的完整信息，為達到更好的視覺理解，有時我們需要集合兩個或多個相同場景的圖像共同來表達目標信息[1]。圖像融合是一種將多幅不同的源圖像中有用或互補的信息組合到一幅圖像中的技術，其融合結果能完整、清晰地描述目標場景信息，以促進后續的目標檢測、識別、跟蹤等計算機視覺研究[2-3]。

根據成像機理的差異，圖像可分為多模態、多光譜以及數字攝影圖像，多模態圖像主要包括紅外與可見光圖像、醫學圖像和遙感圖像[4]，其中可見光圖像能為計算機視覺任務提供豐富的背景和直觀的細節信息，其成像特點符合人的視覺理解，但在光線較暗或天氣不明朗的環境中無法突出重要的目標信息；紅外圖像能根據物體和環境的熱輻射差異，將目標和背景信息區分開，且不受低能見度或惡劣天氣環境的影響，但其空間分辨率較低，不能反映圖像的紋理細節[2]。將紅外圖像與可見光圖像進行融合，既能結合紅外圖像中熱輻射差異信息，又能結合可見光圖像中細致的紋理信息，因此紅外與可見光圖像融合廣泛應用于車載、夜間行駛、安防監視等計算機視覺領域[1]。

現有的紅外與可見光圖像融合主流方法可分為傳統法和深度學習法[5]兩大類，基于深度學習的方法在圖像處理領域有著巨大的研究前景，其原理是通過設計一種網絡框架和損失函數[4]，實現對圖像信息的特征提取、特征融合及圖像重構，但其過程需要依靠大量的訓練數據來確保融合的準確性，融合過程中易出現特征提取不完整的情況，且其網絡框架也難以解釋[6-7]。傳統方法主要包括多尺度變換、稀疏表示、基于顯著性、基于子空間以及混合方法[1-2]，其中基于多尺度變換是一種常用的圖像融合方法，且融合結果符合人們的視覺理解[3]，其原理是通過多尺度變換將圖像分解為多個方向的尺度，根據每個尺度相應的特點采取不同的融合策略進行融合，最終通過逆變換重構出融合圖像，能夠有效融合多個方向的有效信息。目前來講，盡管深度學習方法有著巨大的研究前景，但基于多尺度變換實現圖像融合的方法靈活多變、更受歡迎，且融合效果更好。

基于多尺度變換能夠融合各個方向的有效信息，其融合結果符合人們的視覺觀察，但也存在一些問題。首先，傳統的多尺度分解方法的分解過程中存在偽影現象[2]，導致融合結果不太理想，且基部采用簡單的權值分配的融合規則，使融合結果的對比度信息較低，目標信息不夠突出[7]。此外，不是所有可見光圖像中的細節信息都是有效的，如汽車燈、路燈等局部高亮度信息不能反映目標場景的有效細節，但過于簡單的融合策略無法提取目標場景中的有效細節，易將無效的細節注入到融合圖像中，導致融合過程中出現細節信息缺失的問題。

為了解決紅外與可見光圖像融合過程中細節信息的缺失、融合結果對比度較低等問題，本文提出一種基于顯著性檢測與多級潛在低秩分解（Multi-level image Decomposition base on Latent Low-Rank Representation，MDLatLRR）的紅外與可見光圖像融合方法，通過對源圖像使用顯著性檢測以突出圖像的顯著特征，潛在低秩表示將圖像分解為低秩層和細節層，其中低秩層引入能量屬性進行融合，保留了源圖像中大部分的背景信息，對于細節層引入結構相似性系數和L2范數進行融合，充分提取了目標場景的有效細節信息，且融合結果的對比度也得以提高。

1 本文方法

本文提出的基于顯著性檢測與MDLatLRR分解實現紅外與可見光圖像融合分為3個步驟：圖像預融合、圖像分解、圖像二次融合。圖1為實現本文方法的框架，具體地，對紅外與可見光圖像使用顯著性檢測的方法獲取預融合圖像，然后通過多層潛在低秩表示方法，將預融合圖像分解為一層低秩圖像，多層細節層圖像，分別引入不同的融合策略對其二次融合，最后通過重構圖像得到最終的融合圖像。

1.1 圖像預融合

顯著性檢測旨在識別輸入圖像上最引人注目的對象，例如比鄰域更重要的人，物體等信息[8-10]。對源圖像使用顯著性檢測獲取的預融合圖像，突出了源圖像中的顯著特征信息，同時為細節層融合提供了參考。圖2為獲取預融合圖像的框架，包括雙尺度分解、顯著性檢測、圖像預融合3部分。

1）通過雙尺度變換將紅外與可見光源圖像分解為基礎層和細節層，如式(1)和(2)所示，I表示源圖像，文中通用下標取1或2，分別代表紅外與可見光圖像對應的部分，Mean(×)表示尺寸為×的均值濾波器，(·)表示滑窗操作，*是卷積運算符，對源圖像進行均值濾波得到基層圖像bi；源圖像I減去基層圖bi像得到細節層圖像di。

bi＝Mean(×)*(I) (1)

di＝I－bi(2)

2）如式(3)和(4)所示，定義一種顯著性檢測，gi表示源圖像I經過引導濾波后的結果，其中引導圖與輸入圖像相同，為濾波器尺寸，eps為濾波參數；S就是對源圖像通過顯著性檢測得到的顯著特征圖層。

gi＝guidedfilter(I,,, eps) (3)

3）對獲取的顯著特征圖層歸一化，作為預融合細節層圖像的權重系數，基層選取加權平均的融合規則，B為預融合的基層圖像，D為預融合的細節層圖像，pf為預融合圖像。

＝S/(1＋2) (5)

D＝1×d1＋2×d2(6)

B＝0.5×(b1＋b2) (7)

pf＝B＋D(8)

圖1 本文方法的總體框架

圖2 圖像預融合的實現框架

1.2 圖像分解

圖像分解旨在將一幅包含完整目標信息的圖像分解為各個方向的尺度，其每個方向包含不同的特征信息，通過對不同方向采用不同的融合方法將特征信息進行融合，從而把源圖像中有效的信息注入到融合圖像中，使融合結果符合人們的視覺特征。潛在低秩表示（Latent Low-Rank Representation，LatLRR）理論是在低秩表示（Low-Rank Representation，LRR）理論的基礎上發展而來的子空間分割算法，解決了LRR方法輸入數據不充分或嚴重損壞的問題，能夠提取圖像的低秩結構和細節特征，如式(9)和(10)所示，將LatLRR問題表示為優化問題[11]：

＝＋＋(9)

式中：為輸入源圖像矩陣；是低秩系數矩陣；是學習得到的顯著性系數矩陣；代表噪聲；為分離出來的低秩信息；包含圖像大部分的細節和顯著信息[12]。＞0，表示平衡系數，||·||?為nuclear范數，描述奇異矩陣值之和，||.||1表示L1范數，用于表征稀疏噪聲。

基于多層潛在低秩表示將圖像分解為低秩層和細節層的實現如式(11)和(12)所示[13]：

式中：為輸入圖像；表示分解的層數；Z為第級分解的低秩層；D為第級分解的細節層；(·)表示滑窗和矩陣重組兩種運算符；D為輸入圖像分解的結果；(·)是一種重構運算符，從D中重構出細節層圖像，將輸入圖像減去細節層就得到對應的低秩層圖像。

1.3 圖像二次融合

紅外、可見光源圖像以及預融合圖像被分解為低秩層和細節層，針對每層不同的特征采用不同的融合規則進行融合。具體地，將可見光和預融合圖像的低秩層使用一種基于能量屬性的方法進行融合，其結果作為最終圖像的基層；紅外與可見光圖像的細節層通過L2范數與結構相似性系數相結合的方法進行融合，其結果作為最終圖像的細節層，將得到的基層和細節層進行相加重構，得到最終的融合結果。

1.3.1 低秩層融合

定義一種能量屬性[14]EA，如式(13)和(14)所示：

IE＝(m＋h)/2 (13)

EA(,)＝exp[×|Z(,)-IE|] (14)

式中：m表示圖像的均值；h表示圖像的中值；IE是包括圖像均值和中值的固有屬性，將圖像的低秩層Z與固有屬性IE做減法操作，然后通過一種指數運算，得到能量屬性EA，在式中作為調整能量屬性值的參數。

根據式(13)、(14)，分別求取紅外和預融合圖像的能量屬性，用EA1和EA2表示，計算其權重比例，作為可見光低秩層圖像Zvi和預融合低秩層圖像Zpf的融合系數，最后將其對應加權相加得到在最終融合圖像的基層IMB。

(,)＝EA(,)/[EA1(,)＋EA2(,)] (15)

IMB＝1(,)×Zvi(,)＋2(,)×Zpf(,) (16)

可見光圖像中含有豐富的背景信息，預融合圖像包含了源圖像中的顯著性信息，通過基于能量屬性的方法將可見光圖像和預融合圖像的低秩層進行融合，能保留源圖像中豐富的背景信息，提高融合圖像的對比度，同時加強了相鄰像素間的聯系。

1.3.2 細節層融合

針對過于簡單的融合規則無法提取可見光圖像中有效細節信息的問題，本文把潛在低秩分解獲得的紅外與可見光圖像的細節層，采用L2范數和結構相似性（structural similarity，SSIM）相結合的方法進行融合，融合結果作為最終融合圖像的細節層，流程圖如圖3所示。

圖3 細節層圖像融合框架圖

1）計算結構相似性

結構相似性表征兩個圖像之間的相似度，包括圖像的亮度、對比度、結構3個特征[15-16]，如式(17)所示：

式中：、分別代表兩幅圖像的平均灰度；、分別代表兩幅圖像的標準差；代表兩幅圖像的協方差；1、2為常數，選擇適當的參數可以調整高度、對比度、結構3個特征的權重。

＝1＋SSv_f－SSi_f, (0≤≤1) (18)

根據公式(17)計算紅外圖像和預融合圖像之間的結構相似性，結果用SSi_f表示，計算可見光圖像和預融合圖像之間的結構相似性，結果用SSv_f表示，再根據式(18)將計算的結果進一步轉化為平衡系數，用來控制紅外與可見光圖像的細節信息分配；SSv_f≥SSi_f時，＝1，說明該區域中可見光圖像能提供較多的有效細節信息；SSv_f＜SSi_f時，＜1，表示該區域融合圖像中大部分有效的細節信息應來自紅外圖像。

2）L2范數優化融合細節層

針對過于簡單的融合策略無法提取可見光圖像的有效細節，易將無效的細節注入到融合圖像中，導致融合過程中出現細節信息缺失的問題，本文使用L2范數和結構相似性系數相結合的方法，提取出紅外圖像中含有的少量細節信息，以及可見光圖像中有效的細節信息，如式(19)所示，細節層圖像融合被視為一個最小優化問題[7]：

式(20)和(21)中IDfi、IDir和IDvi分別表示第層最終融合圖像的細節層，紅外、可見光圖像通過潛在低秩分解后的細節層，ir、vi分別為第層紅外、可見光細節層圖像融合的增強系數，大小為源圖像細節層的全局均方根誤差和局部均方根誤差的比值，紅外、可見光圖像細節層乘上對應增強系數與最終融合圖像細節層的偏差分別用、表示，當偏差值最小時，此時的IDfi為最終求取的第層融合細節層，其中是由式(18)獲得的平衡系數，用來提取可見光圖像中的有效細節信息。式(22)中的表示ir與IDir的乘積，為vi與IDvi的乘積。

1.3.3 圖像重建

將各層細節層融合的圖像IDfi累加得到最終融合圖像的細節層IMD，然后將基層的融合圖像IMB與最終融合圖像的細節層IMD相加重構獲得最終的融合圖像IMF：

IMF＝IMB＋IMD (24)

式中：為潛在低秩表示分解的總層數。

2 實驗參數

實驗中的紅外與可見光輸入源圖像來自于TNO公共數據集[17]，其包含了不同軍事相關的多光譜夜間圖像，通過不同多波段的相機系統將圖像配準好，有多種不同分辨率的灰度圖像。

預融合過程中，中值濾波的濾波器尺寸＝5；對可見光圖像進行引導濾波的濾波器尺寸＝45，濾波參數eps＝0.3；對紅外圖像進行引導濾波的濾波器尺寸＝7，濾波參數為eps＝10－6；多層潛在低秩分解的總層數=4；低秩層融合過程中，調整能量屬性的參數＝4；求解結構相似性系數中的參數1＝2＝1；

實驗在配置為Intel core i5-6500，CPU主頻3.2GHz，16G RAM，Windows10系統下的計算機上運行的，實驗環境平臺為MATLAB R2016b。

3 實驗與分析

為驗證本文方法的性能，融合實驗中選擇4組經典的紅外與可見光圖像數據集，分別為‘Camp、Kaptein、Marne、Airplane in Trees’；同CBF[18]、CNN[19]、GFCE[20]、GFF[21]、HMSD_GF[20]、IVFusion[7]、LP[22]、MDLatLRR[13]、NSST_PCNN[14]、TIF[9]、VSMWLS[23]共11種具有代表性的圖像融合方法進行了定性和定量的比較，圖4～7分別為11種融合方法以及本文提出方法對“Camp、Kaptein、Marne、Airplane in Trees”4組數據集融合結果的對比。

由圖4～7可知，大部分融合方法都能將紅外圖像中較強的目標信息和可見光圖像中豐富的紋理和細節信息融合成一幅圖像，但CBF方法容易給融合圖像帶來噪點，在數據集Kaptein、Airplane in Trees’的融合上尤為突出；GFF、HMSD_GF、NSST_PCNN、TIF、VSMWLS方法融合的圖像亮度信息不高，無法突出圖像的細節，邊緣輪廓也較模糊；IVFusion方法的融合結果在目標和背景都呈現較高的亮度，但目標與背景的對比度較差，無法突出目標特征；LP方法在一些區域混肴了圖像的目標和背景信息，導致無法正確提取顯著信息；總的來說，GFCE、MDLatLRR以及本文提出的方法融合效果都有著較好的視覺理解，但遇到目標和背景很接近的場景時，如‘Airplane in Trees’數據集中，在背景為森林中的飛機目標難以察覺，GFCE和MDLatLRR融合效果有所降低，不能突出有效的細節信息，而本文提出方法的融合結果有著較好的清晰度，目標與場景的對比度較高，有著豐富的細節紋理。

圖4 數據集‘Camp’的融合圖像

圖6 數據集‘Marne’的融合圖像

客觀評價使用平均梯度（average gradient，AG）、交叉熵（cross entropy，CE）、邊緣強度（edge intensity，EI）、信息熵（information entropy，EN）、互信息（mutual information，MI）、CV（Chen-Varshney）、標準差（standard deviation，SD）、空間頻率（spatial frequency，SF）、結構相似性SSIM以及視覺信息保真度（visual information fidelity，VIF）10種評價指標[5,24]。其中CE和CV2個指標值越小代表融合結果越好，其余8個指標值越大代表融合效果越佳，表1～4為4組數據集融合結果的客觀評價指標和運行時間對比，其中最優值數據用紅色表示，次優值用藍色表示，第三用綠色表示。

圖7 數據集‘Airplane in Trees’的融合圖像

表1 數據集‘Camp’的融合結果客觀評價指標