基于引導(dǎo)濾波二尺度分解的紅外與可見光圖像融合

張 慧，韓新寧，韓惠麗，常莉紅

基于引導(dǎo)濾波二尺度分解的紅外與可見光圖像融合

張 慧1，韓新寧2，韓惠麗1，常莉紅1

（1. 寧夏師范學(xué)院 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，寧夏 固原 756000；2. 寧夏師范學(xué)院 資源環(huán)境與生命科學(xué)學(xué)院，寧夏 固原 756000）

為了降低多尺度分解融合算法的復(fù)雜性，并提高融合圖像適應(yīng)人類視覺特點(diǎn)，本文提出一種基于引導(dǎo)濾波二尺度分解的紅外與可見光圖像融合的方法。首先利用引導(dǎo)濾波對(duì)可見光圖像實(shí)施增強(qiáng)的圖像預(yù)處理，然后利用引導(dǎo)濾波將源圖像分解為基礎(chǔ)層和細(xì)節(jié)層。在細(xì)節(jié)層的融合規(guī)則中我們采用能量保護(hù)和細(xì)節(jié)提取的方法，最后將融合后的細(xì)節(jié)層與基礎(chǔ)層合成融合結(jié)果。實(shí)驗(yàn)結(jié)果表明所給方法在提高視覺感知、細(xì)節(jié)處理、邊緣保護(hù)等方面都有良好的效果。本文最后還討論了可見光圖像增強(qiáng)對(duì)融合方法的影響：從實(shí)驗(yàn)數(shù)據(jù)可知，增強(qiáng)可以提升融合效果，但在圖像融合中融合方法才是關(guān)鍵。

引導(dǎo)濾波的二尺度分解；圖像增強(qiáng)；能量保護(hù)

0 引言

在軍事、導(dǎo)航、探測(cè)等領(lǐng)域的應(yīng)用場(chǎng)景中，會(huì)使用紅外和可見光成像系統(tǒng)來監(jiān)測(cè)目標(biāo)以獲得所需信息。但從成像效果來看，紅外圖像可以提供目標(biāo)的細(xì)節(jié)，而可見光圖像能夠提供植被、紋理、面積和土壤等背景細(xì)節(jié)。通過紅外和可見光圖像的融合，將兩幅圖像中相關(guān)聯(lián)的有效信息合成為一個(gè)圖像，從而彌補(bǔ)單一圖像的不足、獲取更豐富的圖像細(xì)節(jié)[1-2]。

在可見光與紅外圖像融合中，根據(jù)數(shù)據(jù)信息處理的抽象程度以及提取圖像的不同層次可以將圖像的融合方法分為三種類型，分別為基于像素級(jí)、特征級(jí)和決策級(jí)的圖像融合，我們研究的重點(diǎn)放在像素級(jí)的多尺度融合方法上[3-6]。一個(gè)有效的像素級(jí)融合方法應(yīng)該將大部分有用的內(nèi)容從源圖像轉(zhuǎn)移到合成圖像，同時(shí)在融合過程中盡量減少信息丟失、避免引入偽影。為了實(shí)現(xiàn)這些要求，在多尺度分解中首先選用合適的分解變換策略如離散小波變換（Discrete Wavelet Transform，DWT）、曲波變換（Curvelet Transform，CVT）等對(duì)圖像進(jìn)行分解。但利用DWT和CVT分解過程中有可能產(chǎn)生偽影、邊緣容易產(chǎn)生光暈反應(yīng)等缺點(diǎn)，因此邊緣保持技術(shù)應(yīng)運(yùn)而生。常用的保邊濾波器有引導(dǎo)濾波（Guided ?ltering，GF）、滾動(dòng)方向?yàn)V波（Rolling Guidance Filter，RGF）及交叉雙邊濾波器（Cross Bilateral Filter，CBF）等，這些濾波器將源圖像分解為基礎(chǔ)層和連續(xù)的細(xì)節(jié)層，同時(shí)保留邊緣信息。文獻(xiàn)[7]中所提方法（Multi-Scale Guided Fusion，MGF）利用引導(dǎo)濾波分解、構(gòu)造顯著性權(quán)重，最終所得良好的融合效果，這也證實(shí)選引導(dǎo)濾波作為分解工具有一定的優(yōu)勢(shì)。

大多數(shù)多尺度融合方法需要兩個(gè)以上的分解級(jí)別才能獲得令人滿意的結(jié)果，因此需要更多的內(nèi)存和計(jì)算時(shí)間；有些濾波器的分解過程實(shí)現(xiàn)起來很復(fù)雜，因此較為耗時(shí)。為了減少融合時(shí)間并降低多尺度融合算法的復(fù)雜性，有些研究者提出了兩尺度分解的圖像融合方法。在文獻(xiàn)[8]中提出利用引導(dǎo)濾波將圖像兩尺度分解并構(gòu)造加權(quán)平均系數(shù)，充分利用空間一致性進(jìn)行基礎(chǔ)層和細(xì)節(jié)層的融合。該方法（Guided ?ltering Fusion，GFF）在結(jié)構(gòu)相似度上表現(xiàn)的非常好，但是整個(gè)融合過程耗時(shí)較長(zhǎng)。為了實(shí)現(xiàn)快速融合，文獻(xiàn)[9]中提出了一種基于顯著性檢測(cè)的兩尺度的融合方法（Two-Scale Image Fusion，TSF）。該方法利用平均濾波器實(shí)現(xiàn)兩尺度分解，再基于顯著性的權(quán)重圖構(gòu)造算法將源圖像的有用和互補(bǔ)信息集成到融合圖像中。TSF方法耗時(shí)少、速度快，但是顯著性權(quán)重構(gòu)造不利于圖像特征的保留，融合圖像視覺效果相較其他方法還待提高。通過研究以上方法的優(yōu)、缺點(diǎn)發(fā)現(xiàn)，為了降低算法的復(fù)雜性同時(shí)兼顧融合圖像保邊性的考慮，本文采用基于引導(dǎo)濾波的二尺度分解融合方法。

通過上面的分析，二尺度分解中構(gòu)造顯著性權(quán)重作為融合規(guī)則有缺點(diǎn)，所以必須考慮適合二尺度分解方法的融合規(guī)則。有些研究將稀疏表示[10]（Sparse Representation，SR）和脈沖耦合神經(jīng)網(wǎng)絡(luò)[11]（Pulse Coupled Neural Network，PCNN）作為融合規(guī)則引入圖像融合的研究中。但基于稀疏的方法會(huì)導(dǎo)致融合圖像細(xì)節(jié)過于平滑，圖像局部模糊不清；基于PCNN的融合方法耗時(shí)太長(zhǎng)，不適用于某些快速融合圖像應(yīng)用的要求。分析二尺度分解特點(diǎn)，由于分解的層數(shù)少，導(dǎo)致在細(xì)節(jié)層中仍然包含一些細(xì)節(jié)信息和能量，所以二尺度分解方法的融合規(guī)則必須解決細(xì)節(jié)層的能量保護(hù)和細(xì)節(jié)提取。

綜上，本文提出一種基于引導(dǎo)濾波二尺度分解的紅外與可見光圖像融合的方法。首先使用引導(dǎo)濾波進(jìn)行二尺度分解，在細(xì)節(jié)層的融合中需采用能量保護(hù)和細(xì)節(jié)提取的融合規(guī)則，最后將融合后的基礎(chǔ)層和細(xì)節(jié)層合并成融合圖像。同時(shí)，我們之前針對(duì)可見光圖像增強(qiáng)的研究也取得很好的效果，在本文中也會(huì)利用引導(dǎo)濾波先對(duì)可見光圖像進(jìn)行增強(qiáng)的預(yù)處理，以期取得好的融合效果。

1 相關(guān)理論

1.1 引導(dǎo)濾波

引導(dǎo)濾波是一種基于局部線性模型的邊緣保護(hù)的濾波器。

假設(shè)引導(dǎo)圖像為，為通過線性變換所將輸出圖像，由文獻(xiàn)[8]給出的線性變換的如下：

式中：是以像素為中心的一個(gè)正方形鄰域窗，本文取3×3。利用式(2)來計(jì)算式(1)中的系數(shù)(c,d)：

式中：表示待處理圖像；是為了防止c過大的正則化參數(shù)。

式(2)可以利用式(3)、式(4)的線性回歸求解：

d＝P－c(4)

式中：||代表的是在窗體中像素的個(gè)數(shù)；和2是圖像在內(nèi)的均值和方差；P是在內(nèi)的均值。由于像素領(lǐng)域塊之間是有重疊的，因此最后的濾波輸出是通過計(jì)算所有可能的平均值得到，如下：

1.2 基于引導(dǎo)濾波的可見光圖像增強(qiáng)

為了實(shí)現(xiàn)對(duì)可見光圖像的增強(qiáng)，采用基于引導(dǎo)濾波的高動(dòng)態(tài)范圍壓縮的圖像增強(qiáng)方法[12]，標(biāo)記引導(dǎo)濾波算子為GF,(×)，則基本步驟可以表述如下（凡公式中涉及的參數(shù)可參閱文獻(xiàn)[12]）：

首先，引導(dǎo)濾波作用于可見光圖像，得到基礎(chǔ)層b＝GF,()。

增強(qiáng)后的圖像為：

1.3 基于引導(dǎo)濾波的二尺度分解

設(shè)EIV是經(jīng)過增強(qiáng)的可見光圖像，R代表紅外圖像。首先，引導(dǎo)濾波分解EIV和R，分別得到各自的基礎(chǔ)層：

接下來，通過公式(12)、(13)獲得細(xì)節(jié)層，完成二尺度分解：

基于引導(dǎo)濾波二尺度分解的融合框架如圖1所示。

圖1 基于引導(dǎo)濾波二尺度分解的圖像融合流程

2 分解后的信息合成

2.1 基礎(chǔ)層的信息合成

由于基礎(chǔ)層系數(shù)的絕對(duì)值越大，對(duì)應(yīng)的特征越顯著，所以在基礎(chǔ)層上采用傳統(tǒng)的“絕對(duì)值最大”融合規(guī)則進(jìn)行合并。

首先給出絕對(duì)值最大的系數(shù)：

那么在基礎(chǔ)層的復(fù)合信息利用下式進(jìn)行計(jì)算：

2.2 細(xì)節(jié)層的信息合成

由于二尺度分解特點(diǎn)，細(xì)節(jié)層在分解后包含一些細(xì)節(jié)和能量，根據(jù)文獻(xiàn)[13]提出一種基于能量保護(hù)和細(xì)節(jié)提取的細(xì)節(jié)層融合規(guī)則。

首先給出一個(gè)活躍水平的測(cè)量方法記為WLE，定義如下：

這里＝{EIV,R}，是半徑為，(2＋1)×(2＋1)的帶權(quán)矩陣。中的每一個(gè)元素的值被設(shè)定為22r－，是4領(lǐng)域元素到中心的距離。

為了從源圖像中完全提取細(xì)節(jié)信息，本文使用測(cè)量活躍水平的方法記為WSEML，定義如下：

EML如下定義：

細(xì)節(jié)層的最終活躍水平測(cè)量被定義為WLE和WSEML的乘法，因此細(xì)節(jié)層融合的規(guī)則如下：

最后，圖像的融合結(jié)果通過＝B＋D完成。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 測(cè)試集與相比較的融合方法

為了驗(yàn)證本文所提出方法的融合效果，選取如圖2所給的9組紅外與可見光圖像的測(cè)試集。本文所提的方法記為E_GF_TSF，與本文所提方法進(jìn)行比較的融合方法有TSF[9]，GFF[8]和MGF[7]方法，以及SR方法（DWT＋SR）和PCNN方法（CVT＋PCNN）。

圖2 測(cè)試集

3.2 圖像質(zhì)量評(píng)價(jià)指標(biāo)

為了更加客觀地評(píng)價(jià)融合的效果，本文采用6種常見的融合指標(biāo)對(duì)各種融合方法進(jìn)行客觀質(zhì)量評(píng)價(jià)。6種融合指標(biāo)分別為度量圖像中信息豐富程度的熵（Entropy, EN）；度量融合圖像中結(jié)構(gòu)信息的標(biāo)準(zhǔn)偏差（Standard deviation, SD）；度量保留源圖像信息量的互信息（Mutual information, MI）[14]；基于結(jié)構(gòu)相似度的梯度評(píng)價(jià)指標(biāo)G[15]和度量圖像的感知顯著性（Perceptual Saliency, PS）[12]，最后一個(gè)是運(yùn)行時(shí)間。在評(píng)價(jià)指標(biāo)中除了時(shí)間，這些評(píng)價(jià)指標(biāo)的數(shù)值越大說明融合效果越好。

3.3 融合后的主觀評(píng)價(jià)

鑒于文章篇幅的限制，從9組融合結(jié)果中給出其中兩組的融合結(jié)果進(jìn)行比較，如圖3所示。

通過觀察融合結(jié)果可以發(fā)現(xiàn)每種方法之間的融合差異。在SR方法的融合結(jié)果中，第一組圖像中白板比較虛，第二組的圖像明顯有“塊效應(yīng)”，這是稀疏表示方法的弱點(diǎn)。基于PCNN方法的兩個(gè)融合結(jié)果，無論是第一組的樹葉還是第二組整個(gè)圖像都很模糊，對(duì)比度較低，視覺效果比較差。GFF方法和TSF方法的融合結(jié)果較為相似，比前兩種方法效果要好一些，但是也有一些缺憾，兩種方法的融合結(jié)果丟失了一些紋理信息。如果將第一組圖像放大后會(huì)發(fā)現(xiàn)樹葉比較的模糊；第二組的圖像中，兩種方法的融合結(jié)果遠(yuǎn)處的樹木輪廓還是比較模糊，層次不清。MGF方法整個(gè)融合效果還是不錯(cuò)的，但是在細(xì)節(jié)信息和灰度層次感的處理上還是有待提高。圖4是我們將第一組融合圖像的部分進(jìn)行了放大，從圖4中我們看出MGF方法融合的結(jié)果中白板周圍的物體不清晰；利用MGF融合方法所得第二組圖像中遠(yuǎn)處的樹木顯得比較“黑”，不太好辨識(shí)。本文所提E_GF_TSF方法的融合效果整體不錯(cuò)，在MGF方法中所出現(xiàn)的弊端，在本文的方法中都得到了改善。整個(gè)圖像的對(duì)比度好，物體的辨識(shí)度高、細(xì)節(jié)信息處理較好，輪廓也比較分明。

圖3 兩組實(shí)驗(yàn)結(jié)果對(duì)比

圖4 第一組實(shí)驗(yàn)結(jié)果放大圖

通過實(shí)驗(yàn)結(jié)果展示和分析可以看出，本文所提出的方法無論是在邊緣保護(hù)還是在對(duì)比度上都有很好的表現(xiàn)，所得融合圖像適應(yīng)人類視覺感知，有很好的視覺效果。

3.4 融合后的客觀評(píng)價(jià)

表1給出的是9組圖像經(jīng)不同融合方法后所得客觀評(píng)價(jià)指標(biāo)的結(jié)果，由于篇幅原因，表中的數(shù)據(jù)是9組圖像在同一方法、同一指標(biāo)取平均值。通過觀察6種客觀評(píng)價(jià)指標(biāo)的測(cè)試數(shù)據(jù)（加粗表明結(jié)果最好），本文所提出的方法在其中4項(xiàng)的評(píng)價(jià)指標(biāo)中都是最好的，一項(xiàng)指標(biāo)在6種方法中是排在第二。所以可以看出本文給出的融合方法在邊緣保護(hù)、細(xì)節(jié)的融合處理以及視覺效果等方面都有不錯(cuò)的表現(xiàn)。TSF方法和MGF方法主要是融合快速為特點(diǎn)，所以這兩種方法在時(shí)間上表現(xiàn)最好。本文所提方法由于還要進(jìn)行可見光圖像的預(yù)處理，因此較為耗時(shí)，但時(shí)間指標(biāo)上與其他方法還有較大差距，這也是今后需要提高的地方。

表1 用SR 、PCNN、GFF、TSF、MGF和E_GF_TSF方法融合得到的指標(biāo)

3.5 關(guān)于圖像增強(qiáng)的討論

在之前的研究中發(fā)現(xiàn)對(duì)可見光圖像進(jìn)行增強(qiáng)后，融合所得的結(jié)果無論是視覺效果還是評(píng)價(jià)指標(biāo)方面表現(xiàn)都非常好，如果使用其他方法將可見光圖像增強(qiáng)，是否就會(huì)比本文所提方法效果更好？帶著疑問，我們進(jìn)行了圖像融合實(shí)驗(yàn)來對(duì)圖像增強(qiáng)情況討論。由于SR方法和PCNN方法融合效果一般，GFF方法耗時(shí)太長(zhǎng)，因此下面就TSF、MGF和本文所提方法進(jìn)行增強(qiáng)的討論。圖5是3種方法可見光圖像未增強(qiáng)和增強(qiáng)后的效果圖對(duì)比。

在圖5中，GF_TSF是本文所提方法，只是沒有進(jìn)行可見光圖像增強(qiáng)。而E_TSF、E_MGF分別代表將可見光圖像增強(qiáng)后再使用TSF和MGF兩個(gè)方法融合。通過效果圖可以發(fā)現(xiàn)，在未增強(qiáng)的3張效果圖中MGF和GF_TSF方法的融合效果較好，MGF方法人物等比較清晰，而GF_TSF方法路面的輪廓清晰。在增強(qiáng)后的3張圖像中，是我們所提方法的融合效果好一些，尤其是路面上的細(xì)節(jié)都處理的很好。因此，我們所提方法無論是細(xì)節(jié)還是對(duì)比度上都比較適合人類的視覺感官。

表2是6種方法融合后的數(shù)據(jù)，和表1的數(shù)據(jù)處理方法一樣，都是測(cè)試集中9組源圖像評(píng)價(jià)指標(biāo)的平均值。從表2中可以看出，可見光圖像在未增強(qiáng)前，GF_TSF方法的數(shù)據(jù)整體最好，同樣增強(qiáng)后也是我們所提方法的數(shù)據(jù)最好。

圖5 不同融合方法的效果對(duì)比

表2 用TSF, MGF, GF_TSF, E_TSF, E_MGF和E_GF_TSF方法融合得到的指標(biāo)

因此，我們從主觀評(píng)價(jià)和評(píng)價(jià)指標(biāo)的數(shù)據(jù)分析都可以發(fā)現(xiàn)，我們所提方法無論是在可見光圖像未增強(qiáng)前還是增強(qiáng)后在融合效果和數(shù)據(jù)表現(xiàn)都比較好，增強(qiáng)后提高了對(duì)比度，使得融合后的效果更好。所以，對(duì)可見光圖像的增強(qiáng)是可以提升融合效果，但是最終決定融合結(jié)果的還是要看融合方法是否有效。

4 結(jié)論

本文提出了一種基于引導(dǎo)濾波二尺度分解的紅外與可見光圖像融合的方法，首先利用引導(dǎo)濾波對(duì)可見光圖像增強(qiáng)，以便在融合圖像中獲取更好的視覺效果。然后，再次利用引導(dǎo)濾波對(duì)處理后的源圖像進(jìn)行二尺度分解得到基礎(chǔ)層和細(xì)節(jié)層，在細(xì)節(jié)層選用細(xì)節(jié)提取和能量保護(hù)的融合規(guī)則。最后，將融合后的基礎(chǔ)層和細(xì)節(jié)層進(jìn)行融合得到融合結(jié)果。主觀評(píng)價(jià)與客觀評(píng)價(jià)也證實(shí)了本文方法的有效性。

[1] ZHANG H, HAN X, ZHANG R. Multimodal image fusion method based on guided filter[J]., 2022, 36(1): 2254003-1-2254003-16.

[2] MA J, MA Y, LI C. Infrared and image fusion methods and applications: a survey[J]., 2019, 45: 153-178.

[3] ZHANG H, MA X, TIAN Y S. An Image fusion method based on curvelet transform and guided filter enhancement[J/OL]., 2020, https://doi.org/10.1155/2020/9821715.

[4] 張慧, 常莉紅, 馬旭, 等. 一種基于曲波變換與引導(dǎo)濾波增強(qiáng)的圖像融合方法[J]. 吉林大學(xué)學(xué)報(bào): 理學(xué)版, 2020, 58(1): 113-119. ZHANG H, CHANG L H, MA X. An image fusion method based on curvelet transform and guide filtering enhancement[J]: Science Edition, 2020, 58(1): 113-119.

[5] 張慧, 常莉紅. 基于方向?qū)Рㄔ鰪?qiáng)的紅外與可見光圖像融合[J]. 激光與紅外, 2020, 50(4): 508-512. ZHANG H, CHANG L H. Infrared and visible image fusion based on guided filtering enhancement[J]., 2020, 50(4): 508-512.

[6] 張慧, 韓新寧, 韓惠麗. 基于滾動(dòng)引導(dǎo)濾波的紅外與可見光圖像融合[J]. 紅外技術(shù), 2022, 44(6): 598-603.ZHANG Hui, HAN Xinning, HAN Huili. Infrared and visible image fusion based on a rolling guidance filter[J]., 2022, 44(6): 598-603.

[7] Bavirisetti, XIAO D P, ZHAO G H, et al. Multi-scale guided image and video fusion: a fast and efficient approach[J]., 2019, 38: 5576-5605.

[8] LI S T, KANG X D, HU J W. Image fusion with guided ?ltering[J]., 2013, 22(7): 2864 2875.

[9] Durga Prasad Bavirisetti, Ravindra Dhuli. Two-scale image fusion of visible and infrared images using saliency detection[J]., 2016, 76: 52-64.

[10] LIU Y, LIU S, WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation[J]., 2015, 24: 147-164.

[11] Ganasala Padadma, Kumar Vinod. Feature-motivated simplified adaptive PCNN-based medical image fusion algorithm in NSST domain[J]., 2016, 29(1): 73-85.

[12] ZHOU Z, DONG M, XIE X, et al. Fusion of infrared and visible images for night-vision context enhancement[J]., 2016, 55(23): 6480-6489.

[13] YIN M, LIU X, LIU Y, et al. Medical image fusion with parameter- adaptive pulse coupled neural network in nonsubsampled shearlet transform domain[J]., 2019, 68(1): 49-64.

[14] Xydeas C S, Petrovi? V. Objective image fusion performance measure[J]., 2000, 36(4): 308-309.

[15] Hossny M, Nahavandi S, Creighton D. Comments on ‘Information measure for performance of image fusion’[J]., 2008, 44(18): 1066-1067.

Two-scale Image Fusion of Visible and Infrared Images Based on Guided Filtering Decomposition

ZHANG Hui1，HAN Xinning2，HAN Huili1，CHANG Lihong1

(1. School of Mathematics and Computer Science, Ningxia Normal University, Guyuan 756000, China;2. School of Resources Environment and Life sciences, Ningxia Normal University, Guyuan 756000, China)

We proposed atwo-scale image-fusion method for infrared and visible light image fusion based on guided filtering to reduce the complexity of multi-scale decomposition fusion algorithms and improve the adaptability of fused images to human visual characteristics. First, we used guided filtering to enhance the visible image and decomposed the source images into base and detail layers using guided filtering. In the fusion rules of the detail layer, we adopted the energy protection methods and detail extraction. Finally, we combined the fused detail layer with the base layer to synthesize the fusion results. The experimental results showed that the proposed method improves the visual effect, detail processing, and edge protection. We discussed the impact of visible image enhancement on fusion methods from experimental data. Enhancement can improve the fusion effect, but the fusion method is key in image fusion.

two scale decomposition of guided filtering, image enhancement, energy protection

TN911.7

A

1001-8891(2023)11-1216-07

2023-05-19；

2023-06-21.

張慧（1977-），女，寧夏固原人，碩士，教授，主要研究方向?yàn)閳D形圖像處理。E-mail：2466437143@qq.com。

寧夏自然科學(xué)基金（2022AAC03331；2021AAC03028；2022AAC03300；2023AAC03330）。