基于權重的紅外與可見光圖像融合算法及其性能評估

刁偉軒

（吉林化工學院 信息與控制工程學院，吉林 吉林）

概述

紅外圖像通過紅外傳感器獲得，可以記錄不同物體發出的熱輻射信息，并且根據熱輻射信息差異將目標與背景區分開來。紅外圖像對場景亮度的變化特征并不敏感，且圖像清晰度較低，這導致了紅外圖像不能提供足夠的紋理細節信息[1]。相反，可見光圖像能夠較好地反應目標所在的場景細節信息，且清晰度較高。然而，由于受到夜間、復雜背景和煙霧等外部環境的影響，使可見圖像中的目標不容易被捕獲到[2]。僅僅使用紅外圖像的熱輻射信息或者可見光圖像的細節信息是不足以應用到計算機視覺應用中的。因此，為了解決這個問題，將紅外與可見光圖像兩者的優勢相結合，可以獲得信息更全面、質量更高的融合圖像。

近年來，學者們提出了多種紅外與可見光圖像融合方法，大概分為多尺度變換[3]、稀疏表示[4]、神經網絡[5]、子空間[6]、顯著性[7]、混合模型[8]和深度學習[9]等7類。然而，目前紅外與可見光圖像的融合方法存在一些困難，其中包括采用人工設計的融合規則、圖像變換和活動水平測量的復雜度逐漸增加，執行難度不斷提高。此外，現有方法通常選擇與源圖像相同的顯著性特征嵌入到到融合圖像中，從而使融合圖像包含更多的細節信息。

1 算法

首先是圖像預處理，將紅外圖像和可見光圖像調整至相同尺寸大小，方便后續圖像的處理和分析。紅外圖像和可見光的圖像梯度權重綜合考慮了兩者的特征信息，使得在融合時能夠更好地平衡它們之間的關系，充分利用兩種信息源的優勢。所以利用梯度計算紅外與可見光圖像的權重參數，并且通過線性組合和實際需要調整自適應權重。再使用加權平均方法將紅外與可見光圖像融合，最后根據視覺感官和客觀指標對融合圖像進行性能評估。

1.1 圖像預處理

VI 表示可見光圖像，IR 表示紅外圖像。獲取紅外和可見光圖像的高度、寬度以及通道數，公式如下：

其中，H 代表紅外和可見光圖像的高度，W 代表寬度，C 代表通道數。通道數通常為3（RGB 彩色圖像）或1（灰度圖像），后續將紅外圖像調整至與可見光圖像相同尺寸。

梯度表示圖像中灰度值的變化率，梯度較大的區域通常對應著圖像中的邊緣或紋理。計算公式如下：

1.2梯度權重

不同區域的圖像可能具有不同的梯度范圍，引入權重可以使融合算法更加適應不同圖像的特點。計算公式如下：

1.3 圖像融合處理

利用加權平均方法實現圖像融合，然后調整權重以控制融合效果，融合后的圖像可以表示為：

其中，α表示自適應權重，將可見光圖像和紅外圖像按照權重α和（1-α）進行加權平均，從而生成融合圖像。整個自適應權重調整過程使得圖像融合的權重不再是固定的，而是根據圖像局部信息動態調整，以獲得更好的融合效果。這對于處理不同場景下的圖像具有更好的適應性。

2 實驗

2.1 實驗設置

為了評估算法性能，我們將數據集中紅外圖像與可見光圖像的融合結果與三種流行的融合方法進行了比較，這些方法分別是各向異性擴散融合（ADF）雙尺度圖像融合（TIF）和視覺顯著映射和加權最小二乘（VSMWLS）。

2.2 視覺質量評估

從圖1（d）-（f）中可以看出，人的面部表情較為模糊，捕捉不到細節特征，且頭部周圍的背景對比度較低。圖1（c）中人的面部表情更豐富，極大保留了可見光圖像的紋理特征，融合后的背景也更加完善。

圖1 不同算法的融合圖像

圖2（d）-（f）中正在跑步的人和右側轎車的輪廓非常模糊，且中間的樹枝與背景融為一體，難以區分。在圖2（c）中，我們提出的算法的融合結果中人的動作和轎車的輪廓都是清晰可見的，不僅圖像的對比度高，還保留了樹枝的紋理特征，使我們更容易捕捉到樹枝的細節信息。

圖2 不同算法的融合圖像

與圖1 和圖2 結果相似，圖3（d）-（f）中路上的行人和左側建筑過度曝光且分辨率較低，導致融合圖像的視覺效果不佳。因此，我們提出的算法在視覺評估上可以獲得質量更高的融合圖像。

圖3 不同算法的融合圖像

2.3 客觀指標評估

實驗中使用四種常用的融合圖像質量指標對我們提出的算法進行了評估，這些指標包括信息熵（EN）、互信息（MI）、標準差（SD） 和空間頻率（SF）。以上四種評價指標都是正相關，它們的值越大，圖像融合的質量越高。

表1～表3 中展示的是我們所提出的方法與ADF、TIF 和VSMWLS 方法的客觀評估結果。表1～表3 中每個評價指標的最佳值都經過加粗處理。顯然，我們的融合圖像質量和性能更高。

表1 圖1 中各融合圖像的評價指標

表2 圖2 中各融合圖像的評價指標

表3 圖3 中各融合圖像的評價指標

3 結論

本文提出了一種基于權重的紅外與可見光圖像融合算法，旨在提高融合圖像的質量和性能。我們將紅外圖像和可見光圖像調整至相同尺寸，然后結合自適應權重與加權平均的方法使紅外與可見光圖像融合。最后根據視覺感官和客觀指標對融合圖像進行性能評估，實驗結果表明，我們的算法無論是在視覺評價還是客觀指標評價上，融合圖像的質量都明顯優于其他三種融合算法。

實驗還有許多不足之處，比如文中使用的是傳統的融合方法，圖像融合的效率比較低。接下來會考慮引入更先進的技術或方法，如深度學習模型，以提高融合效果。