基于目標增強的紅外與可見光圖像融合技術研究

黃 慧，張寶輝，席 峰，吳旭東

基于目標增強的紅外與可見光圖像融合技術研究

黃 慧1，張寶輝2，席 峰1，吳旭東2

（1. 南京理工大學電子工程與光電技術學院，江蘇 南京 210094；2. 北方夜視科技集團有限公司南京研發中心，江蘇 南京 211106）

針對紅外和可見光圖像融合算法中存在背景模糊和目標不清晰等問題，提出一種基于目標增強的紅外與可見光圖像融合算法。首先，利用均值濾波的方法獲得透射率的粗估計，通過圖像統計信息實現粗透射率的細化，依據大氣散射模型實現紅外圖像的目標增強；然后，對目標增強的紅外圖像和可見光圖像采用改進的Prewitt算子進行邊緣檢測，并將檢測結果二值化，對邊緣部分采用基于二值信息的融合規則，對非邊緣部分采用比值加權分析的融合規則。實驗結果表明，采用基于目標增強的圖像融合算法不僅能凸顯紅外圖像的目標信息，還能盡可能多的保留可見光圖像豐富的細節信息，具有更好的視覺效果和更高的客觀質量評價指標。

圖像融合；目標增強；大氣散射模型；Prewitt算子

0 引言

多源圖像融合是機器視覺領域的研究熱點，通過對多源圖像的特征分析，按照不同融合規則進行融合，可以得到一幅包含更全面信息的融合圖像[1-2]。紅外和可見光圖像的融合是多源圖像融合中最為常見的一種，紅外圖像是對某一場景中溫度分布的描述，溫度越高對應位置的灰度值越高，即使在能見度很低的條件下也能獲得確切的目標位置及信息，可見光圖像對光照強度有很強的依賴性，但是其具有紋理細節清晰、對比度高的特點，因此將二者進行融合是獲得更準確信息的必要手段[3-4]。

紅外和可見光圖像的融合算法具有多樣性，文獻[5]提出了基于視覺顯著圖的融合算法，在顯著圖提取的過程中，需要參照圖像的物理特征，具有一定的局限性；文獻[6]中的基于HIS變換的融合算法，在光照強度很弱或目標不清晰的情況下，融合圖像可能出現背景失真或丟失目標信息的現象；文獻[7]對感興趣區域進行檢測并結合NSCT進行圖像融合，由于紅外圖像的分辨率較低，融合圖像的背景細節信息被減弱；文獻[8]利用灰色關聯理論提取出目標，采用替代法將圖像進行融合，檢測出的目標灰度值達到最大，容易出現圖像失真、畫面不協調等情況，而且僅能檢測出單一的紅外目標，有很大的局限性[5-8]。

為改善上述融合圖像質量，本文首先將紋理信息少、對比度低的紅外圖像進行基于大氣散射模型的目標增強，即弱化背景噪聲，提高目標的辨識度；然后對目標增強的紅外和可見光圖像采用改進的Prewitt算子進行邊緣檢測，并將檢測結果二值化，為了保留源圖像的輪廓、邊緣等細節信息，對邊緣部分采用基于二值信息的融合規則，為了盡可能多地保留可見光圖像的背景細節信息和紅外圖像的目標信息，對非邊緣部分采用比值加權分析的融合規則，最終得到融合后的圖像。實驗結果表明，本文提出的融合算法優于其它算法，目標亮度有所提高，背景細節特征突出，視覺效果顯著。

1 紅外圖像目標增強

紅外成像技術，是用熱像儀將某一場景內物體的溫度分布轉變為人類可見圖像的成像技術，也稱為熱成像技術。圖1為紅外成像系統示意圖。

目標在大氣中傳輸時，存在明顯的衰減過程。大氣對紅外輻射的衰減能力與消光系數有關，可表示為：

紅外熱輻射在大氣中傳輸的總衰減公式為：

()＝exp[－()] (2)

式中：為波長；為紅外輻射的等效路程；為大氣消光系數。

1975年，McCartney針對可見光圖像的降質問題提出了著名的大氣散射模型：

()＝()×()＋[1－()]，()＝exp[－()] (3)

式中：()為待去霧圖像；()為去霧后圖像；()為大氣透射率；表示大氣光強度；為大氣衰減系數；為圖像空間坐標；()為場景到攝像位置的距離；[1－()]表示環境光。

對比(2)式和(3)式，紅外傳感器在成像過程中受大氣中水分子等的影響而使圖像變得視覺模糊，這與可見光傳感器在成像過程中受大氣散射等影響導致圖片變得灰白不清晰的情況有相似之處，因此可將背景模糊、信噪比低的紅外圖像看作霧化的可見光圖像，對紅外圖像進行基于大氣散射模型的目標增強。

式(3)中用()表示環境光項，即有：

()＝[1－()] (4)

可得出透射率()：

那么紅外目標增強圖像()：

針對大氣光的估計，He等[10]提出了基于暗通道理論的環境光值的取值方法，但是紅外圖像不存在暗通道，那么可以統計源圖像灰度級前1%的點，將這些像素點取平均值作為的值。

由式(3)可知：

()≥[1－()] (7)

則透射率()與觀測圖像()關系：

對()進行×均值濾波得到aver()為：

aver()＝avg×[()] (9)

透射率估計可表示為：

式中：為景深調整量，?[0,1]。本文提出一種自適應確定的方法：分別統計灰度級小于強度正常閾值的像素點個數N和灰度級小于圖像灰度均值的像素點數Mean，由N和Mean比值來估計的值，設置為：

經研究發現，式(11)中的閾值可由如下公式獲得：

＝Mean＋×max(12)

式中：Mean為紅外圖像所有像素點的均值；max為紅外圖像所有像素點中最大值；根據實際情況取值，本文研究算法中取0.015。

透射率較大時，會導致圖像整體太暗，為確保紅外圖像紋理清晰可見，需要對的下限進行設置，研究發現，下限設置為0.35效果最好，即：

聯立式(10)、(13)可知透射率為：

則環境光可表示為：

聯立式(6)、(9)、(15)即可求出紅外圖像的目標增強后的圖像()。

2 圖像融合

可見光圖像具有背景細節突出、視覺效果好等優點，進行圖像融合時對融合圖像的背景信息貢獻很大，然而在光照強度很弱或目標不清晰的情況下，傳統融合方法得到的融合圖像可能出現背景失真或丟失目標信息的現象，而紅外圖像是對溫度分布的描述，可以確切地顯示目標的位置和信息。為了使融合圖像既能凸顯目標特征又能擁有豐富的背景信息，本文設計了基于目標增強和邊緣檢測算子的融合方法。

圖1 紅外成像系統示意圖

對目標增強的紅外圖像和可見光圖像分別進行梯度運算[11]，選取3×3的區域像素，采用Prewitt算子計算兩幅圖像中各點的梯度值。對于某一像素點(,)，(,)為圖像中像素點的坐標。Prewitt算子的水平方向灰度新值G和垂直方向灰度新值G為：

選用(,)＝max{G,G}作為圖像的梯度幅值。選擇適當的閾值（為常數，本文中取值為0.06），若(,)≥，則(,)為邊緣點，此時邊緣圖像中(,)設置為邏輯1，否則，(,)不是邊緣點，邊緣圖像中(,)設置為邏輯0。水平和垂直方向模板如圖2所示。

圖2 Prewitt 算子

假設紅外圖像和可見光圖像各點的灰度值分別為IR(,)和VI(,)，運用Prewitt算子計算得到各點的梯度值分別為IR(,)和VI(,)，當(,)＝1時，則認為此處灰度值存在突變，含有較高的信息量，當(,)＝0，表示此處不是圖像的邊緣、邊界或亮度的突變部分。基于此，本文設計的融合思想為：若IR(,)＝0、VI(,)＝1，說明可見光在此處有較高的信息量，保留可見光圖像在相應位置的灰度值；若IR(,)＝1、VI(,)＝0，保留紅外圖像在相應位置的灰度值；若IR(,)＝1、VI(,)＝1，選擇兩幅圖像在相應位置的較大灰度值；若IR(,)＝0、VI(,)＝0，為了確保圖像的不失真以及獲取更多的信息量，運用加權的方法進行融合。

綜上所述，紅外和可見光圖像融合規則可表示為：

式中：fusion(,)表示融合圖像fusion在點(,)處的灰度值。

3 實驗結果分析與評價

本文選取了兩組不同場景的圖像對本文融合算法進行驗證（圖3、圖4）。為了說明本文算法相比于傳統算法的優越性，選取了加權平均算法（Average method）、拉普拉斯金字塔算法（Laplacian Pyramid）、低通比率金字塔算法（Ratio Pyramid）、Harr小波變換算法（DWT with Harr）、形態學金字塔算法（Morphology Pyramid）與本文算法進行對比分析。

對比分析圖3、圖4中的融合結果，加權平均、拉普拉斯金字塔、Harr小波變換3種方法得到的融合圖像紋理信息減少、目標亮度明顯下降；運用低通比率金字塔融合后的圖像出現了失真，目標模糊不清，樹木叢等出現了很多亮點，干擾人類視線；形態學金字塔的融合方法使得圖像的背景信息出現了偽跡，目標也出現了很強的偽影，不利于人眼觀察；本文算法得到的融合圖像中的目標突出，而且背景細節信息與源圖像相關性大，視覺效果顯著。

為了體現本文算法的適用性，選取其他兩組不同場景的圖像進行融合，如圖5所示，由融合圖像可以看出，本文算法融合效果好，適用性強。

為了客觀評價融合圖像的性能，本文采用了信息熵（information entropy，IE）、空間頻率（spatial frequency，SF）、相關系數（correlation coefficient，CC）、互信息（mutual information，MI）、交叉熵（cross entropy，CE）來評價圖像融合質量。對圖3、圖4的融合評價結果如表1、表2所示。

圖3 第一組圖像不同算法融合結果對比

圖4 第二組圖像不同算法融合結果對比

圖5 本文算法運用于其他場景的融合結果

表1 圖3中各融合算法的客觀評價結果

表2 圖4中各融合算法的客觀評價結果

從表1、表2數據來看，本文算法在信息熵、空間頻率、相關系數、互信息量的數值整體上大于其他算法，說明采用本文算法得到的融合圖像具有質量好、畫質清晰、與源圖像相關性大等優點，而交叉熵的指標相比于傳統融合方法較低，說明融合圖像與源圖像之間的差別小、相似度高。整體而言，本文算法對于紅外和可見光圖像的融合是相當有效的，融合圖像既能凸顯目標特征又能擁有豐富的背景信息。

4 結論

本文首先對紅外圖像進行目標增強，然后采用改進的Prewitt算子對目標增強的紅外和可見光圖像進行邊緣檢測，并將檢測結果二值化，對邊緣部分采用基于二值信息的融合規則，對非邊緣部分采用比值加權分析的融合規則，最終得到融合后的圖像。根據實驗對比分析，采用本文方法對不同場景的紅外和可見光圖像進行融合，得到的融合圖像中目標信息主要來源于紅外圖像，相比于其他算法，目標亮度有所提高，視覺效果顯著；融合圖像的背景信息大部分來自于可見光圖像，邊緣、輪廓及像素的亮度突變部分信息得到保留，對比度高，細節特征突出。客觀評價指標也表明，該算法整體上優于其他算法，穩定性好，具有一定的應用價值。

[1] 陳天明, 王俊琦, 張星祥, 等. 基于特征提取的紅外與可見光圖像融合[J]. 激光與紅外, 2016, 46(3): 357-362.

CHEN Tianming, WANG Junji, ZHANG Xingxiang, et al. Fusion of infrared and visible image based on feature extraction[J]., 2016, 46(3): 357-362.

[2] LUO X, ZHANG J, DAI Q. A regional image fusion based on similarity characteristics[J]., 2012, 92(5): 1268-1280.

[3] 華瑋平, 趙巨峰, 李夢, 等. 基于視覺顯著性的紅外與可見光圖像融合[J]. 光學儀器, 2016, 38(4): 303-307.

HUA Weiping, ZHAO Jufeng, LI Meng, et al. Dual-band image fusion for infrared and visible image based on image saliency[J]., 2016, 38(4): 303-307.

[4] 林玉池, 周欣, 宋樂, 等. 基于NSCT變換的紅外與可見光圖像融合技術研究[J]. 傳感器與微系統, 2008, 27(12): 45-47.

LIN Yuchi, ZHOU Xin, SONG Le, et al. Infrared and visible image fusion technology based on non-subsampled contourlet transform[J]., 2008, 27(12): 45-47.

[5] 王曉文, 趙宗貴, 龐秀梅, 等. 基于視覺顯著圖的圖像融合方法[J]. 吉林大學學報: 工學版, 2014, 44(4): 1203-1208.

WANG Xiaowen, ZHAO Zonggui, PANG Xiumei, et al. Image fusion method based on visible saliency maps[J].:, 2014, 44(4): 1203-1208.

[6] TU Te Ming, SU Shun Chi, Shyu Hsuen Chyun, et al. A new look at HIS-like image fusion method[J]., 2001, 2(3): 177-186.

[7] LIU H X, ZHU T H, ZHAO J J. Infrared and visible image fusion based on region of interest detection and non-subsampled contourlet transform[J].:, 2013, 18(5): 526-534.

[8] 王春華, 馬國超, 馬苗, 等. 基于目標提取的紅外與可見光圖像融合方法[J]. 計算機工程, 2010, 36(2): 197-200.

WANG Chunhua, MA Guochao, MA Miao, et al. Fusion algorithm for infrared and visible light image based on objective extraction[J]., 2010, 36(2): 197-200.

[9] 周國輝, 劉湘偉, 徐記偉. 一種計算紅外輻射大氣透過率的數學模型[J]. 紅外技術, 2008, 30(6): 331-334.

ZHOU Guohui, LIU Xiangwei, XU Jiwei. A math model of calculate the atmospheric transmittance of infrared radiation[J]., 2008, 30(6): 331-334.

[10] HE K, SUN J, TANG X. Single image haze removal using dark channel prior[C]// 2013, 2009: 1956-1963.

[11] 陳偉斌, 牛犇, 顧宏斌. 基于加權的可見光與紅外圖像融合算法[J]. 航空計算技術, 2016, 46(5): 73-76.

CHEN Weibin, NIU Ben, GU Hongbin. Fusion algorithm of infrared and visible images based on weighting[J]., 2016, 46(5): 73-76.

Image Fusion Technique Based on Target-Enhancement

HUANG Hui1，ZHANG Baohui2，XI Feng1，WU Xudong2

(1.,,210094,; 2.,-.,,211106,)

To resolve the issue of blurred backgrounds and fuzzy targets in using the infrared and visible image fusion algorithm, this paper proposes a new method for image fusion based on target-enhancement. First, average filtering is used to obtain rough estimation of the transmission rate, which is refined by calculating the images’ statistical information. Further, a final target-enhanced infrared image is obtained using the atmospheric scattering model. Then, the edge of the target-enhanced infrared image and the visible image is detected and binarized using the improved Prewitt operator. The fusion rule based on binary information is used for the edge part, and the fusion rule based on the ratio weighting analysis is used for the non-edge part. Experimental results show that the image fusion algorithm based on target-enhancement not only highlights the target information of an infrared image, but also retains the detailed information of the visible image as much as possible. Additionally, the fused image has better visual effects and higher objective quality evaluation indexes.

image fusion，target enhancement，atmospheric scattering model，prewitt operator

TP391

A

1001-8891(2017)10-0908-06

2017-06-30；

2017-08-07.

黃慧（1991-），江蘇連云港人，女，碩士，主要從事圖像處理方面的研究。E-mail：hh_shine11@163.com。