基于多尺度加權引導濾波的紅外圖像增強方法

胡家琿，詹偉達，桂婷婷，石艷麗，顧 星

基于多尺度加權引導濾波的紅外圖像增強方法

胡家琿，詹偉達，桂婷婷，石艷麗，顧 星

（長春理工大學 電子信息工程學院，吉林 長春 130000）

現有的紅外圖像存在細節模糊、邊緣和紋理不清晰的問題。針對上述問題，本文提出一種基于加權引導濾波的紅外圖像增強方法。首先，將圖像通過帶轉向核的多尺度加權引導濾波進行分層處理，得到多幅含有細節信息的細節層圖像和基礎層圖像；接著，對細節層采用基于Markov-Possion的最大后驗概率算法和Gamma校正算法對細節層進行增強；然后，對基礎層采用限制對比度的自適應直方圖均衡算法進行對比度拉伸，最后，進行線性融合得到增強后的圖像。綜合主、客觀實驗結果，得出本文方法具有良好的細節增強效果，處理后的圖像邊緣和紋理信息比較突出，且算法在信息熵（IE），熵增強（EME）和平均梯度（AG）3個指標都有較優的計算結果?；緷M足紅外圖像細節得到增強，邊緣紋理清晰的需求。

紅外圖像；引導濾波；細節增強；直方圖均衡

0 引言

紅外傳感器可以捕捉到物體發出的熱輻射，由于其良好的隱蔽性，受環境影響比較小，可24h全天候工作。其特殊的成像系統可攝取人體溫度分布的熱圖像，探測電氣設備的不良接觸、以及過熱的機械部件，也可用于目標檢測，使得紅外成像被廣泛應用在軍事、工業及民用等領域[1-4]。紅外波段的輻射波長短于無線電波，長于可見光，空間分辨率高于雷達，但低于可見光[2]。由于目標與傳感器距離較遠，紅外輻射會受到大氣熱輻射的影響，使得紅外圖像的灰度分布不均勻，對比度比較低，細節不明顯且易缺失，不易于觀察和識別[5-8]。因此，提高紅外圖像的對比度并增強細節成為紅外圖像處理的關鍵。

傳統紅外圖像增強算法主要是基于映射的算法，這類算法以合適的映射關系來表達原始圖像和增強圖像之間的關系，常見的算法為直方圖均衡（histogram equalization，HE）。HE算法能有效地增強圖像對比度，但會因灰度級合并而造成細節信息的丟失。Wang等[9]提出在紅外圖像直方圖計算中引入相鄰像素之間的二維差分信息，在不過度增強的情況下增強了對比度。Wan等[10]采用局部加權散點平滑算法和局部最小值檢驗分割灰度直方圖，對前景子直方圖采用局部對比度加權分布均衡，但增強效果不穩定，邊緣和紋理易模糊。該類算法復雜度低、能有效地增強圖像對比度，但圖像的輪廓和邊緣紋理等信息因為對細節的忽視而不夠凸顯。

為了對細節信息進行增強，各國學者相繼提出了各種紅外圖像細節增強算法。在高動態范圍紅外圖像增強領域中，文獻[11]提出一種基于雙邊濾波的增強算法（bilateral filter and digital detail enhancement algorithm，BF&DDE），該算法提出運用雙邊濾波將圖像分為低頻信息構成的基礎層圖像和高頻信息構成的高頻層圖像，再用不同的算法對兩層圖像進行處理。文獻[12]提出了一種基于引導濾波的增強算法（guided image filter and digital detail enhancement algorithm, GIF & DDE）。該算法將BF & DDE中的雙邊濾波替換為對邊緣和紋理保留效果更好的引導濾波，對細節信息進行增強，由于引導濾波是將邊緣和紋理信息保留在了基礎層，其細節層含有邊緣和紋理信息過少，且該算法對基礎層只進行了對比度拉伸，導致其對細節層圖像增強后的邊緣和紋理不夠突出。Chen等[13]提出一種利用能量梯度函數與多尺度引導濾波相結合的方法，在動態范圍壓縮時能夠較好地保留圖像的細節，但仍不滿足主觀上邊緣和紋理信息突出的需求。

根據上述方法的特點和缺陷，本文提出一種基于多尺度加權引導濾波的圖像增強方法。在濾波分層方面，本文方法提出將帶轉向核的引導濾波[14]與迭代多尺度方式相結合對圖像進行分層處理，以獲得更完整的細節；在基礎層方面，采用限制對比度的自適應直方圖均衡進行增強處理；在細節層采用基于Markov-Poisson分布的最大后驗法和Gamma校正增強其細節信息。最后對基礎層圖像和細節層圖像進行線性融合得到細節增強后的圖像。該方法能對圖像進行對比度拉伸的同時增強其細節信息，使圖像的紋理和邊緣更加清晰明顯。

1 相關理論

1.1 加權引導濾波理論

引導濾波（guided image filter, GIF）[15]是一種基于局部線性模型的平滑濾波器，引導圖像為本身時，對圖像的邊緣和紋理信息有較好的保護作用。引導濾波在某像素點處的輸出可以表示為一個加權平均的形式，如下式：

式中：為輸出圖像；和代表像素的坐標；p為輸入圖像；為引導圖像；W是引導圖像的權重函數，其表達式如下：

引導濾波器假定在以像素為中心的局部方形窗口內，濾波輸出是制導圖像的線性變換，則其局部線性模型的表達式為：

式中：a、b是窗口中不變的線性系數，其值通過最小化代價函數確定，代價函數的表達式為：

由參考文獻[16]可知GIF在濾波的同時還能保護邊緣，但是由于對于任意窗口，其懲罰系數都采用同一值，忽略了像素間的差別。為此，文獻[17]提出一種加權引導濾波（weighted guided image filtering，WGIF），采用基于窗口像素方差的邊緣權重因子()來調節懲罰系數，公式(4)變為：

由上述公式和文獻[17]可知加權引導濾波對局部窗口有一定的適應性。為了進一步提高引導濾波對局部窗口的適應性，Sun[14]等人提出一種帶導向核的加權引導濾波（weighted guided image filtering with steering kernel，SKWGIF），將歸一化局部轉向核（steering kernel）[18]代入引導濾波中，表達式為：

式中：為控制核的平滑參數，x和x為像素坐標。是由以像素為中心的局部窗口計算得到的對稱梯度協方差矩陣，式(3)變為：

由公式和文獻[14]得，引入局部轉向核的SKWGIF比GIF和WGIF有更好的邊緣保持性。

1.2 限制對比度的自適應直方圖均衡

紅外探測器的原始圖像經過濾波處理后存在對比度低，圖像整體偏暗等問題，對基礎層必須進行對比度增強處理。直方圖均衡（histogram equalization，HE）可以對紅外圖像進行對比度增強，但處理后的圖像部分區域的對比度增強過大，成為噪點；且邊緣處經過調整后變得過暗。為了避免上述問題，本文采用限制對比度的自適應直方圖均衡（contrast limited adaptive histogram equalization, CLAHE）算法[19]，該方法能有效地避免局部增強過大的問題，處理后的直方圖分布更均勻，且能避免過度增強。CLAHE實現限制對比度的原理如下：

1）設定×大小的滑動窗口，則其局部映射函數M表達式為：

式中：DF()是局部直方圖分布函數ist()的累積分布函數值。

2）灰階映射函數的導數可視為對比度增強的幅度。局部映射函數M的導數為：

由公式(9)可知，通過限制ist()即可限制對比度的增強幅度。

3）求出直方圖的最大高度：

4）設定閾值，如圖1所示，將高度大于的直方圖部分截掉，重新均勻地分布在直方圖上，且最大值不會超過max，其中為設定的閾值，為補償值。

直方圖的總面積不變，整體灰度圖上升高度，max，和之間滿足以下關系：

＝max－(11)

重新分配后，得到的新的基礎層圖像的直方圖分布為：

1.3 基于Markov-Poisson的最大后驗概率

由于原始紅外圖像本身細節比較模糊，細節層的信息易丟失，導致其經過濾波處理的細節層圖像含有的信息較少，分辨力下降，不利于人眼觀察。為了合理地增加細節信息，本文采用超分辨率算法的思想對細節層進行處理。最大后驗概率算法可用來增加圖像的細節信息，但是增加的信息過于虛假，且與基礎層相加會導致邊緣紋理變得模糊；為了解決上述問題，文獻[20-21]采用基于Poisson-Markov分布的最大后驗概率算法（Poisson and Markov model Maximum a Posteriori, MPMAP）對細節層進行處理，其實現函數如下：

式中：g為圖像像素灰度值；為迭代的階數；是控制迭代速度和算法收斂的控制系數；()是Markov約束函數；為約束重量不平衡部分的自適應正則化參數；I,j為處理后的圖像。

經過該算法處理后的細節層圖像如圖2所示，基于Poisson-Markov分布的最大后驗法能夠根據細節層圖像合理增加圖像的細節信息，使細節更明顯，利于人眼觀察。

2 本文方法流程

本文提出的方法流程如圖3所示，先利用多尺度加權引導濾波器將圖像分成基礎層和多個紅外細節層；其次，對第一層細節層圖像進行基于Markov-Poisson的最大后驗法處理，對第二層圖像進行Gamma校正來對細節層進行增強，得到兩幅增強后的細節層圖像；同時對基礎層圖像進行限制對比度的自適應直方圖均衡，得到增強后的基礎層圖像；最后將增強后的基礎層圖像與增強后的細節層圖像線性融合，得到具有全局細節的增強圖像。

圖2 MPMAP對細節層處理后效果對比圖

其中，為了得到完整的細節層圖像，本文對多尺度加權引導濾波進行改進，將轉向核與加權引導濾波相結合，并對多尺度的實現方式做出改進（詳細內容見2.1節）；對細節層圖像采用MPMAP和Gamma校正進行處理而達到增強細節層并突出邊緣和紋理的目的。

2.1 對多尺度加權引導濾波的改進

為了獲得紅外圖像中更完整的細節，文獻[13]中提到了一種基于迭代的多尺度引導濾波實現算法，其表達式為：

式中：為輸入的紅外圖像；為濾波后的基礎層圖像；為細節層圖像，由原圖像與濾波后的圖像相減得到；為迭代次數，代表該算法中共進行次引導濾波。

圖3 本文算法流程

為了對圖像的邊緣和紋理進行增強，本文對多尺度引導濾波做出改進，將GIF替換成SKWGIF（weighted guided image filtering with steering kernel），＝2即采用兩次引導濾波，將第一次引導濾波得到的細節層圖像作為第二次引導濾波的處理對象，得到一層含有豐富細節信息的第一層細節層圖像和含有邊緣、紋理信息的第二層細節層圖像。此時的多尺度加權引導濾波的公式定義為：

式中：為濾波后得到的基礎層圖像；為第一次濾波得到的細節層圖像；1為第二次濾波得到的細節層圖像，2為減去1得到的第二層細節層圖像。為保證第二層細節層圖像含有邊緣和紋理信息，需要將第一次的加權引導濾波的懲罰系數設置在0.16～0.25，第二次的加權引導濾波的懲罰系數設置為0.01～0.04。輸入的紅外圖像與輸出的圖像、第二次濾波得到的細節層圖像1和第二層細節層圖像2的關系為：

2.2 對細節層進行MPMAP和Gamma校正的增強處理

對于多尺度加權引導濾波后得到的兩幅細節層圖像，由于第一層細節圖像含有豐富的細節信息，本文采用MPMAP算法對第一層細節層圖像做增強處理，合理增加其細節信息；對第二層細節層圖像，采用Gamma校正達到增強其邊緣、紋理信息的目的。對于基礎層圖像，采用CLAHE算法進行處理以達到拉伸對比度的目的。最后采用加權融合的方式對細節層圖像和基礎層圖像進行融合。最終輸出圖像可以描述為：

3 實驗結果及分析評價

為驗證本文方法的可行性及有效性，本文選取3個場景進行對比試驗。選用的3個場景分別為：圖4(a)所示場景，該場景中包含的樹干紋理信息較多，可作為算法處理后圖像的重點觀察對象；圖5(a)所示場景，該場景中包含車輛，樹干，電線和馬路，包含的細節信息較為豐富；圖6(a)所示場景，該場景中包含地面紋理信息較多且噪聲較少，可作為算法處理后圖像的重點觀察對象。本文采取HE算法、Gamma校正算法、CLAHE算法、文獻[10]提到的算法和本文方法分別對其進行處理，從主觀和客觀上進行對比和評價。其中，Gamma校正算法中的值設為0.8，本文算法中第一次和第二次加權引導濾波的懲罰系數分別設為0.01和0.06。

從不同算法處理效果來看，HE算法容易使圖像的對比度拉伸過于嚴重，導致部分細節信息丟失，且對細節層沒有增強效果，如圖4(b)中，左上方中樹的紋理信息丟失嚴重；圖6(b)中，人物的衣服、汽車輪胎處過亮，部分細節信息丟失。Gamma校正算法容易使圖像局部過亮，導致細節丟失嚴重，如圖4(c)所示，整體偏亮且樹干紋理較為模糊；文獻[10]的算法對圖像細節沒有很好的增強效果，且細節模糊現象嚴重，如圖4(e)所示，左上方的樹枝紋理與原圖相比更模糊；CLAHE算法因對全局進行對比度拉伸，使得其對比度有較好的改善，但因未對細節層進行增強，導致對邊緣、紋理的突出效果不明顯，且容易突出噪聲，如圖5(d)所示，天空中噪聲嚴重。本文提出的方法由于采用多尺度加權引導濾波對圖像進行分層處理，并對細節層進行MPMAP和Gamma校正處理，使得邊緣和紋理明顯、突出且清晰，如圖4(f)所示，與其他圖像相比不僅對比度得到改善，同時樹干的紋理明顯、清晰且自然；圖5(f)中，與其他圖像相比，右上方房屋的紋理的增強效果明顯，路邊的建筑邊緣和紋理的突出效果明顯；圖6(f)與其他圖像相比，左邊樹的紋理得到改善，地面紋理清晰。

圖4 第一場景增強效果對比

圖5 第二場景增強效果對比

圖6 第三場景增強效果對比

為客觀評價各算法對圖像的增強效果，本文采用信息熵（IE），熵增強（EME）[22]和平均梯度（AG）3個客觀指標對增強后的圖像進行定量評價。其中，IE代表圖像中的信息含量程度；EME是對圖像局域灰度的變化程度的表現，局域灰度變化越強，圖像表現出的細節越強；AG為圖像梯度圖上所有點的均值，反映了圖像中的細節反差和紋理變化特征。表1、表2和表3分別為圖4、圖5和圖6中各個算法處理后的圖像的相關指標的計算結果。表1、表2和表3可以看出，HE算法的信息熵最高，但是其EME和AG相對較低，反映出其細節信息較差。本文方法與HE算法、Gamma校正算法，CLAHE算法和文獻[10]中提到的算法相比，其指標相對較高，說明本文處理后的圖像具有較高的質量，細節信息得到較好的增強，且圖4(f)、圖5(f)和圖6(f)中紋理和邊緣突出效果明顯、清晰。綜上可以看出本文方法紅外圖像增強效果較好，且具有可行性和優化性。

表1 圖4對應圖像IE，EME和AG指標

表2 圖5對應圖像IE，EME和AG指標

表3 圖6對應圖像IE，EME和AG指標

4 結論

為突出紅外圖像細節信息，使紅外圖像邊緣和紋理清晰，本文提出一種基于多尺度加權引導濾波的紅外圖像增強方法。該方法將SKWGIF與多尺度引導濾波相結合對圖像進行分層處理；對基礎層用CLAHE算法，增強輸出圖像的對比度；采用MPMAP算法和Gamma校正算法對細節層進行增強處理，增加并突出輸出圖像的細節信息。實驗結果表明，本文方法可以增強圖像的對比度，同時對圖像細節信息的增強效果明顯，且增強后的圖像紋理和邊緣比較自然，清晰且明顯。本文算法局限之處在于增強后的圖像會出現塊效應的現象。

[1] 鞠默然, 羅海波, 劉廣琦, 等. 采用空間注意力機制的紅外弱小目標檢測網絡[J]. 光學精密工程, 2021, 29(4): 843-853.

JU M R, LUO H B, LIU G Q, et al. Infrared dim and small target detection network based on spatial attention mechanism[J].., 2021, 29(4): 843-853.

[2] 趙尚男, 王靈杰, 張新, 等. 采用視覺特征整合的紅外弱小目標檢測[J]. 光學精密工程, 2020, 28(2): 497-506.

ZHAO S N, WANG L J, ZHANG X, et al. Detection of infrared dim small target based on visual feature integration [J].., 2020, 28(2): 497-506.

[3] ZHU D P, ZHAN W D, JIANG Y C, et al. MIFFuse: a multi-level feature fusion network for infrared and visible images [J]., 2021, 9: 130778-130792.

[4] 谷雨, 劉俊, 沈宏海, 等. 基于改進多尺度分形特征的紅外圖像弱小目標檢測[J]. 光學精密工程, 2020, 28(6): 1375-1386.

GU Y, LIU J, SHEN H H, et al. Infrared dim-small target detection based on an improved multiscale fractal feature [J].., 2020, 28(6): 1375-1386.

[5] WANG Z J, LUO Y Y, JIANG S Z, et al. An improved algorithm for adaptive infrared image enhancement based on guided filtering[J]., 2020, 40(11): 3463-3467.

[6] WANG Y F, BAI X Z. Intensity inhomogeneity suppressed fuzzy C-means for infrared pedestrian segmentation[J]., 2018, 20(9): 3361-3374.

[7] ASHIBA H I, ASHIBA M I. Super-efficient enhancement algorithm for infrared night vision imaging system[J]., 2021, 80(6): 9721-9747.

[8] JIANG Y C, LIU Y Q, ZHAN W D, et al. Lightweight dual-stream residual network for single image super-resolution[J]., 2021, 9: 129890-129901.

[9] WANG J J, LI Y, CAO L, et al. Range-restricted pixel difference global histogram equalization for infrared image contrast enhancement[J]., 2021, 28(2): 145-158.

[10] WAN M J, GU G H, QIAN W X, et al. Infrared image enhancement using adaptive histogram partition and brightness correction[J]., 2018, 10(5): 682.

[11] ZUO C, CHEN Q, LIU N, et al. Display and detail enhancement for high-dynamic-range infrared images[J]., 2011, 50(12): 127401.

[12] LIU N, ZHAO D X. Detail enhancement for high -dynamic-range infrared images based on guided image filter[J]., 2014, 67: 138-147

[13] CHEN F R, ZHANG J L, CAI JJ, et al. Infrared image adaptive enhancement guided by energy of gradient transformation and multiscale image fusion [J]., 2020, 10(18): 6262.

[14] SUN Z G, HAN B, LI J, et al. Weighted guided image filtering with steering Kernel[J]., 2019, 29: 500-508.

[15] HE K M, SUN J, TANG X O. Guided image filtering[J]., 2012, 35(6): 1397-1409.

[16] LU Z W, LONG B Y, LI K, et al. Effective guided image filtering for contrast enhancement[J]., 2018, 25(10): 1585-1589.

[17] LI Z G, ZHENG J H, ZHU Z J, et al. Weighted guided image filtering [J]., 2014, 24(1): 120-129.

[18] TAKEDA H, FARSIU S, MILANFAR P. Kernel regression for image processing and reconstruction[J]., 2007, 16(2): 349-366.

[19] YAKNO M, MOHAMAD-Saleh J, IBRAHIM M Z. Dorsal hand vein image enhancement using fusion of CLAHE and fuzzy adaptive Gamma[J]., 2021, 21(19): 6445.

[20] 劉秀, 劉詠, 林招榮. 最大后驗概率算法在遙感圖像復原中的應用[J]. 光學學報, 2013(B12): 206-212.

LIU X, LIU Y, LIN Z R. Application of maximum a posteriori algorithm in remote sensing image reconstruction[J]., 2013(B12): 206-212.

[21] 劉秀, 金偉其, 徐超. 基于MPMAP序列紅外圖像高分辨力重建和非均勻性校正[J]. 電子學報, 2011, 39(9): 2103-2107.

LIU X, JIN W Q, XU C. High-resolution reconstruction and non-uniformity correction from images sequences based on Poisson-Markov model MAP[J]., 2011, 39(9): 2103-2107.

[22] AGAIAN S S, PANETTA K, GRIGORYAN A M. A new measure of image enhancement[C]//, 2000: 19-22.

Infrared Image Enhancement Method Based on Multiscale Weighted Guided Filtering

HU Jiahui，ZHAN Weida，GUI Tingting，SHI Yanli，GU Xing

(,,130000,)

Existing infrared images have problems on fuzzy details, unclear edges, and texture. This paper proposed an infrared image enhancement method based on weighted guided filtering to solve these problems. First, multiscale weighted guided filtering with steering kernel layered the input images. It obtained detailed layer images and a base layer image. Subsequently, maximum posterior probability algorithm based on Markov-Poisson and Gamma correction algorithms enhanced the detailed layer images. Adaptive histogram equalization algorithm with limited contrast stretched the contrast of the base layer image. Finally, enhanced images were obtained through linear fusion. The subjective and objective experimental results show that the proposed method had good detail enhancement effects, and the edges and texture information of the processed images were relatively prominent. The proposed method had better calculation results for information entropy(IE), entropy enhancement(EME), and mean gradient (AG). It satisfies the requirements for enhanced infrared images and clear edge textures.

infrared image, guided image fitter, detail enhancement, histogram equalization

TP394.1；TH691.9

A

1001-8891(2022)10-1082-07

2021-12-13；

2021-12-26.

胡家琿（1996-），男，山東臨沂人，碩士研究生，主要從事機器視覺、圖像增強等方面的研究。E-mail: hujiahuia@163.com。

詹偉達（1979-），男，吉林長春人，博士，教授，博士生導師，主要從事數字圖像處理、紅外圖像技術和自動目標識別等方面的研究。E-mail：zhanweida@cust.edu.cn。

吉林省發展與改革委員會創新能力建設專項（FG2021236JK）。