基于直方圖的熱紅外圖像增強方法

李 牧，周瑞杰，田哲嘉

基于直方圖的熱紅外圖像增強方法

李 牧，周瑞杰，田哲嘉

（西安理工大學 自動化與信息工程學院，陜西 西安 710048）

為了改善熱紅外圖像的增強效果，本文提出了一種基于改進的直方圖裁剪方法的熱紅外圖像增強算法。該算法核心是確定熱紅外原始圖像與傳統的直方圖均衡化圖像的直方圖bins中像素點的數量差，再根據范圍準則，將計算出的不同bins的差值劃分為不同的區塊。然后重新分配直方圖，確定變換函數，得到增強后的熱紅外圖像。該算法是一種改進的全局直方圖均衡化方法，在對比度增強、直方圖形狀和細節信息之間可以做到較好的平衡。本文算法的峰值信噪比、結構相似度和均方誤差的平均值分別為27.5、0.923和0.59，均優于其他算法，實驗結果表明，該方法能有效增強熱紅外圖像。

熱紅外圖像；圖像增強；直方圖均衡化；直方圖裁剪

0 引言

近年來，紅外熱成像技術是一個發展非常迅速的研究領域[1]。應用范圍包括醫療診斷、建筑檢查和工業檢測維修，自然科學的可視化以及安防和軍事探測等[2]。

紅外熱成像技術可以進行定性可視化和成像，同時也可以對物體表面溫度進行定量測量。物體的分子、原子通過熱運動會產生人眼不可見的紅外波段的熱輻射，再經過紅外熱成像系統將采集的紅外輻射轉換為熱紅外圖像。在夜間和惡劣環境下熱紅外的成像能力遠遠優于可見光成像，但是由于大氣中水分子對紅外輻射的吸收，將會對熱紅外成像性能造成不良影響[3]。有時，成像傳感器質量低、用戶經驗不足或者操作失誤等原因，也會造成熱紅外圖像的效果不理想，所以需要對圖像進行一些處理使其更適合人眼觀察或機器識別[4]。

圖像增強技術是一種圖像預處理方法，在改善圖像效果，強調某些細節信息和特征等方面起著重要作用[5-7]。圖像增強有多種方式，許多基于頻域和空域、基于直方圖均衡（histogram equalization，HE）[8]、基于融合[9]和基于Retinex[10]的方法已經被用以增強圖像的對比度。其中，基于直方圖均衡的對比度增強算法因其易于實現而被廣泛應用。

熱紅外圖像因受非均勻性和隨機噪聲的影響，與可見光圖像相比，普遍存在空間相關性強、對比度低、信噪比低、邊緣易模糊等問題，因此在處理方法上和可見光的處理存在差異。

本文針對熱紅外圖像的成像特點，提出了一種改進的基于差分直方圖bins技術的直方圖裁剪方法，在保持原始直方圖模式的同時，獲得了良好的對比度增強效果。

1 直方圖均衡化原理

直方圖均衡化的目的是將隨機分布的圖像直方圖修改成均勻分布的直方圖[11]，如圖1所示。

圖1 直方圖均衡化的目的

式中：1、2為灰度值；為不同灰度值對總灰度值的占比。

因此基于直方圖均衡化的圖像增強技術的基本思想是：對原始圖像的像素灰度做某種映射變換，使圖像灰度級概率密度函數（probability density function，PDF）進行重新排布，將原始圖像直方圖中較大概率的灰度級分散到更多的輸出灰度級上，對較低概率的灰度級進行合并和壓縮，從而在灰度級范圍不變的情況下實現圖像灰度的動態范圍的增加，同時提高了圖像的對比度[12]。該技術不僅用于可見光圖像增強，同樣也適用于熱紅外圖像細節增強[13]。直方圖均衡化示意圖如圖2所示。圖中：、1和2為灰度值；()和eq()分別為原圖像和直方圖均衡化后圖像的像素點個數；()為映射函數。

直方圖均衡化原理如下：

假設輸入紅外熱圖像為＝?{(,)}，其中(,)表示像素的空間坐標，(,)表示圖像灰度級。圖像分辨率大小為×，則整個動態范圍內的像素總數為，也就是說，(0,S－1)為，即＝×。的值等于2，為位數，此處＝8。

第一步，求解輸入圖像的概率密度函數如下：

(S)＝n/(1)

式中：＝0, 1, …,－1，n表示灰度等級為S時的像素點數。

圖2 直方圖均衡化示意圖

第二步，求解累積分布函數（cumulative distribution function，CDF）如下：

直方圖均衡是一種利用累積分布函數作為變換函數將輸入的原始圖像映射到所有動態范圍的技術。它的轉換函數(S)通過下式得到：

第三步，求得直方圖均衡化后的圖像：

式中：eq(,)是HE增強圖像。

所有基于直方圖均衡化的方法可以通過不同操作，例如子直方圖、直方圖裁剪處理、動態范圍均衡化（dynamic histogram equalization，DHE）等，使得圖像對比度增強[14-16]。然而，這些方法并沒有考慮保存直方圖中的峰值（直方圖形狀）。實際上，對于所有基于直方圖均衡化的方法，通過改變直方圖的峰值，都可以改善圖像的對比度，而前文這些方法去除掉了圖像中包含的關鍵細節或信息。本文提出的直方圖裁剪方法主要是通過自適應地提高對比度來保持直方圖中的峰值，這樣才獲得了比直方圖均衡化方法更好的增強效果。

2 改進的熱紅外圖像增強算法

本文提出的一種基于直方圖bins差分的改進直方圖裁剪方法的框架如圖3所示。

圖3 算法流程圖

該方法具有一個自適應的特征，可以剪裁輸入直方圖的峰值。此外，利用輸入圖像直方圖和均衡化后的直方圖，得到裁剪后的直方圖。該方法包括以下3個主要內容：

1）圖像直方圖；

2）改進的直方圖裁剪過程；

3）直方圖bins的差分。

2.1 改進的直方圖裁剪方法

對輸入圖像(,)使用傳統的直方圖均衡化方法，得到增強圖像eq(,)。再計算增強圖像eq(,)的灰度直方圖，用eq()表示。所有基于HE的方法都是以傳統的HE方法作為比較方法，本文的方法利用了傳統HE方法出現的過增強和欠增強的特性來提高圖像質量，從而獲得更好的對比度。

改進的直方圖裁剪方法的核心思想就是控制增強率。參考文獻[17]，提出了改進的自適應平臺直方圖均衡化方法，以確定直方圖非空bins的中值作為裁剪閾值e：

通過式(6)計算修改后的剪裁直方圖：

式中：()是輸入圖像的直方圖；c()是裁剪直方圖，范圍準則'c()'參考式(7)：

式中：()表示直方圖bins的差值。

2.2 直方圖bins的差分

在基于HE的方法中，我們需要找到各子直方圖的灰度值，并用相應的變換函數分別對每個子直方圖做處理，這樣得到的圖像不僅在視覺效果上較差，而且圖像的信息量也會減少[18]。為了克服這些缺點，本文提出使用直方圖bins的差分方法。

通過式(8)計算直方圖bins的差值：

()＝eq()－() (8)

式中：()是輸入圖像的直方圖；eq()是HE直方圖；()表示每個灰度值處的像素數量差。

在范圍準則中，()的取值范圍分為6個部分，目的是利用原始直方圖和HE直方圖建立新的直方圖。

在得到修改后的直方圖c()后，使用式(1)～(4)得到直方圖均衡化增強圖像。

范圍準則中幾個常數的選擇參考了文獻[19]，并對多組熱紅外圖像進行多次試驗后進行了調整。這些閾值可以產生一個新的累積分布函數，用于生成更接近原始圖像的變換函數，該函數將輸入灰度值映射到輸出灰度值。由于該方法使用單一的映射，因此屬于全局HE方法的范疇。

傳統的HE強調了像素數較多的直方圖bins的優勢，像素數量較少的直方圖bins往往被其干擾[20]。一般來說，因為拉伸直方圖高頻部分并壓縮直方圖低頻部分的對比度，會將灰度集中到直方圖的最左邊或最右邊，造成飽和效應[21]，如圖4(b)所示：

圖4 飽和效應：(a)原圖及直方圖 (b)HE增強圖像及直方圖

本文方法通過計算bins差值，克服了HE方法的缺點，并在高頻和低頻直方圖bins中采用了原始直方圖和增強直方圖之間的自適應平均值，再利用HE方法的性質來保持輸入直方圖的形狀。該方法通過使用特定的算法，生成了一個具有保留細節信息和直方圖模式的對比度增強圖像。

2.3 算法步驟

該算法的詳細步驟如下所述：

Step 1：輸入熱紅外原始圖像，為灰度圖像。

Step 2：得到輸入圖像的直方圖和經過直方圖均衡化后的HE直方圖，分別為()和eq()，統計直方圖信息。

Step 3：計算原始圖像直方圖()的中值e。

Step 4：比較e和eq() (＝0, 1, …, L－1)。如果eq()大于e，則修改后（剪裁）的直方圖c()被指定為1.15e，否則進行下一步。

Step 5：使用公式(8)計算直方圖的差值()。根據范圍準則，()的取值范圍分為6部分，由公式(7)為圖像重新分配直方圖，得到c()。

Step 6：使用直方圖均衡化確定變換函數，通過其中的映射關系得到增強圖像。

3 實驗結果與分析

本文采用紅外熱像模組采集紅外熱圖像，分辨率為384×288，像元間距17mm，幀率為25Hz。實驗環境為MATLAB R2016a，在具有CPU I7@2.70GHz和8 G內存的系統中對圖像進行處理。

3.1 主觀評價

為了驗證本文算法的有效性，對多組熱紅外圖像進行實驗。下面圖5分別給出了(a)～(c)3組圖像的原始圖像，HE、CLAHE（contrast limited adaptive histogram equalization）、DSIHE（dualistic sub-image histogram equalization）和本文提出算法增強后的圖像，并且給出各圖像的直方圖。通過比較能夠發現與HE和DSIHE算法相比本文算法能夠較好地保存直方圖形狀，CLAHE算法雖然也能夠保持直方圖的基本形狀，但因為使用插值的原因，使得圖像背景噪聲被放大。從圖像效果上來看，本文算法與其余算法相比，在圖像峰值較多的情況下，如圖(a)，能夠較好地平衡對比度和直方圖的形狀及細節。若圖像只有單峰值如圖(c)，本文算法對圖像的增強效果在視覺上不能取得理想效果。此外，觀察本文算法在直方圖中的表現，存在個別bins的數量“突變”。

3.2 客觀評價

本文主要通過熵（entropy，ENT）、均方誤差（mean square error，MSE）、峰值信噪比（peak signal to noise ratio，PSNR）和結構相似度（structural similarity index measure，SSIM）這4方面對圖像作出客觀評價[22]。

圖5 增強圖像及其直方圖

熵指圖像中灰度特征所包含的信息量，用式(9)表示：

式中：為灰度值；()為當前灰度值對灰度總數的占比。

均方誤差可以評價數據的變化程度，通過均方值的大小來確定圖像的失真程度，用式(10)來表示：

式中：、分別為圖像的高和寬；X,j表示增強圖像像素點灰度；S,j表示原始圖像像素點灰度。

峰值信噪比指最大信號量與噪聲強度的比值，同樣可以用來評價圖像的失真度，用式(11)來表示：

式中：一般取值255，MSE為均方誤差。

結構相似度實際上是從亮度、對比度和結構信息3方面測量增強圖像相對于參考圖像的相似性，用式(12)來表示：

式中：、分別為原始圖像和增強后圖像；，，2，2，分別表示圖像、的均值、方差和協方差，1、2為取值較小的常數。

表1～4給出圖5中(a)～(c)三組圖像對應的4種評價函數的值。從表1可以看出，與原圖相比，CLAHE算法得到的圖像熵有所增加，HE、DSIHE和本文算法得到的熵均有減少。分析表2～4，除表4中DSIHE算法對圖(b)的處理得到的結構相似度略大于本文算法的結果（相差0.01）外，本文算法在均方誤差、峰值信噪比和結構相似度上的表現均優于其他算法。

表1 不同算法的熵

表2 不同算法的均方誤差

表3 不同算法的峰值信噪比

表4 不同算法的結構相似度

4 總結

本文針對熱紅外圖像的成像效果不理想的問題，提出了一種基于改進的直方圖裁剪方法的熱紅外圖像增強算法。將輸入圖像直方圖的中值作為裁剪閾值，利用基于HE方法的直方圖bins的差分來保持輸入直方圖的形狀，并通過范圍準則重新分配直方圖，最后生成具有保留直方圖模式和細節信息的增強圖像。本文選取3組圖像進行對比，其中本文算法在均方誤差、峰值信噪比和結構相似度上都具有較好的表現。實驗結果驗證了該方法的有效性，并發現在直方圖存在多峰值的情況下算法效果最優。今后工作的研究重點是進一步優化范圍準則，解決算法在直方圖中表現出來的個別bins數量“突變”的問題，以及提高增強后圖像的熵。

[1] 邢素霞, 張俊舉, 常本康, 等. 非制冷紅外熱成像技術的發展與現狀[J]. 紅外與激光工程, 2004, 33(5): 441-444.

XING Suxia, ZHANG Junju, CHANG Benkang, et al. Recent Development and Status of Uncooled IR Thermal imaging Technology[J]., 2004, 33(5): 441-444.

[2] MA Wenpo. The development and applications of space thermal infrared imaging technology[C]//, 2009, 7383: 6.

[3] 金佩芬, 秦富貞. 基于改進Retinex算法的紅外圖像增強處理[J]. 激光雜志, 2016, 37(7): 43-46.

JIN Peifen, QIN Fuzhen. Infrared Image Enhancement Processing Based on Improved Retinex Algorithm[J]., 2016, 37(7): 43-46.

[4] LEE Jongsen. Digital Image Enhancement and Noise Filtering by Use of Local Statistics[J]., 2009, 2(2): 165-168.

[5] Sengee N, Sengee A, Choi H K. Image Contrast Enhancement using Bi-Histogram Equalization with Neighborhood Metrics[J]., 2010, 56(4): 2727-2734.

[6] Choi B, Yoon J. Adaptive contrast enhancement based on temperature and histogram for an infrared image[C]//, 2009: 1-2.

[7] 李燦林, 劉金華, 宋勝利, 等. 基于粒子群優化的紅外圖像增強方法[J]. 科學技術與工程, 2019, 19(15): 219-225.

LI Canlin, LIU Jinhua, SONG Shengli, et al. Infrared image enhancement method based on particle swarm optimization[J]., 2019, 19(15): 219-225

[8] WANG Y, CHEN Q, ZHANG B. Image enhancement based on equal area dualistic sub-image histogram equalization method[J]., 1999, 45(1): 68-75.

[9] Donia E A, El-Banby G M, El-Rabaie E S M, et al. Infrared Image Enhancement Based on Both Histogram Matching And Wavelet Fusion[C]//,,, 2016: 111-114.

[10] 張承泓, 李范鳴, 吳瀅躍. 基于自適應引導濾波的子帶分解多尺度Retinex紅外圖像增強[J]. 紅外技術,2019, 41(4): 31-36.

ZHANG Chenghong, LI Fanming, WU Yingyue. Infrared Image Enhancement Based on Adaptive Guided Filter and Sub-band Decomposed Multi-scale Retinex[J]., 2019, 41(4): 31-36.

[11] WANG L, YAN J. Method of infrared image enhancement based on histogram[J]., 2011, 7(3): 237-240.

[12] ZHANG Y, WU L, LI T, et al. Image histogram equalization enhancement based on PCNN[J].:, 2010, 40(1): 64-68.

[13] 趙文達, 續志軍, 趙建, 等. 基于梯度直方圖變換增強紅外圖像的細節[J]. 光學精密工程, 2014, 22(7): 262-268.

ZHAO Wenda, XU Zhijun, ZHAO Jian, et al. Enhancement of infrared image details based on gradient histogram transform[J]., 2014, 22(7): 262-268.

[14] 李賢陽, 陽建中, 楊竣輝, 等. 基于改進的直方圖均衡化與邊緣保持平滑濾波的紅外圖像增強算法[J]. 計算機應用與軟件, 2019, 36(3): 96-103.

LI Xianyang, YANG Jianzhong, YANG Junhui, et al. Infrared image enhancement algorithm based on improved histogram equalization and edge preserving smoothing filtering[J]., 2019, 36(3): 96-103.

[15] NIU Y, WU X, SHI G. Image Enhancement by Entropy Maximization and Quantization Resolution Upconversion[J]., 2016, 25(10): 4815-4828.

[16] 韋瑞峰, 趙榮普, 徐肖慶, 等. 基于直方圖的紅外圖像細節增強算法研究[J]. 紅外技術, 2016, 38(6): 472-475.

WEI Ruifeng, ZHAO Rongpu, XU Xiaoqing, et al. Infrared Image Detail Enhancement Based on Histogram[J]., 2016, 38(6): 472-475.

[17] Kong N S P, Ibrahim H, Ooi C H, et al. Enhancement of Microscopic Images Using Modified Self-Adaptive Plateau Histogram Equalization[C]//, 2009: 308-310.

[18] Yoon, Byoung-Woo. Image contrast enhancement based on the generalized histogram[J]., 2007, 16(3): 1-8.

[19] Kandhway P, Bhandari A K. Modified clipping based image enhancement scheme using difference of histogram bins[J].,2019, 13(10): 1658-1670.

[20] Ooi C H, Isa N A M. Quadrants Dynamic Histogram Equalization for Contrast Enhancement[J]., 2010, 56(4): 2552-2559.

[21] Arici T, Dikbas S, Altunbasak Y. A Histogram Modification Framework and Its Application for Image Contrast Enhancement[J]., 2009, 18(9): 1921-1935.

[22] Gonzalez R C, Woods R E.[M]. Singapore: Pearson Prentice Hall, 2002. 75-215.

A Thermal Infrared Image Enhancement Method Based on Histogram

LI Mu，ZHOU Ruijie，TIAN Zhejia

(School of Automation and Information Engineering, Xi'an University of Technology, Xi'an 710048, China)

To improve the enhancement of infrared thermal images, this paper proposes an algorithm based on an improved histogram clipping method. The algorithm determines the difference between the number of pixels in the histogram bins of the original thermal infrared image and the traditional histogram equalization image. Subsequently, based on a specific range criterion, the calculated difference of various histogram bins is divided into different blocks. Next, the histogram is redistributed, and a transform function is determined to obtain the enhanced thermal infrared image. The algorithm is based on an improved global histogram equalization method, which achieves a suitable balance between contrast enhancement, histogram shape, and detail information. The experimental results demonstrate that the average values of the peak signal-to-noise ratio (PSNR), structural similarity index measure (SSIM), and mean-square error (MSE)—27.5, 0.923, and 590 respectively are better than those of other algorithms. Thus, this method effectively enhances the thermal infrared image.

image enhancement，histogram equalization，thermal infrared image，histogram clipping

TP391

A

1001-8891(2020)09-0880-06

2020-01-08；

2020-08-22.

李牧（1973-），男，高級工程師,研究方向為基于熱紅外的物體特征提取技術研究。

周瑞杰（1995-），男，碩士研究生，研究方向為雷達、熱紅外信息融合。E-mail：2170321217@stu.xaut.edu.cn。