多尺度自校正雙直方圖均衡化紅外圖像增強

張 桓，陳志盛

多尺度自校正雙直方圖均衡化紅外圖像增強

張 桓1，陳志盛2

（1.長沙理工大學 設計藝術學院，湖南 長沙 410114；2. 長沙理工大學 電氣與信息工程學院，湖南 長沙 410114）

針對紅外圖像增強過程中容易飽和、細節丟失等問題，提出一種參數自設定的雙直方圖均衡化方法。根據灰度級累積概率密度黃金比例值將原始圖像劃分為兩個獨立的子圖像。結合原始圖像曝光度和子圖像灰度級區間信息，對每個子圖像的直方圖進行多尺度自適應加權校正。基于校正后的直方圖，對每個子圖像分別作均衡化映射變換，最后合并子圖像獲得增強圖像。在紅外圖像公開數據集INFRARED100上進行的測試顯示，與亮度保持雙直方圖均衡化（Brightness Preserving Bi-Histogram Equalization，BBHE）、帶平臺限制的雙直方圖均衡化（Bi-histogram Equalization with a Plateau Limit，BHEPL）、基于曝光度的雙直方圖均衡化（Exposure based Sub-image Histogram Equalization，ESIHE）方法相比，所提方法增強的圖像具有合適的平均對比度和更大的平均信息熵，在峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、結構相似度（Structural Similarity，SSIM）、絕對平均亮度偏差（Absolute Mean Brightness Error，AMBE）指標上平均提升至少17.2%、4.0%、56.2%。實驗結果表明，所提方法對不同亮度特征的紅外圖像都有良好的適應性，可有效增強紅外圖像對象和背景之間的對比度，在噪聲抑制、亮度和細節保持等方面優于同類方法。

紅外圖像處理；對比度增強；直方圖均衡化；亮度保持；自適應加權校正

0 引言

紅外熱像技術在災情監測、人臉識別、無損探傷等各個領域廣泛應用[1-2]。物體紅外信號波動范圍很大，加上成像裝置對圖像溫度的變化敏感，所得原始紅外圖像會出現低對比度、背景高度模糊等缺陷，觀測對象的細節信息很容易隱藏在背景中難以辨別[3]。改善前景目標的對比度以及抑制背景的輻射噪聲是紅外圖像增強的重要任務。紅外圖像增強方法可分為深度學習和經典方法兩大類[4]，其中經典方法包括直方圖均衡化（Histogram Equalization，HE）[5]、Gamma校正[6]和Retinex方法[7]等。HE通過拉平整個圖像像素值分布的方式提高對比度，該方法簡單易行，非常適用于低算力圖像處理終端或視頻監控設備。為克服HE可能過度增強圖像對比度的不足，Kim等[8]提出了亮度保持雙直方圖均衡化（Brightness Preserving Bi-Histogram Equalization, BBHE）方法，通過分割原始圖像為兩個子圖像并獨立進行HE來改善增強圖像的視覺質量。受BBHE啟發，兼顧平均亮度和細節保持的三直方圖均衡化[9-10]、四直方圖均衡化[11]以及動態多直方圖均衡化[12-13]等方法陸續被提出。

雙直方圖均衡化算法應用廣泛，值得進一步深入研究[14]。在雙直方圖均衡化方法中，合理選擇子圖像分割閾值是保持圖像平均亮度的關鍵因素之一。目前大部分文獻[8-10]采用原始圖像的灰度均值作為分割閾值，該方法簡單實用，特別是當直方圖在其分割點周圍具有準對稱分布時，可以很好地維持輸出圖像的平均亮度。此外，較復雜的K-means聚類[11,14]或快速模糊聚類[13]也可用于分割閾值的優化計算。另一方面，Ooi等[15]提出了帶平臺限制的雙直方圖均衡化（Bi-histogram Equalization with A Plateau Limit，BHEPL）算法，通過直方圖裁剪（Histogram Clipping）方式，間接增加概率密度較小的灰度級像素向其它灰度級均衡映射的幾率，從而達到進一步增強圖像細節對比度的目的。不過裁剪平臺限值的合理設置是個難題，一些文獻嘗試采用群智能算法[16-17]或自適應迭代方法[18]，不過都存在計算量大、待定參數多等缺陷。

分析BHEPL算法原理不難發現，在歸一處理后，原始圖像的直方圖在平臺裁剪區域的形態變化信息事實上已被抹平，而且無論如何優化裁剪平臺限值，都無法徹底解決該問題。為此，本文從不同的研究角度出發，提出一種多尺度自校正雙直方圖均衡化方法（Multi-scale Auto-corrected Bi-histogram Equalization，MABHE）。MABHE方法中的所有參數全部源自于圖像本征信息，無需使用者設定，便于實際工程應用。主要研究工作包括：①適應紅外圖像機理特點，采用黃金比例優選法計算子圖像直方圖分割閾值，合理保持圖像平均亮度；②摒棄直方圖平臺裁剪方式，采用自適應加權校正方式將直方圖平衡延展至整個灰度級區域，充分保持原始圖像直方圖分布形態，達到保留和增強更多圖像細節的目標；③通過在公開數據集上進行的實驗測試和統計分析，驗證MABHE方法在紅外圖像增強應用中的普適性和優越性。

1 方法描述

1.1 整體方法流程

圖1為MABHE圖像增強方法的流程圖，基本步驟是：首先，依直方圖累積概率密度函數黃金比例值將原始圖像分割出兩個子圖像；其次，使用多尺度自適應冪律加權方式進行直方圖校正；再次，針對每個子圖像的像素灰度值進行獨立均衡化變換；最后，將子圖像線性合并，輸出增強圖像。與帶平臺限制的直方圖均衡化方法[9,10,15-18]的最大區別是：MABHE方法采用保形“軟”修整而不是平臺“硬”裁剪方式來增強前景目標細節，因此不僅保留了直方圖主體部分的輪廓形態，而且在非主體部分的細節信息保持方面也更有優勢。

圖1 MABHE方法流程圖

1.2 直方圖黃金比例分割

設原始圖像的直方圖為：

式中：－1是圖像灰度級動態調節范圍上界值；n是灰度級的像素數，該灰度級的概率密度函數()和累積概率密度函數()分別定義為：

式中，()∈[0,1]，()∈[0,1]，(－1)＝1。

多數紅外圖像的直方圖實際分布范圍較窄，而且直方圖在圖像灰度均值兩邊形狀在很多情況下差別較大，因此不宜將原始圖像的灰度均值作為分割閾值。為保持輸出圖像亮度合適并使兩個子圖像的灰度級區間范圍適當，本文采用累積概率密度函數()的黃金比例點作為理想分割閾值x，計算公式為：

根據閾值x將原始圖像劃分為子圖像1和2，即：

＝1∪2(5)

其中

1.3 直方圖多尺度自適應校正

在數字圖像中，曝光不足或曝光過度區域是一組灰度值接近于可用動態范圍最小值或最高值的鄰域像素，這些像素灰度值差異非常小，在圖像增強處理過程中容易導致細節丟失。為準確描述圖像的曝光程度，Singh[19]引入式(8)所示的曝光度來定量表征圖像的曝光水平：

式中：()是原始圖像的概率密度函數。曝光度的取值范圍為[0,1]。一般而言，視覺質量好的圖像的曝光度接近0.5，若某幅圖像的曝光度大于0.5，則表明過度曝光區域多于曝光不足區域，因此曝光度也可以作為子圖像分割的重要依據[19]。

根據原始圖像的曝光度，對子圖像1和2的直方圖分別用歸一化冪律函數式(9)進行自適應加權校正：

式中：

尺度系數（＝1,2,3）的取值與子圖像1和2各自的灰度級區間大小信息關聯。其中，子圖像1（＝0, 1, …,x）的尺度系數取為：

子圖像2（＝x＋1, …,－1）的尺度系數取為：

式(12)中：0≤≤0.5。根據式(13)和式(14)，不管是子圖像1還是子圖像2，都有0≤≤2，因此式(9)中的冪函數指數項滿足0≤≤1。通過分析不難得出，原始圖像中概率密度越小的灰度級加權越大，而概率密度最大的灰度級則保持不變，這樣的結果顯然對保持輸出圖像的平均亮度具有重要的支撐作用。如果式(13)和式(14)中的尺度系數統一取為1，即1＝2＝3＝1，那么式(9)就退化為只包含曝光度、與文獻[6]類似的全局單尺度加權校正公式。不過文獻[6]的冪律加權公式中的指數項為自由參數，需要使用者根據圖像特點自行確定，在實際應用中難度較大。

圖2給出了原始紅外圖像（圖2(a)）及其直方圖（圖2(b)），以及經單尺度和多尺度校正后的直方圖c（圖2(b)）。由圖2可以看出，校正直方圖c幾乎是將原直方圖以峰值為中心和固定點拉伸至整個灰度級動態調節區域，c和的整體形態特征基本相似。對比單尺度和多尺度兩種校正方式，多尺度校正在低灰度級區間的補償作用更加明顯，在高灰度級區間略有增加，而在中間灰度級區域更接近原直方圖的形狀（見圖2(b)直方圖曲線波谷處）。如前所述，大部分紅外圖像主體部分灰度級在直方圖的低暗區，增加低暗區灰度級的概率密度可以在后續處理過程中增大弱紅外特征物體的邊緣和紋理等細節的對比度，適度改變高亮區灰度級的概率密度則可以在保持圖像整體亮度的同時避免局部飽和現象，而中間灰度級區域接近原直方圖的形狀，可以比平臺裁剪類方法保留更多的原始圖像本征信息。綜上，對于紅外圖像而言，多尺度校正方式效果要優于單尺度校正方式。

圖2 紅外圖像直方圖校正結果對比

1.4 直方圖均衡化與圖像合并

直方圖自適應校正后的子圖像1和2在灰度級的概率密度函數由式(15)和(16)重新定義為：

相應的累積概率密度函數分別為：

根據式(17)和(18)確定子圖像1和2像素灰度值的均衡化變換函數：

將均衡化映射后的子圖線性組合為輸出圖像：

式中：

2 實驗與結果分析

2.1 實驗設置

驗證本文MABHE方法有效性的實驗環境是：處理器Intel i5-8300H，內存RAM 8GB，圖像處理應用軟件MATLAB R2021a。測試圖像全部來自公開的熱紅外數據集INFRARED100[3]，該數據集包含了用一臺商用非制冷長波紅外相機拍攝的100幅高分辨率紅外圖像（640pixel×480pixel）。從現有圖像增強經典方法中主要選擇但不限于雙直方圖均衡化類方法進行比較，包括：HE[5]，BBHE[8]，BHEPL[15]，AGCWD[6]，基于曝光度的雙直方圖均衡化（Exposure based sub-image histogram equalization，ESIHE）[19]方法，三直方圖均衡化（Tripartite sub-image histogram equalization，TSIHE）[9]方法，對比度受限的自適應直方圖均衡化（Contrast limited adaptive histogram equalization，CLAHE）[5]方法。關于上述方法的程序實現，HE和CLAHE采用MATLAB R2021a自帶函數histeq和adapthisteq，AGCWD和ESIHE代碼由原文獻作者開源提供，BBHE、BHEPL和TSIHE代碼根據文獻算法步驟完整復現。

2.2 主觀評價

圖3是對室內、較低亮度紅外圖像的增強處理結果。HE方法有明顯的過度增強現象；ESIHE方法圖像整體偏暗，對比度增強效果一般；從直方圖看，BBHE和AGCWD方法在灰度值極大區像素數目較多，因此圖像在電纜中部有局部飽和現象；CLAHE、BHEPL、TSIHE和MABHE方法圖像整體良好，在電纜集束部分較亮區域處，CLAHE和MABHE方法都能清晰呈現不同線路的邊緣細節。

圖3 低亮度場景1增強效果對比

圖4是室外、中等亮度紅外圖像的測試結果。由于原始圖像直方圖在灰度均值周圍具有準對稱分布，所有方法都有較好的對比度增強效果。圖4中的汽車前部、特別是右車燈附近，CLAHE、ESIHE和MABHE方法細節保留最完整，MABHE的圖像整體亮度介于CLAHE和ESIHE之間，自然程度更好。

圖5給出了室外、較高亮度紅外圖像的對比結果。CLAHE和MABHE方法的圖像視覺質量最好。BBHE、BHEPL、TSIHE方法的結果一般。HE和AGCWD方法效果相對較差，HE圖像中場館上部桁架結構已消失，AGCWD圖像平均亮度過大，甚至超過原始圖像。

2.3 客觀評價

評價原始圖像和輸出圖像的質量測量包括全參考質量指標和無參考質量指標兩類，具體是峰值信噪比（Peak signal-to-noise ratio，PSNR）、結構相似度指數（Structural similarity，SSIM）、絕對平均亮度偏差（Absolute mean brightness error，AMBE）[11]、信息熵（Information entropy，IE）和平均梯度（Mean gradient，MG）[20]。在實驗中，PSNR、SSIM和IE的計算直接調用MATLAB函數PSNR、SSIM和entropy。

絕對平均亮度偏差AMBE是一種全參考質量指標，用于測量輸出圖像相較于原始圖像的平均亮度變化，其計算公式為：

式中：in和out分別表示輸入圖像和輸出圖像；(in)和(out)分別表示輸入圖像和輸出圖像的亮度均值。AMBE的值越小，圖像的亮度保持程度越好。

平均梯度MG是一種無參考質量指標，能較好地反映圖像對比度和紋理變化[20]，一般情況下，MG值越大表示圖像清晰度越高，視覺質量越好，其計算公式為：

式中：f(i, j)表示圖像在(i, j)位置的灰度值。

圖5 高亮度場景3增強效果對比

表1給出了8種方法在INFRARED100數據集上測試結果的5項指標均值，最佳的2個數值用加粗標出。由于PSNR、SSIM、AMBE是全參考質量指標，所以表1中只給出了原始圖像的IE和MG兩項無參考指標值。表1結果顯示，MABHE方法的PSNR、SSIM和AMBE指標數值全部排在第1位，表明MABHE在噪聲抑制、結構和亮度保持方面具有非常好的效果。MABHE方法的IE指標數值雖然排名第二，但與原始圖像的信息熵差距很小，說明在圖像增強過程中圖像信息丟失最少；排位第一的CLAHE方法的IE指標數值高出原始圖像不少，可能是該方法在復雜運算過程中增加了原始圖像本不具有的信息量。另外，MABHE方法的MG指標數值與ESIHE、TSIHE等方法接近，比原始圖像MG值平均增加71.0%，說明圖像對比度增強效果合適。MG數值排名前兩位的HE和BBHE方法的輸出圖像在主觀視覺效果上呈現過度增強效果，說明其MG數值雖高但不合適。

各方法之間性能提升的量化比較方面，MABHE與雙直方圖類方法BBHE、BHEPL、ESIHE相比，在指標PSNR、SSIM、AMBE、IE上至少提升17.2%、4.0%、56.2%、0.7%。與新型三直方圖類方法TSIHE相比，MABHE在指標PSNR、SSIM、AMBE、IE上平均提升9.0%、1.1%、18.7%、0.6%。在多直方圖均衡化方法中，子圖像劃分數量越多，意味著每個子圖像直方圖動態調節區間越小，即映射到其它亮度區域的概率越低，因此在平均亮度保持上更具優勢[9-10]。MABHE方法在平均亮度指標AMBE上明顯優于TSIHE方法，從一定程度上可以反映出黃金比例閾值分割和直方圖自適應校正策略的合理性和可行性。

圖6用箱線圖可視化匯總了5項評價指標在INFRARED100數據集上不同圖像的測試結果統計量。如圖6所示，指標PSNR和AMBE的數據分布情況表明MABHE方法明顯優于所有對比算法，指標SSIM、IE和MG的數據分布顯示MABHE方法與同類方法相比總體略好或大致相同。

表2～表6給出了圖3～圖5所示分場景圖的質量評價指標，最好的兩組數據用黑體字標出。從各場景統計數據看，MABHE方法的PSNR、MBE、IE指標數值基本排在前兩位，而且信息熵IE最接近原圖。在場景1和場景2中，MABHE方法的SSIM指標值雖然沒有進入前兩位，但差距比較小。MABHE方法的MG指標值在所有方法結果中排在中間位置，從場景1到場景3，平均梯度MG比原圖分別提高124.8%、96.6%和86.5%，結合主觀評價結果可知輸出圖像對比度是合適的。綜合測試圖集整體和分場景數據證明，本文所提MABHE方法具有普適性并增強了對比度。

表1 基于INFARED100數據集的圖像質量評價指標均值

圖6 測試結果統計箱線圖

表3 分場景圖SSIM指標

表4 分場景圖AMBE指標

表5 分場景圖IE指標

表6 分場景圖MG指標

3 結論

針對紅外圖像在全局直方圖均衡化增強過程中容易飽和、細節丟失等問題，提出了一種新型雙直方圖均衡化方法。主要改進措施包括兩點：一是基于黃金比例優選的雙直方圖分割策略；二是通過參數自設定的多尺度冪律加權校正，以概率密度最大的灰度級為固定點，將直方圖拉伸至整個動態調節范圍，獲得直方圖均衡化的理想分布模型。采用公開數據集進行測試，結果表明，所提方法對不同亮度特征的紅外圖像都有良好的對比度增強效果，且在噪聲抑制、亮度和結構保持等方面，比帶平臺限制的同類多直方圖均衡化方法更好。

[1] 孔松濤, 黃鎮, 楊謹如. 紅外熱像無損檢測圖像處理研究現狀與進展[J]. 紅外技術, 2019, 41(12): 1133-1140. KONG S, HUANG Z, YANG J. Research status and development of image processing for infrared thermal image nondestructive testing[J]., 2019, 41(12): 1133-1140.

[2] ZUO J, HU X, XU L, et al. CH4gas leakage detection method for low contrast infrared images [J]., 2022, 127: 104473.

[3] HE Z, TANG S, YANG J, et al. Cascaded deep networks with multiple receptive fields for infrared image super-resolution[J]., 2019, 29(8): 2310-2322.

[4] RASHEED M T, SHI D, KHAN H. A comprehensive experiment-based review of low-light image enhancement methods and benchmarking low-light image quality assessment[J]., 2023, 204: 108821

[5] GONZALEZ R, WOODS R.[M]. 4th edition, New York: Pearson, 2018.

[6] HUANG S C, CHENG F C, CHIU Y S. Efficient contrast enhancement using adaptive Gamma correction with weighting distribution[J]., 2013, 22(3): 1032-1041.

[7] 胡家琿, 詹偉達, 桂婷婷, 等. 基于多尺度加權引導濾波的紅外圖像增強方法[J]. 紅外技術, 2022, 44(10): 1082-1088. HU J, ZHAN W, GUI T, et al. Infrared image enhancement method based on multiscale weighted guided filtering [J]., 2022, 44(10): 1082-1088.

[8] KIM Y T. Contrast enhancement using brightness preserving bi-histogram equalization[J]., 1997, 43(1): 1-8.

[9] RAHMAN H, PAUL G C. Tripartite sub-image histogram equalization for slightly low contrast gray-tone image enhancement[J]., 2023, 134: 109043.

[10] PAUL A. Adaptive tri-plateau limit tri-histogram equalization algorithm for digital image enhancement[J]., 2023, 39: 297-318.

[11] Caballero R, Pineda I, Román J, et al. Quadri-histogram equalization for infrared images using cut-off limits based on the size of each histogram [J]., 2019, 99: 257-264.

[12] Rao B S. Dynamic histogram equalization for contrast enhancement for digital images[J]., 2020, 89: 106114.

[13] 江巨浪, 劉國明, 朱柱, 等. 基于快速模糊聚類的動態多直方圖均衡化算法[J]. 電子學報, 2022, 50(1): 167-176. JIANG J, LIU G, ZHU Z, et al. Dynamic multi-histogram equalization based on fast fuzzy clustering[J]., 2022, 50(1): 167-176.

[14] 閆哲, 蔣礫, 楊帆, 等. 基于雙直方圖均衡算法的紅外圖像增強[J]. 紅外技術, 2022, 44(9): 944-950. YAN Z, JIANG L, YANG F, et al. Bi-histogram equalization algorithm for infrared image enhancement [J]., 2022, 44(9): 944-950.

[15] OOI C H, PIK K, IBRAHIM H. Bi-histogram equalization with a plateau limit for digital image enhancement [J]., 2009, 55(4): 2072-2080.

[16] Bhandari A K, Kandhway P, Maurya S. Salp Swarm algorithm-based optimally weighted histogram framework for image enhancement[J]., 2020, 69(9): 6807-6815.

[17] Kandhway P, Bhandari A K, Singh A. A novel reformed histogram equalization based medical image contrast enhancement using krill herd optimization [J]., 2020, 56: 101677.

[18] Majeed S H, Isa N A M. Iterated adaptive entropy-clip limit histogram equalization for poor contrast images[J].2020, 8: 144218-144245.

[19] Singh K, Kapoor R. Image enhancement using exposure based sub image histogram equalization [J]., 2014, 36: 10-14.

[20] 謝鳳英. 數字圖像處理及應用[M]. 第2版, 北京: 電子工業出版社, 2016. XIE F.[M]. 2nd edition Beijing: Publishing House of Electronics Industry, 2016.

Multi-scale Auto-Corrected Bi-Histogram Equalization for Infrared Image Enhancement

ZHANG Huan1，CHEN Zhisheng2

(1. School of Design Art, Changsha University of Science & Technology, Changsha 410114, China; 2. School of Electrical and Information Engineering, Changsha University of Science & Technology, Changsha 410114, China)

We proposed a parameter self-tuning bi-histogram equalization method to solve saturation and detail loss in infrared image enhancement. We decomposed an input image into two independent sub-images according to the golden ratio of the gray cumulative probability density and modified each sub-image histogram through a multi-scale adaptive weighing process with input image exposure and sub-image gray-level interval information. Subsequently, we performed the equalization of the two corrected sub-histograms independently and combined the two equalized sub-images into a single output image. A test on 100 infrared images in a public dataset-INFRARED100 showed that, compared with brightness preserving bi-histogram equalization (BBHE), bi-histogram equalization with a plateau limit (BHEPL), and exposure-based sub-image histogram equalization (ESIHE), the images enhanced by the proposed method have appropriate contrast and greater average information entropy. We increased the peak signal-to-noise ratio (PSNR), structural similarity (SSIM) index, and absolute mean brightness error (AMBE) by at least 17.2%, 4.0%, and 56.2% on average. The experiments illustrated that the proposed method is adaptable to infrared images with different brightness characteristics, effectively improving the contrast between the infrared image object and background. This method is superior to noise suppression, brightness, and detail preservation methods.

infrared image processing, contrast enhancement, histogram equalization, brightness preserving, adaptive weighting corrected

TP391

A

1001-8891(2023)11-1207-09

2023-02-06；

2023-03-31.

張桓（1976-），女，碩士，講師，主要從事數字媒體藝術設計、圖像處理方面的研究。E-mail: zhanghuan@csust.edu.cn。

陳志盛（1975-），男，博士，副教授，碩士生導師，主要從事人工智能、機器視覺方面的研究。E-mail: chenzhisheng@csust.edu.cn。

湖南省哲學社會科學基金（19YBA020）；長沙理工大學青年教師成長計劃（2019QJCZ079）。