一種基于Sobel梯度的直方圖均衡算法及其在紅外圖像上的應用

萬 昕，劉 坤，崔昌浩

一種基于Sobel梯度的直方圖均衡算法及其在紅外圖像上的應用

萬 昕1，劉 坤2，崔昌浩2

（1．武漢市第三醫院放射科，湖北 武漢 430000；2．武漢高德智感科技有限公司，湖北 武漢 430000）

為了能在動態范圍壓縮的同時增強紅外圖像的對比度，提出了一種基于Sobel梯度直方圖均衡算法（gradient histogram equalization，GHE）。與以往的直方圖均衡化（histogram equalization，HE）方法不同，該方法自適應地為圖像強梯度的灰階分配高對比度，保留并增強16bit圖像中更多的細節。隨后使用雙Gamma映射對映射曲線進行調整，有效地抑制圖像亮部的過曝現象，同時提高暗部的細節。該方法相比于傳統的直方圖均衡化算法在暗區細節處理、過曝抑制、對比度增強等方面都有較好的效果。

紅外圖像；梯度直方圖均衡化；雙Gamma映射

0 引言

紅外圖像處理技術廣泛應用于軍事、醫療、防災等領域。其主要應用是提高紅外成像設備的成像質量，處理現有的紅外圖像。紅外圖像的成像特征來自目標的能量輻射，其特點是能量不均勻，分辨率對比度較低，亮度分布不均[1]。因此，紅外圖像對比度增強的方法在實際應用中具有重要意義[2]。

圖像的對比度增強是圖像信號處理中流行的一個研究方向。其主要目的是擴大圖像對比度，提高圖像的視覺效果，反映一些隱藏在圖像中的細節[3]。目前常見的對比度增強方法是針對可見光圖像進行增強，大致分為兩類：①直接增強輸入圖像[4]。②通過間接的方法增強輸入圖像[5]。通常直接增強很容易對噪聲進行過度的增強。間接增強法則利用輸入灰度直方圖的統計量，對灰度直方圖進行處理，最后通過處理后的直方圖建立輸入圖像的灰度與輸出圖像的灰度之間的映射關系，以增強圖像的對比度。

基于直方圖均衡化的圖像對比度增強方法，在可見光圖像處理領域得到了廣泛的應用，在紅外圖像對比度增強領域也具有較好的效果。對于給定的圖像，該方法使用圖像的累積分布函數來擴展圖像的動態范圍，以提高圖像的對比度[6]。然而不同灰度的增強程度與其直方圖的分布有關，因此直方圖均衡化的方法容易產生灰度平均位移的問題，導致圖像目標或噪聲被嚴重衰減或者過度增強[7]。多位學者對基于直方圖均衡化的方法進行了研究。Hum Y. C.等人使用全局加局部的對比度增強算法，增強圖像的低對比度區域，抑制高對比度區域[8]。J. Bae等人先根據對數域的直方圖將圖像分成類，然后每一個類使用不同的log域映射算法[9]。Weitao Deng等人通過遞歸將圖像的直方圖分成多個子直方圖，通過特定的方式加權平均得到均分分布的直方圖，最后根據原始的累計直方圖將兩種直方圖加權得到最終用于直方圖均衡的直方圖[10]。T. Arici等人提出多種直方圖修改方案，根據其特征提出了一種新的基于局部對比度的直方圖統計方法，在小計算量下達到較好的效果[11]。

本文提出一種基于Sobel梯度的直方圖均衡算法，可以獲得更好的圖像增強效果，同時通過雙Gamma映射調整映射曲線，可有效避免梯度過大導致的亮區過曝、暗區欠曝的現象。

1 提出的算法

1.1 直方圖均衡化

紅外探測器的輸出數據一般為16bit的高動態范圍圖像，通過對16bit圖像進行直方圖均衡化，可以得到8bit的灰度圖像，同時實現了對紅外圖像的動態范圍壓縮和增強[12]。假設紅外探測器輸出的某一幀16 bit圖像共有(1≤≤216)個灰度等級，則圖像的直方圖可定義如下：

hist()＝()，min≤≤max(1)

式中：()表示灰階為的像素點在全圖出現的次數；min為全圖最小灰階；max為全圖最大灰階。圖像直方圖描述了所有灰度級在全圖范圍內的分布情況，直方圖均衡化的核心思想是通過一種特定的映射關系將原圖直方圖分布中較為集中的像素映射成均勻分布[13]。

將直方圖正則化后，可得到圖像的離散概率密度函數，定義如下：

式中：()表示灰階為的像素點在全圖出現的概率；為全圖像素總個數。由此，直方圖均衡化過程可描述如下：

在青海省東南部有一個黃南藏族自治州，這個州地處黃河九曲第一彎，東南方向與甘肅省夏河縣、瑪曲縣、碌曲縣和本省瑪沁縣為鄰，西北方向與本省貴德縣、同德縣和海東市的化隆、循化縣接壤。面積達到17,921km2。小麥、青稞、豌豆、玉米、洋芋、油菜籽、胡麻是黃南州的主要農作物品種。主要農作物有小麥、青稞、油菜、蠶豆等。養殖的牦牛、藏綿羊、山羊是主要畜種。

￠＝() (3)

式中：￠表示直方圖均衡化后的離散概率密度函數，為均勻分布，即所有灰階出現的概率相同。通過求解上式，可得到映射關系為累計分布函數，可定義如下：

式中：()?[0,1]，將其乘以8bit最大灰度值255后即可得到16bit圖像到8bit圖像的映射關系。對于16bit圖像上某一個灰度值為的像素，映射后其在8bit圖像上的對比度可描述如下：

從上式可以看出，某一個灰階在8bit圖像的亮度及對比度與其在16bit上出現的概率有關。其出現概率越高，映射后與相鄰灰度級所占用的8bit動態范圍越大，表現為圖像的對比度越大。當某個范圍內的灰階在全圖所占比例很大時，映射后會占用8bit圖像很大的動態范圍，從而壓縮其余部分所能占用的動態范圍。但占比很大的像素并不一定會存在很多細節，從而導致占比少、細節多的部分圖像細節被嚴重壓縮。因此本文提出一種基于Sobel梯度的直方圖均衡算法，可以自適應地為圖像強梯度的灰階分配高對比度，能有效地保留并增強原圖的細節。針對梯度累計過大導致的梯度直方圖峰值過高，從而出現的對比度分配過度現象，使用一種雙Gamma映射對最終的映射曲線進行調整，可有效地抑制圖像亮部的過曝現象，同時提高暗部的細節。

1.2 梯度直方圖均衡化

對于輸入的16bit圖像srcImage，首先計算其Sobel梯度圖像gradImage，梯度圖像中每一個點計算公式如下：

式中：(,)為圖像坐標，對梯度圖像進行歸一化：

式中：max(gradImage)為梯度圖像最大值。

紅外圖像在經過非均勻性校正后依然會存在一定程度的非均勻性噪聲，特別是在局部動態范圍很低的背景上表現的尤為明顯。非均勻性噪聲往往會產生很小的梯度值，但當噪聲數量較多時，對小梯度進行累計，依然會在梯度直方圖上產生較高的bin值，因此需要在梯度統計時進行篩選，避免為非均勻性噪聲產生較高的bin值。本文通過設置固定的閾值gradTh對梯度進行篩選，將小于gradTh的梯度值賦值為0，防止后續統計直方圖時對其進行累計。

在計算梯度圖像后，需要計算輸入圖像的梯度直方圖，計算過程與正常直方圖統計類似，只是將灰度級出現的個數累計更改為對應位置的梯度累計，16bit圖像中某個灰度級的梯度直方圖bin值histGrad()計算公式如下：

式中：、分別為圖像高和寬；表示16bit圖像中出現的灰度級，min≤≤max。當srcImage(,)＝時，(,,)＝1，否則(,,)＝0。對梯度直方圖累計，得到其累計直方圖，計算公式如下：

對累計直方圖歸一化即可得到最終的映射曲線：

式中：min≤≤max，max(histCum)表示累計直方圖最大值，即histCum(max)。同理，將其乘以8bit最大灰度值255后即可得到16bit圖像到8bit圖像的映射關系。

將普通直方圖和梯度直方圖均歸一化后，在某一場景下對比如圖1所示，其中(a)為原始圖像歸一化到0～1后直接顯示，(b)為該圖像的直方圖和梯度直方圖。(b)中紅色虛線框區域表示天空所處灰度級范圍，綠色虛線框區域表示樹木所處灰度級范圍。在原圖中，由于天空和樹木占比很大，所以直方圖中在天空所處的灰度級和樹木所處的灰度級范圍產生了很高的bin（指直方圖中橫坐標的某一個范圍，其高度代表圖像灰階中處于該范圍的像素點個數，本文中橫坐標范圍固定為1個灰階），其余部分的bin很低。而在梯度直方圖中，由于天空部分沒有很高的梯度值，所以bin被拉低，而樹木存在較強的梯度值高bin得到了保留，圖像中建筑等其余部分由于存在很高的梯度，bin得到了拉伸。

圖1 直方圖與梯度直方圖對比

1.3 雙Gamma映射

紅外圖像的觀察者通常更加關注溫度明顯異于環境溫度的目標，如導彈尾焰、獵物、房屋漏水處等，這些目標在16bit數據中的灰階分布一般都處于全圖灰階的最大值或最小值附近，即對應為圖像的亮區和暗區。梯度直方圖在進行梯度累計時，直方圖bin的高度不僅與梯度值相關，還與bin對應的灰度級在圖像中的個數有關。圖像背景一般會占到圖像絕大部分，導致背景灰度等級對應的bin會產生較大的值，從而導致映射后背景會占用很大的8bit動態范圍。而在圖像的亮區和暗區即使存在很大的梯度，由于像素個數較少，其梯度直方圖的bin依然不會很高，且8bit動態范圍被背景占用了很大一部分，導致映射后的圖像亮區和暗區可以使用的動態范圍很小，從而出現亮區過曝、暗區欠曝的現象。如圖2所示，場景中人物頭部基本都發生了過曝。

圖2 室內梯度直方圖效果

針對上述問題，本文引入一種雙Gamma映射曲線[14]對最終得到的map進行二次映射。修正后的映射曲線可計算如下：

式中：gamma為手動設置的值，可根據場景手動調整，不同gamma值下的反S型曲線如圖3所示。當gamma＝1時，相當于對原始曲線不做映射。隨著gamma值的增大曲線兩端的斜率會增加，曲線中部的斜率會降低，意味著圖像亮區和暗區的對比度被拉伸，圖像灰度級中間區域對比度被壓縮。

2 實驗與結果分析

為驗證本文提出算法的有效性，在非制冷1280×1024分辨率探測器和制冷640×512分辨率探測器采集的raw數據上進行了仿真驗證。其中非制冷1280×1024分辨率探測器的raw數據在進行動態范圍壓縮前進行了非均勻性校正和去橫豎紋處理，制冷640×512分辨率探測器的raw數據進行了非均勻性校正和去噪處理。

2.1 梯度直方圖均衡化效果分析

如圖4所示，對比了室外場景下直方圖均衡化和梯度直方圖均衡化的效果，以及兩種算法獲得的映射曲線。圖(a)為直方圖均衡化效果，圖(b)為梯度直方圖均衡化效果，圖(c)為兩種算法獲得的映射曲線。其中圖(c)中紅色虛線框表示直方圖均衡化映射曲線對應圖像中紅色區域天空部分，綠色虛線框表示直方圖均衡化映射曲線對應圖像中綠色區域建筑部分。可以看到在該場景中，由于天空占比比較大，因此原本在16bit圖像中動態范圍很小的天空部分，在經過直方圖均衡化算法后，在8bit圖像中占用了很大的動態范圍內。從而導致天空部分對比度被過度拉伸，增強了天空部分的噪聲。另一方面，由于天空部分占用了很多動態范圍，原本在16bit圖像中動態范圍很大的建筑部分可以被分配的動態范圍變得很少，導致建筑部分對比度很低，部分細節無法被凸顯。由于梯度直方圖根據像素梯度進行8bit圖像動態范圍的分配，天空部分梯度值很小，從而在8bit圖像中被分配了很少的動態范圍，抑制了噪聲；建筑部分梯度值大，從而在8bit圖像中被分配了很大的動態范圍，凸顯了建筑細節。

為量化分析對比度的分配情況，本文定義對比度計算公式如下：

式中：d表示圖像中任意相鄰兩點的灰度差，本文計算時取四領域，即只計算水平方向和垂直方向相鄰的像素；Pd表示灰度差為d在整個統計過程中出現的概率。如表1所示，計算了圖4中紅色框區域天空部分和綠色框區域建筑部分的局部對比度以及全圖對比度。可以看出梯度直方圖均衡化將非顯著性區域的天空部分對比度從原有的3.74壓制到了0.19，而為顯著性區域的建筑部分分配了更高的對比度，從之前的54.33提升到了123.96，同時全圖的對比度也有明顯增強。

表1 兩種算法對比度對比

2.2 噪聲抑制效果分析

如圖5所示，對比了室內某一場景下的不進行噪聲抑制和增加噪聲抑制的效果及映射曲線，其中閾值gradTh＝0.05。圖(a)為直方圖均衡化效果，圖(b)為梯度直方圖均衡化效果，圖(c)為噪聲抑制的梯度直方圖均衡化效果，圖(d)為3種算法獲得的映射曲線。其中圖(d)中紅色虛線框表示直方圖均衡化映射曲線對應圖像中背景區域。可以看到在該場景下，原本的直方圖均衡化和梯度直方圖均衡化均會放大背景的噪聲。其主要原因為背景噪聲的梯度值雖然很小，但數量很多，經過累計后背景所在的灰度級依然會在直方圖均衡上產生很高的bin，導致其在8bit圖像中占用很大的動態范圍，從而增強噪聲。但增加閾值限制后，背景所在灰度級梯度值不會被累計，從而避免該問題，同時增強目標的對比度。但同時與背景噪聲灰度級接近的細節也會被抑制，需要根據場景適當調整該參數，圖中gradTh＝0.05。

2.3 雙Gamma映射效果分析

如圖6和圖7所示，分別對比了室外和室內場景下的不進行雙Gamma映射和增加雙Gamma映射的效果及映射曲線，其中gamma＝2.2。圖(a)為直方圖均衡化效果，圖(b)為梯度直方圖均衡化效果，圖(c)為雙Gamma映射的梯度直方圖均衡化效果，圖(d)為3種算法獲得的映射曲線。圖6中(a)～(c)紅色框選區域與(d)紅色虛線框選的直方圖均衡化映射曲線相對應。可以看到在該場景下，直方圖均衡化和梯度直方圖均衡化均在紅色框選區域內產生了很嚴重的過曝，主要由于原圖中的樹木和遠處建筑所處灰度等級占全圖像素的絕大部分，且該部分灰階也具備一定的梯度值，進行梯度累計后產生很高的bin，導致直方圖均衡和梯度直方圖均衡都會為該部分在8bit圖像上分配很大的動態范圍，從而壓縮了其他部分可用的動態范圍，導致反射太陽的樓體出現過曝，看不到窗戶的細節。增加雙Gamma映射后，16bit圖像動態范圍的中間部分映射后的動態范圍被壓縮，過曝區域映射后的動態范圍被拉伸，使得窗戶的細節被保留。

同樣的，圖7中(a)～(c)紅色框選區域與(d)紅色虛線框選的雙Gamma映射的梯度直方圖均衡化映射曲線相對應。該場景下直方圖均衡化和梯度直方圖均衡化效果，人物頭部都發生了過曝，細節損失嚴重，增加雙Gamma映射后，人物頭部的映射曲線會更加陡峭，意味著分配了更高的對比度，從而使得人物頭部細節凸顯。

圖6 室外雙Gamma映射效果對比

圖7 室內雙Gamma映射效果對比

3 結語

本文提出一種基于Sobel梯度的直方圖均衡化算法，可以根據全圖的梯度分布情況，自適應地為強梯度的灰階分配高對比度。同時使用一種雙Gamma映射對最終的映射曲線進行調整，使得紅外圖像動態范圍壓縮過程中，不會出現明顯的過曝和欠曝現象，能更好地保留亮區和暗區的細節。

但本文提出的算法仍有一定的局限性。算法在自適應為強梯度的灰階分配高對比度的同時，不可避免會導致圖像弱紋理的對比度被壓縮，從而導致一定的細節丟失。另外，在低動態范圍場景，動態范圍壓縮的過程逆轉為動態范圍增強，使用本文算法較容易出現圖像失真現象。

在后續的研究中，可以嘗試將圖像的梯度信息和其他信息（場景動態范圍、局部空間熵等）進行融合，從多個維度考慮對比度的自適應分配問題，避免出現圖像失真。同時，也可以考慮結合局部對比度增強的方法，避免弱紋理被壓縮的問題。

[1] LIU C, SUI X, KUANG X, et al. Optimized contrast enhancement for infrared images based on global and local histogram specification[J]., 2019, 11(7): 849.

[2] 李凌杰, 陳菲菲. 基于改進直方圖的紅外圖像增強方法[J]. 航空兵器, 2022, 29(2):101-105.

LI Lingjie, CHEN Feifei. Infrared image enhancement method based on improved histogram[J]., 2022, 29(2): 101-105.

[3] CHEN X, LV L. A compositive contrast enhancement algorithm of IR image[C]//, 2013, DOI:10.1109/ITA.2013.20

[4] LIU N, CHEN X. Infrared image detail enhancement approach based on improved joint bilateral filter[J]., 2016, 77: 405-413.

[5] HUANG Z, ZHANG T, LI Q, et al. Adaptive gamma correction based on cumulative histogram for enhancing near-infrared images[J]., 2016, 79: 205-215.

[6] JUNG C, LU W. Tone-preserving contrast enhancement in images using rational tone mapping and constrained optimization[C/OL]. 2016, https://ieeexplore. ieee.org/document/7805525.

[7] LI S, JIN W, LI L, et al. An improved contrast enhancement algorithm for infrared images based on adaptive double plateaus histogram equalization[J]., 2018, 90: 164-174.

[8] Hum Y C, Tee Y K, W.-S. Y, et al. A contrast enhancement framework under uncontrolled environments based on just noticeable difference[J]., 2022, 103: 116657

[9] Bae J, Kim K, Yun Y J, et al. Adaptive tone-mapping operator for HDR images based on image statistics[C]//, 2011, DOI:10.1109/TENCON.2011.6129047

[10] DENG Weitao, LIU Lei, CHEN Huateng, et al. Infrared image contrast enhancement using adaptive histogram correction framework[J]., 2022, 271: 170114.

[11] Arici T, Dikbas S, Altunbasak Y. A histogram modification framework and its application for image contrast enhancement[J]., 2009, 18(9): 1921-1935.

[12] Ok J , Lee C. HDR tone mapping algorithm based on difference compression with adaptive reference values[J]., 2016, 43: 61-76.

[13] Arici T, Dikbas S, Altunbasak Y. A histogram modification framework and its application for image contrast enhancement[J]., 2009, 18(9): 1921-1935.

[14] Lee S. An efficient content-based image enhancement in the compressed domain using Retinex theory[J]., 2007, 17(2): 199-213.

Histogram Equalization Algorithm Based on Sobel Gradient and Its Application on Infrared Images

WAN Xin1，LIU Kun2，CUI Changhao2

(1.,,430000,;2.,430000,)

A Sobel gradient histogram equalization(GHE) algorithm is proposed to enhance the contrast of infrared images during dynamic range compression. In contrast to previous histogram equalization(HE) methods, this method adaptively assigns a high contrast to the strongly graded parts of the image, preserving and enhancing more details in the 16-bit image. Dual Gamma mapping is then used to adjust the mapping curve to effectively suppress overexposure in the bright parts of the image while improving the detail in the shadows. Compared with the traditional histogram equalization algorithm, this method has better effects on dark area detail processing, overexposure suppression, and contrast enhancement.

infrared image, gradient histogram equalization, dual Gamma mapping

TN911.73

A

1001-8891(2024)04-0452-08

2023-04-09；

2024-04-08.

萬昕（1993-），男，湖北廣水人，碩士，主管技師，主要從事圖像算法的研究。

劉坤（1992-），男，湖北武漢人，碩士，算法工程師，主要從事圖像算法的研究。E-mail: 271581673@qq.com。