基于改進的直方圖均衡化與邊緣保持 平滑濾波的紅外圖像增強算法

李賢陽 陽建中* 楊竣輝 陸安山

1(北部灣大學電子與信息工程學院 廣西 欽州 535011)2(欽州市電子產品檢測重點實驗室 廣西 欽州 535011)3(江西理工大學信息工程學院 江西 贛州 341000)

Difference enhancement High frequency component classification Local maximum

0 引 言

紅外成像技術是利用熱輻射差異來識別目標和背景，能較好地反映出場景中溫度場信息[1-2]。該技術具有環境適應性強、隱蔽性好、抗干擾能力強等優點，被廣泛應用于監控、偵查和醫療等軍民領域[3]。但是，由于自身硬件設備的限制和環境干擾，圖像成像質量不高，總是受到低對比度、模糊細節和背景噪聲的影響[2-3]。因此，增強紅外圖像的微弱邊緣和抑制背景噪聲是至關重要的，對于改善紅外圖像的視覺質量與后續的信息提取分析具有重要意義[4]。近年來，學者們提出了一系列的紅外圖像增強方案，這種技術不僅成本低，而且已經成為改善紅外圖像質量或增強表現的一種便捷方法，如Jaspreet等[5]為了改善紅外圖像的視覺質量，提出了一種用于紅外圖像的非訓練對比度增強技術，通過優化的溫度閾值來消除背景干擾，并通過去相關對比度拉升方法來進行顏色增強，實驗結果驗證了其算法的增強性能。這種基于對比度拉升的增強方法雖然結構簡單，但其采用了一個固定的變換函數，缺乏自適應性，易導致增強圖像的細節不清晰，且難以有效消除噪聲。為了克服這個不足，基于直方圖均衡化的增強技術得到了廣泛研究，它是通過均勻分布待增強圖像的概率密度函數來實現的，如曹美等[6]為了提高紅外圖像的低對比度與消除噪聲，提出了改進的直方圖均衡化和NSCT變換的紅外圖像增強。利用NSCT變換來獲取待增強圖像的高頻子帶系數和一個低頻子帶系數；利用自適應降噪函數與非線性增益函數來增強高頻子帶，以消除噪聲與保留邊緣信息；利用改進的直方圖均衡化機制來增強低頻分量。實驗結果表明該技術增強了圖像對比度，突出了圖像的邊緣輪廓信息。該技術通過利用視覺感知主觀偏好特性來改進直方圖均衡化的灰度映射，可以較好地提高全局對比度，但其忽略了高頻分量的特性，利用同一個增強方法來處理所有的高頻系數，導致其局部對比度增強效果較弱。Wan等[7]為了能夠同時提高紅外圖像的全局與局部對比度，提出了基于粒子群優化的局部熵加權直方圖均衡化的紅外圖像增強算法。利用基于改進的雙曲正切函數來定義一種新的局部熵加權直方圖，充分描述圖像的細節信息分布；通過閾值最大化類間方差，將直方圖分成兩部分，分別改善前景和背景的對比度；同時，為了避免過增強和噪聲放大，利用粒子群優化算法來形成雙平臺閾值直方圖；最后根據帶約束的子局部熵加權直方圖，分別實現子圖像的均衡化處理。實驗結果驗證了其算法的合理性與先進性。但是，該技術是一種空域增強方法，且其雙平臺閾值直方圖均衡化方法中的閾值是固定的，對于紅外圖像不同的區域，缺乏自適應性，會出現過渡增強現象。

為了解決上述不足，兼顧增強圖像的全局與局部對比度，并有效抑制噪聲，本文提出基于改進的直方圖均衡化與邊緣保持平滑濾波均衡化的紅外圖像增強算法。所提技術是一種空域與頻域相結合的增強方案。通過采用邊緣保持平滑濾波來分解紅外圖像，輸出一個低頻分量和一個高頻分量序列。為了最大化改善低頻和高頻分量的增強效果，本文利用不同的增強策略來處理各種成分。對于低頻分量，利用模糊統計理論來確定出最優閾值，利用優化的平臺直方圖來增強低頻分量，最大程度提高紅外圖像的全局對比度；根據高頻分量的標準差，設計三個不同的增強方法，對其相應的系數進行差異增強，獲取增強的高頻分量序列，有效擴大紅外圖像的局部對比。通過非局部均值濾波來充分抑制噪聲。最后，對所提增強方案的性能進行了驗證。

1 本文紅外圖像增強算法

基于改進的直方圖均衡化與邊緣保持平滑濾波均衡化的紅外圖像增強算法過程見圖1。依圖可知，所提增強方案主要有4個階段：(1) 基于邊緣保持平滑濾波的圖像分解；(2) 基于改進的直方圖均衡化的低頻分量增強；(3) 基于系數分類的高頻分量差異增強；(4) 基于非局部均值濾波的噪聲抑制。

圖1 本文算法的增強過程

1.1 基于邊緣保持平滑濾波的圖像分解

邊緣保持濾波[8-9]作為一種多尺度分解方法，可以較好地保持邊緣并平滑圖像、消除偽影，被廣泛應用于數字圖像處理領域。與其他經典的濾波器不同，邊緣保持濾波可以有效地平衡銳化和模糊。令初始圖像為S，通過邊緣保持濾波，尋找出盡可能與S相接近的濾波圖像I。濾波圖像I的計算函數為[9]：

(1)

依據文獻[9]可知，將式(1)進行如下轉換，可得濾波圖像I為：

I=G(S,λ)=(E+λH)-1S

(2)

根據式(2)可知，當λ取大值時，可以獲取平滑濾波圖像。因此，邊緣保持濾波可以實現多尺度圖像分解，其過程見圖2。對于給定的紅外圖像S，利用C個不同的正則化參數λi,i=1,2,…,C，基于邊緣保持濾波，可獲取C個濾波圖像Ii,i=1,2,…,C：

Ii=G(S,λi)

(3)

式中：λi+1>λi。

圖2 基于邊緣保持平滑濾波的圖像分解過程

根據式(3)得到的濾波圖像Ii，通過計算兩個相鄰Ii與Ii+1之間的差異，即可得到對應的高頻分量Hi：

Hi=Ii-Ii+1i=1,2,…,C-1

(4)

式中：I0為初始圖像。

以圖3(a)為例，設置兩個正則化參數λ=8、λ=20，利用上述過程對其完成分解，形成的低頻分量見圖3(b)，依圖可知，低頻分量包含了初始紅外圖像的絕大部分細節。經過λ=8、λ=20的平滑結果分別見圖3(c)和圖3(d)；通過式(4)計算，形成的高頻分量分別見圖3(e)、3(f)。

(a) 初始圖像 (b) 低頻分量

(c) λ=8的平滑圖像(d) λ=20的平滑圖像

(e) (a)與(c)之間 的高頻分量 (f) (a)與(d)之間 的高頻分量圖3 基于邊緣保持平滑濾波的圖像分解

1.2 基于改進的直方圖均衡化的低頻分量增強

根據圖3(b)可知，紅外圖像的全局視覺主要集中在低頻分量上。而平臺直方圖均衡化PHE(Plateau histogram equalization)方法[10]作為傳統直方圖均衡化HE(histogram equalization)的改進版，它通過一個平臺閾值來抑制背景增強，可以有效增強全局對比度。對于灰度等級為L的紅外圖像，其概率密度函數P(k)為[10]：

(5)

式中：k是第k個灰度等級；Nk代表圖像中灰度等級為k的像素數量；N代表圖像中總的像素數量。

在PHE方法中，其對應的概率密度函數為[10]：

(6)

根據式(6)可知，當P(k)≥T時，PHE方法中的P(k)主要是根據閾值T來設定；反之，則P(k)保持不變，始終等于閾值T。

基于式(6)，低頻分量經過PHE處理后，輸出結果為：

(7)

式中：DT(k)是增強后的第k個灰度等級；flood()代表向下取整運。

可見，在PHE方法中，閾值T對提高增強質量是非常重要的。但是，傳統的PHE采用了一個固定的閾值，缺乏自適應性。為了能夠根據不同的紅外圖像來選擇不同的閾值T，本文利用模糊統計理論[11]對其改進。選擇閾值T的關鍵因素就是找到圖像直方圖中的局部最大值[12]。然而，傳統的直方圖方法會產生銳化直方圖，使其難以找到真實的局部最大值。而紅外圖像強度等級的不確定性可以用模糊統計來處理[13]。這種方法產生較為平滑的直方圖，從而可以很容易確定這個局部最大值。以圖3(a)為例，其對應的直方圖見圖4(a)，通過模糊統計處理的平滑直方圖見圖4(b)。依圖可知，圖4(b)比圖4(a)更加平滑。

(a) 初始直方圖 (b) 均衡化直方圖圖4 基于模糊統計優化后的均衡化直方圖

在傳統的直方圖中，其p(k)反映了灰度等級k的頻率；經過模糊統計優化后的p(k)則是表示灰度等級k周圍的強度水平出現的頻率。令B′(x,y)代表灰度值B(x,y)的模糊數量，則利用模糊隸屬函數對B′(x,y)進行模糊化。依據文獻[13]可知，經過模糊統計優化的直方圖為：

(8)

(9)

隨后，根據式(8)計算得到的模糊直方圖后，求取其一階偏導：

(10)

式中：p(k)是模糊直方圖P′(k)的一階偏導。

則其相應的局部最大值kt可由如下函數計算：

kt=k?{p(k)>0,p(k+1)<0}k=1,2,…,255

(11)

再利用中值濾波處理這些最大值對應的直方圖上，從而得到最優平臺閾值T：

T=M{P′(i1),P′(i2),…,P′(iS)}

(12)

式中：S為局部最大值的數量。

最后，根據式(5)-式(7)，聯合優化的平臺閾值T，對低頻分量L完成增強：

LE=D(L)

(13)

式中：LE為增強低頻分量；F(L)是模糊平臺直方圖均衡化。

1.3 基于系數分類的高頻分量差異增強

高頻分量中的大量系數與強邊緣、中邊緣、弱邊緣對應[14]。也就是說通過改變高頻分量的系數，即可增強邊緣，完成局部對比度增強。首先，根據高頻分量的標準差，將高頻分量序列分類為三種邊緣：

(14)

式中：Hk(i)代表第k個高頻分量在位置i的系數；SEC是強邊緣；MEC代表中邊緣；WEC為弱邊緣；σ為高頻分量Hk的標準偏差；c為常量，本文取c=1。

隨后，根據這三類邊緣，設計3個增強策略，通過改變其系數Hk(i)，對這些高頻分量實現差異增強：

(15)

式中：p為常量，通過多次測試，取p=0.9。

最后，將增強的低頻分量LE與高頻分量HE(i)(i=1,2,…,C-1)實施組合，輸出增強圖像：

IE=LE+HE(1)+HE(2)+…+HE(C)

(16)

以圖3(b)、(e)、(f)為對象，利用上述處理過程，得到的低頻增強結果見圖5(a)，可見，紅外圖像的全局對比度明顯提升；增強的高頻分量見圖5(b)、5(c)。可發現，紅外目標的局部對比度明顯改善。最終形成的增強圖像見圖5(d)。

(a) 增強的低頻分量(b) 第一個高頻的增強結果

(c) 第二個高頻分量的增強結果(d) 輸出的增強圖像圖5 圖像的增強結果

1.4 基于非局部均值濾波的噪聲抑制

由于紅外圖像中通常含有噪聲干擾，因此，為了在增強圖像的同時也可以有效抑制噪聲，本文引入非局部均值濾波來實現[15]。非局部均值濾波[15]不僅可以強有力地消除噪聲，而且還能保持圖像邊緣。令z(i)是原始圖像中的位于i位置的像素，則其非局部均值濾波結果為Q(i)：

(17)

式中：Ω為圖像域；w(i,j)代表兩個相鄰像素之間的權重值：

(18)

(19)

以圖5(d)為對象，利用上述過程，對其完成噪聲抑制處理，結果見圖6。增強結果中噪聲被有效消除，視覺更加自然。

圖6 噪聲抑制結果

2 實驗結果與分析

為了反映本文算法的增強視覺質量，借助Matlab軟件對其完成驗證，另外，為了突出該算法的優勢，將經典的直方圖均衡化方法、文獻[6]和文獻[7]作為對照組。考慮一般性，從MORRIS圖像庫[16]中選擇3幅圖像作為測量目標；實驗條件為：DELL電腦, 3.5 GHz，雙核CPU，500 GB硬盤與8 GB內存。實驗參數設置為：濾波圖像數量C=2、正則化參數λ1=0.03以及λ2=0.1、c=1、p=0.9、權重αx=αy=0.8。

2.1 紅外圖像增強效果

以圖7(a)、圖8(a)、圖9(a)為對象，基于所提算法、經典的直方圖均衡化HE(histogram equalization)方法、文獻[6]和文獻[7]的方案對三種完成增強處理，結果如圖7-圖9所示。從圖7可發現，初始紅外圖像的整體對比度較低，建筑物較為模糊，經過4種方案增強后，其對比度與細節清晰度均有所提高，然而，本文方案的增強效果最好，全局與局部對比度最高，細節更加清晰度，更好地保持了建筑物的邊緣與細節，無過渡增強現象，見圖7(e)。而經典的HE方法雖然改善了視覺質量，但是存在過度增強，見圖7(b)；文獻[6]雖然改善了紅外圖像的全局對比度，但是局部對比度較低，建筑物的清晰度不理想，細節與邊緣有所丟失，整體視覺質量不自然，見圖7(c)。文獻[7]的整體增強效果較好，但是局部細節的清晰度有待提升，見圖7(d)。在圖8中，所提算法的視覺效果非常自然，兼顧了全局與局部對比度的平衡，見圖8(e)；而經典的HE方法中存在局部過渡增強，見圖8(b)；文獻[6]的增強結果的局部對比度較弱，細節清晰度不佳，見圖8(c)；文獻[7]的整體視覺較好，但局部增強效果有待進一步提高，要略低于所提算法，見圖8(d)中的方框。圖9是高斯噪聲干擾下的低質量紅外圖像增強效果。從圖中可發現，對于含有噪聲的紅外圖像，經典的HE方法不僅會出現局部過度增強，而且輸出結果中仍在背景噪聲，見圖9(b)；文獻[6]的增強效果要優于HE方法，但其局部對比度不理想，丟失了部分細節信息，見圖9(c)；文獻[7]的增強結果中的局部細節有待進一步增強，見圖9(d)；而本文方案的增強視覺質量很好地兼顧了全局與局部對比度，細節清晰可見，而且有效消除了噪聲，見圖9(e)。原因是本文算法采用了邊緣保持平滑濾波來分解紅外圖像，使得低頻與高頻分量更好地保持邊緣，并得到了較好的平滑效果，且采用模糊統計理論來獲取平滑直方圖，根據其確定出局部最大值來改進平臺直方圖，以此完成低頻分量，使其自適應較強，可以根據不同特性的紅外圖像確定合適的閾值，提高了全局對比度。另外，基于高頻分量的標準差，設計三個不同的增強方法，對高頻分量的三類系數進行差異增強，顯著提高了局部對比度，從而保留了大量的細節。并且采用了非局部均值濾波來消除圖像中的噪聲，從而使其整體增強效果最佳。而經典的HE方法是對所有的像素進行相同程度增強，容易出現局部過渡增強現象。文獻[6]算法則忽略了高頻分量的特性，利用同一個增強方法來處理所有的高頻系數，導致其局部對比度增強效果較弱。文獻[7]采用的雙平臺閾值直方圖均衡化方法中的閾值是固定的，無法根據紅外圖像特性來選擇出較優的閾值，使其增效效果要略低于所提算法。

(a) 初始紅外圖像 (b) HE增強結果

(c) 文獻[6]的增強結果(d) 文獻[7]的增強結果

(e) 所提算法的增強結果圖7 海上建筑紅外圖像的增強結果

(a) 初始紅外圖像 (b) HE增強結果

(c) 文獻[6]的增強結果(d) 文獻[7]的增強結果

(e) 所提算法的增強結果圖8 城市紅外圖像的增強結果

(a) 初始紅外圖像 (b) HE增強結果

(c) 文獻[6]的增強結果(d) 文獻[7]的增強結果

(e) 所提算法的增強結果圖9 噪聲干擾下的紅外圖像的增強結果

2.2 增強效果的客觀評價

為了客觀量化這些增強結果的差異，本文引入模糊線性指數[17]、熵值[18]、標準差[19]來評估。模糊線性指數γ反映紅外圖像中有效信息量與對比度大小的指標，其值越小，表明增強質量越高，所增強圖像的有用信息更多，對比度更高，所含的背景信息更少，其函數為[17]：

(20)

式中：fij代表像素(i,j)的灰度值；fmax是圖像f的最大灰度值；M×N為圖像f的尺寸。

熵值[18]能客觀反映出增強紅外圖像的細節，熵值越大，則表明增強圖像含有更多的細節，其函數為：

(21)

式中：p(mi,j)是像素灰度為mi,j出現的概率；M、N分別是圖像的高與寬。

另外，標準差主要是反映紅外圖像對比度的有效指標，其值越大，說明增強圖像的對比度越高，其函數為[19]：

(22)

表1顯示了所提增強方案與其他三種方案對圖7(a)、圖8(a)、圖9(a)的增強圖像所對應的模糊線性指數γ、熵值H與標準差δ。由表可知，所提算法的增強圖像對應的H、δ值均要大于文獻[6]與文獻[7]技術，而模糊線性指數γ均低于其他三種技術，但是，其δ值要低于經典的HE方法。對于圖7(a)，所提算法的增強圖像對應的H、δ分別為6.82、5.39，而γ值最低，為0.231。經典的HE方法雖然H值要低于所提方案，但由于其存在過渡增強，使其δ值要大于本文方案，分別為4.91、5.60、0.279。文獻[6]的H、δ與γ值分別為5. 69、4.66、0.262。文獻[7]的H、δ與γ值分別為6.34、4.87、0.255。尤其是在噪聲干擾下，所提算法的優勢更大，經典的HE方法的增強圖像丟失了大量細節，其H值僅有4.26，而模糊線性指數γ達到0.293。而本文算法的H、δ與γ值保持較為穩定，分別為7.08、5.69、0.194。文獻[7]的H、δ值也要遠低于所提技術，分別為6. 41、5.05，對應的γ值也要高于所提技術，為0.220。

表1 不同算法的增強圖像對應的模糊線性指數、熵值與標準差測試結果

3 結 語

為了提高紅外圖像的增強視覺質量，本文提出了基于改進的直方圖均衡化與邊緣保持平滑濾波的紅外圖像增強算法。利用邊緣保持平滑濾波來分解紅外圖像，輸出低頻分量與高頻成分序列。利用模糊隸屬函數來改進平臺直方圖，根據其強度等級特性，確定出合適的閾值，提高了其適應性，以此對低頻分量完成增強，從而改善了其全局對比度；根據高頻分量序列的不同特性，設計了3個增強策略，對這些高頻分量實施差異增強，以提高局部對比度，保留豐富的細節。為了消除噪聲與保持邊緣信息，引入非局部均值濾波對增強結果完成降噪處理。實驗結果顯示所提方法在主觀視覺質量和客觀評價方面均獲得理想的結果。