王利娟,常 霞,任 旺
(1.北方民族大學寧夏智能信息與大數據處理重點實驗室,寧夏 銀川 750021;2.北方民族大學數學與信息科學學院,寧夏 銀川 750021;3.北方民族大學算機科學與工程學院,寧夏 銀川 750021)
高質量的彩色數字圖像對于描述圖像信息內容具有重要價值。在不良的捕獲環境下,會捕獲到一些低對比度、色偏嚴重的低質量圖像。利用增強算法改善圖像質量成為重中之重。圖像增強技術在獲取視覺情報信息、目標追蹤和航空航天遙感等領域具有重要的價值。
直方圖均衡化算法[1]是眾所周知的傳統空域類圖像增強方法。HE算法一方面旨在輸出圖像的直方圖呈現均勻的分布,另一方面旨在輸出圖像的亮度保持。近年來,對于HE算法提出了大量的改進算法。算法基于均衡化思想可以被劃分為全局直方圖均衡與局部直方圖均衡兩大類。基于全局類算法是通過加法減法等變換算法對圖像灰度值直接調整。Lin等人[2]提出的平均加權直方圖均衡化算法(AvHeq)很好的保持了圖像的亮度信息,但是AvHeq算法并未考慮圖像的色彩信息。基于局部類算法則利用圖像局部均值、方差、梯度等信息進行局它的原始直方圖呈現兩端趨勢,灰度級大多占部區域增強,并以單個像素的鄰域灰度分布信息設計映射函數,使得鄰域不斷的逐像素平移。Ganesan等人[3]提出利用子塊完全重疊來增強人像面部的細節內容,算法有效地減少了局部光照的不良影響,但算法中“塊效應”影響難以消除。Minjie等人通過局部加權平滑算法和局部最小值算法將直方圖自適應地分割成背景和目標兩個區域的直方圖[4],算法有效地避免了過增強現象,但該算法計算量大且無法平衡輸入圖像和輸出圖像之間的亮度信息。Zou等人[5]提出一種增強圖像亮度的同時,校正圖像顏色信息的白平衡算法;以及徐義春等人[6]提出了保持色調不變的圖像增強算法,算法在圖像的紋理細節恢復方面均未取得滿意的效果。Veluchamy等人[7]基于修正直方圖分布函數的均衡化思想提出利用伽馬函數來修正累積分布函數,史學超等人基于直方圖剪切的思想提出改進限制對比度自適應直方圖均衡化算法(CLAHE)[8],算法有效地避免了偽像的產生。但無論是修正函數或剪切函數的選擇都極其復雜。其它包括結合其它算法的直方圖算法,高古學等人提出了CLAHE與帶色彩恢復因子的多尺度Retinex的圖像增強算法[9],但輸出結果中依然存在局部信息丟失現象。
上述圖像增強方法[2-9]在提高圖像對比度的同時,往往會造成顏色信息的丟失。為改善圖像清晰度的同時且能大幅度的提高圖像的色彩信息。論文提出一種基于加權直方圖均衡化算法。算法利用灰度級的分布特點構造新的均衡化映射函數,為減少傳統HE算法中第一次均衡之后出現的灰度級合并造成的部分細節信息丟失問題,利用不同的映射函數對直方圖進行二次映射。通過顏色幅度飽和度信息的拉伸,彌補亮度通道均衡化之后出現的去飽和和色彩損失現象。
輸入RGB格式的彩色圖像。圖像可以被表示為
I(u,v)={R(u,v),G(u,v),B(u,v)}
(1)
其中(u,v)表示像素的位置坐標,并且滿足u=1,…,U,v=1,…,V。(U,V)是圖像的寬度和高度。對于對比度低、有色偏的彩色降質圖像,據中間區域。顏色幅度拉伸通常被用作一種預處理技術,可以恢復因不良環境而丟失的部分信息。將R,G和B三個通道信息盡可能的拉伸到最大范圍。拉伸公式如下所示:

(2)
其中min({R(u,v)})和max({R(u,v)})表示各個通道中像素的最小值和最大值。
RGB模型是基于紅、綠、藍三基色的混合疊加而呈現的色彩。R,G和B之間的平衡因增強算法極易被破壞。HSV色彩空間是一種基于人類視覺效應的更加直觀的六棱椎體模型。色度(H)會隨著角度的變化而變化,飽和度(S)的大小決定了圖像顏色接近光譜的程度,明度信息(V)信息與圖像的亮度保持有著直接的聯系。對于圖像處理和模式識別,HSV空間在視覺特性上比其它顏色空間更具有直觀性[10]。論文將RGB格式的圖像轉至HSV空間中,并對V通道和S通道進行算法增強,轉換函數[11]

(3)
V=max
(4)

(5)
其中,max和min表示R,G,B的最大值和最小值。
圖像的直方圖能顯示圖像像素值的分布特征,通過對直方圖的優化,可以使得輸出圖像的直方圖既保持輸入圖像直方圖形狀又均勻分布在整個區間。直方圖均衡化算法通過對灰度級的非線性映射來提高個數較少的灰度級,削減個數較多的灰度級,使得輸出圖像的直方圖呈現均勻分布。算法具體步驟如下[12]:
1)統計輸入圖像直方圖
p(i)=n(i)/N
(6)
式中,圖像的灰度級為i,像素總數為N,n(i)是第i灰度級的像素總數。
2)計算累計直方圖分布

(7)
3)利用灰度映射函數,計算變換后的灰度值
T(k)=round(C(k))
J(u,v)=T(k)
(8)
其中round(.)表示取整,J(u,v)=T(k)表示映射函數。實驗結果如圖1所示。

圖1 直方圖均衡化結果
由HE的算法原理和圖1可知,HE算法的圖像增強是從連續到離散的近似計算過程。算法存在缺陷:1)量化誤差,即兩個以上不同灰度的像素值在映射之后會輸出為相同的灰度級,造成灰階合并和圖像部分信息丟失情況;2)像素滿足離散分布,對圖像信息不區分,輸出的直方圖無法保持輸入直方圖的形狀,如圖1b)所示,灰度級均勻分布在整個區間,卻并未保持原始形狀。這也是造成圖像信息丟失的關鍵因素。
針對信息丟失、灰階合并現象,算法通過權重將灰度級重新組合成加權和的形式以平衡圖像的能量,設計出一種新的映射函數。
(i)←β×h(i)+ω×max(h(i))
0<ω<1,ω+β=1
(9)
其中,h(i),和max{h(i)}分別是灰度級和最大灰度級,i=0,1,…L-1。當h(i)←(L-1),有如下表達式
(i)max←(ω+β)×(L-1),=L-1
(10)
由(10)可得,ω+β=1能確保輸出的灰度級始終保持在[0L-1]范圍內,盡可能的恢復更多的圖像信息。該映射函數可實現高灰度級變小,低灰度級變大,輸出圖像的直方圖呈均勻分的目的,有效地增強了圖像的對比度并避免了局部灰度級過增強現象。對于某些急劇變化的灰度級,依然存在部分堆疊造成信息丟失現象。觀察直方圖的變化可以檢測出均衡化后丟失的灰度級。故需對直方圖進行重新映射,首先指定一個集合Ω來儲存非空的灰度級。公式定義如下

(11)
其中,Ω((k)將存儲加權直方圖均衡化后生成的非空灰度級的數目,且滿足k=1,2,…kmax。依據映射函數將其再次映射到[0L-1]區間內,該映射函數為

(12)
綜上所述,V通道直方圖經過二次映射前后輸出圖像的直方圖如圖2所示。圖2b)顯示直方圖加權均衡之后依然存在部分灰度級分布不均勻現象。再次映射后,直方圖既保持原始直方圖形狀又均勻的分布在[0 1]范圍內。得到的增強結果為
Vout(u,v)=T((i),Ω(k))
(13)

圖2 二次映射前后直方圖結果
根據等式(9)可知,權重的選擇對增強結果有著至關重要的影響。黃金分割算法[13]是一種快速的搜索算法。將圖像信息熵H和亮度信息作為搜索依據,故搜索權重的目標函數為

(14)

(15)

1)輸入源圖像Iin(u,v),計算平均亮度值Iin,m;
2)輸入黃金分割點ρ=0.618,迭代初始值為α1=eps,α2=1-eps;
3)誤差范圍記為Δα=α1-α2,并確定一個較小的精確度值τ→ε=10-4;
4)計算α1,α2所對應的目標函數J1,J2;
5)當滿足Δα>τ,J1>J2
更新區間端點α2←α1+ρ×Δα,并將J2記為目標函數
反之,更新端點α1←α1+(1-ρ)×Δα,同時J1記為目標函數
6)不斷更新區間端點α1,α2和目標函數J1,J2,直到滿足Δα<τ結束搜索;
7)返回并計算權值ω=0.5×(α1+α2),β=1-ω
基于HSV空間的亮度圖像被增強后,不可避免的會出現去飽和或顏色損失現象。這是亮度通道增強過程中固有的缺陷。這個缺陷可以在RGB和HSV的變換過程中顯示出來[14]。依據等式(3)和 (4),當增強V通道時,圖像灰度級會趨于L-1,存在V=max{R,G,B}→(L-1),或者表示成如下形式
R(u,v)←(L-1),G(u,v)←(L-1),B(u,v)←(L-1)
(16)
根據等式(17),最小飽和度如下所示

(17)
針對這一缺陷,需要擴展飽和度至最大范圍。飽和度越大,圖像的顏色類型越豐富。故有
Sout(u,v)=max{Sin(u,v)}.
(18)
最終輸出的增強圖像為
[R(u,v),G(u,v),B(u,v)]

(19)
針對傳統HE算法中存在細節信息丟失和灰階段合并造成偽影的不足,提出改進HE均衡化過程中的映射函數。具體算法過程如圖3所示。

圖3 改進算法的實驗過程整個圖像增強的算法步驟如下所示,
1)輸入RGB格式的原圖像Iin(u,v),分別對其R,G和B通道進行顏色幅度拉伸;
2)將步驟1得到的拉伸后的圖像進轉換至HSV空間,得到V通道圖像V(u,v)和S通道圖像S(u,v);
3)對于步驟2中得到的V(u,v)圖像的直方圖進行加權均衡化算法操作,其中的權值參數獲取是利用黃金分割算法迭代獲得,最終得到新的V通道圖像Vout(u,v);
4)對步驟2得到S(u,v)圖像最大化拉伸算法操作,得到新的S通道圖像Sout(u,v);
5)對步驟3和步驟4得到的最終的Vout(u,v)和Sout(u,v)圖像作顏色空間逆變換至RGB空間。
將本文算法與HE,CLAHE,AvHeq和文獻[5]中算法在Matlab2018b的PC端進行對比實驗。實驗結果如圖4-7所示。圖像4和5分別命名為“earth”和“bridge”。圖6和圖7分別被命名為“126007”和“5096”,原圖像來自BSD500數據集中。
圖4(a)-(f)顯示,b)HE算法的直方圖出現了灰階合并現象,增強結果的部分細節丟失。c)CLAHE算法的色彩和巖石紋理細節恢復不自然,對應的直方圖也未能保持原始形狀。d)AvHeq算法亮度信息恢復不足,直方圖結果存在部分堆疊。e)文獻[5]的算法結果對比度較低且模糊,直方圖顯示圖像灰度級集中在中間位置,灰度信息丟失嚴重。f)改進算法巖石的明亮程度和清晰程度均有很大改善,尤其巖石中間的顏色信息恢復明顯,直方圖結果既保持了原始形狀又均勻的分布于整個區間。在圖5(a)-(f)中,改進算法的去霧效果和顏色信息恢復結果均取得了更加滿意的效果,尤其是燈籠和樹木的顏色以及漢字的信息。對應的直方圖結果較其它算法也是最滿意的。圖6(b)-(f)顯示,HE和CLAHE算法均會導致天空顏色出現些許失真。AvHeq和文獻[5]算法倒是使得天空的顏色信息有所恢復,但無法很好地保持圖像的亮度。改進算法的亮度和對比度均很大程度得到改善,天空和山脊的顏色信息恢復明顯。雖然對應直方圖結果顯示部分灰度級并未均勻分布,但主觀視覺效果較其它算法是最滿意的。

圖4 不同算法對圖像”earth”的增強結果

圖5 不同算法對圖像”bridge”的增強結果

圖6 不同算法對圖像”126007”的增強結果

圖7 不同算法對圖像”5096”的增強結果
增強圖像的結果除了主觀上的表達,還需要使用一些測量數據進行評估,包括熵,圖像清晰度[15]和平均梯度[16]。
圖像熵是一種基于概率的強度分布統計信息,可以描述圖像信息量,如式(15)所示。圖像清晰度(Tenengrad梯度)反映了圖像的清晰程度。公式如下

(20)

(21)
其中,T為閾值,Δmx(u,v) 和Δnx(u,v)分別是像素(u,v)水平與垂直方向上像素之間的差異。
平均梯度描述了圖像細節的對比度和紋理的變化。公式如下

(22)


表1 圖4的客觀評價指標結果

表2 圖5的客觀評價指標結果

表3 圖6的客觀評價指標結果

表4 圖7的客觀評價指標結果
分析表1-4可知,HE和CLAHE算法實驗結果提高了圖像的清晰度和平均梯度,但局部細節丟失嚴重以及局部信息出現過增強現象,采取加權直方圖均衡可以有效抑制HE和CLAHE算法的不足。AvHeq算法的直方圖結果既均勻的分布在整個區間又保持了原始形狀,但缺少對顏色信息的恢復,飽和度拉伸可以彌補顏色信息,所以整體視覺效果不如改進算法。文獻[5]算法結果對比度低,所以圖像熵值、清晰度和平均梯度不如改進算法。總之,實驗表明,改進算法的評價指標整體上相對較高,對比度較高,視覺效果清晰;顏色信息和局部細節信息恢復較為明顯。這意味著改進算法克服了細節信息和顏色信息丟失的缺點,對于圖像亮度保持和顏色信息恢復較其它算法更為有效。
為解決輸出圖像亮度保持和顏色信息恢復不足的問題,提出一種加權HE的彩色圖像增強算法。實驗結果表明:①依據圖像灰度級分布特點,利用改進的映射函數對圖像的灰度級進行重新映射,對于場景圖像具有較好的增強效果;②仿真結果顯示,改進算法的增強結果較其它算法在增強圖像對比度和亮度的同時實現了顏色保真效果;③熵值、清晰度和平均梯度客觀指標優于其它算法。算法彌補了圖像低灰度區域處理后出現的亮度過度缺陷,并能有效地恢復顏色信息,體現了改進算法的優勢。對于構建更簡單的目標函數以及引入其它智能搜索算法的進一步研究提供了依據。