視頻圖像的鄰域統計直方圖均衡化增強算法

徐 艷,史再峰,李斌橋,龐 科

(天津大學電子信息工程學院,天津300072)

視頻圖像的鄰域統計直方圖均衡化增強算法

徐 艷,史再峰,李斌橋,龐 科

(天津大學電子信息工程學院,天津300072)

針對視頻監控圖像相鄰幀之間場景變化小的特點,提出一種適用于視頻圖像的鄰域統計直方圖均衡化算法來提升圖像的對比度。根據相鄰視頻幀的場景相關性,對圖像當前幀進行鄰域信息統計,利用Laplace算子得到前一幀圖像中的背景和細節信息,從而選擇合適的增強參數,生成視頻圖像的優化直方圖。使用優化后直方圖的均值點將其分割成2個部分得到各自的變換函數,對視頻圖像進行直方圖均衡化操作。實驗結果表明,該算法能夠提升視頻圖像的對比度,保持圖像的平均亮度,減弱過增強現象,保留視頻中興趣區域的細節信息?？梢垣@得的最小絕對平均亮度誤差值為1.474 1,最大熵值為7.099 3,最大峰值信噪比值為20.671 0。

視頻圖像增強;鄰域統計;對比度提升;直方圖均衡化;優化直方圖;拉普拉斯算子

1 概述

攝像機、監控系統等獲得的視頻圖像成為人們獲得信息的重要來源,能否獲得高質量的視頻圖像對于人們快速準確地分析圖像中蘊含的有用信息具有重要的意義。然而這類視頻圖像的質量往往受到天氣、光線、儀器設備等多種因素的影響。在惡劣的天氣條件下,圖像會產生嚴重的退化,畫面的色彩出現偏差,景物的細節難以分辨。因此,需要對視頻圖像作增強處理。其中,提升對比度是獲得高清晰度圖像的重要步驟之一。

直方圖均衡化因其簡單高效性成為了視頻圖像增強、對比度提升的一種廣泛使用的算法。經典的直方圖均衡化算法采用單一的變換函數對原始圖像的直方圖作拉伸,有效提升了圖像的對比度。在這一算法的基礎上,結合信號處理等方面的理論,出現了多種改進的直方圖均衡化算法。文獻[1]提出了一種亮度保持型的雙直方圖均衡化算法(BBHE),該算法將輸入圖像的直方圖均值作為分割點,把直方圖分割成2個子直方圖,然后分別對這2個子圖像進行直方圖均衡化操作。文獻[2]提出了一種循環子圖像均衡化算法(RSIHE),該算法和文獻[1]算法類似,區別是采用輸入圖像的直方圖灰度累積概率等于0.5的點作為分割點,將圖像分割成2的整數次冪個子圖像。采用這2種算法得到的圖像平均亮度與傳統直方圖均衡化算法相比較和原始圖像更為接近。但它們在每個子圖像均衡化的過程中依然不能消除直方圖均衡化的缺陷。直方圖均衡化還會出現灰度級合并的現象,造成圖像細節的損失。有的算法在均衡化過程中對圖像相鄰灰度級的取值重新作調整,有效減少了灰度級的合并,使圖像更加連續[3-4]。對比度受限的自適應直方圖均衡化算法也是一種有效的改進算法[5-6]。該算法將原始圖像分成若干個連續不重疊的子區域,分別計算每個子區域的直方圖,選取合適的閾值對這些直方圖進行剪切,將剪切后的像素進行重分配得到新的直方圖,最后通過灰度線性插值的方式得到圖像的新像素點。這類算法要獲得較好的增強效果,要選擇合理的閾值。平臺直方圖均衡化是對直方圖均衡的另一種修正[7-8]。它根據增強的具體要求,選取閾值對直方圖的上限或下限作限制,重新生成圖像的直方圖,從新的直方圖計算得到變換函數,對圖像作灰度變換。這類算法可以減弱原始圖像過亮的現象,與對比度受限的自適應直方圖均衡化算法類似,這類算法的難點和關鍵都是閾值的選取。有的算法針對視頻圖像受光照、天氣條件影響大的特點,首先構造亮度變換函數,對圖像的低照度部分進行提升,然后結合局部直方圖均衡化算法增強圖像中的局部信息[9]。該算法適合用于增強非均勻照度的圖像。有的算法針對霧天圖像退化現象進行增強,將天空和景物進行分離,對景物部分采用重疊的模板進行局部直方圖均衡化[10]。以上2種算法由于采用了局部直方圖均衡化,增加了一定的計算量,并且會帶來塊效應。

本文在分析圖像局部信息的基礎上,將圖像的鄰域信息融合到圖像直方圖的統計和生成中,使得新產生的直方圖能反映圖像的局部對比度信息,在增強圖像細節的同時不引進塊效應。根據視頻圖像場景的特點,計算得到合適的增強參數。同時,結合圖像亮度保持的直方圖均衡化算法,對因為細節增強而產生的亮度偏移進行修正。

2 傳統直方圖均衡化及其缺陷分析

對于一幅M×N大小的數字圖像Ii來說,每一個灰度級rk在圖像中出現的概率可以近似為:

其中,nk為灰度級為rk的像素個數,灰度級的范圍在[0,L-1],L為圖像中可能的灰度級的數量,則與rk相對的pr(rk)即為概率密度函數(PDF),通常稱為直方圖。直方圖是圖像像素灰度值分布的一個反映,對于數字圖像,概率密度函數是離散的。將直方圖進行累加便可以得到圖像的累積概率密度函數(CDF):

由該累積概率密度函數可以得到對應的變換函數:

根據該變換函數,可以將輸入圖像中每個像素作對應的映射,得到新的像素值,即可得到輸出圖像Io,使輸出圖像的對比度得到提升。

在連續域進行直方圖均衡化,得到輸出圖像的直方圖將是一個均勻分布,因此,整個灰度范圍內的每一個值都能得到利用。數字圖像的直方圖均衡化操作需要進行取整運算,在這一過程中,原先相鄰的灰度級會分離,某些灰度級會合并或消失,得到的輸出直方圖中出現較多的空隙。這一特性對于增強低亮度的圖像有很好的效果,但同時也會帶來明顯的過增強效應。相鄰灰度級在進行直方圖均衡化之后的距離可以用下式計算:

由此可見,相鄰灰度級在直方圖均衡化之后的間距和rk像素在輸入圖像中的概率密度值pr(rk)有關。若該值較小,兩者之間的間距就小,圖像的對比度提升就不明顯,當間距不一時,相鄰的灰度級就會合并,圖像的灰度級就會減少;若該值較大,相鄰灰度級的距離就會增大,對比度得到明顯的提升。但也會帶來諸如過增強效應或光圈現象。如圖1所示,該圖像中含有大量顏色單一的背景部分,對應直方圖中概率密度值較高的灰度值,在直方圖均衡化的過程中容易產生過增強效果。

圖1 過增強效應示意圖

3 視頻圖像直方圖均衡化算法

3.1 監控視頻的場景分析

監控視頻的應用范圍較為廣泛,包括道路車輛檢測、人臉檢測、目標追蹤等。對監控視頻類圖像的增強技術也要根據此類圖像的特征而開發。視頻監控類的圖像通常場景和目標對象所占的比例較為固定,背景圖像單一且變化少,經常包含天空、道路等。對于這類圖像的增強,關注點都在前景對象上,前景部分往往包含人物、車輛等感興趣的區域,而對于圖像背景的增強要求往往不高。視頻監控類圖像還容易受到環境因素,例如天氣和光線的影響,使圖像出現偏暗或偏亮的現象,如夜晚圖像的整體亮度會降低,霧天圖像的細節會不清晰。對于此類圖像,提升圖像的對比度、增強圖像的細節部分對提升圖像的清晰度以便于后續的圖像處理就顯得尤為重要。此外,視頻類圖像在一定的時間間隔內存在相關性,前后幀之間的變化很小。因此,對于這類圖像的增強,可以預先設定增強要求,對固定場景的增強采用相同的方式。

根據以上分析,對監控視頻圖像的增強,可以充分利用視頻流中前后相鄰幀之間的相關性,根據視頻場景的特點,確定增強系數,達到預先設定的增強效果。

3.2 改進的直方圖均衡算法

本文提出一種鄰域統計直方圖均衡化增強算法。該算法是對原始直方圖均衡化算法的修正,可以有效減弱圖像的過增強效應,保留圖像的細節,使得圖像的背景過渡自然,前景物體更加清晰,適用于增強視頻監控類的圖像。

該算法的實現框圖如圖2所示。首先對輸入視頻圖像的第fn幀進行鄰域信息統計,如圖3所示。

圖2 算法實現框圖

圖3 鄰域統計示意圖

一般的直方圖均衡化算法在統計直方圖時都不考慮圖像的鄰域信息,從而在均衡化過程中會丟失部分圖像的細節信息。為了能夠更好地保持圖像的細節信息,本文提出的算法將選取每個待統計的像素點周圍w×w的矩形區域,這里w是一個奇數,本文中取w=3,利用以下公式計算每個像素點周圍w×w-1個像素的Pix(m,n)的值:

參數λ的大小代表圖像的增強程度。當λ為0時,統計過程中不考慮周圍像素與中心像素之間的關系,得到的結果和傳統的直方圖均衡化一致;隨著λ的增大,圖像中局部對比度較高,細節較豐富的部分將得到更好的增強,同時局部對比度較低,細節不明顯的部分增強的程度會相對較低,即兩者增強程度的差異會增大;當λ增大到一定的數值之后,這種差異就不明顯。本文經過多次實驗,發現λ在[0,4]范圍之內的變化最明顯,因此,λ的取值范圍在[0,4]區間。對于視頻監控圖像,該信息可以通過對輸入視頻圖像的fn-1幀進行場景判斷來獲得。當圖像中含有大量天空、草地等圖案,同時又需要增強前景人物的細節時就可以設置較大的λ值,能夠保留圖像細節的同時減弱背景部分的過增強效應?？梢愿鶕曨l圖像中的背景和細節部分所占的比例來獲得該參數。本文采用拉普拉斯算子來提取視頻圖像中的細節部分。拉普拉斯算子具有旋轉不變性,強調圖像中灰度的突變,響應值高的部分即為圖像中突變較大的區域,對應的細節信息較多。本文確定該參數的具體步驟如下:

(1)采用拉普拉斯算子對fn-1幀圖像進行卷積運算,得到每個像素點的響應值R。

(2)選擇合理的閾值TH對響應值R作分割,大于閾值的像素確定為細節像素,其余部分確定為背景像素(包含較少的細節信息)。由于拉普拉斯算子具有雙重響應的特性,本文只取響應值為正數的點判斷是否為細節像素,閾值TH選取為響應值最大值的0.1倍[11]。

(3)根據背景像素的個數計算得到背景像素在整幅圖像中所占的比例BA,統計大量圖像的BA值,得到其下限T1BA和上限T2BA,將該范圍內的BA值作線性變換,映射到[0,4]上,得到對應的λ的值,用于fn幀視頻圖像的增強。

這樣,含有背景像素多、細節像素少的圖像將具有較大的BA值,可以獲得較大的增強系數,從而減弱背景中的過增強效應。

當確定了圖像的增強參數λ之后,得到一幅完整的二維直方圖。該直方圖不僅反映了圖像中每個像素的灰度信息,還包含圖像的局部對比度信息。利用以下公式將該二維直方圖進行積分和歸一化操作,得到輸入圖像的一維優化直方圖:

利用該優化直方圖的均值點M對該直方圖進行均值分割,使該直方圖成為2個獨立的部分,對兩者的直方圖作累加便可計算得到各自的累積概率密度函數c1(m1)和c2(m2),利用累積概率密度函數得到2個獨立直方圖各自的變換函數:

利用變換函數分別對2個灰度像素區間內的像素進行灰度映射,得到輸出圖像。

4 實驗結果與分析

為了驗證本文算法在提升視頻圖像對比度方面的有效性,本節討論并對比本文算法和HE算法、BBHE算法的結果。為了對比本文算法在保持圖像亮度方面的優勢,選擇了絕對平均亮度誤差(AMBE)來評價算法在保持原始圖像平均亮度方面的特性;選擇熵(Entropy)來評價執行直方圖操作之后,圖像信息是否豐富;選擇峰值信噪比(PSNR)來評價圖像的整體質量。

圖4(a)所示的是一幅靜態圖像,經3種算法處理后的效果如圖4(b)～圖4(d)所示。該圖像整體偏暗,同時背景和前景分離較明顯,對于圖像背景部分不需要作過多的增強。計算得到此幅圖像的增強參數λ為3.2,可以弱化背景部分和本身局部對比度較小部分的增強,而對于本身局部對比度較大的前景部分重點增強。HE和BBHE增強的圖像都存在背景部分的光暈現象,失真較大。而本文所采用的算法對圖像的增強效果自然,明顯減弱了過增強效應,并且能夠保持圖像的細節。由圖5所示的直方圖來看,本文所采用的算法得到的直方圖更加均勻,符合提升對比度的要求,也不存在跳躍性的亮度變化。

圖4 Image1的增強圖像

圖5 原始直方圖及Image1增強后的直方圖

本文選取了USC-SIPI圖像數據庫[12]的視頻圖像來驗證本文算法對視頻圖像的增強效果。圖6顯示了各種算法對一組視頻圖像中的一幅的增強效果?？梢钥吹紿E雖然提升了對比度,但是對墻壁和人物衣著增強過度,同時減少了人物臉部的細節,而且增強后圖像過亮,BBHE也有同樣的現象。從圖7的直方圖中可以看到,該圖像有大量像素集中在亮度較低的區域,對應人物的衣著部分,在HE和BBHE增強的過程中,該區域的灰度級被過度拉伸,導致了增強后亮度不均勻。此組視頻中背景部分所占面積較大,計算得到λ的值為3.5,符合分析的增強要求。采用本文提出的算法增強的圖像和HE/BBHE相比較,減弱了過增強現象,人物的臉部細節更豐富清晰。

圖6 Image2的增強圖像

圖7 原始直方圖及Image2增強后的直方圖

圖8 顯示的是航拍視頻的增強效果。

圖8 Image3的增強圖像

該視頻中大部分區域都存在較為細節的景物,沒有大面積的單一亮度區域,從圖9中的直方圖來看,原始圖像的灰度級分布較為均勻,計算得出λ為2.5。可以看到與其他2種增強算法相比,本文算法對遠處的山地和房屋等細節的增強效果更好,紋理更清晰。

表1是本文算法和其他直方圖均衡化算法分別對以上靜態圖像和2組視頻圖像進行均衡化之后的指標對比結果。其中,視頻圖像的結果是對圖像庫中的該組視頻圖像取平均值的結果。從表中可以看出,雖然BBHE算法在保持圖像平均亮度方面有了很大改進,但本文算法在保持圖像的平均亮度方面明顯優于其他算法;圖像的熵值高于其他算法,代表圖像的細節信息保留得更多;PSNR值較高表示圖像的整體質量較好。

圖9 原始直方圖及Image3增強后的直方圖

表1 3種算法的實驗結果指標對比

5 結束語

本文針對視頻監控類圖像場景較為固定,對背景和前景圖像增強要求不同的特點,提出了一種適用于視頻圖像增強的直方圖均衡化算法來提升對比度。實驗結果表明,該算法在直方圖生成的過程中結合了局部對比度的統計,能夠區別視頻類圖像中的前景和背景信息,對視頻中的前景信息作重點增強,有效保留視頻中的細節信息。該算法充分利用視頻流中相鄰幀的相關性,通過前一幀視頻的場景信息,計算得到自適應的增強參數,為圖像提供不同程度的增強,減弱了直方圖均衡化過程中產生的過增強效應,圖像過渡自然,沒有明顯的光暈現象,同時適合視頻處理系統實現。采用直方圖分割后分別進行均衡化的算法有效保持了原始圖像的亮度均值,在提升對比度的同時降低了圖像的失真度。

[1] Kim Y T.Contrast Enhancement Using Brightness Preserving Bi-histogram Equalization [J]. IEEE Transactions on Consumer Electronics,1997,43(1):1-8.

[2] Sim K S,Tso C P,Tan Y Y.Recursive Sub-image Histogram Equalization Applied to Gray Scale Images [J].Pattern Recognition Letters,2007,28(10): 1209-1221.

[3] 喬鬧生,趙華君.保留灰度級的PCB圖像增強研究[J].計算機工程與應用,2009,45(9):180-185.

[4] 邢永康,雷群英.保持B超圖像灰度級的改進直方圖均衡化算法[J].重慶大學學報,2011,34(6):123-131.

[5] 劉 軒,劉佳賓.基于對比度受限自適應直方圖均衡的乳腺圖像增強[J].計算機工程與應用,2008,44 (10):173-175.

[6] 劉叔軍,毛麗民,徐本連.基于分級直方圖均衡化的白細胞識別研究[J].中南大學學報:自然科學版,2013, 44(2):174-177.

[7] 宋巖峰,邵曉鵬,徐 軍.基于雙平臺直方圖的紅外圖像增強算法[J].紅外與激光工程,2008,37(2): 308-311.

[8] 王炳健,劉上乾,周慧鑫,等.基于平臺直方圖的紅外圖像自適應增強算法[J].光子學報,2005,34(2): 299-301.

[9] 趙京東.一種新的非均勻照度圖像增強算法[J].計算機工程與應用,2011,47(23):204-207.

[10] 祝 培,朱 虹,錢學明,等.一種有霧天氣圖像景物影像的清晰化算法[J].中國圖象圖形學報,2004,9(1): 124-128.

[11] 董鴻燕.邊緣檢測的若干技術研究[D].長沙:國防科學技術大學,2008.

[12] Signal and Image Processing Institute of University of Southern California.Image Database[EB/OL].(2010-06-09).http://sipi.usc.edu/database/database.php.

編輯 顧逸斐

Neighborhood Calculation Histogram Equalization Enhancement Algorithm for Video Image

XU Yan,SHI Zai-feng,LI Bin-qiao,PANG Ke
(School of Electronic and Information Engineering,Tianjin University,Tianjin 300072,China)

Considering the adjacent frames scene small changes of surveillance video images,this paper proposes a neighborhood calculation histogram equalization algorithm for video image to enhance the contrast.This algorithm employs the adjacent video frame correlation,calculates the neighborhood information of the frame,chooses a suitable enhancement parameter according to the former frame background and detail information obtained by Laplace operator, and generates a modified histogram of the image.The algorithm separates the modified histogram into two parts using its mean value to get two transformation functions.Histogram equalization is operated for the latter frame.Experimental results show that this algorithm efficiently enhances the contrast of video images,preserves the mean brightness,alleviates the over-enhancement problem and keeps the interest region details.Compared with the traditional algorithms,it acquires the lowest average absolute error of brightness value as 1.474 1,highest entropy as 7.099 3,and highest peak signal to noise ratio as 20.671 0.

video image enhancement;neighborhood statistics;contrast enhancement;histogram equalization;modified histogram;Laplace operator

1000-3428(2014)10-0245-07

A

TP391

10.3969/j.issn.1000-3428.2014.10.046

國家“863”計劃基金資助項目(2012AA012705);國家國際科技合作專項項目(2012DFB10170)。

徐 艷(1988-),女,碩士研究生,主研方向:數字集成電路設計,數字圖像處理;史再峰,講師、博士;李斌橋,教授;龐 科,博士研究生。

2013-10-22

2013-11-25E-mail:shizaifeng@tju.edu.cn

中文引用格式:徐 艷,史再峰,李斌橋,等.視頻圖像的鄰域統計直方圖均衡化增強算法[J].計算機工程,2014, 40(10):245-251.

英文引用格式:Xu Yan,Shi Zaifeng,Li Binqiao,et al.Neighborhood Calculation Histogram Equalization Enhancement Algorithm for Video Image[J].Computer Engineering,2014,40(10):245-251.