單幅夜間低照度車載視頻圖像的增強(qiáng)算法

孫淑杰，董燕成，湯春明，商大偉，匡 澄，常繼英

(天津工業(yè)大學(xué) 電子與信息工程學(xué)院,天津 300387)

1 概 述

現(xiàn)在一些國(guó)內(nèi)外的汽車制造公司為一些頂配車輛裝配了HUD(head up display)平視顯示系統(tǒng)。配備了HUD系統(tǒng)的車輛，駕駛者的視線完全不必離開車前，儀表盤上的信息便直接從車前獲得，而車前的道路情況也盡在眼前，即使有突發(fā)情況，駕駛者仍有時(shí)間進(jìn)行制動(dòng)或其他規(guī)避操作，保障自己和他人安全。而在無(wú)照明設(shè)施的路段等情況下行車，能見度急劇下降，存在著巨大的安全隱患，對(duì)安全駕駛產(chǎn)生了巨大影響，最容易發(fā)生交通事故。此時(shí)也是最需要視覺輔助的時(shí)候，急需HUD系統(tǒng)做出改進(jìn)，實(shí)時(shí)路況采集，并進(jìn)行增強(qiáng)處理，凸顯感興趣的目標(biāo)，再通過(guò)HUD系統(tǒng)投射到前擋風(fēng)玻璃，有助于駕駛者更好地把握路況，極大地提高了行車安全性，具有極其重要的現(xiàn)實(shí)意義。

目前的圖像增強(qiáng)算法主要分為三類：第一類是基于直方圖的增強(qiáng)方法[1-6]。文獻(xiàn)[1-2]提出的算法是空域中的經(jīng)典算法，易實(shí)現(xiàn)且效果明顯，目的是讓增強(qiáng)后圖像的直方圖形狀較為理想，但可能導(dǎo)致過(guò)增強(qiáng)，或者噪聲較大。為此，研究者們陸續(xù)提出一些改進(jìn)的基于直方圖的增強(qiáng)算法。例如，Arici T等[3]提出了基于圖像特性的自適應(yīng)直方圖增強(qiáng)算法，但是并未考慮像素間的關(guān)系；Celik T等[4]提出由像素間的相互關(guān)系繪制二維直方圖，并尋找映射關(guān)系強(qiáng)調(diào)差異大的灰度級(jí)以實(shí)現(xiàn)圖像的增強(qiáng)；Lee C等[5]提出使用二維直方圖的分層差表達(dá)對(duì)文獻(xiàn)[4]的算法進(jìn)行改進(jìn)。邸男等[6]提出一種結(jié)合直方圖緊湊均衡的圖像增強(qiáng)算法，將稀疏的直方圖分布緊湊化，構(gòu)造自適應(yīng)平臺(tái)閾值選取方法來(lái)增強(qiáng)圖像細(xì)節(jié)和抑制噪聲。但是這些基于直方圖的算法僅考慮圖像的直方圖，所以易產(chǎn)生邊緣效應(yīng)，且出現(xiàn)過(guò)增強(qiáng)或欠增強(qiáng)的問(wèn)題。

第二類是基于大氣散射模型的圖像增強(qiáng)方法。將夜間低照?qǐng)D反轉(zhuǎn)看作白天有霧圖，基于大氣散射模型去霧之后再反轉(zhuǎn)作為增強(qiáng)后的圖像[7-9]。Dong等[7]直接將低照?qǐng)D反轉(zhuǎn)帶入去霧模型，再將去霧結(jié)果反轉(zhuǎn)得到增強(qiáng)后圖像，其增強(qiáng)結(jié)果噪聲較大，顏色失真。盡管Li[8]和胡茵萌等[9]進(jìn)行了改進(jìn)，反轉(zhuǎn)去霧之前先采用不同的方法去噪，但由于低照?qǐng)D反轉(zhuǎn)僅近似于有霧圖，并非真正的有霧降質(zhì)圖，另外透射率和大氣光的估計(jì)也不準(zhǔn)確，導(dǎo)致最終的增強(qiáng)結(jié)果仍不盡人意，主要表現(xiàn)為顏色失真，增強(qiáng)的程度較低。

第三類是基于Retinex理論[10]的增強(qiáng)算法。Retinex算法通過(guò)模仿人眼的視覺特性，對(duì)低照度圖像的照射圖進(jìn)行估計(jì)，獲得圖像中場(chǎng)景的反射分量，進(jìn)而實(shí)現(xiàn)對(duì)圖像的增強(qiáng)[11-16]。其中，段群等[11]使用的同態(tài)濾波算法是依據(jù)Retinex理論并從頻域的角度增強(qiáng)圖像。秦緒佳等[12]將Retinex理論應(yīng)用到HSV空間，增強(qiáng)模型中的V分量。李益紅等[13]提出一種多分辨多尺度的Retinex圖像增強(qiáng)方法，對(duì)原始MSR算法中的中心/環(huán)繞函數(shù)進(jìn)行改進(jìn)。Wang等[14]提出保持圖像自然特性的增強(qiáng)方法，先是設(shè)計(jì)了亮通濾波器將圖像分為反射層和照射層，然后提出雙對(duì)數(shù)變換法來(lái)求取照射光，以保持圖像的自然特性。但是由于對(duì)照射層估計(jì)不準(zhǔn)確，最終的圖像增強(qiáng)程度較低，且顏色失真嚴(yán)重。Fu等[15]提出將已估計(jì)好的初始照射光的不同處理結(jié)果融合為增強(qiáng)后的照射光，據(jù)Retinex理論重建圖像得到增強(qiáng)結(jié)果，由于融合結(jié)果不夠理想，導(dǎo)致增強(qiáng)結(jié)果中細(xì)節(jié)豐富的區(qū)域易產(chǎn)生失真。Guo等[16]估計(jì)出初始照射光后再加入圖像結(jié)構(gòu)信息優(yōu)化照射光，進(jìn)而得到復(fù)原圖。復(fù)原效果與其他算法相比，圖像的細(xì)節(jié)信息明顯豐富了很多，但同時(shí)放大了很多噪聲，因此，該算法又加入了BM3D濾波器[17]去噪等后處理過(guò)程。另外，該算法對(duì)車載視頻圖像的處理會(huì)產(chǎn)生過(guò)增強(qiáng)現(xiàn)象。

針對(duì)上述夜間算法中出現(xiàn)的問(wèn)題，文中將加權(quán)L1正則化的方法用于照射光的優(yōu)化，依據(jù)Retinex理論提出一種新的夜間低照度視頻圖像的增強(qiáng)算法。該算法既能突出感興趣區(qū)域，又不會(huì)放大暗區(qū)域噪聲，也不會(huì)導(dǎo)致圖像高亮區(qū)域過(guò)增強(qiáng)。增強(qiáng)算法的結(jié)構(gòu)如圖1所示。

圖1 增強(qiáng)算法結(jié)構(gòu)

2 背 景

根據(jù)Retinex理論，車載HUD系統(tǒng)采集到的低照度圖像由反射光和照射光相乘得到，如式(1)。

I(x)=L(x)R(x)

(1)

其中，I(x)為當(dāng)前退化圖像；L(x)為照射光；R(x)為反射光；x為像素的位置。

由式(1)可得式(2):

R(x)=I(x)/L(x)

(2)

由上式可知，如果能通過(guò)退化圖像I(x)合理地估計(jì)出其照射光L(x)，那么就可以根據(jù)式(2)得到其反射光R(x)，也即增強(qiáng)后的圖像。可見照射光L(x)的估計(jì)對(duì)反射光R(x)的求取非常重要，需要具有顯著的保邊緣特性[18]。

3 文中算法

文中先對(duì)照射光進(jìn)行初始估計(jì)，再將傳統(tǒng)去霧模型中透射率的估計(jì)方法-加權(quán)L1正則化方法應(yīng)用到反射光的優(yōu)化上，得到可以反映場(chǎng)景變化趨勢(shì)的反射光，再根據(jù)Retinex理論進(jìn)一步得到增強(qiáng)后的圖像。

3.1 照射光初估計(jì)

對(duì)退化圖像I(x)的增強(qiáng)需要合理估計(jì)照射光L(x)，受文獻(xiàn)[19]中暗通道理論的啟發(fā)，取RGB三通道中的最大值作為初始照射光L(x)的粗略估計(jì)。

(3)

為了保留照射光L(x)的結(jié)構(gòu)且使其局部細(xì)節(jié)足夠平滑，并盡量反映場(chǎng)景的變化趨勢(shì)，下面將對(duì)初估計(jì)的照射光L(x)進(jìn)行優(yōu)化。

3.2 加權(quán)L1正則化照射光優(yōu)化

文中將傳統(tǒng)去霧模型中求取透射率的方法[20]應(yīng)用到照射光L(x)的估計(jì)上?；谝压烙?jì)的照射光L(x)，構(gòu)建下列L1正則化目標(biāo)函數(shù)對(duì)照射光進(jìn)行優(yōu)化。

(4)

其中，第一項(xiàng)為保真項(xiàng)；第二項(xiàng)為約束項(xiàng)。·為點(diǎn)乘符號(hào)；*為卷積符號(hào)；Di為濾波算子，其中包含8個(gè)Kirsch邊緣檢測(cè)算子和1個(gè)拉普拉斯算子，目的是為了保持圖像的邊緣特性。Wi為權(quán)值矩陣，對(duì)照射光L(x)的優(yōu)化效果取決于對(duì)權(quán)值矩陣Wi的設(shè)計(jì)。

(5)

其中，σ取0.5。

為了求解式(4)，引入輔助變量ui來(lái)分離變量。式(4)可轉(zhuǎn)化為：

(6)

(7)

根據(jù)收縮定理[21]，式(7)的解為：

(8)

其中，sign為符號(hào)函數(shù)。

(9)

式(9)為最小二乘問(wèn)題[22]，可用快速傅里葉變換(FFT)根據(jù)下式求解。

(10)

其中，F(xiàn)()為快速傅里葉變換(FFT)；F-1()為逆變換；F*(Di)為Di傅里葉變換的復(fù)共軛。

3.3 求取反射光

(11)

其中，R(x)為增強(qiáng)后的圖像；ε避免分母為0。

3.4 強(qiáng)光及噪聲抑制

(12)

(13)

在圖像亮度值幾乎為0的區(qū)域，m的取值應(yīng)使得權(quán)值W1(x)也接近0，但對(duì)于其他需要增強(qiáng)的區(qū)域，m的取值應(yīng)使得權(quán)值W1(x)接近1；同樣，在圖像亮度值幾乎為1的區(qū)域，n的取值應(yīng)使得權(quán)值W2(x)也接近0，對(duì)于其他需要增強(qiáng)的區(qū)域，n的取值應(yīng)使得權(quán)值W2(x)接近1。

將W1(x)和W2(x)相乘得到總權(quán)值W(x)：

W(x)=W1(x)·W2(x)

(14)

(15)

圖2 過(guò)增強(qiáng)及暗區(qū)域抑制結(jié)果

4 實(shí)驗(yàn)結(jié)果及分析

通過(guò)對(duì)多幅車載視頻圖像進(jìn)行測(cè)試，并與多種主流算法的處理結(jié)果進(jìn)行比較來(lái)驗(yàn)證文中算法的有效性。從主觀視覺評(píng)價(jià)和客觀定量分析兩個(gè)角度對(duì)增強(qiáng)后的圖像進(jìn)行評(píng)價(jià)。

4.1 主觀分析評(píng)價(jià)

文中算法的增強(qiáng)結(jié)果與文獻(xiàn)[7,14-16]的增強(qiáng)結(jié)果對(duì)比如圖3所示。文獻(xiàn)[7,14-16]對(duì)車載視頻圖像的增強(qiáng)效果均有過(guò)增強(qiáng)現(xiàn)象，暗區(qū)域的噪聲被放大。而文中算法增強(qiáng)后的結(jié)果對(duì)暗區(qū)域的噪聲沒有過(guò)多放大，對(duì)需要凸顯的目標(biāo)有明顯的增強(qiáng)，并且沒有過(guò)增強(qiáng)現(xiàn)象，輔助駕駛的同時(shí)不會(huì)使駕駛員產(chǎn)生暈眩。

4.2 客觀分析評(píng)價(jià)

(1)無(wú)參考圖像質(zhì)量評(píng)價(jià)。

由于文中處理的夜間低照度車載視頻圖像無(wú)法獲取相應(yīng)的真實(shí)圖像，故采用A Mittal等[24]提出的基于自然場(chǎng)景統(tǒng)計(jì)的無(wú)參考圖像質(zhì)量評(píng)價(jià)算法(NIQE)，該算法通過(guò)計(jì)算失真圖像與無(wú)失真圖像的多元高斯模型距離來(lái)衡量圖像質(zhì)量。NIQE值越低，圖像質(zhì)量越高，越接近自然圖像。表1列出了NIQE算法對(duì)低照度車載視頻圖像增強(qiáng)的評(píng)價(jià)結(jié)果。其中圖3(a)為原圖，(b)～(f)分別為文獻(xiàn)[7,14-16]和文中算法的增強(qiáng)結(jié)果。圖結(jié)果表明，文中算法的增強(qiáng)結(jié)果大多數(shù)情況下具有更好的效果。

表1 車載視頻圖像增強(qiáng)結(jié)果的質(zhì)量對(duì)比(NIQE)

圖3 各種算法對(duì)車載視頻圖像的增強(qiáng)結(jié)果

(2)運(yùn)行時(shí)間評(píng)價(jià)。

圖4列出了文中算法和主流算法的耗時(shí)比較。其中，文獻(xiàn)[15]的方法耗時(shí)最少，文中算法的時(shí)間主要消耗在對(duì)照射光的優(yōu)化上，但與其他算法相比速度較快。

圖4 各種算法耗時(shí)比較

5 結(jié)束語(yǔ)

提出了一種針對(duì)單幅夜間低照度車載視頻圖像的增強(qiáng)算法，該算法在初步估計(jì)了照射光的基礎(chǔ)上，采取了一種既能保持照射光結(jié)構(gòu)，又能反映場(chǎng)景變化趨勢(shì)的優(yōu)化方法對(duì)照射光進(jìn)行優(yōu)化，然后根據(jù)Retinex理論求取退化圖像的反射光，獲得增強(qiáng)后的圖像。實(shí)驗(yàn)結(jié)果表明，該算法對(duì)車載視頻圖像的增強(qiáng)能夠有效避免現(xiàn)有主流增強(qiáng)算法存在的欠增強(qiáng)、過(guò)增強(qiáng)、噪聲大以及顏色失真等問(wèn)題，對(duì)車載HUD系統(tǒng)的補(bǔ)充及改進(jìn)有助于駕駛者更清楚地把握路況，提高行車安全性，極具現(xiàn)實(shí)意義。

參考文獻(xiàn):

[1] KIM Y T.Contrast enhancement using brightness preserving bi-histogram equalization[J].IEEE Transactions on Consumer Electronics,1997,43(1):1-8.

[2] CHENG H D,SHI X J.A simple and effective histogram equalization approach to image enhancement[J].Digital Signal Processing,2004,14(2):158-170.

[3] ARICI T,DIKBAS S,ALTUNBASAK Y.A histogram modification framework and its application for image contrast enhancement[J].IEEE Transactions on Image Processing,2009,18(9):1921-1935.

[4] CELIK T,TJAHJADI T.Contextual and variational contrast enhancement[J].IEEE Transactions on Image Processing,2011,20(12):3431-3441.

[5] LEE C,LEE C,KI M C S.Contrast enhancement based on layered difference representation of 2D histograms[J].IEEE Transactions on Image Processing,2013,22(12):5372-5384.

[6] 邸 男,田 睿,付東輝.結(jié)合直方圖緊湊均衡的圖像增強(qiáng)算法[J].計(jì)算機(jī)技術(shù)與發(fā)展,2013,23(12):34-36.

[7] DONG X,WANG G,PANG Y,et al.Fast efficient algorithm for enhancement of low lighting video[C]//IEEE international conference on multimedia and expo.[s.l.]:IEEE,2011:1-6.

[8] LI L,WANG R, WANG W,et al. A low-light image enhancement method for both denoising and contrast enlarging[C]//IEEE international conference on image processing.[s.l.]:IEEE,2015:3730-3734.

[9] 胡茵萌,尚媛園,付小雁,等.大氣模型與亮度傳播圖相結(jié)合的低照度視頻增強(qiáng)算法[J].中國(guó)圖象圖形學(xué)報(bào),2016,21(8):1010-1020.

[10] LAND E H.The retinex theory of color vision[J].Scientific American,1977,237(6):108-128.

[11] 段 群,吳粉俠,李 紅.雙通道分塊同態(tài)濾波彩色圖像增強(qiáng)算法[J].計(jì)算機(jī)技術(shù)與發(fā)展,2016,26(1):82-85.

[12] 秦緒佳,王慧玲,杜軼誠(chéng),等.HSV色彩空間的Retinex結(jié)構(gòu)光圖像增強(qiáng)算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2013,25(4):488-493.

[13] 李益紅,周曉誼.一種多分辨多尺度的Retinex彩色圖像增強(qiáng)算法[J].計(jì)算機(jī)工程與應(yīng)用,2017,53(16):193-198.

[14] WANG S,ZHENG J,HU H M,et al.Naturalness preserved enhancement algorithm for non-uniform illumination images[J].IEEE Transactions on Image Processing,2013,22(9):3538-3548.

[15] FU X,ZENG D,HUANG Y,et al.A fusion-based enhancing method for weakly illuminated images[J].Signal Processing,2016,129:82-96.

[16] GUO X,LI Y,LING H.LIME:low-light image enhancement via illumination map estimation[J].IEEE Transactions on Image Processing,2016,26(2):982-993.

[17] DABOV K,FOI A,EGIAZARIAN K.Image denoising with block-matching and 3D filtering[J].Proceedings of SPIE,2006,6064:354-365.

[18] 戴 霞,李 輝,楊紅雨,等.基于虛擬圖像金字塔序列融合的快速圖像增強(qiáng)算法[J].計(jì)算機(jī)學(xué)報(bào),2014,37(3):602-610.

[19] HE K,SUN J,TANG X.Single image haze removal using dark channel prior[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(12):2341-2353.

[20] MENG G,WANG Y,DUAN J,et al.Efficient image dehazing with boundary constraint and contextual regularization[C]//IEEE international conference on computer vision.Washington DC,USA:IEEE Computer Society,2013:617-624.

[21] YANG J,ZHANG Y I N.Alternating direction algorithms for compressive sensing[J].SIAM Journal of Scientific Computing,2011,33:250-278.

[22] SHAN Q,JIA J,AGARWALA A.High-quality motion deblurring from a single image[J].ACM Transactions on Graphics,2008,27(3):1-10.

[23] LIN H,SHI Z.Multi-scale retinex improvement for nighttime image enhancement[J].International Journal for Light and Electron Optics,2014,125(24):7143-7148.

[24] MITTAL A,SOUNDARARAJAN R,BOVIK A C.Making a “completely blind” image quality analyzer[J].IEEE Signal Processing Letters,2013,20(3):209-212.