基于改進(jìn)型Retinex算法的霧天圖像增強(qiáng)技術(shù)

張馳， 譚南林， 李響， 李國(guó)正,*， 蘇樹強(qiáng)

(1. 北京交通大學(xué) 機(jī)械與電子控制工程學(xué)院, 北京 100044； 2. 華東交通大學(xué) 交通運(yùn)輸與物流學(xué)院, 南昌 330013)

霧霾天氣下所拍攝的圖像退化嚴(yán)重，對(duì)比度降低，細(xì)節(jié)信息損失，色調(diào)偏移，不利于分析與識(shí)別。對(duì)霧天圖像進(jìn)行增強(qiáng)處理，可提高其可見(jiàn)度，豐富圖像的信息量，改善圖像的品質(zhì)，對(duì)圖像的深入理解以及機(jī)器對(duì)圖像進(jìn)一步識(shí)別和深層次學(xué)習(xí)有很大的幫助。因此，對(duì)霧天圖像的增強(qiáng)處理方法展開研究，在航空航天[1]、交通監(jiān)控[2]和室外監(jiān)測(cè)等領(lǐng)域有重要的實(shí)際工程意義。

現(xiàn)有常用的霧天圖像增強(qiáng)算法主要有：基于暗通道的去霧算法、直方圖均衡(Histogram Equalization,HE)算法和基于色彩恒常性理論的Retinex算法[3]。從實(shí)際應(yīng)用角度來(lái)看，這3類算法均有著各自的局限性：①暗通道理論在去霧研究中得到了很多應(yīng)用，從大氣散射模型出發(fā)，對(duì)透視率進(jìn)行細(xì)化，有很好的去霧效果[4]。結(jié)合暗通道理論以及Retinex算法對(duì)霧天圖像進(jìn)行增強(qiáng)，可以有效復(fù)原圖像的清晰度和對(duì)比度[5-6]。基于偏振成像和暗通道技術(shù)的結(jié)合，引入了動(dòng)態(tài)偏差因子，不僅能有效地提高模糊圖像的可見(jiàn)性，而且能顯著地保護(hù)圖像的細(xì)節(jié)[7]。基于Retinex算法和引導(dǎo)濾波對(duì)夜間圖像進(jìn)行增強(qiáng)，根據(jù)圖像的顏色特征，利用引導(dǎo)濾波器對(duì)照明分量進(jìn)行估計(jì)，并將其應(yīng)用于邊緣保持平滑算子[8]。該算法處理視覺(jué)效果好，但時(shí)空復(fù)雜度較高，且應(yīng)用環(huán)境受限。②HE算法通過(guò)分散灰度值、修改直方圖分布來(lái)增強(qiáng)圖像對(duì)比度。有使用顯著直方圖設(shè)計(jì)灰色層次映射方法對(duì)圖像進(jìn)行增強(qiáng)跟蹤，提升視覺(jué)效果[9]。針對(duì)航天領(lǐng)域中無(wú)人機(jī)的應(yīng)用條件，統(tǒng)計(jì)直方圖數(shù)據(jù)對(duì)圖像分別進(jìn)行白平衡處理和對(duì)比度增強(qiáng)處理，使用自動(dòng)色階得到增強(qiáng)圖像[10]。為了改善圖像質(zhì)量并增強(qiáng)視覺(jué)效果，提出基于非線性直方圖變換與參數(shù)優(yōu)化的降質(zhì)圖像對(duì)比度畸變校正方法[11]。HE算法雖然處理速度快，客觀評(píng)價(jià)參數(shù)較優(yōu)，但是增強(qiáng)后的圖片會(huì)有失真現(xiàn)象，亮度不均，細(xì)節(jié)丟失，主觀評(píng)價(jià)差。③Retinex是從圖像中估計(jì)出光照，得到增強(qiáng)圖像，主要包括單尺度Retinex (Single Scale Retinex, SSR)、多尺度Retinex(Multi-Scale Retinex, MSR)、帶顏色恢復(fù)的多尺度Retinex(Multi-Scale Retinex with Color Restoration, MSRCR)等算法[12]。使用空間自適應(yīng)基于α-范數(shù)的變分Retinex模型，利用亮通道先驗(yàn)和局部方差圖生成正則化參數(shù)進(jìn)行圖像增強(qiáng)[13]。采用MSR算法和雙邊濾波結(jié)合的方案對(duì)圖像低頻系數(shù)進(jìn)行處理，采用軟閾值濾波算法對(duì)圖像高頻系數(shù)進(jìn)行處理進(jìn)行圖像增強(qiáng)[14]。基于雙邊濾波和MSR算法結(jié)合離散小波變換和Otsu閾值分割算法進(jìn)行圖像增強(qiáng)[15]。基于MSR算法，提出了一種平衡圖像對(duì)比度和色彩一致性的顯式多尺度表示，并引入直方圖截?cái)嗉夹g(shù)[16]。為了恢復(fù)圖像色彩，提出了基于高斯濾波和引導(dǎo)濾波的改進(jìn)型MSRCR圖像增強(qiáng)算法，該算法能有效地抑制噪聲干擾，有效恢復(fù)圖像色彩[17]。基于改進(jìn)的MSR算法，將RGB 3個(gè)通道分別進(jìn)行非線性灰度拉伸，得到每個(gè)像素點(diǎn)光照陰影關(guān)系比例，對(duì)霧天圖像進(jìn)行增強(qiáng)[18]。該算法能夠有效提升霧天圖像，對(duì)比度高，細(xì)節(jié)豐富，色感一致性好，顏色自然。但是由于其多尺度計(jì)算復(fù)雜度高，邊緣位置模糊，缺乏亮度恒常性，顏色恢復(fù)算法簡(jiǎn)單，會(huì)出現(xiàn)反轉(zhuǎn)顏色失真現(xiàn)象，對(duì)噪聲會(huì)有加強(qiáng)效果，因而處理還并不十分理想。

可見(jiàn)，現(xiàn)有3類算法對(duì)退化圖像增強(qiáng)在圖像失真、損失細(xì)節(jié)、去除噪聲干擾、運(yùn)算速度、色彩還原等方面無(wú)法做到同時(shí)達(dá)到很好的效果。為此，本文提出了一種改進(jìn)型Reitnex算法，首先以改進(jìn)的雙邊濾波法作為中心環(huán)繞濾波函數(shù)，能夠保留邊緣信息的同時(shí)去除噪聲。其次將S型sigmoid函數(shù)應(yīng)用于霧天圖像的顏色還原與增強(qiáng)處理，能夠減少計(jì)算復(fù)雜度并得到更佳的色彩信息。最后通過(guò)實(shí)驗(yàn)對(duì)比了暗通道、HE和MSRCR算法的處理結(jié)果，驗(yàn)證了該算法的可行性和有效性。

1 Retinex算法及雙邊濾波法

1.1 Retinex算法

Retinex算法基于顏色恒常知覺(jué)理論，認(rèn)為得到的霧天圖像I(x,y)是由入射光分量L(x,y)即光照?qǐng)D像和反射光分量R(x,y)組成[14]，

I(x,y)=L(x,y)R(x,y)

(1)

將式(1)轉(zhuǎn)換到對(duì)數(shù)空間進(jìn)行計(jì)算，有利于人眼對(duì)圖像信息的感知，轉(zhuǎn)換數(shù)學(xué)公式如下：

ln(Ri(x,y))=ln(Ii(x,y))-

ln(Gi(x,y)Ii(x,y))

(2)

式中：Gi(x,y)為中心環(huán)繞函數(shù)，現(xiàn)有Retinex算法常選用高斯函數(shù)，下標(biāo)i為通道數(shù)。

Retinex算法的核心是計(jì)算出來(lái)精確的照度分量和反射分量，在此基礎(chǔ)上能夠還原出更加真實(shí)的原始圖像。對(duì)于霧天圖片有顯著的增強(qiáng)效果，所得到的去霧圖像具有較高的局部對(duì)比度和較小的顏色失真。SSR算法難以在細(xì)節(jié)增強(qiáng)與色感一致性兩方面都有好的結(jié)果。因此提出MSR加入3 個(gè)尺度，在不同霧天條件下都有表現(xiàn)較佳的尺度，但2 種算法都會(huì)出現(xiàn)偏色現(xiàn)象。在MSR基礎(chǔ)上加入顏色恢復(fù)得到MSRCR算法，消除圖像顏色失真現(xiàn)象。

1.2 雙邊濾波法

在Retinex算法的中心環(huán)繞濾波算法中，目標(biāo)點(diǎn)上的像素值通常是由其所在位置上的周圍的一個(gè)小局部鄰居像素的值所決定，所以處理的效果是對(duì)整幅圖像進(jìn)行模糊處理。這會(huì)導(dǎo)致邊緣銳化不足，細(xì)節(jié)信息丟失。而雙邊濾波的基本思路是同時(shí)考慮將要被濾波的像素點(diǎn)的空域信息和值域信息，與領(lǐng)域中心點(diǎn)距離近、亮度差異較小像素點(diǎn)對(duì)濾波影響大，距離遠(yuǎn)、差異大的像素點(diǎn)影響小，濾波函數(shù)為

(3)

式中：k(x)為權(quán)重和，將結(jié)果歸一化；ξ為空間像素點(diǎn)；f(x)為像素值，x為要求的點(diǎn)；c為距離函數(shù)；s為相似度函數(shù)。為此，考慮將空間高斯函數(shù)和值域高斯函數(shù)進(jìn)行結(jié)合，使用雙邊濾波代替高斯濾波作為MSRCR中心環(huán)繞函數(shù)，從而保留邊緣處距離相距近但是像素值差異大的像素點(diǎn)特性，進(jìn)而保持霧天原圖像中的邊緣信息，改善光暈、過(guò)增強(qiáng)問(wèn)題。

2 改進(jìn)的Retinex算法

霧天的圖像有著能見(jiàn)度較低、視覺(jué)模糊的特點(diǎn)，圖像色彩偏向于灰白色。由于霧氣濃度不同、景深和不同波長(zhǎng)光線衰減不同，所以整幅圖像霧天所造成的模糊程度是不同的。本文目標(biāo)是將在霧天影響衰減的圖像恢復(fù)，還原色彩，增強(qiáng)整幅圖像的對(duì)比度，提高圖像的可視性。

針對(duì)現(xiàn)有Retinex算法存在的噪聲處理差、增強(qiáng)時(shí)間成本高、顏色恢復(fù)性差等問(wèn)題，本文提出如圖1所示的算法流程，B(X,Y)為雙三次插值結(jié)果，aij為權(quán)重系數(shù)，W(i)和W(j)分別為橫坐標(biāo)和縱坐標(biāo)權(quán)重,S(x)為sigmoid函數(shù)。

圖1 改進(jìn)型Retinex算法流程圖Fig.1 Flowchart of improved Retinex algorithm

首先，對(duì)Retinex算法中心環(huán)繞濾波算法進(jìn)行改進(jìn)，使用雙邊濾波法能夠提升邊緣的效果，同時(shí)提升對(duì)噪聲的處理能力。具體算法實(shí)現(xiàn)首先將待處理的原始圖像進(jìn)行高斯金字塔向下采樣，由卷積采樣與偶數(shù)行采樣組成，其公式為

(4)

式中：m和n分別為行數(shù)和列數(shù)，k為金字塔代數(shù)；W(m，n)為高斯卷積核。

求得濾波使用的核函數(shù)，基于空間距離和像素差值求得高斯權(quán)重，在中心點(diǎn)為極大值或極小值且周邊像素值差異較大時(shí)，認(rèn)為該點(diǎn)為噪聲點(diǎn)，對(duì)于噪聲點(diǎn)的處理時(shí)將中心點(diǎn)的權(quán)重降低。對(duì)x軸和y軸方向分別進(jìn)行濾波，由于雙邊濾波法2個(gè)權(quán)重值相乘，計(jì)算復(fù)雜度高，還存在歸一化問(wèn)題，所以濾波函數(shù)修改為

h(x)=k-1(x)(c(ξ,x)+s(f(ξ),f(x)))dξ

(5)

因?yàn)槭菍?duì)霧天圖像進(jìn)行增強(qiáng)處理，原始光照條件受到霧天大氣散射影響緩慢變化，在改進(jìn)的雙邊濾波之后，對(duì)圖像進(jìn)行對(duì)比度壓縮，以降低去霧操作對(duì)圖像的退化影響。圖像尺寸還原時(shí)，采用雙三次差值，用到了四鄰域的像素信息，能夠產(chǎn)生效果更好，更加精確的插補(bǔ)圖形，圖像的放大效果很好，在整個(gè)算法中也有一定的濾波效果，雙三次差值公式為

(6)

霧天原始圖像和通過(guò)上述改進(jìn)型Retinex算法得到的入射光圖像如圖2所示。

圖2 霧天原始圖像和入射光圖像Fig.2 Original foggy image and incident light image

其后，在對(duì)數(shù)空間將兩圖相減，在尺度不變的情況下對(duì)于圖片的細(xì)節(jié)增強(qiáng)與顏色恒常性兩方面都有好的結(jié)果。在計(jì)算的時(shí)間上，傳統(tǒng)多尺度Retinex算法使用3個(gè)不同尺度進(jìn)行3次計(jì)算，本文算法計(jì)算復(fù)雜度低，并且在對(duì)圖像進(jìn)行高斯金字塔向下采樣降低了處理的量級(jí)。

3 顏色恢復(fù)方法改進(jìn)

Retinex算法中傳統(tǒng)的顏色恢復(fù)方法是利用輸入圖像中三通道顏色間的比例關(guān)系來(lái)計(jì)算顏色恢復(fù)因子矯正圖像，該方法會(huì)造成像素值的溢出現(xiàn)象。

為了解決還原失真的問(wèn)題，采用S型函數(shù)函數(shù)來(lái)調(diào)節(jié)計(jì)算，根據(jù)S型函數(shù)特點(diǎn)，圖像中亮度兩端區(qū)域范圍被壓縮，中間亮色區(qū)域被拉伸。且人眼對(duì)亮度的感知通常是平均亮度越大的地方，感知的亮度差別就越大。將中心亮度區(qū)域?qū)哟位湍軌蛱嵘鶊D像的視覺(jué)效果。

將對(duì)數(shù)域相減結(jié)果圖像進(jìn)行S型曲線函數(shù)拉伸，因?yàn)镾型函數(shù)的動(dòng)態(tài)壓縮能力要高于其他如線性、對(duì)數(shù)函數(shù)[9]。S型曲線選用sigmoid函數(shù)，該函數(shù)符合高斯積累特性，并且在低像素值的區(qū)段內(nèi)和對(duì)數(shù)函數(shù)反函數(shù)指數(shù)函數(shù)曲線相似，還可以省去將圖像從對(duì)數(shù)預(yù)轉(zhuǎn)換回實(shí)數(shù)域的過(guò)程，sigmoid函數(shù)表達(dá)式為

(7)

在亮色區(qū)域和暗色區(qū)域進(jìn)行不同系數(shù)的處理，應(yīng)用于霧天圖像顏色還原對(duì)比度還原的公式設(shè)定為

(8)

式中：P(x)為顏色還原后的像素值；k1為對(duì)比度系數(shù)，和原霧天圖像的標(biāo)準(zhǔn)差成正相關(guān)；k2為像素值系數(shù)，亮度越高系數(shù)越小。對(duì)圖像的顏色還原曲線如圖3所示。

在對(duì)圖像顏色還原后有很好的效果，對(duì)原色彩飽和度很高的圖像也有著不錯(cuò)的效果，避免了MSRCR算法使得顏色失真的問(wèn)題。本文方法經(jīng)過(guò)還原后像素值不會(huì)小于0，也不會(huì)超過(guò)255，避免了顏色反轉(zhuǎn)的現(xiàn)象。在處理之后，RGB 3通道的像素值大小關(guān)系也不會(huì)有變化，在CIE色度值中各個(gè)通道的占比變化也相對(duì)恒定，減弱了圖像的偏色現(xiàn)象，顏色還原效果主要在客觀指標(biāo)中體現(xiàn)。

圖4(a)MSRCR算法中顏色還原步驟會(huì)使原圖顏色飽和區(qū)域出現(xiàn)失真問(wèn)題，圖4(b)本文算法避免了該現(xiàn)象。

圖3 顏色還原直方圖曲線示例Fig.3 Example of color reduction histogram curve

圖4 MSRCR算法和本文算法處理結(jié)果Fig.4 Proccessing result of MSRCR algorithm and proposed algorithm

4 實(shí)驗(yàn)結(jié)果與討論

為驗(yàn)證本文提出算法的增強(qiáng)效果，使用OpenCV平臺(tái)進(jìn)行驗(yàn)證，CPU主頻為3.40 GHz，圖片尺寸為480 像素×360 像素。將本文算法的去霧處理結(jié)果，與暗通道算法、HE和MSRCR等現(xiàn)有算法進(jìn)行對(duì)比，以驗(yàn)證其可行性和有效性。

由于圖像主觀評(píng)價(jià)個(gè)體差異大，易受外界環(huán)境影響，難以用于科學(xué)研究及實(shí)際工程之中，針對(duì)一幅圖像的客觀評(píng)價(jià)至今并沒(méi)有標(biāo)準(zhǔn)化的圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)。為此，本文結(jié)合圖像物理特性及意義選擇以下參數(shù)作為評(píng)價(jià)指標(biāo)。客觀評(píng)價(jià)指標(biāo)采用圖像的亮度、標(biāo)準(zhǔn)差、信息熵及清晰度。處理目標(biāo)為霧天圖像，霧天的特點(diǎn)為對(duì)比度色彩衰減，畫面白化，亮度值偏高。亮度值體現(xiàn)彩色圖像的整體亮度，去霧效果較好的亮度值相對(duì)原圖偏低。標(biāo)準(zhǔn)差反應(yīng)了圖像像素值的離散程度，值越高說(shuō)明對(duì)比度越高，算法去霧效果越好，圖像標(biāo)準(zhǔn)差std計(jì)算公式如下：

(9)

式中：M和N分別為圖像尺寸的寬度和高度；f(i,j)為圖像在坐標(biāo)(i,j)的像素值；mean為圖像的亮度均值。

圖像的信息熵代表圖像的不確定性，也就是信息量，值越大，含有的信息量越多，信息熵ent表達(dá)式如下[5]：

(10)

式中：Pr,g,b為圖像中顏色為(r,g,b)像素出現(xiàn)的概率。

清晰度選用Laplace梯度法，使用Laplace算子分別提取水平和豎直方向的梯度，清晰度值越高，說(shuō)明處理效果越好。圖5～圖8是4張不同環(huán)境下霧天圖像的增強(qiáng)結(jié)果。

圖5 霧天圖像1增強(qiáng)效果比較Fig.5 Comparison of enhancement effects for foggy image 1

圖6 霧天圖像2增強(qiáng)效果比較Fig.6 Comparison of enhancement effects for foggy image 2

圖7 霧天圖像3增強(qiáng)效果比較Fig.7 Comparison of enhancement effects for foggy image 3

圖8 霧天圖像4增強(qiáng)效果比較Fig.8 Comparison of enhancement effects for foggy image 4

圖5～圖8從左到右分別是霧天原圖，暗通道、HE、MSRCR和本文算法結(jié)果。選取不同霧天環(huán)境的多幅霧天圖像驗(yàn)證本文算法，圖8中圖像來(lái)源于NASA的霧天圖片庫(kù)，本文算法在航空領(lǐng)域中也有很好的增強(qiáng)效果。從上面多組直觀的圖像和客觀評(píng)價(jià)結(jié)果(見(jiàn)表1～表4)可以看出：

暗通道算法會(huì)使得結(jié)果圖像顏色值偏小，圖像中顯示過(guò)于飽和，該算法最大的問(wèn)題是計(jì)算復(fù)雜度過(guò)高，無(wú)法應(yīng)用在實(shí)時(shí)處理環(huán)境。

HE算法計(jì)算速度快，因?yàn)樗惴ň褪翘嵘袼刂g的差異，所以增強(qiáng)后的圖片對(duì)比度增加，標(biāo)準(zhǔn)差值大，客觀評(píng)價(jià)效果不錯(cuò)，但是視覺(jué)效果差，細(xì)節(jié)消失，出現(xiàn)圖像失真的問(wèn)題。

MSRCR算法的結(jié)果整體比較優(yōu)異，對(duì)不同霧天圖像都有較好的增強(qiáng)效果，對(duì)比度較低，顏色較為集中，對(duì)顏色飽和區(qū)域的還原結(jié)果差，運(yùn)算量較大，且需要配置參數(shù)。

表1 霧天圖像1客觀評(píng)價(jià)結(jié)果Table 1 Objective evaluation result of foggy image 1

表2 霧天圖像2客觀評(píng)價(jià)結(jié)果Table 2 Objective evaluation result of foggy image 2

表3 霧天圖像3客觀評(píng)價(jià)結(jié)果Table 3 Objective evaluation result of foggy image 3

表4 霧天圖像4客觀評(píng)價(jià)結(jié)果Table 4 Objective evaluation result of foggy image 4

本文算法在不同的霧天場(chǎng)景中都有著較好的增強(qiáng)效果，本文算法對(duì)霧天增強(qiáng)的結(jié)果清晰度較原圖提升約200%，標(biāo)準(zhǔn)差提升約110%，信息熵提升約10%。相比于現(xiàn)有算法，除了標(biāo)準(zhǔn)差會(huì)有部分圖像不如HE算法，其余評(píng)價(jià)標(biāo)準(zhǔn)都優(yōu)于現(xiàn)有算法。

現(xiàn)有算法的問(wèn)題主要為實(shí)時(shí)性和增強(qiáng)效果無(wú)法同時(shí)達(dá)到最優(yōu)，部分算法需要調(diào)整匹配參數(shù)。本文提出的算法在主觀視覺(jué)和客觀評(píng)價(jià)上都有著較好的處理效果，通過(guò)客觀圖像評(píng)價(jià)標(biāo)準(zhǔn)可看出該方法對(duì)霧天圖像增強(qiáng)處理后能夠含有更多的信息，顏色更加真實(shí)，細(xì)節(jié)更加豐富，改善了光暈現(xiàn)象。本文提出的算法對(duì)不同圖像不需修改參數(shù)，對(duì)不同的霧天條件都有較好的去霧效果，并在實(shí)時(shí)性上也能達(dá)到20幀/s的要求。

5 結(jié) 論

本文在Retinex算法基礎(chǔ)上進(jìn)行改進(jìn)，提出了新的圖像去霧算法，經(jīng)實(shí)驗(yàn)驗(yàn)證，得出如下結(jié)論：

1) 用改進(jìn)的雙邊濾波算法作為Retinex算法的濾波函數(shù)，在高斯金字塔圖像進(jìn)行處理，減小計(jì)算量，算法適用性強(qiáng)。

2) 使用改進(jìn)的S型sigmoid函數(shù)顏色還原方法，省去了從對(duì)數(shù)域轉(zhuǎn)換回實(shí)數(shù)域的計(jì)算過(guò)程。通過(guò)上述方法的得到得結(jié)果在圖像亮度、標(biāo)準(zhǔn)差、熵、清晰度等客觀圖像標(biāo)準(zhǔn)下有更好得結(jié)果，計(jì)算耗時(shí)短，與參數(shù)無(wú)關(guān)，細(xì)節(jié)突出，顏色還原度高。

未來(lái)的研究可以針對(duì)霧天和非霧天氣進(jìn)行區(qū)分，減小增強(qiáng)的計(jì)算復(fù)雜度，應(yīng)用到戶外的視頻監(jiān)控場(chǎng)景中。