一種基于圖像分割的透射率補(bǔ)償去霧算法*

李思莉 李一菲

（成都理工大學(xué)工程技術(shù)學(xué)院電子信息與計(jì)算機(jī)工程系 樂(lè)山 614000）

1 引言

計(jì)算機(jī)視覺(jué)系統(tǒng)受到霧霾等天氣的影響，使捕捉到的圖像嚴(yán)重降質(zhì)，如何提升霧霾圖像的質(zhì)量，成為當(dāng)前各類(lèi)學(xué)者研究的熱點(diǎn)［1］。目前的單幅圖像去霧算法有很多，大致可以分為基于圖像復(fù)原和基于圖像增強(qiáng)［2］。前者充分考慮圖像產(chǎn)生退化的原因，從數(shù)學(xué)模型出發(fā)，對(duì)有霧圖像進(jìn)行建模，并對(duì)其中參數(shù)進(jìn)行假設(shè)或借助已知信息得到一些先驗(yàn)知識(shí)，進(jìn)而解出模型，實(shí)驗(yàn)圖像去霧［3］。后者通過(guò)對(duì)圖像對(duì)比度、飽和度等方面進(jìn)行拉升提高，達(dá)到大幅提升視覺(jué)效果的目的［4］。

He 等［5］通過(guò)對(duì)大量清晰無(wú)霧的戶(hù)外圖像進(jìn)行統(tǒng)計(jì)觀察，提出暗通道先驗(yàn)理論，基于該理論，提出一種簡(jiǎn)單估計(jì)透射率的方法，以此復(fù)原出清晰的無(wú)霧圖像，但該方法在天空區(qū)域算法失效。Zhang等［6］對(duì)有霧圖像進(jìn)行濾波操作后，估計(jì)出包含圖像深度信息，并且?guī)в邪低ǖ纼?yōu)先的有霧層，進(jìn)而復(fù)原出具有較高對(duì)比度的無(wú)霧圖像，但該方法復(fù)原的圖像在景物邊緣處存在明顯光暈。Wang 等［7］通過(guò)處理相同場(chǎng)景下的多幅圖像，并對(duì)其進(jìn)進(jìn)行統(tǒng)計(jì)后計(jì)算出圖像的場(chǎng)景深度，進(jìn)而復(fù)原出無(wú)霧圖像，但該方法十分耗時(shí)，因而具有一定的應(yīng)用局限。

為了消除暗通道先驗(yàn)算法在天空區(qū)域出現(xiàn)的顏色失真現(xiàn)象，進(jìn)一步提升復(fù)原的無(wú)霧圖像質(zhì)量，故在圖像分割的理論基礎(chǔ)上，本文提出了一種透射率補(bǔ)償去霧算法。該算法首先在Canny 算子和FCM聚類(lèi)方法的基礎(chǔ)上，融合出一種新的天空區(qū)域分割算法；接著，分割出天空區(qū)域后，再對(duì)該區(qū)域的透射率進(jìn)行自適應(yīng)的逐像素補(bǔ)償，得到天空區(qū)域透射率的精確估計(jì)；最后根據(jù)暗通道先驗(yàn)理論，結(jié)合白平衡知識(shí)，利用圖像融合方法得到估計(jì)準(zhǔn)確且邊緣平滑的透射率。實(shí)驗(yàn)結(jié)果表明，所提算法去霧效果好，復(fù)原圖像清晰，色彩自然。

2 背景

2.1 暗通道先驗(yàn)理論

在圖像去霧領(lǐng)域圖像退化的過(guò)程通常用Mc-Cartney提出的霧天退化模型［8］，表達(dá)如下：

式中，I為有霧圖像，J為無(wú)霧圖像，A為大氣光，t為透射率。Land將式（1）表述為［9］

式中，ρ表示場(chǎng)景反照率。He 等發(fā)現(xiàn)圖像中最少存在一個(gè)灰度級(jí)非常低（幾乎趨近于0）的顏色通道，將這現(xiàn)象描述為暗通道，并提出暗通道操作：

式中，Jc(c∈{r,g,b})表示在某個(gè)顏色通道上的分量，Ω 是以x為中心的濾波窗口，Jdark表示暗通道圖。假設(shè)大氣光A在局部區(qū)域?yàn)槌Ａ浚Y(jié)合以上結(jié)論可知透射率為

式（4）中，取ω=0.95，因此復(fù)原圖像的數(shù)學(xué)表達(dá)式為

式（5）中，t0=0.1。

2.2 暗通道先驗(yàn)理論局限

由大氣散射模型可知，圖像復(fù)原質(zhì)量的優(yōu)劣一定程度上取決于透射率估計(jì)的準(zhǔn)確性［10］。但是由于天空區(qū)域很少或者幾乎不含有暗像素，故對(duì)天空區(qū)域使用暗通道先驗(yàn)理論處理，會(huì)使得該區(qū)域的透射率估計(jì)過(guò)小，直接導(dǎo)致復(fù)原圖像在大面積天空區(qū)域處出現(xiàn)偽彩色，如圖1 所示。將復(fù)原圖像與左圖的原始圖像相比，復(fù)原圖像存在嚴(yán)重的色彩失真，同時(shí)在天空區(qū)域的噪聲也被增強(qiáng)。

圖1 包含天空區(qū)域圖像文獻(xiàn)［5］去霧結(jié)果

3 本文算法

3.1 天空區(qū)域分割

在圖像分割領(lǐng)域中，常常使用FCM 聚類(lèi)算法和基于Canny 算子的邊緣檢測(cè)方法，分別將這兩種方法作用于有霧圖像的天空區(qū)域，實(shí)驗(yàn)結(jié)果如圖2（b）、圖2（c）所示。

在圖2（b）中，F(xiàn)CM 聚類(lèi)分割出的天空區(qū)域存在一定誤差，部分樓房由于和天空區(qū)域相近而被誤分入天空區(qū)域。這是由于FCM 算法對(duì)于滿(mǎn)足正態(tài)分布的數(shù)據(jù)聚類(lèi)效果會(huì)更好，但是對(duì)真實(shí)分界線(xiàn)兩側(cè)顏色特征接近的部分效果不太理想。在圖2（c）中，使用基于Canny 算子的邊緣檢測(cè)方法分割，雖較為準(zhǔn)確地分割出了天空區(qū)域，但對(duì)于濃霧區(qū)域的景深突變處，遠(yuǎn)處樓房和天空區(qū)域由于濃霧環(huán)境下清晰度的大幅下降，導(dǎo)致景深突變區(qū)域的邊界檢測(cè)不準(zhǔn)確。通過(guò)對(duì)上面兩種方法分析對(duì)比可知，基于Canny 算子的邊緣檢測(cè)方法雖然在天空區(qū)域與非天空區(qū)域的分界線(xiàn)處的劃分較為準(zhǔn)確，但是在某些區(qū)域會(huì)出現(xiàn)漏檢的情況。而FCM 聚類(lèi)分割方法雖然對(duì)邊緣的分割不夠準(zhǔn)確，卻可以有效地彌補(bǔ)Canny算子的漏檢區(qū)域。基于上述分析，提出一種新的分割方法，具體步驟如下：

1）將有霧圖像做灰度化處理，分別使用Canny算子和FCM聚類(lèi)分割方法進(jìn)行天空區(qū)域分割；

2）將上述兩種方法的結(jié)果，進(jìn)行矩陣點(diǎn)乘操作，結(jié)果如圖2（d）所示。

圖2 不同算法分割結(jié)果

3.2 天空區(qū)域透射率修正

為了進(jìn)一步修正透射率，對(duì)2.1 小節(jié)所分得天空區(qū)域的透射率取最大值max 和最小值min，并將兩者進(jìn)行相減后得到差值Diff，接著按式（6）對(duì)該區(qū)域透射率進(jìn)行補(bǔ)償：

式（6）、（7）中，t′sky表示修正后的天空區(qū)域透射率；t sky表示?中的天空區(qū)域部分；t s表示天空透射率閾值，經(jīng)過(guò)大量實(shí)驗(yàn)，取ts=0.3 時(shí)能取得較好復(fù)原效果。為了消除透射率估計(jì)不足帶來(lái)的Halo 效應(yīng)，采用引導(dǎo)濾波［11］對(duì)經(jīng)過(guò)天空區(qū)域修正的透射率進(jìn)行處理，得到透射率t1。

3.3 透射率優(yōu)化

由式（4）得到的透射率在大面積灰度值較高（接近于255）的交替區(qū)域出現(xiàn)了突變，嚴(yán)重影響后續(xù)對(duì)圖像的復(fù)原，故利用白平衡和交叉雙邊濾波進(jìn)行優(yōu)化。本文大氣光值與文獻(xiàn)［5］選取一致。

3.3.1 白平衡優(yōu)化透射率

對(duì)式（2）進(jìn)行變換：

由于有霧圖像中霧最濃區(qū)域的像素值可能大于A，為防止其溢出，提出式（9）進(jìn)行約束：

將式（2）簡(jiǎn)化為

對(duì)上式兩邊取最小，得到：

式中，I′表示取I′中RGB 的最小值，由式（9）可得：

根據(jù)Retinex 理論，透射率t的模糊估計(jì)值t2為

式中，?是卷積操作；F(x)表示高斯函數(shù)，標(biāo)準(zhǔn)差為0.5，卷積窗口由文獻(xiàn)［4］可知：

式中，floor(.)表示向下取整，t2范圍是［0，1］，式（13）最終表示為

3.3.2 透射率融合

透射率t1是從圖像復(fù)原角度對(duì)透射率進(jìn)行估計(jì)，透射率t2是從圖像增強(qiáng)角度對(duì)透射率進(jìn)行估計(jì)，因此，可以使用圖像融合方法對(duì)兩個(gè)透射率進(jìn)行互補(bǔ)，即將t1和t2按一定比例融合，本文采用像素級(jí)的加權(quán)平均算法對(duì)兩個(gè)透射率進(jìn)行融合處理，所得數(shù)學(xué)表達(dá)式如下：

式中，a、b均為加權(quán)系數(shù)，且a+b=1。

本文根據(jù)前述章節(jié)的實(shí)驗(yàn)結(jié)果，透射率t1在前景處取得了較好的復(fù)原效果，透射率t2在景深處取得了良好的復(fù)原效果，經(jīng)過(guò)大量實(shí)驗(yàn)對(duì)比，兩個(gè)系數(shù)分別設(shè)置為0.55和0.45。

3.3.3 透射率的精確估計(jì)

由于經(jīng)過(guò)圖像分割和圖像融合后的透射率圖，在物體邊緣處、景深交替處、天空區(qū)域和非天空區(qū)域的邊界處會(huì)顯得模糊，且邊緣細(xì)節(jié)丟失嚴(yán)重。為了消除這一現(xiàn)象，本文采用交叉雙邊濾波對(duì)透射率進(jìn)行優(yōu)化處理，實(shí)驗(yàn)效果如圖3所示。

圖3 透射率對(duì)比圖

4 實(shí)驗(yàn)結(jié)果對(duì)比

本文實(shí)驗(yàn)參數(shù)設(shè)置如下：最小值濾波的窗口值Ω=7，t0=0.1，引導(dǎo)濾波的濾波半徑r=48，調(diào)整系數(shù)ε=0.001，其余參數(shù)已在文中給出。為了證明本文方法的有效性和實(shí)時(shí)性，選取不同場(chǎng)景下的有霧圖像進(jìn)行實(shí)驗(yàn)，并選用文獻(xiàn)［5］和文獻(xiàn)［13］兩種算法作對(duì)比，實(shí)驗(yàn)結(jié)果如圖4～圖6。

圖4 景深變化平緩去霧效果對(duì)比

4.1 主觀對(duì)比

在圖4（a）的場(chǎng)景下，文獻(xiàn)［5］和文獻(xiàn)［13］復(fù)原圖像過(guò)暗，景深處出現(xiàn)殘霧。本文算法復(fù)原圖像在前景處細(xì)節(jié)較多，遠(yuǎn)景處色彩自然，在整體飽和度上具有一定優(yōu)勢(shì)，同時(shí)去霧效果較為明顯，體現(xiàn)出了圖像的深度信息。在圖5（a）場(chǎng)景下，文獻(xiàn)［5］和文獻(xiàn)［13］對(duì)于非天空區(qū)域的復(fù)原都得到了豐富細(xì)節(jié)，但在天空區(qū)域都出現(xiàn)了偏色。而本文算法對(duì)于天空區(qū)域的處理，取得了良好的色彩保真度，并在景深交替處過(guò)渡自然，取得了良好的復(fù)原效果。圖6（a）是景深變化劇烈下的復(fù)原圖像，文獻(xiàn)［5］和文獻(xiàn)［13］復(fù)原圖像在前景細(xì)節(jié)丟失嚴(yán)重，且復(fù)原圖像整體偏暗，本文算法在前景處細(xì)節(jié)豐富，景深處也復(fù)原出了一定的天空細(xì)節(jié)，并且圖像整體色彩自然逼真。

圖5 天空區(qū)域去霧效果對(duì)比

圖6 景深變化劇烈去霧效果對(duì)比

4.2 客觀評(píng)價(jià)

本文客觀評(píng)價(jià)的參數(shù)選用平均梯度r、飽和像素點(diǎn)個(gè)數(shù)δ、結(jié)構(gòu)相似度（mssim）以及運(yùn)行時(shí)間作為復(fù)原圖像的評(píng)價(jià)指標(biāo)［14］。其中，r和mssim 的值越大越好，飽和點(diǎn)個(gè)數(shù)δ［15］越小越好，運(yùn)行時(shí)間越短越好。由表1 可知，本文算法在運(yùn)行指標(biāo)上，取得了良好的實(shí)驗(yàn)結(jié)果，指標(biāo)值都明顯優(yōu)于其他算法。

表1 客觀評(píng)價(jià)

5 結(jié)語(yǔ)

本文提出一種分割精確的天空區(qū)域分割方法；接著，對(duì)使用該方法分割出的天空區(qū)域進(jìn)行自適應(yīng)逐像素處理，對(duì)該部分的像素點(diǎn)進(jìn)行補(bǔ)償，以達(dá)到修正透射率率的目的；最后，在圖像融合的理論基礎(chǔ)上，使用暗通道先驗(yàn)、白平衡方法對(duì)透射率進(jìn)一步優(yōu)化，最后得到色彩自然，細(xì)節(jié)豐富的復(fù)原圖像。