一種自適應(yīng)的霧天降質(zhì)圖像清晰化方法研究

吳振宇， 姚洪利， 杜少軍

(1.國防科技大學(xué)光電科學(xué)與工程學(xué)院，長沙 410073;2.空軍裝備研究院雷達(dá)所，北京 100085)

0 引言

有霧天氣條件下，光在大氣介質(zhì)中傳播時(shí)會(huì)受到懸浮大氣顆粒散射、折射等復(fù)雜作用而發(fā)生變化，導(dǎo)致戶外監(jiān)視系統(tǒng)獲取的景物圖像對(duì)比度下降、顏色退化，甚至改變，嚴(yán)重影響了監(jiān)視系統(tǒng)效能的發(fā)揮。因此，對(duì)惡劣天氣條件下(霧、雨、煙、雪)的景物圖像進(jìn)行清晰化處理具有重要意義。Oakley等人［1］基于Mie散射定律，構(gòu)造了一個(gè)多參數(shù)的退化模型，并通過統(tǒng)計(jì)模型估計(jì)退化模型參數(shù)，但只適用于灰度圖像。Tan等人［2］進(jìn)一步結(jié)合圖像對(duì)比度降質(zhì)與波長關(guān)系，將上述模型擴(kuò)展到彩色場(chǎng)景。Oakley在此基礎(chǔ)上又構(gòu)建了一個(gè)動(dòng)態(tài)video去天氣系統(tǒng)，但其需要價(jià)格昂貴的雷達(dá)或距離傳感器等硬件設(shè)備獲取精確的場(chǎng)景深度信息。Nayar等人［3］簡(jiǎn)化大氣傳播原理，總結(jié)出兩個(gè)主要傳輸模型，基于該模型，Narasimhan［4］通過兩幅不同天氣條件下的有霧圖像計(jì)算場(chǎng)景深度以及大氣散射系數(shù)，從而實(shí)現(xiàn)清晰化，但是由于場(chǎng)景景物的不穩(wěn)定，很難獲取到同一場(chǎng)景的兩幅或多幅不同天氣條件下的圖像。國內(nèi)祝培等人［5］采用局部直方圖均衡化方法去除霧的影響。本文從圖像增強(qiáng)的角度出發(fā)，吸取了 Retinex［6］理論優(yōu)勢(shì)，把霧對(duì)景物影響等效成光照條件的變化，并將直方圖冪次變換函數(shù)均衡化與其相結(jié)合，既克服了Retinex理論對(duì)濃霧天氣降質(zhì)圖像增強(qiáng)的失真，又補(bǔ)充了局部直方圖均衡化去霧在圖像顏色細(xì)節(jié)上的損失。而且該方法不基于物理模型，不需要場(chǎng)景深度、大氣散射系數(shù)等很難精確得到的天氣條件參數(shù)，因此也就降低了對(duì)硬件設(shè)備的要求。

1 Retinex理論及其改進(jìn)的求解算法

1.1 Retinex 理論基礎(chǔ)

Retinex理論最早由Maxwell提出，后由Land研究得到。Retinex理論認(rèn)為，圖像的形成取決于環(huán)境的照明和物體表面對(duì)照射光的反射，其表達(dá)式為

式中:L為入射光(即光照?qǐng)D像，決定S的動(dòng)態(tài)范圍);R為反射圖像，表示物體的反射特性;S為人眼或監(jiān)視系統(tǒng)獲取的圖像。Retinex理論的目的就是從觀測(cè)圖像S中獲取物體的反射性質(zhì)R，得到物體的本來面目。本文將霧對(duì)景物圖像的影響等效成光照的變化，由已知的降質(zhì)圖像S和光照?qǐng)D像L求出反射圖像R，即為要求的去霧圖像。

1.2 改進(jìn)的Kimmel變分模型

為將式(1)的乘積關(guān)系轉(zhuǎn)換為更為易求的求和關(guān)系，可以做對(duì)數(shù)變換，即:

Kimmel［7］提出的變分模型也同樣在對(duì)數(shù)域中處理，其數(shù)學(xué)表達(dá)式為

式中:Ω表示圖像空間;α，β為代價(jià)因子;限制條件l≥s是因?yàn)楣庹請(qǐng)D像強(qiáng)度高于觀測(cè)圖像強(qiáng)度。稱作保真項(xiàng)，防止光照?qǐng)D像l收斂為常數(shù)是保證反射圖像連續(xù)的正則項(xiàng)。分析Kimmel變分模型不難看出，只要解出使得代價(jià)函數(shù)F［l］取得最小值時(shí)的l，代入到式(2)即可求出反射圖像。為了使式(3)達(dá)到最小值，其等式右側(cè)3項(xiàng)都要趨向于最小，這樣就使得l和s－l(即反射圖像)要更加平滑，而l和s則要更加相關(guān)。但是光照?qǐng)D像強(qiáng)度變化比較劇烈時(shí)，這種光照?qǐng)D像的全局平滑會(huì)使得在強(qiáng)度變化邊界產(chǎn)生嚴(yán)重的模糊，形成光暈偽影。而且模型中第3項(xiàng)在保證平滑性時(shí)是以犧牲顏色細(xì)節(jié)為代價(jià)的。為了更好地保護(hù)圖像細(xì)節(jié)信息，可以在式(3)的代價(jià)函數(shù)上增加一項(xiàng)增強(qiáng)圖像細(xì)節(jié)信息的式子λ▽2(l－s)▽2s，其中λ為控制因子，通過控制它的大小可以調(diào)節(jié)反射圖像中細(xì)節(jié)的表現(xiàn)程度。修改后的變分模型即為

為使式(4)取最小值則新增加的項(xiàng)中▽2(s－l)和▽2s要保證同號(hào)，且▽2(s－l)的幅值要盡可能大。而▽2=Δ為拉普拉斯算子，實(shí)際上就是對(duì)圖像做無方向性的微分，這種變換使圖像邊沿增強(qiáng)，因此▽2(s－l)幅值的增大即是保護(hù)了反射圖像細(xì)節(jié)信息。

1.3 求解變分模型的四鄰域算法與金字塔分層

首先對(duì)修改后的Kimmel變分模型做離散化處理，其中的梯度運(yùn)算轉(zhuǎn)換為差分運(yùn)算，新增加的項(xiàng)λ▽2×(l－s)▽2s，本文采用拉普拉斯算子的四鄰域掩模代替二階微分。則離散化后的代價(jià)函數(shù)可以近似的表示為

很明顯，當(dāng)式(5)對(duì)l的導(dǎo)數(shù)等于零時(shí)，取得最小，而此時(shí)的l也就是要求的光照?qǐng)D像中的最佳像素值。經(jīng)過簡(jiǎn)單的數(shù)學(xué)推導(dǎo)，可得:

式(6)中的系數(shù)λ/2可以規(guī)整化為λ，對(duì)結(jié)果沒有影響。但是在求解此代價(jià)函數(shù)時(shí)，要求圖像中每個(gè)像素的四鄰域像素值保持不變，即每個(gè)像素的最佳值的獲取要依賴其周圍四鄰域內(nèi)的像素，如此像素之間既相互依賴又相互干擾，很難判斷最終結(jié)果的取值。故此，可以將離散圖像分成2*2的基本單元區(qū)域，沿其對(duì)角線方向?qū)⑾袼貏澐譃閮蓚€(gè)類別:A類和B類。如圖1所示。在求解時(shí)，先固定其中一類，求解另一類的最佳值，然后再將此過程反之進(jìn)行，如此交替迭代，則可得到不斷精確的光照?qǐng)D像。

圖1 四鄰域的劃分Fig.1 Division of 4-neighborhood

2 直方圖冪次變換函數(shù)均衡化

Retinex理論雖然在恢復(fù)景物本來特性上有明顯的優(yōu)勢(shì)，但是對(duì)于處理霧化降質(zhì)圖像時(shí)，經(jīng)常把霧和場(chǎng)景物體混同，所以有時(shí)去霧后的圖像白色偏重，影響了復(fù)原后圖像的清晰度。故此，本文引入直方圖均衡化圖像增強(qiáng)法思想。

傳統(tǒng)的直方圖均衡化法［8］，其變換函數(shù)為累積積分函數(shù)，離散的映射關(guān)系如下:0≤rk≤1，T為變換函數(shù)，rk為第 k級(jí)灰度，p(rk)為 rk灰度的概率。這種變換簡(jiǎn)單易算，但是其變換結(jié)果不可調(diào)節(jié)，體現(xiàn)在輸出圖像上就是亮度不可調(diào)，對(duì)于較暗或較亮的圖像增強(qiáng)后很多細(xì)節(jié)無法清晰表現(xiàn)。為此，可以把變換函數(shù)修改為冪次函數(shù):y=αxγ，0≤x≤1，0≤α≤255，α為范圍系數(shù)，一般取255。xγ的形式滿足值域?qū)儆冢?，1］區(qū)間，且在此區(qū)間上單調(diào)遞增。當(dāng)α=255，γ=1時(shí)即為累積積分變換函數(shù)。當(dāng)γ＞1時(shí)，適用于過亮圖像，當(dāng)γ＜1時(shí)，適用于過暗圖像，其原理如圖2所示。

圖2 冪次變換函數(shù)示意圖Fig.2 Sketch map for power transformation function

由于部分子塊重疊［9］和局部直方圖均衡化計(jì)算量過大，且有時(shí)出現(xiàn)過亮、過暗情況，故本文只在全局范圍內(nèi)做直方圖均衡。

3 直方圖冪次變換均衡法與Retinex理論的結(jié)合原則

將兩種算法結(jié)合，存在先后的問題。基于Retinex理論的增強(qiáng)算法在恢復(fù)景物本來特性上表現(xiàn)優(yōu)秀，而直方圖冪次變換均衡法則更適合提高圖像的對(duì)比度。如果輸入圖像在顏色上有失真，先做均衡增強(qiáng)則會(huì)加劇顏色的異常，增加Retinex理論增強(qiáng)法恢復(fù)圖像原本模樣的難度，沖擊其恢復(fù)的效果。經(jīng)過大量的實(shí)驗(yàn)發(fā)現(xiàn)，將直方圖冪次變換均衡法運(yùn)用在Retinex增強(qiáng)之后效果最佳。但是通過實(shí)驗(yàn)還發(fā)現(xiàn)，并不是所有經(jīng)過Retinex增強(qiáng)后的圖像還需要第二次直方圖均衡增強(qiáng)，為此引入了方差指標(biāo)作為判據(jù)。因?yàn)榉讲羁梢泽w現(xiàn)一幅圖像的對(duì)比度大小。通過計(jì)算第一次增強(qiáng)后圖像的方差，并將其與輸入圖像的方差指標(biāo)相比較，如果小于該指標(biāo)則結(jié)合直方圖冪次均衡化算法，否則直接輸出圖像。

4 算法流程

1)計(jì)算輸入圖像方差指標(biāo)σ0，對(duì)輸入圖像做對(duì)數(shù)變換，初始化參數(shù)值。取 α =0.008，β =0.1，λ =0.3。金字塔分解層數(shù)nlayer=n，每層的四鄰域迭代次數(shù)niter，線性拉伸系數(shù)δ。

2)將輸入圖像與高斯低通濾波器做卷積，逐次做抽樣率2∶1的下采樣得到金字塔序列圖像si(1≤i≤nlayer);初始化 ln，0=max(sn)。

3)計(jì)算頂層sn的光照?qǐng)D像ln。在頂層圖像上做式(6)的四鄰域迭代。則ln=l4(ln，niter)。

4)if n=1，則ln為最終光照?qǐng)D像估計(jì)值。else利用雙線性插值做上采樣得到下一層光照?qǐng)D像初始值ln－1，0，令 n=n －1，跳至步驟 3)。

5)把得到的最終光照?qǐng)D像l1代入式(2)，得到反射圖像 r。計(jì)算其方差 σ2，if σ≤3/5σ0，將 r代入步驟6)。else直接輸出。

6)直方圖冪次變換函數(shù)均衡化。通過控制γ值的大小，調(diào)節(jié)輸出圖像亮度，直至清晰化效果最佳。本文γ取0.8。本文處理彩色圖像在RGB空間內(nèi)分別進(jìn)行，最后再將3個(gè)通道結(jié)果合成。

5 仿真結(jié)果

算法的應(yīng)用效果如下所示。圖3為霧天戶外監(jiān)視系統(tǒng)捕獲的原始圖像。圖4為單一運(yùn)用Retinex理論增強(qiáng)法清晰化的結(jié)果圖。圖5為將直方圖冪次變換均衡化應(yīng)用在Retinex理論增強(qiáng)法之前所得效果圖，圖6為本文提出算法清晰化結(jié)果圖。從4幅圖中可以看出，單一運(yùn)用Retinex理論增強(qiáng)法處理，雖然在一定程度上恢復(fù)了場(chǎng)景景物原貌，但是道路兩側(cè)的小樹還是被霧氣遮擋。而將均衡法用在Retinex理論增強(qiáng)法之前，則導(dǎo)致了天空顏色的異變，上文中已經(jīng)分析，這是由于均衡化增強(qiáng)了顏色失真所致。而將均衡化法運(yùn)用在Retinex理論之后，對(duì)整幅圖像質(zhì)量的提高是非常明顯的。道路的顏色更加接近實(shí)際，路邊的小樹枝干更加清晰，遠(yuǎn)處的路燈也能較容易地分辨出來，甚至在十字路口道路左側(cè)的一座小房子也能比較容易見到。圖7為將冪次變換的γ值設(shè)定為2的結(jié)果圖，可以明顯看到圖像整體變暗。說明該方法對(duì)亮度的調(diào)節(jié)是非常得力的。

圖3 原始圖像Fig.3 The original image

圖4 單一運(yùn)用Retinex理論增強(qiáng)法結(jié)果圖像Fig.4 The result when only using Retinex enhancement

圖5 直方圖冪次均衡化法用在Retinex理論增強(qiáng)法之前結(jié)果圖像Fig.5 The result when using power transformation HE before Retinex enhancement

圖6 直方圖冪次均衡化法用在Retinex理論增強(qiáng)法之后結(jié)果圖像Fig.6 The result when using power transformation HE after Retinex enhancement

圖7 γ=2時(shí)的結(jié)果圖像Fig.7 The result for γ =2

6 小結(jié)

本文吸收了Retinex理論保持色彩恒常的理論優(yōu)勢(shì)，對(duì)典型的Kimmel變分模型做了修改，增加了一項(xiàng)保持細(xì)節(jié)信息的因式，進(jìn)一步提高了圖像顏色的逼真度。引入了直方圖均衡化思想，將傳統(tǒng)的累積積分變換函數(shù)修改為冪次變換函數(shù)，使輸出亮度可調(diào)。最后將兩種方法相結(jié)合，討論了結(jié)合原則，把圖像方差作為結(jié)合與否的判據(jù)。實(shí)驗(yàn)表明，該方法對(duì)清晰化霧天降質(zhì)圖像有很好的效果。由于采用了四鄰域迭代和金字塔分層的求解方式，算法的工作量較低，效率較高。

［1］OAKLEY J P，SATHERLEY B L.Improving image quality in poor visibility conditions using a physical model for degradation［J］.IEEE Trans Image Processing(S1057-7149)，1998，7(2):167-179.

［2］TAN K，OAKLEY J P.Physics based approach to color image enhancement in poor visibility conditions［J］.Optical Soc Am A，2001，18(10):2460-2467.

［3］NAYAR S K，NARASIMHAN S G.Vision in bad weather［C］//Proc Seventh Int’l Conf Computer Vision，1999，2:820-827.

［4］NARASIMHAN S G，NAYAR S K.Removing weather effects from monochrome images［C］//Proc IEEE Conf Computer vision and Pattern Recognition，2001(2):186-193.

［5］祝培，朱虹，錢學(xué)明，等.一種有霧天氣圖象景物影像的清晰化方法［J］.中國圖像圖形學(xué)報(bào)，2004，9(1):124-128.

［6］RAHMAN Zi-ur，JOBSON D J，WOODELL G A.Retinex processing for automatic image enhancement［J］.Journal of Electronic Imaging，2004，13(1):100-110.

［7］KIMMEL R，ELAD M，SHAKED D，et al.A variational framework for Retinex［J］.International Journal of Computer Vision，2003，52(1):7-23.

［8］GONZALEZ R C，WOODS R E.Digital image processing［M］.2 版.北京:電子工業(yè)出版社，2003.

［9］翟藝書，柳曉鳴，涂雅瑗，等.一種改進(jìn)的霧天降質(zhì)圖像的清晰化算法［J］.大連海事大學(xué)學(xué)報(bào)，2007，33(3):363-366.