劉 健 ,張 賓 ,鹿 超 ,王燕燕 ,邸麗霞
(1.北方自動控制技術研究所,太原 030006;2.陸軍裝備部駐北京地區軍代局駐太原地區第二軍代室,太原 030006)
人所獲取的絕大多數信息來自圖像,圖像采集在視頻監控、軍事偵察等領域都有所應用。然而,惡劣的天氣狀況會影響圖像質量。例如目前常見的霧霾天氣,使得圖像采集設備所獲取的圖像有能見度低、清晰度低的問題,嚴重影響了特征提取、目標跟蹤等后續圖像處理工作。因此,圖像去霧技術的研究十分有必要。
目前,圖像去霧技術主要有基于非物理模型和基于物理模型兩類[1-2]。基于非物理模型的去霧技術通過提高對比度以達到突出目標信息的效果,例如基于Retinex與直方圖均衡化的圖像增強算法,這類方法沒有考慮圖像霧天退化機制,所處理的結果會有一定的顏色失真。基于物理模型的去霧技術通過反演霧天圖像退化過程,從含霧圖像復原得到清晰圖像,例如He[3]等提出的基于暗原色先驗的圖像去霧技術。
He等提出的方法對含霧圖像的復原效果較好,但仍存在一些不足。使用粗估計的透射率進行圖像去霧,會在景深突變處產生“白邊”現象。為避免“白邊”現象,需要對粗估計的透射率進行細化。He使用軟摳圖算法對透射率細化,但軟摳圖算法1需要占用大量的內存與消耗大量的時間。He又提出使用引導濾波[4]對透射率進行細化,大大降低了算法復雜度,但是在景深突變處會留有殘霧。文獻[5]采用中值濾波對透射率進行估計,避免了“白邊”現象,但存在過去霧的問題,即在景深突變處有“黑化”現象。此外,暗原色先驗理論不適用于天空區域,He提出的方法在處理有這類區域的含霧圖像時,會造成該區域的顏色失真。針對這一問題,文獻[6]提出利用圖像分割將這類區域分割出來并進行修復,避免該區域顏色失真。文獻[7-8]提出使用容差機制糾正這類區域的透射率,但是容差的選擇依賴于圖像本身,難以做到對全部圖像適用。
本文基于暗原色先驗理論,提出了結合最小值濾波與中值濾波的粗估計透射率優化方法,避免景深突變處的“白邊”與“黑化”現象。針對原算法在天空區域失效的問題,提出依據透射率自適應求取透射率下限值的方法,避免該區域顏色失真。
在計算機視覺與圖像處理領域,采用式(1)描述含霧圖像的物理模型:

式中,I(x)表示含霧圖像;J(x)表示去霧的清晰圖像;t(x)表示透射率,用于描述物體表面的反射光沒有發生散射而傳輸到圖像采集設備的比例;A表示圖像大氣光強。
根據大氣散射理論,受霧霾等大氣粒子的影響,光在該環境中傳播會發生散射。霧天大氣對圖像采集的影響主要包括兩個方面:物體表面的反射光在傳播到圖像采集設備的過程中會發生散射,只有部分反射光進入圖像采集設備,在式(1)中由J(x)t(x)表示;自然或人工光源光線經過大氣粒子發生散射,使其中一部分傳輸到圖像采集設備,在式(1)中由A(1-t(x))表示。因此,為求解去霧圖像J(x),需從I(x)中估計出t(x)與A。
He等人通過對戶外無霧圖像統計發現,在大多數無霧圖像非天空的局部區域,R、G、B 3個通道中至少有一個顏色通道值很低。因此,定義圖像的暗原色求解公式如式(2)所示:

式中,Jc表示圖像的一個顏色通道,Ω(x)表示以x為中心的方形濾波模板。在無霧圖像的非天空區域,Jdark(x)的值很低。
He通過上述暗原色先驗規律來求取全球大氣光強A與透射率t(x)。全球大氣光強求取過程如下:選取暗通道中值最大的0.1%的像素點,找出這些點在原含霧圖像中對應點的亮度最大值,將該值作為全球大氣光的估計值。粗估計透射率t(x)的求解如式(3)所示:

式中,ω表示去霧的程度,為使去霧圖像保留一定的景深信息,需要保留少量的霧,原文中ω取0.95。將t(x)與A帶入式(1),可得去霧圖像的求解如式(4)所示:

式中,為避免透射率取值過小造成失真,對透射率的下限值作了限定,原文中取限定值t0為0.1。去霧圖像結果如圖1(b)所示,可以看到,在景深突變處會有“白邊”現象。He采用引導濾波對粗估計透射率進行細化,將細化后的透射率帶入式(4),去霧圖像結果如圖1(c)所示,景深突變處的“白邊”現象明顯減弱,但是在更大的區域范圍內仍然有霧未去凈,即“殘霧”現象。

圖1 含霧圖及He算法去霧圖
圖1(b)的“白邊”現象是由于該區域的透射率估計錯誤造成的。由含霧圖像物理模型可知,景深突變處近景區域內透射率較大,而遠景區域內透射率較小。在透射率估計過程中,當最小值濾波模板包含景深突變處,且模板中心點位于遠景區域時,該中心點的透射率被估計為近景區域的透射率,導致透射率估計偏大,造成“白邊”現象。因為引導濾波使用均值濾波對輸入圖像操作,當使用引導濾波對粗估計透射率進行細化時,均值濾波模板大小通常大于式(3)中最小值濾波模板,會使得被高估的透射率降低,同時導致正常的透射率值被高估,形成圖 1(c)中的“殘霧”現象。
文獻[5]在求取暗原色值時,采用中值濾波代替外層的最小值濾波,如式(5)所示:

當濾波模板包含景深突變處,且模板中心點位于近景區域,而中值點位于遠景區域時,該中心點的透射率被估計為遠景區域的透射率,導致透射率估計偏小,造成“黑化”現象。
由暗原色先驗理論可知,在非天空區域,離圖像采集設備越近的地方,霧氣越少,暗原色值越小;反之,暗原色值越大。如圖2所示,圖中陰影部分表示遠景區域,白色部分表示近景區域,當濾波模板包含景深突變處時,可分為4類情況:
1)中心點位于近景區域,遠景區域面積較小。此時濾波模板內的暗原色最小值點與中值點均落在近景區域。該情況下采用最小值濾波與中值濾波的結果相近;
2)中心點位于近景區域,遠景區域面積較大。此時濾波模板內的暗原色中值點落在遠景區域,該情況下采用中值濾波會產生“黑化”現象;
3)中心點位于遠景區域,遠景區域面積較大。此時濾波模板內的暗原色中值點落在遠景區域,該情況下采用最小值濾波會產生“白邊”現象;
4)中心點位于遠景區域,遠景區域面積較小。此時濾波模板內的暗原色最小值點落在近景區域,該情況下采用最小值濾波會產生“白邊”現象。

圖2 景深突變處的情況分類示意圖
由以上分析可知,對濾波模板單獨使用最小值濾波或中值濾波,去霧圖在景深突變處會有部分失真。因此,本文提出根據景深突變處的不同情況,選擇不同的濾波方式,避免該區域的“白邊”或“黑化”現象。定義圖像某點處R、G、B三通道的最小值由式(6)計算得到:

對于圖 2(a)、圖 2(b)兩種情況,中心點處三通道的最小值Jchannel與該點的暗原色值Jdark相近,采用最小值濾波;對于2(c)、圖 2(d),Jchannel與Jdark值相差較大,采用中值濾波。改進算法中粗估計透射率求解公式如式(7)所示:

式中,ε為閾值。為使ε值具有自適應性,改進算法采用最大類間方差法求取|Jchannel(x)-Jdark(x)|的自適應閾值。最大類間方差法可以依據圖像特性求取自適應閾值,將其分為前景與背景。3種濾波方式透射率圖比較如圖 3所示,相較于圖(a)與圖(b),圖(c)可以正確估計景深突變處遠景區域的透射率,并反映近景區域的細節。

圖3 3種濾波方式透射率圖比較
暗原色先驗理論不適用于天空區域,He算法在處理這類區域時,會造成去霧圖像的顏色失真。在這類區域,實際透射率應為[2]:

由于這類區域找不到暗原色值趨近于0的點,式(8)的分母小于1,由式(8)求得的實際透射率要大于式(3)求得的估計透射率。針對該問題,文獻[2]與文獻[6]采用圖像分割的方法將天空區域分割出來,并對天空區域的估計透射率適當增大以減少顏色失真。這類算法的效果依賴于圖像分割的準確性,圖像分割使得暗原色先驗去霧算法復雜度提高。文獻[7]引入一種容差機制,定義k為容差,判定|I(x)-A| 天空區域離圖像采集設備較遠,在含霧圖像中屬于透射率較低的區域,但是過低的透射率區域經過暗原色先驗算法處理后會造成顏色失真,He算法中對式(4)中的透射率下限值限定為0.1,通過改變該值可以改善天空區域的失真問題。若該值取值過小,則圖像失真改善不明顯,若該值過大,則圖像去霧效果不明顯。本文提出采用最大類間方差法求取粗估計透射率的自適應閾值,以此閾值的1/2作為透射率的下限值,再經過引導濾波平滑濾波后,作為最終估計的細化透射率。改進算法所求得的透射率下限值通常大于0.1,即在圖像較遠的部分保留了部分霧氣,因此,式(3)中ω值取1。 為了驗證算法的有效性,在MATLAB R2014b平臺上進行了仿真實驗,并將改進算法與文獻[2]算法、文獻[5]算法、文獻[7]算法進行比較,從圖像去霧主觀效果與客觀清晰度指標兩方面進行對比。相關參數設置如下: 1)文獻[7]算法:引導濾波參數 r=40,ε=0.001,容差值k=50; 2)改進算法:引導濾波參數r=40,ε=0.001。 圖4給出了改進算法與對比算法的去霧效果比較圖。其中,第1行圖不含天空區域,第2行圖含有大面積天空區域,第3行圖含有小面積天空區域。 圖4 含霧圖及去霧效果比較 通過比較可得,文獻[5]的處理結果在景深突變處的近景區域出現“黑化”現象,并且由于細節過度突出導致景深信息不明顯,在天空區域仍然出現顏色失真;文獻[2]通過調整景深突變處中值濾波模板的大小減弱了“黑化”現象,但由于中值濾波的緣故,仍然導致細節過度突出,此外,該算法可以分割出天空區域,但對該區域的透射率提升強度不大,在處理含大面積天空區域的含霧圖時仍然有部分失真;文獻[7]的處理結果由于容差值無法自適應改變,在處理不含天空區域或天空區域面積較小的圖像時,會發生去霧效果不明顯的情況;改進算法可以在避免失真的前提下,復原得到無霧的清晰圖像。 復原圖像的清晰度指標可以很好地反映去霧的效果,圖像的清晰度可以由平均梯度反映。表1給出了含霧原圖以及復原圖像的平均梯度值。其中編號1、2、3對應圖4中的3幅圖,編號4不含天空區域,編號5含天空區域。 表1 清晰度比較 由實驗可以看出,各類算法的清晰度都較原圖有所提升,文獻[2]與文獻[5]算法均采用中值濾波求取暗原色值,導致去霧圖像細節過度突出,清晰度較高;文獻[7]由于容差值無法自適應,處理某些圖像的清晰度較高,而對于另一些圖像清晰度較低。 本文基于暗原色先驗理論,提出一種單幅圖像去霧優化技術。求取粗估計透射率時,根據景深突變處的分類情況,采用不同的濾波方式,避免了景深突變處出現的“白邊”或“黑化”現象,采用最大類間方差法求取自適應閾值,提高了改進算法的自適應性。改進算法還自適應求取透射率的下限值,避免了去霧后天空區域的顏色失真現象。仿真實驗結果表明,改進算法可以從含霧圖像復原得到清晰圖像,并且去霧主觀效果與清晰度評價指標優于對比算法。3 實驗結果分析
3.1 圖像去霧主觀效果

3.2 清晰度指標

4 結論