單幅粉塵圖像的切片重構恢復方法

王園宇,張一凡,王云飛

0 引言

由于粉塵環境對入射光線產生的散射與吸收作用,使所攝圖像在清晰度、對比度與色彩上都發生了退化，造成蘊含在圖像中的許多有效特征被粉塵環境所掩蓋或弱化,給基于計算機視覺的目標監控與識別工作造成了困難，因此有必要對粉塵環境中的圖像進行清晰化處理。然而目前鮮見此類研究。盡管如此,當粉塵環境為單散射,且均勻分布時,其對圖像的影響與霧霾類似。對于這類問題主流是基于物理模型下的圖像恢復方法[1]。而此方法又大致可以分為基于多幅圖像的圖像恢復與基于單幅圖像的圖像恢復方法。

在基于多幅圖像的圖像恢復方法中,Narasimhan等[2]使用不同天氣條件下的多幅圖像獲得求解模型所需的圖像結構信息；Schechner等[3]在鏡頭前加裝偏振片,使用不同偏振角度拍攝兩幅圖像,從而實現對物理模型的求解；Kopf等[4]則根據標注深度信息的數字地圖獲取求解所需的結構信息。然而此類方法需要的附加操作與條件過多,在實際應用中往往難以獲得。最近,基于單幅圖像的圖像恢復算法取得了很大進展。而且由于單幅圖像的經濟性好,所以受到越來越多的關注。其中,Tan[5]假設局部區域對比度最大,實現了霧圖像的清晰化；然而, 由于沒有從物理模型上恢復真實場景的反照率, 因此恢復后的圖像顏色顯得過飽和。Fattal[6]假設圖像局部區域的反照率為常向量，并假設物體表面色度與介質傳播這兩個函數在局部統計中不相關，然后應用獨立成分分析來估計局部反照率。該算法本質上是非線性反問題的求解, 它的性能在很大程度上取決于輸入數據的統計特性。He等[7]通過圖像中存在的暗元素得到直接傳輸率函數的粗估計，然后借助摳圖算法對直接傳輸率函數進行精細化,取得了很好的效果。然而,這種細化方法實質上是一個大規模稀疏線性方程組的求解問題, 具有很高的時間復雜度和空間復雜度。Meng等[8]提出了霧圖像直接傳輸率的邊界條件,并以此產生粗深度圖,最后用上下文正則化方法優化,從而實現圖像去霧。劉倩等[9]僅利用均值濾波對環境光和全局大氣光進行估計,實現了實時去霧。Tan等[10]基于暗元色先驗知識得到粗深度圖,然后與一個參考圖進行運算實現了快速去霧。

這些方法都是以單散射與均勻分布為前提的,而粉塵環境常為不均勻分布且局部多散射的情況。相應的上述圖像恢復算法對粉塵環境下的圖像恢復效果就欠理想。王園宇等[11]在研究了粉塵的光學特性后,試圖建立考慮多散射情況下圖像退化模型,并在此基礎上應用暗元色先驗知識原理,結合基于kirsch算子的自適應閾值圖像質量評價函數,采用遺傳算法(Genetic Algorithm,GA)優化方法,對粉塵環境中的圖像進行自動恢復。由于以圖像中含有的邊緣數量作為評價指標,所以該方法恢復的圖像有時顯得不自然,此外該方法處理圖像的實時性較差。

針對這些問題,本文提出一種單幅粉塵圖像的切片重構恢復方法來統一處理粉塵環境中的圖像退化問題。該方法利用單散射圖像退化模型在圖像深度方向逐層恢復得到切片圖像。然后,對切片圖像進行聯合粉塵檢測運算,將切片圖像中無粉塵的區域保留,而將有粉塵的區域標記并將此區域作為下一張切片圖像的檢測區域。此過程多次進行直至滿足結束條件。接著,對每張切片圖像中保留的無粉塵部分和最后一張切片的粉塵區域進行重構。最后,對重構圖像使用快速導向濾波,實現了對單幅粉塵圖像的恢復。此方法有效減弱了粉塵散射光對圖像的影響,對粉塵環境中因為分布不均勻、局部多散射較強的圖像恢復效果理想,具有較好的實時性。此方法對霧霾圖像的恢復也有一定的參考價值。

1 粉塵圖像退化模型

圖像退化模型是基于物理模型圖像恢復算法的基礎。目前主要有三類:1)McCartney[12]于1976年提出的大氣散射物理模型。在此基礎上Narasimhan等[13]建立了雙色大氣散射模型。此模型假設介質環境是同質均勻且單次散射的。2)在第一種模型基礎上考慮了介質非均勻分布情況后建立的模型,但在確定系數時需要使用MODTRAN 4.0軟件進行模擬[14]。3)直接以該介質的輸運方程為圖像退化模型,該模型考慮了多散射的情況,但對方程的求解必須使用數值方法進行[15]。王園宇等[11]鑒于粉塵多散射描述的復雜性,假設粉塵是同質均勻的,且入射光線為平面波,采用一級多散射方法對多次散射過程進行了簡化近似,建立了粉塵環境下的圖像退化模型,如式(1)所示：

(1)

將式(1)變形得到式(2):

(2)

其中:t=e-τ稱為直接傳輸率。如果等式右邊的參數已知,則通過式(2)就可以從粉塵圖像I中恢復出圖像J。

本文將采用單散射模型去解決多散射問題,因此仍然使用式(1)作為粉塵圖像的退化模型。

2 切片重構恢復算法

2.1 算法原理

在粉塵環境中,觀察者與景物之間是分布不均勻且局部多散射的粉塵介質。由于多散射可看作是在其傳播路徑上經過多次單散射產生的,所以隨著觀察者不斷向景物移動,觀察者和景物間的粉塵濃度就降低了,原來的多散射與不均勻環境也就變成了單散射和相對均勻的環境,因此用單散射退化模型對粉塵環境中分布不均勻且局部多散射問題進行近似求解是合理的。

假設不同景深處的直接傳輸率為t1,t2,…,ti,…,tn(ti>ti+1)。由于ti每個元素都是一樣的值，于是按式(2)得到對應的切片圖像J1(t1),J2(t2),…,Ji(ti),…,Jn(tn)。設其中任一切片圖像為Ji(ti),則當任意像素具有的真實直接傳輸率tj>ti時,則該像素點比起真實值暗;反之,當tj

(3)

2.2 粉塵區域檢測算法

由式(3)可知粉塵區域檢測算法是確定區域Ωi的關鍵。文獻[16]中提出了一種檢測霾的方法,該方法對粉塵圖像進行檢測時,對像素值較低的粉塵區域無法進行有效檢測，為此本文提出一種新的聯合粉塵區域的檢測方法。檢測方法由如下兩部分組成:

1)粉塵區域的初次檢測方法。

該方法首先按照式(4)將原圖像從區間[0,1]映射到區間[0.5,1]內,得到半反圖像Is。

(4)

然后,按式(5)計算I與Is差的絕度值Ih：

Ih=|I-Is|

(5)

將Ih>threshold的部分設定為非粉塵區域,threshold表示閾值,本文取threshold=0.01。本文算法與霾檢測算法[15]的檢測結果對比如圖1所示。

可以看出兩種方法的檢測效果是很接近的,而由于本文方法沒有進行顏色空間轉換,因此速度更快。

2)粉塵區域的二次檢測。

由于后續切片的減光作用,粉塵區域的亮度會減小,使用初次檢測方法會將粉塵區域誤判為非粉塵區域,如圖2(b)所示的灰色非粉塵區域，因此需要進行二次檢測。

注意到粉塵區域是比較平滑的,如圖2(a)所示；其包含的邊緣數目較少,如圖2(c)所示。因此,用邊緣檢測結果對粉塵區域進行二次檢測,如果被檢測的粉塵區域中包含的邊緣超過一定數量則判定為非粉塵區,否則為粉塵區,如圖2(d)所示。

3)粉塵檢測流程。

對前一張切片圖像確定的粉塵區域進行初次檢測,檢測到的非粉塵區域為Xf,而粉塵區域為Yf。當area(Yf)/area(Xf)

圖1 本文方法與文獻[16]方法對霧霾檢測結果的對比

圖2 兩次粉塵檢測結果

圖3 切片圖像中粉塵區域的減光曲線

2.3 切片數選擇

顯然,切片越多恢復后的圖像就越平滑細膩,而切片越少算法的執行效率越高，為此，本文提出了一種兼顧兩者選擇切片數量的方法。假設粉塵圖像中的某個像素點具有一個確定的灰度值,這個像素點的灰度值將會在后續的切片圖像中變得越來越小,其變化曲線如圖3所示。根據對多幅粉塵圖像的統計可知,在多數情況下當令ti元素取值為0.3時,按式(2)恢復的圖像中，代表粉塵的像素值就會接近于0,因此tn元素的值可置為0.3。此外,通過Hill-Climbing方法[17]得到圖像的聚類簇數,并將此數目作為切片數目。

2.4 重構圖像恢復

由于2.3節中得到的t值組成的粗深度圖需要細化,本文采用快速導向濾波器[18]對深度圖進行濾波,得到的細深度圖后,由式(2)得到恢復圖像。

3 實驗結果與分析

實驗使用Matlab作為編程工具,在ThinkPad-E40筆記本電腦上實現算法。粉塵初次檢測threshold=0.01,二次檢測分塊大小為15×15，T=0.1。按照文獻[7]方法計算A。

表1 粉塵環境下的各方法圖像恢復質量指標與處理時間

5幅測試圖像來源于網絡,如圖4(a)所示。測試圖像包含粉塵環境均勻時的退化圖像和粉塵環境不均勻且局部多散射時的退化圖像。實驗中將本文方法與文獻[7,9-10]方法在對比度[19]、清晰度以及時間方面進行了比較，結果如圖4所示。其中清晰度采用Tenengrad函數進行評價。由于本文算法分區域進行有限次恢復,所以產生的假輪廓少,背景區域沒有失真。而在圖F中,測試圖像采集于室內,圖像退化模型有誤差,所以對比算法的結果不是信息損失就是去粉塵效果不好,相比之下本文算法去粉塵效果是明顯的。由表1可知,本文算法對圖4中均勻分布且單次散射的粉塵環境所產生的退化圖像(圖A～圖E),以及不均勻分布且局部多次散射的粉塵環境下產生的退化圖像(圖F～圖G)的恢復結果具有較高的對比度和清晰度,并且可以較快恢復圖像。

圖4 粉塵圖像恢復

4 結語

實驗結果表明，本文方法對均勻分布且單次散射的粉塵環境所產生的退化圖像以及不均勻分布且局部多次散射的粉塵環境產生的退化圖像都有較好的恢復效果且處理速度較快。粉塵區域的檢測是本文方法一個十分重要的環節,檢測的準確性對切片減光方法的執行結果影響較大，進一步改進粉塵區域的檢測方法是下一步研究的方向。

參考文獻(References)

[1] 王園宇. 粉塵環境中的圖像恢復研究[D]. 太原: 太原理工大學, 2011: 48-32.(WANG Y Y. The research of image restoration in dust environment[D]. Taiyuan: Taiyuan University of Technology, 2011:48-32.)

[2] NARASIMHAN S G, NAYAR S K. Contrast restoration of weather degraded images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(8): 713-724.

[3] SCHECHNER Y Y, AVERBUCH Y. Regularized image recovery in scattering media [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(9): 1655-1660.

[4] KOPF J, NEUBERT B, CHEN B, et al. Deep photo: model-based photograph enhancement and viewing[J]. ACM Transactions on Graphics, 2008, 27(5): 1-10.

[5] TAN R T. Visibility in bad weather from a single image: computer vision and pattern recognition [C]// CVPR 2008: Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2008: 1-8.

[6] FATTAL R. Single image dehazing[J]. ACM Transactions on Graphics, 2008, 27(3): 1-9.

[7] HE K, SUN J, TANG X. Single image haze removal using dark channel prior[C]// Proceedings of International Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society Press, 2009: 1956-1963.

[8] MENG G F, WANG Y, DUAN J, et al. Efficient image dehazing with boundary constraint and contextual regularization[C]// ICCV 2013: Proceedings of the 2013 IEEE International Conference on Computer Vision. Washington, DC: IEEE Computer Society, 2013: 617-624.

[9] 劉倩, 陳茂銀, 周東華.基于單幅圖像的快速去霧算法[C]// 第25屆中國控制與決策會議論文集. 沈陽: 東北大學出版社, 2013: 3780-3785.(LIU Q, CHEN M Y, ZHOU D H. Fast haze removal from a single image[C]// Proceedings of the 25th Chinese Control and Decision Conference. Shenyang: Northeastern University Press, 2013: 3780-3785.)

[10] TAN Z, BAI X, WANG B, et al. Fast single-image defogging[J]. FUJITSU Scientific & Technical Journal, 2014, 50(1): 60-65.

[11] 王園宇, 李元宗, 張天序. 粉塵環境中的圖像恢復方法[J]. 華中科技大學學報(自然科學版), 2010, 38(8): 42-45.(WANG Y Y, LI Y Z, ZHANG T X. Method to restore dust degraded images[J]. Journal of Huazhong University of Science and Technology (Natural Science Edition), 2010, 38(8): 42-45.)

[12] McCARTNEY E J. Optics of the Atmosphere: Scattering by Molecules and Particles[M]. New York: Wiley, 1976: 52.

[13] NARASIMHAN S G, NAYAR S K. Vision and the atmosphere [J]. Computer Vision, 2002, 48(3): 233-254.

[14] 武鵬飛, 方帥, 徐青山, 等. 非均勻大氣中單幅圖像復原[J]. 電子學報, 2013, 41(10): 1895-1902.(WU P F, FANG S, XU Q S, et al. Single image dehazing in inhomogeneous atmosphere[J]. Acta Electronica Sinica, 2013, 41(10): 1895-1902.)

[15] 劉錦鋒, 黃峰. 一種基于輸運方程的大氣退化圖像復原方法[J]. 光散射學報2005, 16(4): 364-369.(LIU J F, HUANG F. A restoration method of atmospheric degraded image based radiative transfer equation[J]. The Journal of Light Scattering, 2005, 16(4): 364-369.)

[16] ANCUTI C O, ANCUTI C, HERMANS C, et al. A fast semi-inverse approach to detect and remove the haze from a single image[C]// ACCV 2010: Proceedings of the 10th Asian Conference on Computer Vision, LNCS 6493. Berlin: Springer, 2010: 501-514.

[17] OHASHI T, AGHBARI Z, MAKINOUCHI. Fast segmentation of texture image regions based on hill climbing[C]// Proceedings of the 2003 IEEE Pacific Rim Conference on Communications, Computers and signal Processing. Piscataway, NJ: IEEE, 2003: 848-851.

[18] HE K M, SUN J. Fast guided filter [EB/OL]. [2016- 03- 05]. https: //arxiv.org/pdf/1505.00996v1.pdf.

[19] PELI E. Contrast in complex images [J]. Journal of the Optical Society of America A, 1990, 7(10): 2032-2040.

This work is partially supported by the Natural Science Foundation of Shanxi Province (2012011014-2).