基于霧線暗原色先驗的紅外圖像去霧算法

左健宏，藺素珍，祿曉飛，李大威，李 毅

〈圖像處理與仿真〉

基于霧線暗原色先驗的紅外圖像去霧算法

左健宏1，藺素珍1，祿曉飛2，李大威1，李 毅2

（1. 中北大學 大數據學院，山西 太原 030051；2. 酒泉衛星發射中心，甘肅 酒泉 735000）

紅外圖像去霧算法的主要任務是解決紅外圖像因米氏散射引起的低可見性和模糊。但是當前紅外圖像去霧算法對紅外圖像暗處透射率估計欠佳，針對這一情況，研究了基于霧線暗原色先驗的紅外圖像去霧算法。首先，利用霍夫變換估計大氣光照；然后，針對霧線去霧方法在部分場景中失效的現象，采用霧線暗原色先驗方法，通過假設霧線較暗端為真實顏色估計透射率，獲取透射率圖；最后為去除透射率圖中噪聲，對透射率圖全變分正則化進一步優化透射率圖。以公開紅外數據庫LTIR作為測試對象，實驗結果表明，本文去霧算法在增強紅外圖像清晰度的同時未破壞紅外輻射分布，對各種場景的紅外圖像有較好去霧效果。透射率估計準確，有較好紅外圖像去霧能力。

紅外圖像增強；圖像處理；圖像去霧；全變分；圖像增強

0 引言

紅外圖像反映的場景溫度分布信息，對圖像融合、目標檢測和視頻監控任務有著重要作用[1-3]。盡管紅外成像具有全天候的優勢，但在霧霾天氣下，米氏散射會削減紅外圖像的對比度和可見性，像質退化不可避免。因此，研究紅外圖像去霧算法不但需要增強其對比度和細節，同時不能破壞紅外圖像像素分布信息，避免出現過增強現象[4-6]。

單幀紅外圖像去霧方法可分為基于紅外圖像增強去霧和基于大氣散射模型去霧兩類。直方圖均衡化是基于紅外圖像增強去霧的典型代表[7]。該方法通過修正和合并像素值等變換使原圖像灰度直方圖近似均勻分布，增強過程中細節信息丟失，區域亮度不均勻。近年來出現的其他基于紅外圖像增強的去霧方法還有變分圖像增強算法、Retinex圖像增強算法等[8]。這些算法不可避免地會破壞場景原有的溫度分布信息，對后續的目標檢測和場景理解等任務帶來不良影響?；诖髿馍⑸淠Ｐ偷娜レF算法建立在大氣物理模型基礎之上，保留溫度分布信息。此類方法逐漸成為研究熱點。Zheng[9]借鑒He[10]提出的暗通道先驗和暗通道去霧算法，同時依托紅外圖像成像原理，提出紅外交通圖像去霧算法，加入伽馬校正達到了較好的紅外圖像去霧效果，但由于深空等區域普遍溫度低，未被散射而圖像中低灰度值像素大量存在，利用這類暗區域估計出的透射率不準確是這一類方法的共性問題，去霧結果存在嚴重的過增強和光暈現象。董浩偉[11]對暗通道去霧結果使用Retinex算法進行對比度增強，提高了去霧結果的對比度和信噪比，但未完全解決暗區域透射率估計不準確的問題。

為提升紅外圖像暗區域去霧效果，針對大氣散射模型下暗區域透射率估計不佳的問題，本文以室外場景紅外圖像為研究對象，提出基于霧線暗原色先驗的紅外圖像去霧算法。首先，本文通過霍夫變換，以球參數空間中點是否落在候選區域內和候選大氣光照是否大于當前像素值為投票條件，投票選出最優大氣光照；然后，將有霧紅外圖像轉換至球參數空間得到霧線，依據本文提出的暗原色先驗初始化透射率圖；再采用全變分方法優化透射率圖，抑制噪聲干擾，減少誤差；最后，通過求解無霧圖像實現去霧效果。

1 基于暗原色先驗的紅外圖像去霧算法

1.1 大氣散射模型

Narasimhan提出的大氣散射模型（如圖1）[12]認為光進入大氣層時，相機接收到的輻射能量實際來源于兩部分：①場景受太陽光反射或場景本身輻射的能量，這部分能量因場景深度，大氣干擾而有所衰減。②光被散射后形成的大氣光。根據此模型，圖像可以表達為：

()＝()()＋(1－()) (1)

式中：對應著像素位置＝(,)；()為衰減前圖像；()為透射率；為全局大氣光照；()為霧霾圖像。

假設地表大氣是均質的[13]，透射率可表示為：

()＝exp[－()d()] (2)

式中：()代表場景深度；代表波長；()為大氣散射系數。

單幀圖像去霧問題中，大氣散射模型中()作為已知量，同時求解()、()、三個未知量是一個欠適定問題。需利用各種先驗知識從霧霾圖像()估計大氣光照和透射率()，才能求解無霧圖像()，如公式(3)所示：

在熱紅外成像的地-氣輻射傳輸中，地面與大氣吸收太陽能，成為熱紅外輻射的輻射源，輻射能量又被大氣多次吸收和散射。因此，受到大氣干擾的紅外圖像與可見光霧圖呈現出相似的視覺效果。在紅外圖像中，假設地表和大氣為朗伯體，紅外輻射衰減與大氣二氧化碳水蒸氣吸收、大氣中微粒的散射和雨雪影響相關。文獻[11]中紅外波段大氣輻射衰減為：

圖1 大氣散射模型

對比式(4)與式(2)可以看出，紅外成像和可見光成像在霧霾場景下大氣透過率估計方法相近，可以認為大氣散射模型近似適用于紅外圖像去霧。

1.2 霧線

Berman提出非局部圖像去霧方法[14]，假設無霧圖像可以由遠少于顏色空間數的顏色數來近似表達。從RGB空間來看，一幅圖像中像素會聚集成數百個簇。在霧霾圖像中，像素建模為原始像素值與大氣光照的凸組合，原先緊致的簇以直線的形式分布在RGB空間中，Berman將這些線稱為霧線，認為霧線中遠離圓心一端代表原始像素值。

紅外圖像服從顏色可壓縮假設，可以用較少的顏色近似表示紅外圖像，滿足Berman非局部去霧方法假設。因此可將非局部圖像去霧方法應用于紅外圖像去霧。如圖2所示，(a)為原圖，圖2(b)～(f)分別采用聚類數為8、16、32、64、128的均值聚類對紅外圖像進行顏色量化。顏色量化后紅外圖像可以近似表示原圖像。聚類數為8、16顏色量化結果圖2(b)，圖2(c)與圖2(d)～(f)（聚類數為32、64、128顏色的量化結果）相比，視覺信息損失較大，可以明顯看出陰影和墻面的不協調。圖2(g)為對7個紅外場景100張紅外圖像顏色量化后PSNR統計圖。

為加快聚類速度，減少運行時間，本文采用聚類數為32的均值聚類對紅外圖像提取霧線。

為獲取霧線，首先將單通道的紅外圖像轉換至RGB顏色空間中，紅色分量，綠色分量，藍色分量相同，圖像視覺信息不發生改變。

式中：infrared()為單通道紅外圖像，將單通道紅外圖像復制到紅色分量，綠色分量，藍色分量中；()為轉換至RGB顏色空間后的紅外圖像。

之后回歸至以大氣光照為空間原點的新坐標系下。將式(1)變換得：

式中：I()為霧圖減去大氣光照后圖像；J()為無霧圖像減去大氣光照。聯立公式(6)、(7)、(8)得到：

I()＝()J() (9)

將I()轉換為球坐標空間：

式中：()為天頂角；()為方位角，天頂角和方位角與聚類的結果，即簇一一對應；()為徑向距離，代表像素點到原點距離；徑向距離僅由透射率()決定。

霧線如圖3所示，可以發現，屬于這個簇的像素點分布在整個圖像中。簇中像素點輻射波長相近，深度各不相同。

1.3 大氣光照估計

大氣光照可用眾多方法進行有效估計，本文借助霍夫變換估計大氣光照[15]。通過對參數空間點進行投票，選出能形成所需幾何形狀的最佳參數。將紅外圖像變換至球參數空間，在球面上根據天頂角和方位角采樣，采樣總數為，得到采樣集{,}＝1，以能形成霧線的參數作為最佳參數，此參數即為大氣光照。投票規則為，判斷在當前候選大氣光照下：①采樣結果是否落在候選區域內。②當前候選大氣光照是否大于()。迭代求解對應的最優大氣光照：

(a) 紅外圖像 (b)＝8，顏色量化 (c)＝16，顏色量化 (d)＝32，顏色量化 (e)＝64，顏色量化(f)＝128，顏色量化 (g) PSNR

(a) Infrared image (b)=8color quantization (c)=16 color quantization (d)=32color quantization (e)=64color quantization (f)=128color quantization (g) PSNR

圖2 紅外圖像顏色可壓縮驗證

Fig. 2 Verify the compressibility of infrared image color

圖3 紅外圖像霧線

1.4 霧線暗原色先驗下的透射率估計

由式(9)可知，徑向距離()的不同意味著透射率的不同。對于一條給定的霧線，徑向距離()由無霧圖像()，大氣光照和透射率()共同決定：

研究中發現，對于紅外圖像中一條給定的霧線，亮度更高的像素受散射影響變暗落入此簇，因此提出用霧線暗原色描述紅外圖像中的原始大量的暗區域，同時不會對亮區域造成影響。

對透射率()取最小值：

式中：min代表此霧線最小徑向距離；min()代表最小透射率。聯系公式(13)、(14)，得出透射率：

此時，求透射率問題轉換為估計霧線最小透射率問題。根據暗通道先驗，由公式(1)可知，對于每條霧線，最小透射率min()可表示為：

式中：line()為霧線內元素在有霧紅外圖像中的像素值，通過最小化暗通道先驗的透射率估計，計算每條霧線的最小透射率。

將式(16)代入式(15)，透射率可進一步寫為：

1.5 透射率優化

為了取得更好的去霧結果，使用全變分正則優化透射率圖，對求得的透射率進行保邊平滑，抑制噪聲干擾，減少誤差：

式中：tv為正則項參數；?()為梯度算子，refine()優化后透射率，迭代求解公式(16)，得到優化后的透射率refine()。tv調整圖像平滑程度，tv越大，圖像平滑程度越高，降噪效果好，但破壞圖像結構信息；反之，tv值越小，降噪效果不明顯，無法優化透射率圖，不同tv優化結果如圖4所示。

將refine()、代入公式(3)中求得去霧圖像()，將去霧結果轉為灰度圖即為最終去霧結果（如圖5）。

圖4 透射率優化

2 分析與討論

為了驗證本文提出算法的有效性，選取林雪平大學熱紅外數據庫[16]（Linkoping Thermal InfraRed, LTIR）中3個不同場景的圖像進行分析，包含遠景，近景，濃霧，昏暗等情況，“行人”，“挖掘機”，“公園”分別對應圖6中場景1～場景3。

在所有實驗中，依據本文1.2節所述，在聚類數為32時，紅外圖像顏色量化效果較好，能有效降低聚類所消耗的時間，因此本文算法的球面空間采樣數＝32。式(12)中閾值參數作用限制采樣區域，依據經驗設置＝0.02。在透射率優化部分，式(18)中正則項參數過小時降噪效果不佳，過大時透射率圖過度模糊，經過實驗后設置tv＝0.01。

本文算法與直方圖均衡化圖像增強算法[7]，紅外交通圖像去霧算法[9]、大氣散射模型和Retinex增強去霧算法[11]和Berman非局部去霧算法[14]進行比較。

2.1 主觀評價分析

主觀分析實驗結果，圖6各個場景中，(a)為原始紅外圖像，(b)為文獻[7]提出的直方圖均衡化算法，(c)為文獻[9]中Zheng提出的紅外交通圖像去霧算法，(d)為文獻[11]中董浩偉提出的基于大氣散射模型和Retinex增強的去霧方法，(e)為文獻[14]中Berman提出的非局部去霧方法，(f)為本文方法。

對比結果如圖6所示，可以看出，直方圖均衡化算法通過灰度級合并增強圖像對比度，對有霧紅外圖像增強有限，在遠景場景1和場景2中由于行人、挖掘機中灰度相近，灰度合并后丟失的細節信息，同樣的，場景3處理結果中樹木紋理模糊，過增強現象嚴重。Zheng通過對暗通道去霧結果進行伽馬校正來優化去霧結果，但伽馬校正魯棒性較差，同一伽馬參數無法適用于不同場景。在場景1中伽馬校正后有效突出行人，但削弱了背景。昏暗場景2和3中，圖像整體較暗，透射率估計錯誤，伽馬校正后，挖掘機、行人過增強嚴重，丟失場景細節。董浩偉通過對暗通道去霧后的紅外圖像進行Retinex增強。一定程度上改善了圖像昏暗的問題，在場景1中有效突出了草地和灌木叢的對比度，視覺效果較好，但破壞了紅外圖像的輻射分布。在場景3中，由于去霧結果不好，在Retinex增強后放大圖像噪聲，視覺效果較差。Berman基于顏色可壓縮假設提出非局部去霧算法，將圖像轉換至球參數空間獲取霧線，利用霧線估計透射率。Berman實驗結果對比度有所提高，去霧效果較好，細節得以突出。由于Berman的方法將霧線中亮端假設為真實顏色，認為此處透過率為1，導致在近景場景1中樹干紋理等較亮處過增強現象明顯，破壞了紅外圖像輻射分布。本文方法實驗結果中，由于用霧線中最小徑向距離和最小透射率估計透射率，在場景1草坪區域中，場景2溝壑中，場景3椅子中有更多細節，透射率估計準確，對紅外圖像中暗區域處理更佳，保留較多的細節信息，改善圖像的視覺效果。對場景1中樹木和草地、場景2中挖掘機、場景3中公園設施都得到有效增強。但在場景1中，去霧不完全，可以看出背景中仍含有一層薄霧未去除。

2.2 客觀評價

由于難以獲取與有霧紅外圖像相對應的無霧紅外圖像，無法通過對無霧紅外圖像與去霧結果比較進行直接評價，為客觀評價實驗結果，從提高圖像清晰度和盡可能保留原始紅外圖像輻射分布的角度對去霧結果進行評價。

由香農提出的信息熵（information entropy, IE）是衡量圖像清晰度的有效指標，能有效衡量圖像信息豐富程度，判斷是否較好地保持了原圖像細節信息。信息熵越大，圖像所含信息量越大。

結構相似性（structural similarity index, SSIM）通過對比圖像的對比度、亮度和結構信息的相似性來評價圖像質量，能有效判斷結果圖像與原圖像輻射分布是否一致。

圖5 紅外圖像去霧

因此，使用結構相似性（structural similarity index, SSIM）作為評價指標，衡量實驗結果的清晰度和保留原圖紅外輻射分布的能力，結果如表1所示。可以看到本文算法在場景1中增強了行人的對比度，在場景2中，本文去霧不完全導致信息熵較低，而文獻[7]方法有效增強背景中土坡和溝壑的對比度，但挖掘機過增強現象嚴重?？傮w來看，本文算法取得了較好的去霧效果，去霧圖像提升清晰度的同時，保持了和原圖像相似的輻射分布，不會對后續工作造成阻礙?？傮w上，本文方法效果更佳，與主觀評價結果一致。

表1 紅外圖像去霧定量評價

3 結論

本文提出基于暗原色先驗的紅外圖像非局部去霧算法，通過霍夫變換估計大氣光照，針對紅外圖像含深空場景時透射率估計不佳這一問題，采用暗原色先驗方法，利用霧線估計透射率，提升去霧能力和場景適應能力。研究了全變分正則化方法優化透射率圖，來降低噪聲對估計透射率的影響。實驗結果表明，暗原色先驗能夠對紅外圖像暗區域更好的建模，使用本文算法能有效處理較暗紅外圖像霧霾，去霧結果細節紋理清晰，具有較好視覺效果。但在部分場景下去霧不完全，需要進一步改進。

[1] YU Z, WANG X, BI X, et al. A light dual-task neural network for haze removal[J]., 2019, 25(8): 1-1.

[2] 曹慧, 張寶輝, 陳磊, 等. 基于偽暗原色的紅外增強技術研究[J]. 紅外技術, 2016, 38(6): 476-480.

CAO H, ZHANG B H, CHEN L, et al. Research of infrared images enhancement technique based on pseudo dark channel prior[J].,2016, 38(6): 476-480.

[3] 楊元慶, 張志利, 侯傳勛. 一種近地背景下紅外弱小目標檢測預處理算法[J]. 紅外技術, 2018, 40(8): 812-817.

YANG Y Q, ZHANG Z L, HOU C X. A preprocessing algorithm for infrared small-target detection in the near-earth background[J].2018, 40(8): 812-817.

[4] 丁暢, 董麗麗, 許文海. 海面目標的紅外景象增強技術研究[J]. 光學學報, 2018, 38(6): 0610001.

DING C, DONG L L, XU W H. Enhancement technique for infrared scene with maritime target[J]., 2018, 38(6): 0610001.

[5] BAI X. Morphological infrared image enhancement based on multi-scale sequential toggle operator using opening and closing as primitives[J]., 2015, 68:143-151.

[6] Hassan H, LUO B, XIN Q, et al. Single image dehazing from repeated averaging filters[C]//20198(ITAIC), 2019: 1053-1056.

[7] WANG Q , Ward R K . Fast image/video contrast enhancement based on weighted thresholded histogram equalization[J]., 2007, 53(2): 757-764.

[8] TENG L, XUE F, BAI Q. Remote sensing image enhancement via edge -preserving multiscale retinex[J]., 2019, 11(2): 1-10.

[9] ZHENG L , SHI H, GU M. Infrared traffic image enhancement algorithm based on dark channel prior and gamma correction[J]., 2017, 31(19-21): 84-92.

[10] HE K, SUN J, TANG X. Single image haze removal using dark channel prior[J]., 2011, 33(12): 2341-2353.

[11] 董浩偉, 陳潔. 一種基于大氣散射模型和Retinex的紅外圖像去霧算法[J]. 紅外技術, 2019, 41(4): 347-356.

DONG H W, CHEN H. Infrared image defogging algorithm based on atmospheric scattering model and Retinex[J]., 2019, 41(4): 347-356.

[12] Nayar S K, Narasimhan S G. Vision in bad weather[C]/, 1999, 2: 820-827.

[13] ZHANG W, LU J, XU X, et al. Estimation of atmospheric light based on Gaussian distribution[J]., 2019, 78(11): DOI: 10.1007/s11042-019-7401-2.

[14] Berman D, Avidan S. Non-local image dehazing[C]//, 2016: 1674-1682.

[15] Berman D, Treibitz T, Avidan S. Air-light estimation using haze-lines[C]//2017y (ICCP), 2017: 1-9.

[16] Berg A, Ahlberg J, Felsberg M. A thermal object tracking benchmark[C]//12th(AVSS), 2015: 1-6.

Use of Dark Primary Color Priors for Haze-line-Based Infrared Image Dehazing

ZUO Jianhong1，LIN Suzhen1，LU Xiaofei2，LI Dawei1，LI Yi2

(1.,,030051,; 2.,735000,)

The main task of infrared image dehazing algorithms is to solve the problems of low visibility and blurring in infrared images; these problems arise from Mie scattering. However, current infrared image dehazing algorithms poorly estimate the dark transmittance of infrared images. Hence, in this study, an infrared image dehazing algorithm is developed based on the dark primary color prior of the haze-line. First, the Hough transform was employed to estimate the atmospheric illumination. Second, a dark primary color prior was employed to address the failure of the haze-line dehazing method in some scenarios. The transmittance was estimated by assuming that the dark end of the haze-line corresponds to the real color, and a transmittance map was obtained. To remove noise in the transmittance map, total variation regularization was used; thus, the transmittance map was optimized. The experimental results obtained using LTIR, a public infrared dataset, as the test dataset show that the proposed algorithm can enhance the clarity of infrared images without affecting the distribution of infrared radiation; in addition, the results show that the proposed algorithm enhances infrared images corresponding to various scenes. The proposed method accurately estimates transmittance and effectively dehazes infrared images.

infrared image enhancement, image processing, image dehazing, total variation, image enhancement

TP751

A

1001-8891(2020)06-0552-07

2019-11-27；

2020-01-20.

左健宏（1995-），男，碩士研究生，主要從事圖像處理，紅外目標檢測方面的研究。E-mail：gaoda00123@163.com。

藺素珍（1966-），女，教授，博士，碩士生導師，主要從事影像大數據處理，信息融合，文物虛擬修復方面的研究。E-mail：lsz@nuc.edu.cn。

山西省應用基礎研究項目（201701D121062），中北大學第十五屆科技立項資助項目（2018514）。