顧及圖像分割與暗通道先驗的去霧霾方法

陳鑫 秦琳 黃寧輝 孟先進 薛亞東

收稿日期：2023-05-31

DOI：10.19850/j.cnki.2096-4706.2024.04.020

摘? 要：文章針對暗通道先驗去霧霾后圖像存在顏色失真等問題，提出一種融合圖像分割與暗通道先驗規律的衛星遙感圖像去霧霾方法。首先，引入高斯加權矩陣的梯度算子獲取圖像的梯度信息，為暗通道去霧霾提供圖像分割的約束條件；其次，通過梯度閾值對梯度信息進行劃分，從而改善對不同亮度區域的差異化處理；最后，依據梯度閾值修正暗通道透射率來約束暗通道先驗的處理結果，實現對不同亮度區域的差異化處理。實驗結果表明，無論是主觀目視判讀還是客觀指標對于較為均勻含霧霾影像都具有較好的處理效果。

關鍵詞：去霧霾；圖像分割；暗通道先驗；梯度算子；影像復原

中圖分類號：TP391.4；TP751? 文獻標識碼：A? 文章編號：2096-4706（2024）04-0097-04

A Haze Removal Method for Considering the Image Segmentation and Dark Channel Prior

CHEN Xin， QIN Lin， HUANG Ninghui， MENG Xianjin， XUE Yadong

（Guangdong Forestry Survey and Planning Institute， Guangzhou? 510520， China）

Abstract： Aiming at the problem of color distortion in the image after the dark channel prior to removing the haze， a haze removal method for remote sensing image of fusing image segmentation and the dark channel prior rules is proposed in this paper. Firstly， it introduces the gradient operator of the Gaussian weighting matrix to obtain the gradient information of the image， and provides the constraints of image segmentation for the dark channel haze removal. Secondly， the gradient information is divided by gradient threshold， so as to improve the differential processing of different brightness areas. Finally， the dark channel transmittance is modified based on the gradient threshold to constrain the processing results of the dark channel prior and realize the differential processing of different brightness areas. The experimental results show that both subjective visual interpretation and objective indicators have a better processing effect on relatively uniform images containing haze.

Keywords： haze removal; image segmentation; dark channel prior; gradient operator; image restoration

0? 引? 言

隨著工業的發展與進步，我國大氣污染日益嚴重，已有較多城市出現了霧霾天氣，導致遙感衛星拍攝的影像數據利用率較低，從而影響到遙感監測的質量。根據衛星觀測數據顯示，任一時刻地球都有近50%的表面被云、霧、霾所覆蓋[1-3]，攜帶云、霧、霾信息的遙感影像，其信噪比、清晰度和對比度隨之降低，致使影像色彩失真、細節模糊[4-6]，給后續的遙感影像解譯和處理帶來了很大困難。因此，通過圖像處理技術對霧霾與影像信息進行剝離，不僅可以滿足衛星影像數據的處理需求，也降低了氣象條件對光學成像的限制[7-9]。由此可見，通過圖像處理手段，以較小的經濟代價去除影像中的霧霾信息，提高衛星影像的清晰度，使得遙感影像數據的利用效益得以真正提高。該項研究成果不僅改善了衛星影像數據量存在的“既多又少”矛盾問題，還具有重要的理論意義和實用價值。

目前，國內外專家學者針對霧霾環境下影響衛星遙感影像的后續使用問題已展開了相關研究，根據現有的研究成果，可將對含霧霾影像的清晰化處理方法大致歸納為兩類：基于非物理模型的影像增強方法與基于物理模型的影像復原方法。基于非物理模型的影像增強方法主要是通過削減處于低頻的云霧信息、增強圖像的對比度，達到圖像清晰化的目的。此類方法主要有直方圖均衡化[10]、基于Retinex原理的處理方法[11]、基于小波變換方法等。直方圖均衡化方法在處理過程中，對均勻濃度的霧霾去除效果較好，但是，當霧霾的濃度不均勻時，會造成增強后的圖像邊緣細節信息不突出、甚至丟失；基于Retinex原理的處理結果會出現色偏和部分圖像失真的現象[12]；運用小波變換的去霧方法對霧天退化圖像依據小波分解系數特點進行分解處理，缺點是存在地物細節丟失嚴重的問題[13]。以物理模型的影像復原方法從物理成因的角度對大氣散射作用進行建模分析，依據大氣散射模型，通過求解圖像降質過程的逆過程來恢復清晰圖像。其中，何愷明[14]首次提出的暗通道先驗算法就屬于此類，其在圖像去霧方面得到了廣泛的應用[15，16]。但是，在幾種經典的去霧霾方法中，無論是暗通道、直方圖均衡化以及一些其他基于邊緣保留的方法，都有一個普遍存在的問題：即對圖像覆蓋的天空部分處理效果不好，對于這種高亮地物往往會出現色彩偏差等現象。本文針對暗通道先驗去霧霾方法應用于遙感影像存在高亮地物存在色彩偏差等現象，提出一種融合圖像分割與暗通道先驗規律的衛星遙感圖像去霧霾方法。

1? 原理

1.1? 暗通道先驗去霧霾原理

暗通道去霧霾的原理是指在絕大多數非天空的無霧圖像的局部區域內，某一些像素位置總會至少有一個顏色通道具有很低的值，也就是說在圖像的多個通道中的灰度最小值即為暗通道值，數學描述如下：

（1）

上式中Jdark（x）表示暗原色值，x表示某一像素位置，c表示彩色圖像的R、G、B三個通道，Ω（x）表示以x像元位置為中心一定窗口大小的范圍。

傳感器所獲取的圖像是由直接傳輸并部分散射得到的亮度加上從全球大氣光成分得到的亮度，兩者混合最后形成我們所看到的最終圖像，可用下面算式概括：

（2）

式中I（x）表示觀測得到的亮度，即從拍攝圖片中獲取到的亮度，為已知值，即傳感器獲取的圖像；J（x）表示復原之后的清晰圖像，為未知值，即輸出目標圖像；t（x）表示透射率；A表示全球大氣光成分；J（x）t（x）表示直接傳輸并部分散射得到的圖像亮度；A（1 - t（x））表示從全球大氣光成分得到的圖像亮度。

1.2? 顧及圖像分割與暗通道先驗規律的去霧霾方法

鑒于在原始圖像中直接判斷高亮地物難以實現，觀察發現影像中的建筑物頂面、城市廣場等高亮地物整體來說比較平滑，即相鄰像素之間的變化不大，因此，通過梯度信息來表示較為容易被識別。然而，傳統的梯度信息提取往往是利用Sobel和Prewitt算子，計算圖像中3×3窗口的梯度信息，顯然這個窗口不能包含足夠的鄰域信息，會忽略一些關鍵信息。對紋理信息復雜的遙感影像，為了更好地提取影像的梯度信息，采用5×5的梯度算子，考慮到窗口內每個像素對中心點像素的影響，引入高斯加權矩陣W，定義水平與垂直方向的梯度算子如式（3）所示：

（3）

通過梯度算子計算影像梯度信息，設定梯度閾值T對梯度信息進行區分，對暗通道的透射率進行修正，其數學描述如式（4）所示，當| I（x） - A |＜T時，視該區域為高亮部分，重新計算透射率，| I（x） - A |＞T時，則認為是符合暗通道先驗的區域，透射率不變。

（4）

1.3? 質量評價

圖像質量評價[17]分主觀評價和客觀評價兩個標準。主觀評價一般采用目視判讀的方法，客觀評價一般通過一些指標進行量化分析。基于遙感影像霧霾去除的主觀評價，可以分為影像的清晰度和保真度，通常會遵循判讀人的基準[18]，給出定性的評判結果。由于遙感影像霧霾去除研究的特殊性，沒有標準的不含霧霾信息的原始影像作為參考，只能通過無參考圖像評價指標來進行評價。無參考圖像質量評判指標中經典的指標包括：信息熵（Entropy）、平均梯度（Average Gradient）和標準差（Standard Deviation）等。

信息熵（Entropy）是影像包含信息量的隨機性度量。其反映的是圖像像元值分布的復雜程度。信息熵值越大，說明影像越復雜，紋理愈明顯，信息更豐富。二維灰度影像信息熵的數學表達式如式（5）所示，式中Pk表示影像中灰度值為k的像素出現的頻率，近似代替概率。

（5）

平均梯度（Average Gradient）是影像清晰程度的度量。平均梯度可以理解為灰度的變化率，灰度變化率的大小可用來表征圖像的細節清晰度。其反映了圖像微小細節反差變化的速率。平均梯度越大，說明影像灰度變化率越大，細節清晰度越高，數學描述如式（6）所示，式中Gx和Gy分別表示x和y方向的圖像梯度，M×N表示圖像大小。

（6）

標準差（Standard Deviation）也是影像清晰度的度量。標準差通常被用來度量影像的對比度，標準差的值越大，說明對比度越大，層次越豐富，目標越清晰。其數學表達式如式（7）所示，其中M×N表示圖像的大小，P（i， j）表示第i行、第j列的像素值，μ表示均值。

（7）

2? 材料與結果分析

高分一號衛星（GF-1）是中國高分辨率對地觀測系統的首發星，突破了高空間分辨率、多光譜與寬覆蓋相結合的光學遙感等關鍵技術，設計壽命5至8年，高分一號衛星發射成功后，在地理測繪、水利、林業資源監測等領域發揮重要作用。

實驗選取2020年3月高分一號衛星（GF-1）獲取的含有一定霧霾信息的多光譜影像作為實驗數據，其空間分辨率為8 m、光譜范圍為0.45～0.89 μm，側擺時重訪周期為4天，影像覆蓋區域廣東、北京、河南等地區，并通過暗通道優化前后進行實驗對比分析。對于覆蓋城市區域的遙感影像而言，因存在大量的建筑物頂面、城市廣場和水泥路面等高亮局部區域，以及非城市區域的砂巖裸地，會造成暗通道失效，霧霾去除結果失真等現象。實驗中在對多幅遙感影像處理的基礎上，對閾值的確定進行統計分析，最終將梯度閾值設定為0.02。通過設定的梯度閾值判斷影像中存在的高亮信息，對高亮區域進行分割，利用分割結果來約束暗通道中透射率的計算，進而改善最終的去霧霾效果，高亮提取結果如圖1所示。

（a）原始影像? ?（b）高亮信息提取結果

圖1? 圖像分割結果

為了驗證本文提出去霧霾方法的有效性，下面通過多組實驗結果進行展示，并對優化算法處理的前后比較分析，如圖2所示，其中圖2的（a）（d）（g）（j）為含有不同霧霾程度的原始影像，圖2的（b）（e）（h）（k）為暗通道處理結果，圖2的（c）（f）（i）（l）為優化處理結果。

（a）原始影像? （b）暗通道處理結果 （c）優化處理結果

（d）原始影像? （e）暗通道處理結果 （f）優化處理結果

（g）原始影像? （h）暗通道處理結果 （i）優化處理結果

（j）原始影像? （k）暗通道處理結果 （l）優化處理結果

圖2? 霧霾去除結果

從上面4組結果對比分析上看，對于不同程度的霧霾影像本文的優化算法取得了較好的處理效果，本文算法改善了高亮目標區域的顏色失真問題。如圖2（a）～（c）所示霧霾的程度較重，單純的暗通道處理結果偏暗，出現色彩偏移，本文所用方法進一步還原了景物的真實色彩。如圖2（d）～（f）的實驗結果圖可以看出，顧及圖像分割與暗通道先驗規律的去霧霾方法的處理結果的清晰度和對比度都得到了明顯改善。從圖2（g）～（i）含泥沙河段的處理結果上看，暗通道處理結果明顯目視效果一般，而改進算法在一定程度上改善了色彩失真的現象。如圖2（j）～（l）大面積裸地可以看出，暗通道先驗處理結果對比度較差，改進算法相較于原算法的處理結果改善了對比度校正不足的問題。上述均是通過目視判別進行評判，具有較強的主觀性，因此，為了進一步客觀評判去霧霾效果的穩定性與效果，通過客觀評價指標進行定量分析，如表1、表2、表3所示。

表1? 信息熵對比結果

信息熵 第一組 第二組 第三組 第四組

原始圖像 6.81 6.31 7.31 7.32

暗通道方法 7.01 6.73 7.43 7.51

本文方法 7.23 6.91 7.62 7.52

表2? 平均梯度對比結果

平均梯度 第一組 第二組 第三組 第四組

原始圖像 5.40 4.02 9.72 8.06

暗通道方法 7.78 6.38 12.94 11.72

本文方法 8.50 6.79 13.86 16.96

表3? 標準差對比結果

標準差 第一組 第二組 第三組 第四組

原始圖像 32.67 22.69 45.02 39.64

暗通道方法 45.31 35.35 56.91 52.65

本文方法 48.17 36.35 60.60 60.91

上面3個表格分別給出了原始圖像、利用暗通道先驗方法以及顧及圖像分割與暗通道先驗規律的方法的客觀評價結果。從信息熵、平均梯度和標準差的計算結果來看，顧及圖像分割與暗通道先驗規律的去霧霾方法在客觀評價指標方面有明顯提升，說明其處理結果與目視判別結果相一致，從而可以得出本文方法在處理含有不同霧霾程度遙感影像上具有較好的效果。

3? 結? 論

本文以暗通道先驗方法在處理高亮區域時存在色彩偏差作為切入點，提出一種融合圖像分割與暗通道先驗規律的衛星遙感圖像去霧霾方法，通過梯度閾值修正暗通道透射率來約束暗通道先驗的處理結果，實現對不同亮度區域的差異化處理。在多次實驗的基礎上，設定梯度閾值實現對透射率差異化修正。該方法克服了暗通道先驗算法對影像高亮目標區域校正不足的缺點，在主客觀評價方面取得了明顯的改善，有效地解決了暗通道先驗算法對影像高亮目標區域處理結果顏色失真的問題。

參考文獻：

[1] 江政遠.高分辨率遙感影像去霧方法研究 [D].北京：中國科學院大學（中國科學院上海技術物理研究所），2019.

[2] WANG G Y，REN G H，JIANG L H，et al. Single Image Dehazing Algorithm Based on Sky Region Segmentation [J].Information Technology Journal，2013，12（6）：1168-1175.

[3] 祁瓊，張弛，袁全，等.顧及空間與光譜差異的單幅遙感影像自適應云霧去除方法 [J].武漢大學學報：信息科學版，2019，44（9）：1369-1376.

[4] 錢江，方勇華，吳軍.基于單幅圖像的霧霾圖像快速還原方法 [J].量子電子學報，2019，36（4）：402-407.

[5] WANG Y-K，FAN C-T. Single Image Defogging by Multiscale Depth Fusion [J].IEEE Transactions on Image Processing，2014，23（11）：4826-4837.

[6] KIM J-H，JANG W-D，SIM J-Y，et al. Optimized Contrast Enhancement for Real-time Image and Video Dehazing [J].Journal of Visual Communication and Image Representation，2013，24（3）：410–425.

[7] 李青山.融合中紅外波段的航空影像去霧算法研究 [D].武漢：武漢大學，2019.

[8] MENG G F，WANG Y，DUAN J Y，et al. Efficient Image Dehazing with Boundary Constraint and Contextual Regularization [C]//2013 IEEE International Conference on Computer Vision.Sydney：IEEE，2013：617-624.

[9] 譚偉，曹世翔，齊文雯，等.一種高分辨率遙感圖像去霧霾方法 [J].光學學報，2019，39（3）：48-58.

[10] 吳迪，朱青松.圖像去霧的最新研究進展 [J].自動化學報，2015，41（2）：221-239.

[11] LAND E H. The Retinex Theory of Color Vision [J].Scientific American，1977，237（6）：108-128.

[12] 王凱.基于暗通道先驗原理的圖像去霧方法研究 [D].長春：長春理工大學，2017.

[13] 楊曉倩，賈振紅，楊杰，等.基于小波變換和Retinex結合的遙感圖像的薄云去除 [J].激光雜志，2019，40（10）：77-80.

[14] HE K M，SUN J，TANG X O. Single Image Haze Removal Using Dark Channel Prior [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（12）：2341-2353.

[15] 崔浩，艾海濱，張力，等.透射率全局估計航空影像去霧算法 [J].遙感信息，2019，34（1）：102-110.

[16] 吳壽江，李亮，宮本旭，等.GeoEye-1遙感圖像去霧霾方法比較 [J].國土資源遙感，2012（3）：50-53.

[17] 何南南，解凱，李桐，等.圖像質量評價綜述 [J].北京印刷學院學報，2017，25（2）：47-50.

[18] 胡子昂.霧霾天視頻圖像清晰化處理及其量化評價方法研究 [D].廣州：華南農業大學，2016.

作者簡介：陳鑫（1981.01—），男，漢族，山東濟寧人，高級工程師，碩士研究生，研究方向：遙感與地理信息系統。