基于暗通道先驗的航拍圖像去霧效果優化

李力, 胡瀟, 彭軍

(1.湖北省氣象信息與技術保障中心，武漢 430074； 2.國家知識產權局專利局，北京 100088)

0 引言

隨著無人機技術的不斷發展，利用無人機遙感航拍采集高分辨率影像從而快速獲取信息的方式已廣泛應用于氣象、農業、地質、水文及環境監測等方面。由于無人機的飛行高度主要為中低空，可見光和紅外線在大氣中傳播容易受到霧霾天氣的影響，使得獲取到的遙感圖像內容模糊質量下降。1988年Oakley等[1-2]第一次提出了有霧圖像的退化處理，由于課題極高的應用型和前瞻性，經多年研究已經對單幅圖像的去霧算法有了突破性進展。Tan等[3]通過統計分析得出無霧圖像相對于有霧圖像對比度更高的先驗條件，從而通過最大化復原圖像的局部對比度達到去霧目的。該算法改進了單幅圖像的去霧處理，但僅最大化局部對比度，去霧圖像容易過飽和而產生嚴重的光暈現象，并非真正去霧。普遍使用的暗通道先驗(dark channel prior，DCP)算法雖然去霧效果顯著，但復雜程度較高，尤其是引導濾波(guided filter，GF)和暗通道濾波過程[4]，針對無人機航拍圖像數據量大、圖幅多、圖像中云霧情況復雜等要求，暗通道先驗去霧算法在該領域的應用效果仍需進一步優化。

本文分析有霧圖像的退化過程，改進無人機航拍圖像暗通道先驗算法的去霧效果。針對原始圖像云霧厚薄不均的情況，考慮使用增強大氣透射率圖層對比度的方法改善輸出圖像的清晰度； 針對原始有霧圖像暗通道先驗去霧后降低了亮度的情況，考慮對算法中的無霧圖像使用自動對比度或自動顏色兩種增強處理方法來提高輸出圖像亮度。通過計算機編碼實現優化算法進行實驗，利用無參考的客觀圖像質量評價方法開展量化評價，用信息熵、圖像梯度和圖像方差作為圖像質量的3個指標，評價算法的優化效果，以期在運算時間改變不大的前提下，提高無人機航拍圖像的去霧質量。

1 暗通道先驗圖像去霧方法

1.1 光線透射率模型

光在傳播中由于散射使得從光源發出的輻射只有部分能到達接收傳感器，其他則被散射到傳播介質中。假設距離較小時散射光強與距離是線性關系，當光源距離傳感器無限接近時，光的衰減值可近似為：βr，其中β為空氣的散射系數；r為光源與傳感器間的距離。大氣密度均勻時，光線透射率的數學模型為：

(1)

式中：D為場景深度；t為光線透射率，用于量化傳感器接收光強與光源表面光強間的比例關系，即沒有被散射的輻射與光源輻射間的比例關系。

1.2 暗通道先驗理論

基于統計大量清晰圖像得到的暗通道先驗理論是指大部分不含天空的優質圖像的所有像素在R，G，B這3個通道中最少存在一個顏色通道灰度值相當低以至趨近于0[5]，也就是在一定的微小區域里最小輻射強度值極低。一幅圖像J可定義為：

(2)

式中：Jdark為圖像J的暗通道值；Jc為圖像J的c通道灰度值； Ω(x)為以像素x為中心的局部微小區域；y為區域內任一像素。

1.3 暗通道先驗圖像去霧處理

圖像去霧的目標是將傳感器接收到的有霧圖像利用獲得的有用信息通過去霧還原出清晰圖像。暗通道先驗圖像去霧處理是根據暗通道原理獲取先驗知識，再利用有霧圖像退化模型實現圖像去霧效果。

1.3.1 圖像退化模型

在計算機視覺圖形學領域，有霧圖像的退化模型為[6]：

I(x)=J(x)t(x)+A(1-t(x))，

(3)

式中：I(x)為傳感器接收到的場景信號，即輸入的有霧影像； 場景輻射J(x)為信號處理后的清晰圖像；A為環境光照強度；t(x)為大氣透射率。J(x)t(x)稱為直接衰減項，用來量化場景輻射和傳播中的信號損失。A(1-t(x))表示圖像接收到的大氣散射光強[7]，它是引起色彩偏移和云霧效果的直接原因。

1.3.2 估算環境光照強度

暗通道圖像中灰度值越高的區域云霧越厚，在輸入圖像中位于這部分區域的像素灰度值越接近于環境光照強度。估算環境光照強度首先需要找到暗通道圖像中灰度值最高并占圖像總像素數量0.1%的像素點，記錄它們對應的坐標索引，然后根據坐標索引在輸入的有霧圖像中找到對應像素點，計算有霧圖像中對應像素點的灰度平均值作為環境光照強度A。

1.3.3 估算大氣透射率

使用t′(x)表示以像素x為中心的濾波窗口內的大氣透射率，假設它局部不變，對式(3)最小值運算，分別計算R，G，B這3個顏色通道中的最小值，即

(4)

將3個顏色通道的最小值進行運算，可得出以像素x為中心的濾波窗口內的灰度最小值，即

(5)

根據暗通道先驗原理和式(2)可以得出：

(6)

于是，由式(5)和式(6)計算出大氣透射率為：

(7)

1.3.4 去霧處理

暗通道先驗條件可用來量化云霧厚度和全部像素的輻射還原量，然后恢復出清晰優質的圖像。通過式(3)的有霧圖像退化模型和環境光照強度A、大氣透射率t(x)，可進行單幅圖像去霧處理，即

(8)

2 暗通道先驗算法去霧效果優化

本文優化流程如圖1所示。當輸入圖像云霧不均時，其大氣透射率圖層的灰度信息僅處于有限范圍內，而整張圖像的輻射還原量將被限制在一定區間里，不能分別準確還原云霧厚薄區域的輻射強度，從而影響圖像去霧效果，考慮利用拉伸大氣透射率圖層對比度的方法來改善云霧厚薄不均時基于暗通道先驗得出的無霧圖像質量。

圖1 基于暗通道先驗的圖像去霧處理效果優化流程Fig.1 Flow chart of image defogging effectoptimization based on dark channel prior

暗通道先驗去霧算法降低了圖像亮度，使輸出端比輸入端的圖像亮度減小，所以對于輸入的有霧圖像，在處理程序中考慮對無霧圖像使用自動對比度或自動顏色兩種圖像增強方法輸出圖像的亮度。

2.1 拉伸大氣透射率圖層的對比度

計算有霧圖像的大氣透射率時，由式(1)可知場景深度D越小，光線透射率t越大，圖像場景深度和光線透射率互為反比[8]。在有霧圖像暗通道圖層里，霧氣區域的厚度與其像素輻射強度互為正比，由式(6)算出暗通道圖像并做歸一化處理[9-10]，再將所得圖像G(x)取逆過程可得出大氣透射率[11]，即

t(x)=1-G(x)。

(9)

經反復實驗在應用中加入參數θ(取值范圍為0.9～1.2)來調節大氣透射率效果最佳[12]，即

t(x)=1-θG(x)。

(10)

暗通道圖像中像素灰度值高的區域云霧厚，大氣透射率低，輻射補償量大[13]。灰度圖像是單色圖像，從黑到白僅有256級灰度色階。盡管大氣透射率圖層能有效量化霧氣區域厚度及所需輻射補償，可其像素灰度值大多處于150～255級區間內，也限制了圖像的灰度值范圍。當圖像云霧不均時，薄霧區輻射還原量大造成“過處理”； 厚霧區輻射還原量小除霧不充分，兩者均會影響圖像的去霧效果。

大氣透射率圖層的對比度拉伸處理是通過增加灰度值在150～255級范圍里暗通道圖像的動態范圍，將云霧較薄和較厚區域分開處理，降低薄霧區輻射還原量，增加厚霧區輻射還原量，提高對比度信息以實現圖像增強。本文為兼顧優化后的運算效率選用線性拉伸方法來增強對比度[14]，如圖2所示。設I和O分別為輸入圖像和輸出圖像的灰度級，則先設定參數以確定點(I1,O1)和(I2,O2)的位置，通過兩點的位置來控制變換函數T(r)的形狀，再對兩點之間的部分線性拉伸。

圖2 線性拉伸方法示意圖Fig.2 Schematic diagram of linear stretching method

2.2 無霧圖像的增強處理

2.2.1 自動對比度增強處理

通過整體調整圖像各顏色通道的取值范圍進行自動對比度增強，使整幅圖像里最亮與最暗的像素分別映射為白色與黑色，讓灰度值高的部分更亮，灰度值低的部分更暗[15]。使用自動對比度不會影響圖像色偏，其增強處理流程為：

1)統計R，G，B每個顏色通道的灰度直方圖[16]。

2)設定參數HighCut和LowCut用于確定各通道的上下限值。

3)設置每個通道的圖像參數，L與H分別表示圖像的寬度與高度。

4)用3個通道上下限極值中的最大值當成新上限，最小值當成新下限，計算映射表。

5)根據映射表對各通道的圖像逐一映射。

2.2.2 自動顏色增強處理

自動顏色增強是根據實際的灰度處理圖像，前面3步和自動對比度增強處理相同，然后刪除圖中陰影和灰度值較高的部分，再將亮度最高的像素灰度值設置為255，亮度最低的像素灰度值設置為0，其余的像素按照特定分配方式進行映射。

3 圖像質量客觀評價方法

無人機航拍圖像難以獲取同一場景不同時期的兩幅圖像，不便選取參考圖像評價去霧效果，所以本文主要使用以下無參考的客觀圖像質量評價指標對去霧前后圖像進行客觀評價。

3.1 圖像信息熵

表征圖像灰度分布的聚集特性，熵值越高圖像表面包含的細節紋理信息越多，圖像信息量越大。數字圖像信息熵S的計算公式為：

(11)

式中p(i)為圖像中灰度值為i的像素所占比例。

3.2 圖像邊緣強度

圖像邊緣強度用梯度值來描述，梯度值較大區域具有明顯的邊緣特征，平滑區域梯度值較小，灰度值為常數的區域梯度值為0[17]。梯度是矢量，圖像f(x,y)在像素點(x,y)處的梯度GRAD(x,y)與梯度值grad(x,y)分別定義為：

(12)

(13)

對于離散的數字圖像，一階偏導數用一階微分近似表示為：

(14)

(15)

(16)

(17)

3.3 圖像方差

圖像方差表示像素灰度值相對于均值的離散程度，對比度高的圖像灰度方差大，反之亦然。有霧圖像的灰度值較小，去霧處理后灰度值變大，所以用圖像方差能有效判斷去霧的效果和程度。圖像方差v的計算公式為：

(18)

4 優化算法實驗結果與分析

4.1 搭建實驗環境

針對輸入圖像云霧不均的情況，采用增強大氣透射率圖層對比度的方法來改善輸出圖像質量； 針對全部的有霧輸入圖像，采用自動對比度或自動顏色增強的處理方法來提升輸出圖像亮度，下面分別通過實驗進行結果驗證。實驗所用的計算機配置為： CoreTMi7-5500U @ 2.4GHz處理器； 16GB RAM內存； Windows 10 64位操作系統。實驗所用數據信息均為無人機在湖北省恩施土家族苗族自治州的航拍圖像，圖幅大小為5 180像素×3 456像素，JPEG圖片格式，包含R，G，B 3個顏色通道。

4.2 分析實驗結果

本文利用無參考的客觀圖像評價方法，將圖像信息熵、邊緣強度、方差作為3個評價指標，來比對、驗證算法優化前后輸出圖像的質量改進情況。

4.2.1 增強大氣透射率圖層對比度實驗

增強大氣透射率圖層對比度主要是針對圖像中云霧分布不均勻，暗通道先驗去霧方法除霧效果不理想的情況。實驗選用云霧不均的圖像，文件大小為6.77 MB，如圖3所示。

圖3 無人機航拍的云霧不均勻圖像Fig.3 Cloud and fog inhomogeneousimages taken by UAV

為提高計算速度，選用線性拉伸方式增強大氣透射率圖層對比度，對比度拉伸前后大氣透射率圖層和輸出圖像的對比如圖4所示。由圖可見，對比度拉伸顯著改善了大氣透射率圖層的動態范圍，將原來低對比度圖層拉伸為高對比度使量化的輻射補償更加精確，經過拉伸大氣透射率圖層對比度后還原出的去霧圖像比未拉伸對比度的輸出圖像清晰度大幅提高。表1統計了實驗的客觀評價指標，通過比較圖像和分析各組數據可知： 在云霧分布不均勻的圖像中，通過拉伸大氣透射率圖層對比度能有效提升去霧效果，從而獲得更加清晰的輸出圖像。由于算法增加了對比度拉伸過程，計算處理速度約多耗費230 ms，但在實際使用中影響不大。

表1 大氣透射率圖層對比度拉伸效果客觀評價Tab.1 Objective evaluation of atmospheric transmittancelayer contrast stretching effect

4.2.2 無霧圖像增強處理實驗

直接使用暗通道先驗方法去霧后的輸出圖像比原始圖像較暗，若將得到的無霧圖像再進行增強處理，則可進一步提升輸出圖像質量，實驗選用文件大小為6.76 MB的有霧圖像，如圖5所示。將圖5的有霧圖像用暗通道先驗算法去霧后，再對無霧圖像分別進行自動對比度或自動顏色增強處理，取HighCut=LowCut=0.15。輸出圖像如圖6所示。

圖5 無人機航拍的有霧圖像Fig.5 Fog image taken by UAV

圖7為原始算法輸出的無霧圖像及自動顏色增強處理后的輸出圖像。由圖6和圖7可見： 暗通道先驗去霧算法輸出的無霧圖像經過自動對比度或自動顏色增強處理后，顯著提升了輸出圖像的對比度。

表2將有霧圖像與3種去霧圖像進行客觀質量評價。通過比較各組圖像和分析評價數據得出以下結論： ①使用暗通道先驗方法直接去霧后的圖像相比原始有霧圖像偏暗； ②使用自動對比度或自動顏色增強處理可顯著改善無霧圖像質量，特別是增強了圖像的邊緣強度和對比度； ③算法增加了圖像增強過程，但該步驟的運算耗時較短，影響可以忽略。由此可見，使用自動對比度或自動顏色增強方法可有效提高暗通道先驗去霧算法的輸出圖像質量。

表2 圖像增強處理效果的客觀評價Tab.2 Objective evaluation of image enhancement effect

5 結論

本文基于暗通道先驗提出了優化航拍圖像去霧效果方法。

1)當原始輸入圖像存在云霧厚薄不均勻時，優化算法通過增強大氣透射率圖層的對比度顯著提高了去霧后輸出圖像的清晰度。

2)面對原始有霧輸入圖像在暗通道先驗算法去霧后圖像亮度降低的情況，優化算法對無霧圖像使用自動對比度或自動顏色兩種增強處理方法提高輸出圖像亮度，有效改進了暗通道先驗去霧后的圖像質量，具有一定的普適性和實用性。

3)相對Oakley等[1-2]提出的暗通道先驗圖像去霧算法，本實驗使用無參考的客觀圖像質量評價方法對比算法優化前后的結果，證明在運算時間差別微小的前提下，優化算法能有效提升去霧后輸出圖像的效果，為無人機航拍圖像去霧批量處理提供了快速、有效的解決方案。

4)實驗需要兼顧優化后的算法復雜程度和運算速度，去霧后的圖像依然有霧。優化算法的主要參數為人工設定，判斷圖像云霧均勻與否主要靠目視，沒有根據參數指標自動化選擇。進一步研究參數自適應方案，減少主觀因素影響，提高算法準確性，使輸出圖像達到徹底去霧是后續研究的主要目標。