無人機圖像去霧處理速度優化研究

李力，英聰，李俊，甘少明

(1.湖北省氣象信息與技術保障中心，武漢 430074；2.賽特斯信息科技股份有限公司，上海 200433)

0 引言

現代無人機遙感技術以迅速、便攜、廉價著稱，尤其在氣象、地震、環保等防災減災領域，可以很好彌補傳統應急方法的缺陷。無人機航拍圖像極易受到氣象環境和地物影響，特別是近年來霧霾天氣較多，嚴重影響了航拍數據質量。在災害災情瞬息萬變時，要求無人機圖像處理算法快速準確，特別是圖像去霧處理這樣的預處理算法。暗通道先驗(dark channel prior，DCP)算法雖然去霧效果顯著，但由于算法的復雜程度較高，尤其是引導濾波(guided filter，GF)和算法時間復雜度為O(n^2)的暗通道濾波過程[1-3]，雖然引導濾波和原本使用的軟摳圖算法相比計算速度顯著提高，但依然難滿足無人機遙感圖像數據量大、圖幅多、圖像中云霧情況復雜等特點。

本文根據無人機拍攝圖像的特點，指出暗通道先驗去霧算法中有待優化之處，并針對暗通道先驗算法的計算速度提出優化方案。利用無參考的圖像質量評價方法展開量化評價，使用信息熵、邊緣強度和圖像方差作為圖像質量的3個指標，對比算法優化前后的處理結果。通過優化實驗，發現暗通道先驗去霧算法的計算速度大幅度提升，可以極大地滿足無人機圖像去霧處理的要求。

1 客觀圖像質量評價方法

無人機航拍圖像難以獲取同一場景不同時期的2幅圖像，不便選取參考圖像評價去霧效果，所以本文主要使用以下無參考的客觀圖像質量評價指標對去霧前后圖像進行客觀評價[4]。

1.1 圖像信息熵

表征圖像灰度分布的聚集特性，熵值越高圖像表面包含的細節紋理信息越多，圖像信息量越大。

1.2 檢測邊緣強度

圖像邊緣強度用梯度值來描述，梯度值較大區域具有明顯的邊緣特征，平滑區域梯度值較小，灰度級為常數的區域梯度值為零[5-6]。本文使用Prewitt梯度算子進行梯度值計算。

1.3 圖像方差

圖像方差表示圖像中灰度分布的離散程度，對比度較高的圖像灰度方差較大，反之亦然。有霧圖像的灰度值較小，去霧處理后灰度值變大，所以用圖像方差能有效判斷去霧的效果和程度。

2 基于暗通道先驗的圖像去霧方法

2.1 圖像退化模型

在計算機視覺圖形學領域，有霧圖像的退化模型如式(1)所示[7]。

I(x)=J(x)t(x)+A(1-t(x))

(1)

式中：I(x)為傳感器接收到的場景信號，即輸入有霧影像；J(x)表示場景輻射，即處理后的清晰圖像；A是全局大氣輻射；t(x)為透射率。J(x)t(x)稱為直接衰減項用于量化場景輻射及其在傳播中的信號損失量。A(1-t(x))稱為環境光照表示圖像接收到的大氣散射光強，是導致圖像色彩偏移和云霧效果的直接原因。

2.2 暗通道先驗理論

暗通道先驗理論是在觀測大量清晰圖片基礎上得出的統計理論[8]：在大多數不包含天空的優質圖片中，每個像素在r，g，b3個顏色通道上至少有1個通道的灰度值很低甚至趨近于0，也就是在某個微小局部區域內輻射強度的最小值應該很低。于是，對于一副圖像J可以定義：

(2)

式中：Jc表示圖像J中某一個通道的灰度值；Ω(x)表示以像素x為中心的某局部區域。在清晰圖片中(除天空之外的區域內)，幾乎所有Jdark通道的灰度值都很小甚至趨近于0，圖像J的暗通道值即為Jdark，此觀測統計結論稱為暗通道先驗。

2.3 暗通道先驗圖像去霧處理

去霧處理目標是將傳感器接收的有霧圖像利用獲得的有用信息通過去霧還原出清晰圖像。暗通道先驗圖像去霧處理是根據暗通道原理獲取先驗知識，再利用有霧圖像退化模型實現圖像去霧效果。

1) 估算環境光照強度。暗通道圖像中灰度值越高的區域云霧越厚，在輸入圖像中位于這部分區域的像素灰度值越接近于環境光照強度。估算環境光照強度首先需要找到暗通道圖像中灰度值最高并占圖像總像素數量0.1%的像素點，記錄它們對應的坐標索引，然后根據坐標索引在輸入的有霧圖像中找到對應像素點，計算有霧圖像中對應像素點的灰度平均值作為環境光照強度A。

(3)

將3個顏色通道的最小值按照式(4)再次運算，可得出以像素x為中心的濾波窗口內的灰度最小值。

(4)

根據暗通道先驗原理和式(2)可以得出式(5)。

(5)

由式(4)、式(5)可以計算出大氣透射率，如式(6)所示。

(6)

3) 去霧處理。基于暗通道先驗條件可以量化云霧厚薄程度以及每個像素點的輻射還原量，從而還原出高質量的清晰圖像。通過式(1)有霧圖像退化模型和環境光照強度A、大氣透射率t(x)，可進行單幅圖像去霧處理，如式(7)所示。

(7)

3 暗通道先驗去霧算法速度優化

通過對暗通道先驗算法的剖析和代碼實驗，發現算法運行中耗時較多的2個環節是：計算暗通道圖像和使用引導濾波精化透射率圖層(transparent layer，TL)。本文從計算暗通道圖像這個環節對去霧處理方法進行速度優化。

3.1 算法時間復雜度為O(1)的暗通道濾波

暗通道先驗是在一個微小的局部區域內，需要很低的最小輻射強度[9-10]，暗通道濾波就是用濾波方式找到其窗口區域內輻射強度最小值[11]。將暗通道濾波當成二維黑白圖像的最小值濾波向三維空間彩色圖像的擴展，三維空間是指r、g、b顏色空間[12-13]，那么暗通道濾波便是要找到濾波窗口區域內3個顏色空間中輻射強度最小的像素，并將該像素的輻射強度作為暗通道值。

最小值濾波算法具有非線性和不可分離性，普通的優化技術對其并不適用，算法復雜度較高，影響了最小值濾波器的應用。將圖像像素作為一個列表，排序后取其中最小值，由于最小值濾波的算法復雜度隨排序方法不同而改變，若使用桶排序(bucker sort，BS)，那么最小值濾波的算法復雜度即為O(n^2)，其中n為窗口大小。為降低最小值濾波的算法時間復雜度，Huang等[14]提出了一種算法復雜度為O(n)的中值濾波算法。該算法通過計算直方圖獲得中值，當滑塊移動時，只需對直方圖進行一次更新即可，如圖1所示，通過借鑒該中值濾波算法也可實現相同算法時間復雜度的最小值濾波器。

圖1 Huang等提出的中值濾波原理

考慮改進Huang的算法，由于2個直方圖累加是一個O(1)操作，使得對每增加一個像素，直方圖只需累加一個固定的數，從而獲得O(1)的復雜度。實現算法時間復雜度為O(1)的最小值濾波過程如下。

1) 初始化核直方圖。若圖像有n列，每個直方圖對應于圖像中的一列，故需要處理n個直方圖，這些直方圖包含了以某個像素為中心的2r+1個像素信息(r為濾波窗口的半徑)。以每一列直方圖第一個像素為中心的2r+1個像素信息為圖像初始狀態，更新處理時，這些直方圖隨著滑塊移動并同時完成更新。

2) 更新核直方圖。隨著滑塊移動，將每一列直方圖減去最左側像素的直方圖信息，同時增加最右側像素的直方圖信息，如圖2所示，每移動一列都是O(1)操作。

圖2 更新核直方圖

3) 獲取最小值。根據更新的核直方圖獲取最小值。通過上述算法的計算，所有單像素操作都與窗口大小無關，即算法空間復雜度為O(1)。該算法的偽代碼如下。

輸入：圖像X，大小為m*n，濾波窗口半徑為r

輸出：與圖像X大小相同的圖像Y

初始化核直方圖H以及每一列的直方圖h1，h2，……，hn

Fori=1tomdo

Forj=1tondo

RemoveXi-r-1，j+rfromhj+r

AddXi+r，j+rtohj+r

H←H+hj+r-hj+r-1

Yi，j←min(H)

EndFor

EndFor

要將上述灰度圖像最小值濾波后擴展適用于彩色圖像，可以分別對r、g、b3 個波段圖層進行最小值濾波，然后比較3個波段圖層最小值濾波后的像素點，取3個像素值中的最小值作為暗通道值，可實現與濾波窗口無關算法時間復雜度為O(1)的暗通道濾波。

3.2 使用圖像下采樣減少數據量

圖像縮放需要平衡處理結果的平滑度、清晰度和處理效率。當圖像縮小時，平滑度和清晰度將會增加，而數據量會被壓縮；當圖像放大時，數據量會增大，平滑度和清晰度將會下降。縮小圖像的過程稱為圖像下采樣，放大圖像的過程為上采樣[15]。圖像下采樣可以壓縮圖像大小，在符合顯示區域要求的條件下生成對應圖像的縮略圖，減少其數據量。圖像上采樣主要是對其進行放大，使其滿足更高分辨率的顯示需要。

暗通道先驗算法使用暗通道圖層粗略量化云霧厚度，通過暗通道圖像粗略計算大氣透射率，然后使用引導濾波等方法精細化大氣透射率圖層。暗通道圖像在去霧算法中具有承上啟下的重要作用，但考慮到其精度要求不高，處理過程易受到圖像中的噪聲影響。因此考慮使用圖像下采樣的方式減少輸入圖像數據量，生成輸入圖像縮略圖，利用輸入縮略圖計算暗通道圖像的縮略圖，然后用圖像上采樣的方法將暗通道圖像的縮略圖放大，以便進一步處理。這樣既可以減小輸入圖像中的噪聲影響，也可以降低數據計算量，從而縮短計算時間。

(8)

綜上所述，基于暗通道先驗的圖像去霧處理方法經過速度優化后的流程如圖3所示。

圖3 速度優化后的暗通道先驗圖像去霧處理流程圖

4 速度優化實驗結果與分析

4.1 實驗環境搭建

針對第3節提出的實現算法時間復雜度為O(1)的暗通道濾波和使用圖像下采樣減少數據量2種暗通道去霧處理速度優化方法，通過實驗進行結果驗證。實驗使用的計算機配置為：CoreTMi7-5500U @ 2.4 GHz處理器，16 GB RAM內存，Windows 10 64位操作系統。實驗選用無人機航拍的28張湖北省黃岡市平原區有霧圖像(圖幅大小5 780像素×5 400像素)和23張湖北省恩施市高山區有霧圖像(圖幅大小5 180像素×3 456像素)作為原始數據，圖片格式為jpeg，包含r、g、b3個顏色通道。為使算法優化處理前后的去霧效果偏差較小，在不影響輸出圖像后期處理的條件下盡可能提高優化算法運行速度，通過統計設定了統一參數批量處理全部原始有霧圖像。

4.2 實驗結果分析

本文使用無參考的客觀圖像評價方法，將圖像信息熵、邊緣強度、方差作為3個評價指標。從平原和高山2組圖像中各選1幅作為代表進行說明。圖4(a)文件大小為7.3 MB，圖4(b)文件大小為6.77 MB。

將圖4經過暗通道處理后得到圖5。圖5(a)、圖5(c)是使用算法時間復雜度為O(1)的暗通道濾波以及圖像下采樣減少數據計算量得到的暗

通道圖像，圖5(b)、圖5(d)是未使用優化方案的暗通道圖像，優化與未優化處理的暗通道圖像差別不大。

圖4 用于實驗的有霧圖像

圖5的2組暗通道圖像分別去霧處理后得到圖6所示的2組清晰圖像，其中圖6(a)、圖6(c)是使用速度優化方案的暗通道圖像去霧后得到的清晰圖像，圖6(b)、圖6(d)是未使用速度優化方案的暗通道圖像去霧后得到的清晰圖像。

通過觀察很難發現2組圖像的差異，所以使用客觀圖像評價方法進行比較，評價指標和結果見表1至表3。表1為平原圖例暗通道模塊速度優化方案的客觀評價。

從平原圖例的對比看出，使用速度優化方案比未使用速度優化方案的去霧圖像其信息熵、邊緣強度和方差都略低，但暗通道圖層的計算時間明顯縮短。表2為高山圖例暗通道模塊速度優化方案的客觀評價。

對比高山圖例同樣發現，使用速度優化方案比未使用速度優化方案的暗通道圖層計算時間顯著減少，其去霧圖像的信息熵、邊緣強度、方差相差不大。表3是全部原始有霧圖像使用暗通道模塊速度優化方案的客觀評價。

將表1至表3中的圖像信息熵、邊緣強度、方差和暗通道圖層計算時間對應比較，得出以下結論：1)暗通道先驗去霧算法改善了圖像清晰度，去霧效果顯著；2)在計算暗通道圖層時，通過使用算法時間復雜度為O(1)的暗通道濾波和圖像下采樣減少數據量2種優化方案得到的暗通道圖像，與未使用速度優化方案計算得到的暗通道圖像差別不大，使用速度優化方案得到的暗通道圖像對去霧處理效果沒有明顯影響；3)使用算法時間復雜度為O(1)的暗通道濾波和圖像下采樣減少數據量的優化方法相比傳統暗通道先驗圖像去霧方法的計算速度大幅度提高。

圖5 優化與未優化處理的暗通道圖像對比

圖6 去霧處理后的清晰圖像對比

表1 平原圖例暗通道模塊速度優化方案客觀評價

表2 高山圖例暗通道模塊速度優化方案客觀評價

表3 全部原始圖像暗通道模塊速度優化方案客觀評價

5 結束語

針對無人機航拍圖像圖幅較多、分辨率較高、數據量較大的特點，采用圖像下采樣減少數據量和使用算法時間復雜度為O(1)的暗通道濾波對基于暗通道先驗的圖像去霧算法進行速度優化，通過計算機編碼對優化方案展開實驗。結果表明，基于暗通道先驗的圖像去霧處理速度優化方法可以較好地適應無人機圖像數據量大的特點，有效減少了運算時間。該技術符合無人機航拍圖像快速去霧處理的需求，可用于氣象、農業、地質、環境監測、軍事偵察以及社會生活等方面，具有廣闊的應用前景。