海天背景圖像去霧方法研究①

趙越秀,高俊釵,李翰山

(西安工業大學 電子信息工程學院,西安 710021)

在無人艇自主執行任務時,必須要求其視覺系統能夠廣泛適用于海上各種惡劣環境,特別是海霧天氣環境下.在海霧下,由于霧氣粒子的散射、吸收等作用會造成景物反射光的衰減,此外,太陽光還會經霧氣粒子的散射直接進入成像系統,會造成海霧下無人艇視覺成像系統采集的視頻圖像嚴重降質或模糊,影響后續目標跟蹤和識別等任務的實現.而且近年來,常常出現因為海霧等惡劣天氣,導致耽誤船只運行,甚至是船只相撞等海難.因此,研究圖像海霧的去除具有很重要的現實意義.

近年來,圖像去霧技術主要包含兩大類:一類是基于非物理模型的圖像增強去霧方法,這種方法不考慮圖像降質的原因,以常規的圖像增強的方法作為基本的處理手段,提高霧天圖像的對比度,典型的代表有:直方圖均衡化[1,2]、對比度增強[3]、基于Retinex理論的圖像增強算法[4,5]等.這類方法往往會造成信息損失或過增強現象.另一類是基于物理模型的圖像復原去霧方法,這種方法以霧天降質圖像的物理模型為基礎,利用退化的先驗知識來復原真實場景.這類方法去霧效果自然,失真小.但實際上該類方法實現比較復雜,需要借助雷達等儀器對圖像中景物的深度信息進行測量,并且參數比較多,去霧過程相對繁瑣,這就給圖像去霧技術帶來了一項巨大的挑戰.

2009年He等[6,7]提出的暗通道理論對自然圖像取得了較好的處理效果,成為了圖像復原去霧方法的一個重要研究方向.但是由于暗通道先驗在天空區域會失效,會產生過渡區域和偏色現象,因此涌現了一些改進的方法[8,9].這些改進算法大都是通過弱化對天空區域的處理來達到改善天空區域的效果,但是這樣的弱化勢必會導致和天空連接處的區域也被弱化,但對于海天背景圖像,當無人艇遠距離觀察時,目標恰巧處于海天交界區域處,因此對于He的改進算法并不適用于海天背景圖像去霧.

針對上述問題,文中提出了一種基于大氣散射模型的圖像復原去霧算法,目的在于對天空取得較好處理效果的同時不弱化海天交界處即目標的潛在區域.首先,利用海天背景圖像的特點將圖像劃分為天空和非天空區域,取天空區域最大的值作為大氣光的估計值;其次,設計代價函數并用超像素進行分塊,令函數取得最小值的透射率即為每一個小塊粗估計的透射率值,再使用引導濾波對透射率進行細化;最后,利用大氣散射模型對圖像進行復原.

1 經典大氣散射物理模型

大氣散射模型[10]描述了霧化圖像的退化過程,可用公式表達為:

其中,x為圖像像素的空間坐標;I(x)是觀測到的有霧圖像;J(x)為待恢復的無霧圖像;A表示全局大氣光照強度;t(x)表示介質在圖像位置x處的透射率,用來描述光線通過介質透射到成像設備過程中沒有被散射的部分.

圖像去霧的主要任務就是從有霧圖像I(x)中估計出全局大氣光A和透射率t(x),從而恢復出無霧圖像J(x):

2 本文方法

首先,利用海天背景圖像的特點使用Canny算子對天空區域進行分割,將圖像劃分為天空和非天空區域,并根據大氣光的物理意義取天空區域最大的值作為大氣光的估計值;其次,利用無霧圖像對比度較高這一事實,構建了一種衡量圖像對比度和信息損失量的代價函數,并利用超像素分割獲得景深和霧濃度相近的小區域,在每個區域內通過求解代價函數的最小值,估計出每個區域的粗透射率,再用引導濾波對其進行細化.

2.1 改進的全局大氣光A的估計

從全局大氣光的物理意義出發,場景點中全局大氣光A對應于圖像中天空或霧氣最濃的明亮區域.因此首先利用天空區域的特點對天空進行分割,然后取天空區域最亮的點作為A的估計.這樣可以使A落到與其物理意義相符的背景區域,避免將前景區域的白色或高亮物體誤選為A.

2.1.1 天空區域分割

無人艇在遠距離平視時采集的海面圖像中必存在天空區域且天空區域一定位于圖像上方.為了將天空區域分割出來,通過對海面圖像分析發現天空區域具有灰度較平坦、面積較大、亮度較高等特點.針對以上特點,本文采用一種邊緣檢測方法對圖像進行分割.如圖1所示,分割方法如下:

圖1 天空區域分割

(1)將彩色圖像轉換為灰度圖像,因為中值濾波能保持邊緣的細節,因此采用中值濾波對圖像進行預處理,濾除圖像中的噪聲,便于進行邊緣提取,如圖1中(b)所示.

(2)由于天空灰度較平坦,利用Canny邊緣檢測算子獲得灰度圖像的邊緣信息,如圖1中(c)所示,并進行膨脹和腐蝕等數學形態學操作獲得二值圖像,如(d)所示.

(3)對二值圖像取反并進行區域標記,如(e)所示,利用天空區域必在圖像上方的先驗知識只保留第一部分區域,從而得到天空區域和非天空區域,如(f)所示.

由圖1可以看出,Canny邊緣檢測算子分割的圖像不夠精細,這是因為實際上,天空區域與其它區域之間的界限并非十分清晰,有些像素點難以準確的判斷它到底處于哪個區域,但根據先驗知識我們可以得知天空區域最亮的部分被準確的分割出來,因此分割不夠精細不影響后續的操作,也無需在此處消耗太多的時間.

2.1.2 大氣光A的估計

從全局大氣光的物理意義出發,全局大氣光A對應于圖像中天空或霧氣最濃的明亮區域.因此,在對圖像進行天空區域分割后,取天空區域取最大的像素值點作為全局大氣光A的初始估計.

其中,x為圖像像素的坐標;S(x)是分割得到的天空區域.

2.2 改進的透射率t(x)的估計

2.2.1 改進的基于代價函數的透射率粗估計

首先通過SLIC超像素分割[12]將圖像分割成具有相近景深和霧濃度的像素塊,在這一個小塊內像素具有相似的紋理、顏色、亮度等特征,因此在每個小塊內不會發生景深突變.SLIC的本質是簡單的線性迭代聚類,首先初始化聚類中心,然后為每個聚類中心的分配標簽,最后度量距離.最終的距離度量公式如下:

其中,D'是最終距離,dc代表顏色距離,ds代表空間距離,S是類間最大空間距離,m是常數,取值范圍為[1,40].對以上步驟迭代優化,完成對圖像的自適應分塊,能夠有效避免估計透射率時由于分塊劃分不夠準確而出現的光暈效應.超像素分割的效果如圖2中(a)所示.

圖2 透射率估計

接下來通過構造評價函數[11],求得每一個小塊內函數的最小值來估計透射率.通常有霧圖像的對比度較低,因此提高對比度可以起到一定的去霧效果.但對比度得到增強的同時,可能會導致部分像素的調整值偏差過大,這樣就會造成圖像細節的損失以及視覺上的瑕疵.通過設置一個關于對比度和細節信息損失的代價函數,可以在盡可能減少信息損失的同時,最大限度地提高對比度,實現圖像去霧.對于有霧圖像,其整體的對比度比較低,因此去霧后的對比度要盡量的高,定義對比度評價函數Econtrast為圖像塊三個顏色通道對比度的均方誤差和的相反數,表達式如下:

定義信息丟失評價函數Eloss為圖像塊B內丟失像素值的平方和:

最終,將兩個評價函數相加得到需要的代價函數:

制備選擇性、靈敏度更優良的敏感材料和穩定性更高的離子—電子傳導材料仍將是全固態電位傳感器研究的重點。開發一次性的、微型化、陣列式、可穿戴、自校準、無前處理的全固態電位傳感器是未來全固態電位傳技術研究的主流趨勢。全固態電位傳感器將會在環境現場檢測、食品質量快速檢測、農藥殘留快速檢測、疾病自診斷、無創傷檢測等許多領域得到廣泛應用。隨著物聯網和人工智能時代的到來，全固態電位傳感器作為數字智能的最前端傳感設備，其重要性將會越來越顯現出來，其技術也定將會有一個大的發展。

其中,λ是用來調節信息丟失和對比度的參數.

根據代價函數,找出使E值最小的透射率t即為每一個小塊的最優透射率.

透射率的粗估計結果如圖2中(b)所示.

2.2.2 基于引導濾波的透射率細化

由于上述2.2.1節透射率的粗估計是假定每一個小塊的透射率是不變的,估計出的結果存在塊效應,此有必要對其進行細化處理.

采用文獻[7]的引導濾波可以快速得到精細化的t(x).引導濾波假設濾波輸出和引導圖是線性相關即:

其中,wk是引導圖Ii中以像素k為中心的鄰域;(ak,bk)在鄰域wk中為常數,引導濾波通過待濾波圖像Pi和輸出圖像qi之間的差異來尋求最優化的系數(ak,bk),使得輸出圖像q與輸入圖像p的均方誤差最小,得到輸出圖像.經過引導濾波后得到的細化的透射率如圖2(c)所示.

由圖2可以看出,得到的最終透射率圖質量較好,較為精細.

3 實驗與分析

將求得的A和t(x)代入第1節的公式(2)中就可以得到復原后的去霧圖像.為了評價算法的性能,選取三張典型海天背景的有霧圖像,按薄霧到濃霧分別進行仿真實驗,并將本文算法與去霧領域的經典算法He算法[7]以及He的改進算法[8]進行比較,實驗結果如圖3所示.

圖3 去霧效果對比

本文仿真實驗的硬件條件為:64位Windows 10 操作系統的計算機,處理器為 Intel Core i5-7200U,主頻為 2.5 GHz CPU,內存為 8 GB.軟件條件:Matlab 2016a.

為了客觀地評價算法的去霧效果,本文分別從信息熵Entropy、均方誤差MSE、結構相似度SSIM以及運行時間等評價指標進行圖像質量的定量分析,各評價指標數據如表1所示.

表1 客觀評價指標比較

其中,信息熵表示圖像所含的平均信息量,熵的值越大代表圖像的信息量越大,細節越豐富.均方誤差是反映圖像處理前后有效信息保持能力的量度,其值越小說明處理后圖像的信息保持能力越強.結構相似度度量復原圖像與原圖像的相似程度,SSIM值越大表示兩幅圖像相似度越好.

由表1可以看出,在均方誤差指標數據上,He的算法一直是最好的,但是在薄霧和中霧情況下,在信息熵和結構相似度上,本文算法高于其它兩個算法.在算法效率上,本文算法略高于He的算法,處理速度較快.

實驗結果表明,在非濃霧情況下本文算法優于其它算法.本文算法既能對天空取得較好處理效果同時又有較好的細節保留能力,而且算法效率較高.對于濃霧的處理本文算法雖然不如He的算法,但是依舊優于He的改進算法.

4 結論與展望

針對現有圖像去霧算法對海天背景圖像不太友好,本文提出了一種改進的基于大氣散射模型的圖像復原去霧方法,可以在對天空取得較好的視覺效果的同時保留較多的細節信息,實驗證明本文算法能對非濃霧的情況取得較好的處理效果.算法效率雖然較其它算法有所提高,但是用在視頻處理中仍難以滿足實時性,下一步的工作是進一步提高算法效率,以滿足視頻圖像的處理需求.