基于圖像融合的水下光照不均勻圖像增強算法

李廣豪,席志紅

(哈爾濱工程大學信息與通信工程學院,黑龍江 哈爾濱 150001)

1 引言

水下探測嚴重依賴獲取的水下圖像的質量,由于水下環境復雜,水體會對光產生散射和吸收效應,使光在水下嚴重衰減,從而獲取的水下圖像質量往往較差。為了能獲得高質量的水下圖像,水下圖像增強是必不可少的處理環節。2003年,Chambah[1]等人針對水下圖像的偏色問題,通過顏色恒常理論提出了一種基于非監督式的增強算法,使后續特征提取式的效率大大增加;2007年,Iqbal[2]等人提出的RGB和HIS色彩空間的滑動直方圖拉伸連續在兩個色彩空間中進行均衡化處理,有效解決了水下圖像的偏色和低對比度等問題;2012年,Ancuti[3]等人提出了一種基于圖像融合的水下圖像增強算法,解決了水下圖像的偏色和視覺模糊等問題,同時可避免圖像中出現偽影和色暈現象。2017年,余義德[4]等人提出了限制對比度自適應的顏色校正模型,較好的提高了水下圖像的視覺效果和對比度。2018年,王永鑫等[5]提出了一種基于同態濾波的水下圖像增強與色彩校正模型,可以有效保證水下圖像的清晰度和色彩恒定性。2020年5月,林森[6]等人提出了一種基于多輸入融合對抗網絡的增強算法,其生成網絡采用編碼解碼結構,通過卷積層濾除噪聲,利用反卷積層恢復丟失的細節并逐像素進行細化,該算法改善后的水下圖像色彩鮮明并且對比度提升。

自適應伽馬校正算法[7]對于空氣中光照不均勻圖像有較好的校正效果,但是水下環境復雜,無法直接應用于水下。本文提出一種改進的水下融合算法,將自適應伽馬校正算法,,改進的MSRCR算法[8],CLAHE,圖像銳化和水下圖像融合增強算法[3,9]相結合。通過自適應伽馬校正算法改善圖像光照不均勻區域;通過CLAHE擴大局部對比度,降低噪聲;利用MSRCR算法彌補由于局部對比度增大造成的顏色失真;利用圖像銳化彌補伽馬校正造成的細節損失;通過圖像融合算法融合不同圖像的優勢。可以有效的改善水下圖像光照不均勻、色偏、低對比度等問題。

2 算法描述

本文算法是應用于水下光照不均圖像的圖像增強算法。通過結合自適應Gamma校正和多尺度圖像融合增強算法來達到增強水下圖像的目的,使得強光照的區域減弱,光照不足的區域得到補償。具體算法流程如圖1所示。

圖1 算法流程圖

圖2 自適應伽馬校正流程圖

2.1 限制對比度自適應直方圖均衡

對于圖像中存在明顯比其它區域暗或亮的區域,傳統的直方圖均衡不能將該區域的細節信息描述出來,自適應直方圖均衡算法(AHE)通過在當前處理像素周邊的一個矩形區域內進行直方圖均衡,來達到擴大局部對比度,獲取平滑區域的細節信息。但是AHE對局部對比度提高過大,導致圖像失真,還會放大圖像中的噪聲。

為了解決這些問題,本文使用限制對比度自適應直方圖均衡(CLAHE)去擴大局部對比度,并減少噪聲的放大情況。

2.2 改進的MSRCR增強算法

由于CLAHE在擴大圖像局部對比度時,圖像會有一定的色彩失真,為了解決這一問題,本文嘗試引入改進的帶色彩恢復的多尺度視網膜增強算法(MSRCR)[8]的理論模型,其計算公式如下

RMSRCRi(x,y)=G*[Ci(x,y)RMSRi(x,y)+b]

(1)

式中RMSRCRi是第i張圖像的MSRCR反射光分量,RMSRi(x,y)是第i張圖像的MSR反射光分量,G和b分別是最終增益量和偏移量,Ci(x,y)表示第i張圖像的色彩恢復函數,β是增益系數,α是控制非強度系數。在本文中,將參數值分別設置為G=194,b=-30,β=46,α=125。

2.3 多尺度融合算法

為了得到具有突出優勢的最佳圖像,本文使用了4種權重,用于確定在圖像融合中輸入圖像所占的比重,這幾種權重分別是拉普拉斯對比度權重(WL),顯著性權重(WS),飽和度權重(WSat)和曝光權重(WE)。

1) 拉普拉斯對比度權重

拉普拉斯濾波器可以增強圖像中灰度突變的區域,減弱灰度的緩慢變化區域,其表達式如下

(2)

拉普拉斯對比度權重通過計算拉普拉斯濾波器輸入到每個亮度通道的值,并取絕對值,最后得到全局對比度。

2) 顯著性權重

通過使用Achantay[10]等的顯著性估計器,去獲取水中不突出物體的顯著性水平,用于增加圖像中亮暗區域的對比度,從而加強圖像全局對比度。其表達式如下

Ws=Iμ-Iω

(3)

式中Ws為顯著性權重,Iu為Lab色彩通道的平均值,Iω表示在Lab通道經過高斯低通濾波后的結果,其截止頻率為ω=π/2.75。

3) 飽和度權重

通過調節圖像區域飽和度,使彩色圖像能夠用于圖像融合算法。表達式如下

(4)

式中Rk,Bk,Gk分別為RGB通道中R,G,B各單通道在像素k點的值,Lk時Lab通道中亮度分量在像素點k的值。

4) 曝光權重

WE用于評估圖像中像素的曝光程度,當歸一化后的像素值接近平均值0.5時,WE表示高斯模型函數到平均歸一化范圍值(0.5)的距離。其具體計算公式如下

(5)

式中Ik(x,y)表示圖像Ik中點(x,y)處的像素值,σ是標準差,常設置為0.25.權重WE(x,y)值越大,則說明該點像素更可能是曝光不足或曝光過度區域。

計算完上述幾種權重后,便可以通過多尺度融合算法進行圖像融合。將輸入圖像在每個像素點(x,y)處的權重進行融合便可得到重建后的圖像R(x,y)

(6)

2.4 光照不均勻圖像增強算法

該算法通過將圖像轉化到HSV空間,通過多尺度高斯函數對明度通道V提取光強分量,將光照分量作為二維伽瑪函數的輸入,對不同亮度值給予不同的γ值,最后轉換至RGB空間,得到校正后的圖像。

2.4.1 光照分量的提取

光照分量的提取有多種方法,例如基于頂帽變換的方法[11],基于mean-shift的方法[12],基于Retinex模型的方法[13],基于線性引導濾波的方法[14]等。本文使用Retinex理論中涉及的多尺度高斯濾波器的方法[15],去提取光照分量,如下式

(7)

式中λ為歸一化常數,使高斯函數G(x,y)滿足?G(x,y)dxdy=1的條件,c為尺度因子,*代表二維卷積,I(x,y)是估計處的光照分量,F(x,y)是輸入圖像。

為了光照值得到較好的局部特性和全局特性,使用多尺度高斯卷積求和。首先對N值取3,使尺度因子c分別為20,75,225,并使用不同權重(ω1=1/2,ω2=ω3=1/4)求和就可最終估計出光照分量,如下式

(8)

2.4.2 自適應伽馬校正

在獲取光照分量后,為了進一步抑制高光照區域,增強低光照區域,本文使用自適應伽馬校正算法對輸入圖像進行對比度校正。如下式

(9)

式中O(x,y)為輸出圖像的亮度值,F(x,y)為輸入圖像,γ是校正參數,m是光照分量的亮度均值,I(x,y)為光照分量。對于光照值高于均值m的區域,將該區域光照值減弱;對于光照值低于均值m的區域,將該區域光照值增加。

在自適應伽馬校正處理完后,將V通道圖像和H,S通道重新結合,并變換至RGB通道,即可獲得最終的校正后圖像。

3 實驗結果與分析

本實驗使用的水下數據集包括公開的水下圖像集UIEB[16],OceanDark[17]和自己拍攝的水下零件數據集。作為參照對比的算法主要有自適應伽馬算法[7], Single image haze removal using dark channel prior[18],Enhancing Underwater Images and Videos by Fusion[3],Color Balance and Fusion for Underwater Image Enhancement[9]。

3.1 定性分析

圖3是7幅不同水下圖像經過不同方法增強后的圖像對比結果。圖3(b)采用暗通道先驗的方法,可以較好地去除圖像中的霧,而水下光受到散射和吸收的影響,大多呈現藍綠色調,圖3(b)對比圖3(a)沒有明顯的變化,表示沒有較好的增強效果,所以大氣中的暗通道先驗方法不能直接應用于水下;劉志成等的自適應Gamma校正對空氣中的光照不均勻圖像有較好的校正效果,但從圖3(c)可以看出,該算法只能增強較小的對比度,沒有了空氣中的良好效果;圖3(d)是Ancuti等基于圖像融合的水下圖像增強結果,可以看到圖像1,2,5,7都有著很好的增強效果,不僅去除了圖像的藍綠色調,而且提升了圖像一定的對比度,但是圖像3,4中出現了較為嚴重的偽影;圖3(e)是Ancuti等經過改善后提出的新算法對圖像的增強結果,可以看到圖像3,4中的偽影都被盡可能的去除,但是從圖像6,7能看出,文獻[9]對于光照不均勻的水下圖像沒有較好的增強效果,圖像7中左側的過曝區域沒有被抑制,且圖像7右側的偏暗區域也沒有變得明亮;圖3(f )是應用本文算法得到的增強結果,可以看到,相對于圖3(d),圖像3,4中的偽影都完全被去除,圖像2中未去除的藍色調也得到了很好的改善,而相對于圖3(e)而言,圖像4,6,7等光照不均勻圖像在圖3(f )中都得到了很好的改善,圖像4的背景對比度得到了一定的增強,左側下角落的過曝區域也得到了較好的抑制,圖像7中左側的過曝區域也得到了良好的抑制,而右側的偏暗區域也得到了很好的增強,可以較清楚的看見右側的木桿。從此可以得出,從主觀視覺角度上,本文算法相對于其它算法可以更好的解決水下圖像光照不均勻的情況,而且可以去除偽影,較好的提高對比度,更加符合人眼的主觀認知。

圖3 不同算法的實驗結果比較

3.1 定量分析

為了進一步驗證本文算法的性能,本文采用全面圖像評價指標(PCQI)[19],平均梯度(AG)和水下圖像質量標準(UIQM)[20]作為實驗指標去評估本文算法和文獻[3],[7],[9],[18]處理水下圖像得到的結果圖像。PCQI在每一個patch中計算平均強度,信號強度和信號結構,并從這三個方面去評價圖像的失真情況,可以較好地評價兩個圖像對比度的差異,PCQI值越小,則圖像的失真情況越嚴重,對比度越差;平均梯度(AG)可用來反映圖像中的細節信息,平均梯度越小,則圖像越模糊,圖像的質量越差;水下圖像質量指標UIQM是一種綜合性的評價指標,包括對比度、色度和飽和度等,當UIQM的值越大時,表明處理后的圖像質量越好。采用以上3種指標對7組不同的圖像進行評估,表1展示出本文與其它4種算法的實驗結果,為了方便觀察,將表1轉換為柱狀圖,如圖4,5,6。

表1 圖像1不同算法分析

表2 圖像2不同算法分析

表3 圖像3不同算法分析

表5 圖像5不同算法分析

表6 圖像6不同算法分析

表7 圖像7不同算法分析

圖4 不同算法的平均梯度指標對比

圖5 不同算法的UIQM指標對比

圖6 不同算法的PCQI指標對比

從表1,2,3,4,5,6,7和圖4,5,6可以看出①本文算法得到的平均梯度的平均值是最好的,這說明本文算法得到的處理圖像是比較清晰的,但圖像3中平均梯度最高的是Ancuti等[3]的結果,雖然其平均梯度較大,但是由圖3(d)可知,圖像3出現了較為嚴重的偽影,所以綜合來說,本文算法相對于平均梯度而言,效果最優;②本文算法得到的UIQM值不管是平均值還是單個圖像都是最大值,這說明本文得到的水下處理圖像的質量是最優的;③本文算法得到的PCQI指標相對于其它算法而言,值是最大的,這表明本文算法得到的水下圖像失真情況最少,且對比度最好。

結合定性分析和定量分析可知,本文提出的基于圖像融合的水下光照不均勻增強算法可以有效解決水下圖像色偏,光照不均勻,低對比度以及紅色偽影等問題,從而可以獲取到清晰度較高的水下圖像。且相對于其它算法,本文算法復雜度并沒有明顯增加;本文算法不僅可以處理光照不均勻水下圖像,而且普通的水下圖像一樣有較好的處理效果。所以本文算法的適用面較廣。

4 結論

針對水下圖像存在光照不均勻,低對比度和色偏等問題,提出了一種基于圖像融合的水下光照不均勻圖像增強算法。通過與不同算法處理結果對比,表明本文算法可以較好解決水下圖像光照不均勻情況,可以有效增強圖像的對比度,解決色偏問題,降低偽影的引入。然而,由圖3(f )中的圖像3和圖像7可見,該算法對于深藍的水下圖像和過暗的水下圖像處理效果一般。對深藍水下圖像處理效果較差是因為深層水域光的衰減過于強烈,只剩下少量藍光;對過暗水下圖像處理效果較差是因為過暗區域接收的散射光過少。在下一步工作中,這兩個是重點的研究方向之一。