保細節的水下欠曝光圖像的復原和增強

劉 柯 李旭健

(山東科技大學計算機科學與工程學院 山東 青島 266000)

0 引 言

隨著人類的發展，我們對海洋有著越來越多的探索，相應的水下開展的活動也日益頻繁，例如：深海勘探、海洋資源開發、水下生物采集、海洋漁業、水下考古等。相比較于陸地活動，水下活動充滿著各種因素的干擾，比如光線暗淡、水中介質、水下霧氣等，導致獲得的水下圖像存在著模糊、顏色失真、邊緣細節丟失等現象。獲得清晰、高質量的水下圖像對于水下作業工作者和相關研究者們來說是非常重要的。

1 研究現狀和問題

對于這些問題，文獻[1]使用一種單一的傳感器捕捉三原色和近紅外圖像，使用近紅外閃光燈拍攝圖像，利用估計的運動模糊核對微光彩色圖像進行聯合去噪和去模糊。文獻[2]提出了一種基于藍綠色通道去噪和紅色通道校正的水下圖像復原方法，首先在對暗信道先驗算法進行完善的基礎上，通過去噪算法恢復藍綠色信道，然后根據灰色世界假設理論對紅通道進行修復，最后，通過自適應曝光映射解決光線不均勻問題。文獻[3]提出了一種生成對抗網絡(GAN)，通過學習的方法來恢復水下圖像，保存和增強輸入圖像的內容，以及由于剪切而完全丟失數據的完整區域，可以起到圖像顏色和邊緣紋理保留的作用。文獻[4]提出了一種多曝光圖像融合的方法，該方法分別融合了輸入圖像的方法和細節，在稀疏表示的基礎上對細節進行融合，實現了較好的清晰度。文獻[5]提出了一種基于最優加權多曝光融合機制的保細節欠曝光圖像增強方法，為了保留細節和增強色彩，還提出了用能量方程來計算三種測量的最優權重，但是容易導致圖像的過增強現象。文獻[6]提出的增強方法可以很好地解決圖像噪聲和水下霧氣，但是也會出現圖像的欠增強或過增強問題。文獻[7]提出了一種新穎的編碼曝光視頻技術，用互補的顫動來捕捉視頻幀模式，這能夠保留所有頻譜帶，達到圖像復原的效果。本文還介紹了一種基于現代通信的二進制序列集編碼曝光視頻系統的機制，進一步闡述了該方法的有效性。文獻[8]提出了一種基于背景光和傳輸圖的水下增強方法，首先開發了一個背景光數據庫，然后計算R通道的傳輸圖(TM)，接著通過水下光衰減先驗和反向飽和圖求得精確的TM，最后又引入白平衡方法進行圖像顏色的增強，提高了圖像的清晰度。文獻[9]提出了一種系統的水下圖像增強方法，包括由衰減圖引導的水下圖像顏色校正方法和保留細節的去霧方法。文獻[10]提出了一種基于條件生成對抗網絡(GAN)的深度多尺度特征融合網絡，用于水下圖像顏色校正。文獻[11]提出了一種基于非局部微分算子的新型變分模型，其中水下成像模型成功地集成到變分框架中，將水下暗通道先驗(UDCP)和四叉樹細分方法應用于水下成像模型的構建，以估計透射圖和全局背景光。文獻[12]提出了一種基于異構生成對抗網絡(GAN)的方法，該方法由用于生成清晰圖像的循環一致生成對抗網絡(CycleGAN)和用于保留紋理細節的條件生成對抗網絡(cGAN)組成。綜上分析，雖然基于卷積網絡的方法能夠提高圖像的清晰度和算法的效率，但依舊存在著圖像邊緣細節易丟失的現象，不能很好地處理光線不均勻的情況，而且目前缺少成熟的水下圖像數據集。

2 本文的工作

針對目前水下圖像增強中存在的相關問題，本文主要從去噪、去霧和圖像增強方面進行提高。首先，提出一種改進的小波閾值函數去噪方法去除水下模糊圖像中摻雜的噪聲，并通過精確的優化算法進行求解。然后，提出色彩恢復的多尺度視網膜增強(MSRCR)聯合改進引導濾波的去霧方法，不僅在最大程度上完善了多尺度視網膜(MSR)算法和MSRCR算法，還有效地實現了在圖像去霧的同時盡可能保持邊緣細節的效果，是本文的一個創新點。最后，在圖像增強階段，本文先采用改進的直方圖均衡化圖像增強方法對復原后的圖像進一步地處理，其目的就是為了改善整體的亮度，接著提出改進的超分辨率卷積神經網絡(ISRCNN)算法解決顏色退化和邊緣弱化的問題，即采用深度學習融合改進的自適應伽馬校正技術對圖像質量進行提高，也是本文的又一個創新點。對于自適應曝光處理后的水下圖像，其部分區域可能存在顏色退化的現象。

本文做出的貢獻主要表現在：

(1) 提出一種保細節的水下圖像增強方法，在實現去噪、去霧氣的基礎上，達到了對圖像邊緣細節的增強，其效果更好。

(2) 采用了色彩恢復的多尺度視網膜增強聯合改進引導濾波的去霧方法，對于自適應曝光處理后的圖像，它在增強顏色的同時對邊緣細節也起到了很好的保護作用，清晰度和圖像質量更好。

(3) 本文采用深度學習算法結合改進的自適應伽馬校正技術較好地實現圖像顏色和邊緣細節的增強。

3 水下圖像復原

水下環境充滿了噪聲、霧氣和介質顆粒，再加上水體的流動性導致拍攝設備發生“抖動”現象，從而獲得的水下圖像會非常模糊、顏色失真、細節丟失等。本文采用改進的小波閾值函數進行去噪，并采用MSRCR聯合改進引導濾波的方法去除水下霧氣。實驗證明，本文采用的去噪和去霧的方法是有效的。

3.1 圖像去噪

傳統小波閾值函數的去噪效果與閾值函數、重建準確度有關系，而傳統的閾值函數主要包含軟閾值和硬閾值函數。其中硬閾值函數表示為：

(1)

式中：ρj,k表示帶噪小波系數；sj,k表示輸出小波系數。使用硬閾值函數時，會對一些細節部分起到保護的作用，但是該函數在閾值±δ存在不連續性，因此在重構小波系數時，會非常容易出現偽吉布斯現象(Gibbs-like phenomena)。

軟閾值函數：

(2)

由式(2)可以得出，軟閾值函數完善了硬閾值函數的瑕疵，即軟閾值函數在±δ處是連續的，但是會導致局部有價值的地方丟失。為了進一步彌補兩個函數中存在的不足，本文做出了改進，通過對指數函數的底值和自變量的變換，可以進一步對小波系數做出操作，從而更好地解決噪聲問題，而且函數在|ρj,k|=δ是不間斷的，完善了硬閾值和軟閾值函數的缺點，公式如下：

(3)

式中：α和μ均為改進閾值函數中的參數。

硬閾值函數、軟閾值函數和本文閾值函數的曲線圖，如圖1所示。綜合分析得知，本文的閾值函數在處理過程中要好于硬、軟閾值函數。

圖1 不同閾值函數曲線圖對比

在式(3)中，閾值δ的選取對去噪有很大的影響，如果δ太小，就會出現噪聲清除不徹底，導致圖像效果不理想；如果δ太大，就會出現去噪過度，導致圖像的失真。所以本文采用貝葉斯閾值[13]的方法使得每一層的閾值能夠自動地隨著小波分解尺度的增大而縮小：

(4)

(5)

密度函數：

(6)

(7)

閾值計算表達式：

Xj=γ2/γx

(8)

式中：γ2表示噪聲的方差；γx表示子帶系數標準差；j表示分層的某一層。

對于式(7)中γ2的計算采用的是文獻[13]所提到的方法：

γ=median(|sj,k|)/0.674 5

(9)

(10)

(11)

因此，根據式(9)-式(11)聯合求得貝葉斯閾值，即求得了貝葉斯閾值在不同層之間的自適應性，從而突顯出本文算法的好處。

而對于改進閾值函數中的參數δ和α，本文采用文獻[14]中提到的粒子群優化算法來求解。

通過將改進的小波閾值函數應用于水下圖像的去噪，充分解決了圖像中出現的一系列噪聲，大大提高了圖像的視覺效果。去噪效果如圖2所示。

(a) 原圖 (b) 去噪后的圖像圖2 去噪結果

3.2 圖像去霧

對于MSR，最為經典的就是3尺度的大、中、小，既能實現圖像動態范圍的壓縮，又能保持色感的一致性，但是處理后的圖像存在著圖像顏色偏差等問題。對于獲取到的水下圖像，可能會由于含有噪聲，而導致圖像的部分細節顏色失真，不能表現物體的真實顏色，整體效果就會變差。針對這一點不足，MSRCR在MSR的基礎上，加入了色彩恢復因子C來調節由于圖像局部區域對比度增強而導致顏色失真的缺陷。文獻[15]中采用MSRCR來提高圖像的整體質量，在顏色和清晰度等方面起到了一定的作用，但是還存在著整體質量不高的情況。為進一步在去霧過程中保持細節的清晰度，本文提出MSRCR聯合改進的引導濾波方法實現水下圖像的去霧效果。

RMSRCR(x,y)′=G·RMSRCR(x,y)+b

(12)

RMSRCR(x,y)=C(x,y)RMSR(x,y)

(13)

(14)

f[I′(x,y)]=βlog[αI′(x,y)]=β{log[αI′(x,y)]-

log[∑I(x,y)]}

(15)

式中：RMSRCR(x,y)′表示從對數域r(x,y)轉換為實數域R(x,y)；G表示增益Gain(一般取值為5)；b指的是偏差Offset(一般取值為25)；I代表某個通道的圖像；C是某個通道的彩色恢復因子；調節這三個顏色通道的比值；f(*)代表顏色空間的一種映射關系；β代表增益常數(取值為46)；α指受控制的非線性強度(取值為125)。

實驗證明，MSRCR對獲取到的水下圖像具有顯著的去霧效果，提高了圖像的清晰度，并且提高了水下圖像的顏色對比度和飽和度。而改進的引導濾波對圖像的邊緣細節起到極好的保護作用，將這兩種方法有機融合，在實現較好去霧效果的同時，還提高了顏色的飽和度，使得水下圖像的邊緣細節更加清晰，從而提高了算法效率。圖3為在圖2的基礎上繼續進行去霧的圖像結果，顯示出本文方法的有效性。

(a) 原圖 (b) 去霧后圖像圖3 去霧效果

4 水下圖像增強

對于水下獲取的圖像，都會存在著光照不均、介質顆粒等因素造成的圖像模糊和圖像失真等問題，限制著相關領域的發展，如何獲得一個高質量的水下圖像對于水下科研工作者和水下研究者來說顯得尤為重要。

經過上面圖像復原階段的處理后，得到的圖像沒有了霧氣、噪聲的干擾，而且圖像的顏色和細節也得到很大程度的改善。但是，仍然存在著圖像亮度較暗的問題。為了進一步改善圖像質量，本文采用趙愛玲等[16]提出的基于改進的直方圖均衡化圖像增強方法對圖像進行處理，一方面改善了水下圖像亮度偏暗的現象；另一方面，對增強水下圖像飽和度也起到了很大的改善作用，且避免了暈影的出現。但是，實驗表明，該方法在提高亮度的過程中，對于解決局部光線較弱方面的效果是有限的。改進的直方圖均衡化結果如圖4所示。

(a) 處理前 (b) 處理后圖像

(c) 圖像直方圖圖4 改進的直方圖均衡化結果

接下來，本文采用了一種自適應曝光圖的方法。首先，根據自適應曝光圖[17]進一步改進調整結果，并由該文獻中求解最優值的辦法求得自適應圖像曝光圖f(x):

(16)

式中：f(x)表示適應風險地圖；YJ(X)代表恢復圖像的光照強度；YI(x)表示輸入圖像的光照強度；α取值為常數0.3；φ(*)表示平滑正規化。優化求解分為兩步：(1) 忽略φ(*)的情形下解出f(x)，是一個自閉的值；(2) 把導向濾波器引入求解之中，從而得出理想答案。這里，求得出估計函數為：

(17)

進而得出：

OutputExp=Jc(x)×f(x)c∈{r,g,b}

(18)

式中：Jc(x)表示恢復后的圖像；f(x)表示自適應曝光圖像。

經過處理后，得到了一定亮度地水下圖像，極大地提高了視覺效果。在現有的很多方法中，對水下圖像的處理過程中，都會不同程度地出現光照不均勻等問題，為此，本文采用ISRCNN技術對水下圖像進行增強，即超分辨率卷積神經網絡融合改進的自適應伽馬校正方法。

步驟1通道處理。將初始圖像切割為R、G、B三個通道，各自通道都能得到各自的信息，公式如下：

Yi=image(Yi)i=R,G,B

(19)

式中：i代表著R、G、B三個通道；Y代表CNN的原始圖像。

步驟2CNN的訓練。公式如下：

Yi=max(0,Si×Yi(i-1)+Ci)i=1,2,3

(20)

式中：Si表示CNN每一層的卷積核；Ci表示CNN每一層的偏置；Yi(i-1)表示第五次卷積之后的輸出結果。

步驟3圖像的融合。公式如下：

Y=cat(YR,YG,YB)

(21)

步驟4改進的自適應伽馬校正算法處理。對于對比度較低的水下圖像，強度聚集在暗灰度級中。對于提高此類對比度的水下圖像，κ是用于改善自適應伽馬校正中的參數變量，用于優化自適應伽馬校正的算法。

對于得到的水下圖像Y，我們給出伽馬定義：

(22)

式中：y代表預處理水下圖像的光照分量；ymax表示y的最大像素值；k表示參數變量，用來控制水下圖像增強的強度。

(23)

式中：σ代表水下圖像的局部標準偏差；τ代表局部均值。

對于提高具有中等對比度的水下圖像，校正因子κ適用于式(24)。

(24)

遍歷Y中的每一個像素，根據文獻[20]中的圖像分類方法，得出水下圖像分類的結果，再由式(23)或者式(24)求得每一個像素點的κ參數值；接著，按照式(22)對水下圖像y實行伽馬校正，求得增強后的水下圖像y′。

綜上，使用自適應曝光圖的方法處理曝光問題、SRCNN融合改進的自適應伽馬校正技術進行顏色和邊緣細節等方面的增強，對改善水下圖像對比度、色彩增強和邊緣細節的保留都有明顯的效果。

5 實驗結果與分析

本文的實驗分析部分將分別從定性和定量兩方面進行。在定性分析方面，本文從水下圖像恢復和增強兩個階段來闡述本文方法的有效性。在定量分析方面，采用了圖像信噪比(SNR)、熵(Entropy)和梯度平均值(AVG)來提高本文方法的說服力。實驗證明，本文提出的水下圖像恢復和增強方法實現的效果是顯著的。

5.1 定性分析

本文與Liang等[9]的方法和Liu等[10]的方法進行實驗對比，結果如圖5所示。

(a) 原圖 (b)Liang等 (c) Liu等 (d) 本文圖5 不同圖像復原方法的結果比較

可以看出，文獻[9]在水下圖像的去霧方面的效果是明顯的，能夠實現圖像的清晰化，但水下圖像中遠處的背景區域是趨于暗淡模糊的，也就是說該方法在水下圖像局部區域(特別是遠處背景色區域)中不能實現較好的效果。文獻[10]相對文獻[9]來說，效果更好一些，不僅能夠很好地實現去噪、去霧效果，還能夠對水下圖像的色彩起到有效的增強作用，讓水下圖像具有更好的視覺效果，但是在水下圖像的亮顏色處容易導致過擬合現象，并且不能高效地解決圖像的曝光問題，而且在邊緣細節的保留方面也需要進一步的提高。所以，相比較而言，本文方法在去霧、去噪和圖像增強方法實現的效果相對是最好的。

本文將與Hou等[11]和Park等[12]所提出的方法做實驗對比，定性比較如圖6所示。

(a) 原圖 (b) Hou等 (c) Park等 (d) 本文圖6 不同圖像增強方法的結果對比

可以看出，文獻[11]提出的方法能夠有效地實現色彩增強和改善光照強度，而且還能實現水下圖像的去霧，不過并沒有較好地保留水下圖像的邊緣細節，實現的整體效果是偏暗的。而對于文獻[12]實現的整體效果要好于文獻[11]，在光線亮度、細節保留等方面都有很好的提高，但是整體的顏色飽和度還需增強。本文方法可以在去噪、去霧、改善光強的基礎上，對水下圖像的顏色和邊緣細節起到明顯的增強效果。

5.2 定量分析

接下來，為了進一步讓本文方法具有說服力，我們運用SNR來說明。信噪比與圖像所含的噪聲成反比，與圖像的清晰度和質量成正比，也就是說，隨著信噪比的增大，圖像所含有的噪聲就越少，圖像就越清晰。計算出圖5不同方法下的SNR，結果如表1所示。

表1 信噪比值

為了說明本文方法的有效性，本文運用熵和AVG對圖6中的結果進行計算分析，結果如表2所示。熵一般用來表示圖像特征統計，它代表的是平均信號量，熵值的大小可以體現出某一圖像的對比度與清晰度；而AVG不僅能夠表達出圖像的對比度，還能體現圖像的邊緣細節等方面的清晰度，AVG變大，圖像也越清晰。通過熵和AVG的對比，更好地展現出本文方法的優越性。

表2 熵和AVG的比較

5.3 其他情況下的應用

經實驗驗證，本文方法不僅對水下獲取到的圖像起到很好的恢復和增強效果，對于非水下的圖像也起到了一定的復原和增強作用，其實現的效果是可觀的。如圖7所示。

(a) 為原始圖像 (b) 處理后圖像圖7 其他情況欠曝光的處理效果

6 算法實現

保細節的水下欠曝光圖像的復原和增強方法的思想步驟，歸納如下：

Step1對讀取圖像進行去噪和去霧處理。

Step2采用改進的直方圖均衡化提高了圖像的亮度。

Step3采用自適應曝光圖與導向濾波器相結合的方法對水下圖像進行系統的曝光處理。

Step4對曝光處理后可能出現的圖像局部區域邊緣細節淡化以及顏色退化的問題采用SRCNN融合改進的自適應伽馬校正技術來進一步完善。

7 結 語

隨著水下活動的日益頻繁，水下圖像增強技術變得越來越重要。為了獲得清晰、高質量的水下圖像，本文提出保細節的水下欠曝光圖像的復原和增強方法。首先，由改進的小波閾值函數解決圖像的噪聲問題；接著，提出MSRCR聯合改進的引導濾波方法實現水下去霧的效果；繼續采用改進的直方圖均衡化改善了水下圖像的整體亮度，進而根據自適應曝光圖與導向濾波器相結合的方法對水下圖像進行系統的曝光處理；最后，對曝光處理后可能出現的圖像局部區域的邊緣細節淡化以及顏色退化的問題，提出SRCNN算法融合改進的自適應伽馬校正的技術來進一步完善。實驗證明，本文采用的保細節的水下欠曝光圖像的恢復和增強方法在水下圖像去霧、去噪、顏色和邊緣細節的增強上具有顯著的效果。在研究和實驗中，我們發現本文方法也有一定的不足，即在處理光線太暗或者水下霧氣太大的圖像時效果有限，這也是我們下一步繼續努力的方向。