基于加權L1正則化的水下圖像清晰化算法

楊愛萍 張莉云 曲 暢 王 建②

?

基于加權L1正則化的水下圖像清晰化算法

楊愛萍*①張莉云①曲 暢①王 建①②

①(天津大學電子信息工程學院 天津 300072)②(國家海洋技術中心 天津 300112)

水體對光能量有較強的吸收和散射作用，造成水下圖像顏色失真，對比度下降。傳統的圖像增強方法和復原方法處理水下圖像時各有不足，該文結合水下成像物理模型和基于Retinex理論的圖像增強算法，提出水下圖像清晰化方案。首先，基于圖像統計特性給出一種簡單的顏色校正方法，以去除顏色失真；在水下圖像成像理論框架下，利用邊界約束求得初始透射率，再使用自適應維納濾波進行優化；在此基礎上，提出加權L1正則化模型對亮度層進行增強，最后再進行自適應Gamma校正。實驗結果表明，算法可以有效去除顏色失真，而且能夠大幅提升圖像的對比度和清晰度。

圖像處理；顏色校正；透射率；加權L1正則化；自適應Gamma校正

1 引言

水下圖像在海洋能源勘探、海洋環境監測與保護以及海洋軍事等領域有著廣泛的應用，由于水體對光能量有較強的吸收和散射作用，造成水下圖像對比度下降，顏色失真和細節模糊等[1,2]。因此，開展水下圖像清晰化研究對國民經濟和軍事具有重要的價值和意義。

現有的水下圖像清晰化方法主要分為兩類：一類是不考慮圖像退化的真正原因，從圖像增強的角度改善水下圖像質量；另一類是考慮水下圖像退化過程，根據成像物理模型復原圖像。由于水下圖像與霧天圖像成像模型類似，不少學者采用基于暗通道先驗的去霧方法增強水下圖像[3,4]。但該方法忽略了紅通道的影響，導致估計的透射率偏大，復原圖像偏暗。針對該問題，文獻[5]提出只求藍、綠通道的暗通道，但該方法可能因缺少紅通道信息導致透射率估計偏小。文獻[6]提出通過設置閾值判斷是否利用紅通道估計透射率，但該方法不能對三通道透射率獨立求解。Chiang等人[7]提出一種基于波長補償和去霧的復原算法(Wavelength Compensation and Image Dehazing, WCID)，但該算法需要預先知道成像環境等附加信息。文獻[8]提出通過水下圖像三顏色通道間光衰減差估計景深，但該方法并沒有考慮不同顏色通道的衰減差異。文獻[9]提出基于紅通道的水下復原算法，通過對紅通道反轉和添加飽和度分量，減少衰減嚴重的紅通道和人工光源對透射率估計的影響。雖然上述算法都取得一定的效果，但通常需要有關成像環境的衰減系數等附加信息，應用范圍受限。近期，文獻[10]提出了一種基于Retinex理論的水下圖像增強方法，可有效增強圖像的亮度和細節，但該方法并沒有考慮水下圖像的降質過程。

本文結合水下圖像成像模型[11]和圖像增強算法，提出新的水下圖像清晰化方案。首先根據圖像的統計特性，給出一種簡單的顏色校正方法；然后在水下成像模型框架下，通過圖像的邊界約束獲得初始透射率，并利用自適應維納濾波對透射率進行優化；最后提出加權L1正則化模型對亮度層進行增強，再進行自適應Gamma校正。實驗結果表明，本文算法復原的圖像顏色鮮艷，細節清晰可見，視覺效果更加自然。

2 水下圖像成像模型

根據Jaffe-McGlamery成像模型，水下圖像可以表示為3個分量的線性疊加：直接分量，前向散射分量和背景散射分量[11]，如圖1所示[12]。

直接分量是物體的反射光在傳播過程中沒有被散射的部分；前向散射分量是反射光在傳輸過程中發生小角度散射的部分；背景散射分量是背景光經懸浮顆粒散射后返回相機的部分。一般情況下，場景與相機距離不大，可以忽略前向散射帶來的影響，只考慮成像過程中的直接分量和背景散射分量[11]，成像模型可以簡化為

圖1 水下圖像成像模型

根據Beer-Lambert定律，吸收和散射引起的光能量衰減與介質的厚度成正比[13]，假設介質是均勻的，透射率可表示為

3 本文算法

由于不同波段光的吸收和散射系數不同，導致圖像呈現藍(綠)色基調，為了更好地復原圖像，需先對水下圖像進行顏色校正；由于水體對光的吸收和散射造成水下圖像亮度降低，因此還需要增強圖像亮度。針對傳統增強方法與去霧算法用于水下圖像恢復時所出現的問題，本文提出一套新的水下圖像清晰化方案：先進行顏色校正，然后基于Jaffe- McGlamery成像模型增強圖像亮度。主要包括4部分：(1)顏色校正；(2)透射率求解及優化；(3)加權L1正則化亮度增強；(4)自適應Gamma校正。算法整體流程如圖2所示。

3.1 顏色校正

光在水下傳輸時，紅光波長最長衰減最大傳輸距離最短，藍(綠)光波長較短衰減較小傳輸距離較遠，導致圖像呈現藍(綠)色基調。為了更好地復原圖像，可先對水下圖像進行顏色校正。文獻[10]提出了一種簡單有效的顏色校正方法，但其沒有考慮不同背景基調、不同顏色通道其衰減系數的差異。因此，本文根據圖像背景基調對RGB顏色通道分別處理。首先計算RGB顏色通道的均值和均方差，然后通過式(3)進行顏色校正：

圖2 算法流程圖

圖3 顏色校正圖

3.2 透射率求解及優化

(5)

3.2.2 基于局部自適應維納濾波的透射率優化 由式(5)得到的透射率在塊內是恒定的，但實際情形下，塊內透射率并不是恒定不變的，尤其是在景深突變的邊緣，會導致透射率圖出現嚴重的塊效應，重建圖像出現暈輪偽影[14]。另外，透射率圖譜的局部細節信息越接近輸入圖像，恢復圖像丟失的細節信息越多[15]。因此，需要對透射率進一步優化。He等人[16]提出的軟摳圖算法和Meng等人[14]提出的正則化方法計算量大，耗時長。為了提高計算效率，恢復出更多圖像細節，本文采用文獻[17]的局部自適應維納濾波算法對式(5)得到的透射率進行優化。透射率優化前后部分結果如圖4所示。可以看出，優化后的透射率塊效應明顯減少。

圖4 透射率及其優化

3.3 加權L1正則化亮度增強

3.3.1 加權L1正則化亮度增強模型 文獻[10]提出基于Retinex理論的水下增強算法可有效增強圖像的亮度，但其沒有考慮圖像的退化過程，導致恢復圖像顏色偏白。針對上述問題，本文結合Jaffe- McGlamery水下圖像成像模型，提出一種基于加權L1正則化的亮度增強方法。將式(1)改寫為

(7)

則式(6)可寫為乘積形式：

式中，第1項為保真項，第3項為對多方向邊緣的L1正則化約束。表示的是通過3.2節得到的優化后的透射率。“”表示元素點乘，“”表示元素卷積。第2項中，是對高斯濾波后的結果，加入該項是為了避免亮度變化過大。,是正則化參數。為濾波算子，包括8個Kirsch 邊緣檢測算子和1個拉普拉斯算子[14]。是權值函數，其值可由色差確定：

(10)

由收縮定理[18]，其解可表示為

(13)

式(14)為最小二乘問題[19]，可用快速傅里葉變換(FFT)進行求解：

(15)

3.4 自適應Gamma校正

(17)

3.5 算法流程

本文所提算法如表1所示。

表1 本文算法流程

4 實驗與結果分析

使用Matlab 2011a 實現算法編程。實驗過程中，,為清晰圖像的下邊界，取30是為了避免過小，為清晰圖像的上邊界，取300是為了避免過大。式(11)中正則化參數值越大越能較好的保護背景，因此取500；正則化值越大圖像越模糊，因此取值1；正則化參數取值逐步增大，初始值為，并以比率逐步增大，迭代終止條件是小于。

4.1 主觀評價

為了驗證本文算法的有效性，首先與文獻[10]基于Retinex的圖像增強算法進行對比。圖5為Stone圖像和Gars圖像實驗結果對比圖，可以看出Retinex圖像增強算法雖然能夠很好的恢復圖像細節，增強圖像對比度，但是恢復的圖像顏色偏白，色彩失真嚴重。與該算法相比，本文算法得到的圖像顏色鮮艷，細節清晰可見，視覺效果更佳。

為了進一步驗證本文所提算法的性能，與目前主流的圖像清晰化方法文獻[5]基于新光學成像模型的復原方法、文獻[7]WCID算法、文獻[8]基于Chromatism去霧算法、以及文獻[20]聯合雙邊濾波去霧算法進行對比。選取Coral, Multi-fish, Iron, Single-fish作為實驗圖像，Multi-fish和Coral為綠色基調，Iron, Single-fish為藍色基調，圖6–圖9為實驗結果，可以看出，基于新光學成像模型復原的圖像遠景處紅色分量被過度補償, 且未有效恢復圖像細節；WCID算法雖然增強了圖像亮度，但未能有效去除圖像失真；基于Chromatism去霧算法增強后的圖像，整體亮度低且細節丟失嚴重；聯合雙邊濾波去霧算法可以較好地處理近景，但不能很好地處理遠景；相比之下，本文算法可以有效提高圖像亮度，恢復出更多的圖像細節，具有更好的視覺效果。

4.2 客觀評價

為了從客觀方面進行評價，本節計算3種性能指標：色偏，對比度和平均梯度。圖像色偏與圖像色度分布特征有關，采用文獻[21]中定義的色偏值評價圖像色偏程度，值越大，圖像色偏越嚴重。

圖5 Stone和Gars圖像增強結果對比

圖6 Coral清晰化對比

圖7 Multi-fish清晰化對比

圖8 Iron清晰化對比

圖9 Single-fish清晰化對比

通過亮度分量計算圖像的對比度：

灰度平均梯度(Gray Mean Grads, GMG)可用來衡量圖像的清晰度，反映圖像中微小細節反差和紋理變化特征。平均梯度越大，圖像越清晰紋理越分明。

表2為幾種典型算法下，對4幅水下圖像處理后，各指標計算結果，粗黑體顯示每組數據的最優值。色差整體顯示，本文算法有效降低了圖像色偏值，可有效去除圖像顏色失真。對比度和平均梯度數據顯示，本文算法可以有效提高圖像的整體亮度和局部對比度，可以恢復出更多的圖像細節和紋理特征。本文方法忽略了人工光源的影響，在實際情況下，人工光源的存在會嚴重影響水下光學特性參數的估計。由Single-fish的實驗結果可以看出，本文算法可以有效提高圖像的對比度，但是色偏值較高。

就計算量而言，由于本文運算量主要集中在L1正則化模型求解上，運算量稍大。一幅764×1024圖像需要耗時49 s左右，一幅296×399圖像需要耗時30 s左右。而相關算法如基于Retinex的水下圖像增強算法處理一幅764×1024圖像需要耗時12 s左右，一幅296×399圖像需要耗時6 s左右；文獻[5]一幅764×1024圖像需要耗時40 s左右，一幅296×399圖像需要耗時15 s左右。

5 結束語

由于水下特殊的成像環境，導致水下圖像顏色失真、對比度下降。受Retinex水下圖像增強算法啟發，結合水下圖像成像模型，本文提出一種有效的水下圖像清晰化方案：根據水下圖像的統計特性去除顏色失真；使用邊界約束求初始透射率并使用局部自適應維納濾波進行優化；基于Jaffe- McGlamery成像模型和Retinex理論，提出加權L1正則化模型對亮度層進行增強，可有效提高圖像亮度和對比度，并能有效抑制噪聲；最后根據亮度的平均強度對亮度圖像進行自適應Gamma校正。大量實驗結果表明本文算法可有效去除顏色失真，保護圖像細節，增強圖像對比度。本文在求解過程中忽略了人工光源對水下光學特性的影響，導致復原的圖像色偏值較高，在未來的研究中將考慮該因素，然后與本文方法相結合并尋求合適的解決方法。

表2 各算法相關指標對比

[1] JAFFE J S. Underwater optical imaging: The past, the present, and the prospects[J]., 2014, 40(3): 683-700. doi: 10.1109/JOE.2014. 2350751.

[2] SCHETTINI R and CORCHS S. Underwater image processing: State of the art of restoration and image enhancement methods[J].g, 2010: 746052. doi: 10.1155/2010/ 746052.

[3] LIU Chao and MENG W. Removal of water scattering[C]. IEEE International Conference on Computer Engineering and Technology, Chengdu, China, 2010: 235-239.

[4] YANG Hungyu, CHEN Peiyin, SHIA U Yeuhorng,. Low complexity underwater image enhancement based on dark channel prior[C]. IEEE International Conference on Computer Science and Automation Engineering (CSAE), Zhangjiajie, China, 2012: 791-795.

[5] WEN Haocheng, TIAN Yonghong, HUANG Tiejun,. Single underwater image enhancement with a new optical model[C]. IEEE International Symposium on Circuits and Systems (ISCAS), Beijing, China, 2013: 753-756.

[6] GUO Junkai, SUNG Chiachi, and CHANG Henghua. Improving visibility and fidelity of underwater images using an adaptive restoration algorithm[C]. IEEE Oceanic Engineering Society 2014, Taipei, China, 2014: 1-6.

[7] CHIANG J Y and CHEN Y C. Underwater image enhancement by wavelength compensation and dehazing[J]., 2012, 21(4): 1756-1769. doi: 10.1109/TIP.2011.2179666.

[8] NICHOLAS C B, ANUSH M, and EUSTICE R M. Initial results in underwater single image dehazing[C]. IEEE Oceanic Engineering Society 2010, Seattle, WA, USA, 2010: 1-8.

[9] ADRIAN G, DAVID P, ARTZAI P,. Automatic red- channel underwater image restoration[J].&, 2015, 26: 132-145. doi: 10.1016/j.jvciy.2014.11.006.

[10] FU Xueyang, ZHUANG Peixian, HUANG Yue,. A retinex-based enhancing approach for single underwater image[C]. IEEE International Conference on Image Processing (ICIP), Paris, France, 2014: 4572-4576.

[11] JAFFE J S. Computer modeling and the design of optimal underwater imaging systems[J]., 1990, 15(2): 101-111. doi: 10.1109/48.50695.

[12] 楊愛萍, 鄭佳, 王建, 等. 基于顏色失真去除與暗通道先驗的水下圖像復原[J]. 電子與信息學報, 2015, 37(11): 2541-2547. doi: 10.11999/JEIT150483.

YANG Aiping, ZHENG Jia, WANG Jian,. Underwater image restoration based on color cast removal and dark channel prior[J].&, 2015, 37(11): 2541-2547. doi: 10.11999/ JEIT150483.

[13] Gordon H R. Can the lambert-beer law be applied to the diffuse attenuation coefficient of ocean water[J]., 1989, 34(8): 1389-1409. doi: 10.4319/lo. 1 989.34.8.1389 .

[14] MEN Gaofeng, WANG Ying, DUAN Jiangyong,. Efficient image dehazing with boundary constraint and contextual regularization[C]. IEEE International Conference on Computer Vision (ICCV), Sydney, Australia, 2013: 617-624.

[15] WANG J B, HE N, ZHANG L L,. Single image dehazing with a physical model and dark channel prior[J]., 2015, 149(PB): 718-728. doi: 10.1016/j. neucom.2014.08.005.

[16] HE Kaiming, SUN Jian, and TANG Xiaoou. Single image haze removal using dark channel prior[J]., 2011, 33(12): 2341-2353. doi: 10.1109/TPAMI.2010.168.

[17] ANDERES E. Robust adaptive Wiener filtering[C]. IEEE International Conference on Image Processing(ICIP), Quebec, Canada, 2012: 3081-3084.

[18] YANG J and ZHANG Y. Alternating direction algorithms for1-problems in compressive sensing[J]., 2011, 33(1): 250-278. doi: 10.1137/ 090777761.

[19] SHAN Q, JIA J Y, and AGARWALA A. High-quality motion deblurring from a single image[J]., 2008, 27(3): 1-10. doi: 10.1145/1360612.1360672.

[20] SERIKAWA S and LU H. Underwater image dehazing using joint trilateral filter[J].&, 2014, 40(1): 41–50. doi: 10.1016/j.compeleceng.2013.10.06.

[21] LI Fang, WU Jinyong, WANG Yike,. A color cast detection algorithm of robust performance[C]. IEEE International Conference on Advanced Computational Intelligence, Nanjing, China, 2012: 662-664.

Underwater Images Visibility Improving Algorithm with Weighted L1Regularization

YANG Aiping①ZHANG Liyun①QU Chang①WANG Jian①②

①(,,300072,)②(,300112,)

Due to the absorption and scattering when light is traveling in water, there are two major problems of underwater imaging: color distortion and low contrast. Traditional enhancement and restoration methods can not handle these problems very well, so, this paper proposes a new approach based on the underwater optical imaging model and a Retinex-based enhancing approach. Firstly, a simple color correction method based on statistical method is adopted to address the color distortion. Then the adaptive Wiener filter is used to optimize the initial transmission map with the boundary constraints. In order to make the result more naturalness, a weighted L1regularization model is proposed to enhance the luminance layer. Finally, an adaptive Gamma correction operation is adopted for post-processing. Experimental results demonstrate the effectiveness of the proposed method in restoring the original color of the scene and enhancing image contrast and the visibility.

Image processing; Color correction; Transmission map; Weighted L1regularization model; Adaptive Gamma correction

TP391

A

1009-5896(2017)03-0626-08

10.11999/JEIT160481

2016-05-10；改回日期：2016-10-31；

2016-12-20

楊愛萍 yangaiping@tju.edu.cn

國家自然科學基金(61372145, 61201371)

The National Natural Science Foundation of China (61372145, 61201371)

楊愛萍： 女，1977年生，副教授，研究方向為視覺計算、壓縮感知理論和應用等.

張莉云： 女，1990年生，碩士生，研究方向為水下圖像處理.

曲 暢： 男，1992年生，碩士生，研究方向為水下圖像處理.

王 建： 男，1976年生，講師，研究方向為彩色圖像處理、惡劣天氣/環境條件下的圖像復原、生物特征識別等.