基于同態濾波的水下圖像增強與色彩校正模型

王永鑫，刁 鳴，韓 闖

WANG Yongxin1，2,DIAO Ming1,HAN Chuang2

1.哈爾濱工程大學 信息與通信工程學院，哈爾濱 150001

2.哈爾濱理工大學 測控技術與儀器黑龍江省高校重點實驗室，哈爾濱 150080

1.College of Information and Communication Engineering,Harbin Engineering University,Harbin 150001,China

2.The Higher Educational Key Laboratory for Measuring&Control Technology and Instrumentations of Heilongjiang Province,Harbin University of Science and Technology,Harbin 150080,China

1 引言

高質量的水下圖像是人類開發海洋資源，探索水下生態環境，進行海洋工程的基本要素[1]。光信號的衰減作用是制約水下圖像質量的主要因素。水體對于分屬三個不同波長區間的三基色信號的衰減幅度不一致，例如紅色通道在水下的衰減程度遠大于藍、綠通道，因此水下圖像的色彩偏重于藍綠色。這一現象易造成水下圖像色彩失真，對比度下降，細節不清晰等問題[2-3]。

針對這一問題，近年來國內外學者提出了一些有效的圖像增強方法用于改善水下圖像的圖像質量。Chiang等[4]通過霧天圖像成像模型對水下圖像成像進行建模，再估計出目標與觀測者之間的距離圖。根據成像模型和距離圖，對水下圖像進行人造光補償，進而提高水下圖像的可視化效果。楊愛萍等[5]提出一種水下復原方法用于克服水下圖像顏色衰減與霧化效果。該方法首先根據暗通道先驗的方式分別對三個色彩通道進行色彩校正，再根據散射作用與光線波長的關系對透射率進行估計，繼而修復了水下圖像的色彩偏差并抑制了水體對于背景光的散射作用。Borker等[6]將水下圖像增強看作是兩個子圖的融合過程。首先，通過對水下圖像進行對比度拉伸，從而生成抑制霧化效果的子圖1。其次，對三個顏色通道進行自適應直方圖均衡化方法，從而生成顏色恒定的子圖2。最后，通過對子圖1和子圖2進行基于PCA的圖像融合方法，進而合成色彩不失真、細節清晰的水下圖像。Galdran等[7]提出一種自動R通道水下圖像恢復方法。該方法分為三個步驟：根據R通道的亮度，對水下場景的背景光進行估計；在已知背景光的前提下，對各像素的透射比進行估計；根據對水下成像模型進行逆變換，結合已估計的背景光和透射比對未衰減的目標亮度進行校正。實驗結果驗證了該算法對校正色偏，水下圖像去模糊均有較好的效果。

雖然上述方法對于水下圖像的視覺效果具有一定的改善作用，但是圖像的細節、清晰度、色彩恒定性仍有待進一步提高。為了改善水下圖像不清晰以及色彩失真問題，本文提出一種基于同態濾波的水下圖像增強與色彩校正模型。該模型通過比爾-朗伯定律以及路徑輻射分量建立未衰減前目標亮度與衰減后目標亮度之間的對應關系。通過剩余能量比估計出水體對于三基色通道亮度的衰減程度。通過同態濾波抑制由目標與觀測值之間的距離分量所引起的圖像霧化效果。對水下成像模型進行級數展開，在不給出目標與觀測者之間的距離的前提下，推導出一種有效的水下圖像色彩校正模型。實驗部分從主、客觀兩方面驗證了本文的有效性。

2 本文算法

2.1 水下成像模型

水下成像模型主要由兩部分組成[8]。第一部分是正透射作用，即水體對于目標亮度的衰減作用。正透射對于光線的衰減作用可以由比爾-朗伯定律[9]來構造。第二部分是路徑輻射，即由環境光所引起的后向散射作用[10]。因此水下成像模型可以表示為：

其中x代表像素的空間位置，λ代表不同顏色通道，J表示未經過衰減的目標亮度值，I表示經過正透射和路徑輻射目標的亮度值，Aλ表示環境光的亮度值，t表示透射比。

根據比爾-朗伯定律透射比可以表示為：

其中β表示介質的消光系數，d代表目標與觀測者的直線距離，N表示標準化剩余能量比。將式（2）帶入式（1）中得到如式（3）所示的更新后的水下成像模型。

Chiang等[4]對于多種類型的水體進行實驗，總結出標準化后的剩余能量比應滿足如式（4）所示的關系：

由式（4）可知，水體對于波長較長的紅色光信號衰減程度較大，對于波長較短的綠色和藍色信號衰減程度較小。根據文獻[4]可知，環境光的亮度值可以表示為：

其中Ω(x)表示以坐標x為中心的局部方形區域。本文選用5×5的局部方形區域用于估計環境光的亮度值。

2.2 基于同態濾波的水下圖像亮度估計方法

根據2.1節的論述可知，如式（3）所示的水下成像模型中只有目標與觀測者之間的直線距離d未知。由于距離信號d是變化緩慢的低頻信號[11]，因此本文通過濾波的思想將距離信號過濾掉。根據公式（3）可知，距離信號位于指數部分，因此首先需要通過同態濾波提取距離信號。對公式（3）進行整理得到如式（6）所示的等式：

對公式（6）等號兩邊分別進行指數運算得到如式（7）所示的等式：

由于目標亮度Jλ屬于頻率變化較快的高頻信號，而距離d屬于低頻信號，對公式（7）進行低通濾波得到水下圖像低頻分量（即ln(Nλ)×d(x)），再用水下圖像減去這一低頻分量就能得到不受距離影響的目標亮度分量。這一過程如式（8）所示。

其中LPF表示低通濾波。對公式（8）進行整理，得到如式（9）所示的 Jλ計算方法。

2.3 色彩恒定模型

由于公式（9）是一個關于Iλ的非線性方程，因此如果分別對紅、綠、藍三通道進行如式（9）所示的圖像增強方法，則會產生偏色現象進而導致影響圖像的色彩恒定性。為了保持色彩的恒定性，本文提出一種水下圖像色彩恒定模型。該模型的推導過程如下：

首先，對公式（3）進行整理得到如式（10）所示的形式。

令 f是關于d(x)的函數，即。通過一階麥克勞林級數對 f進行級數展開，得到以下形式：

將公式（11）帶入公式（10）中得到如式（12）的表達式：

為了推導方便，這里對公式（12）進行變量替換，即公式（13）成立。

其次，令IΣ(x)和JΣ(x)表示由三原色混合而成的像素 x的亮度值。IΣ(x)和JΣ(x)的表達式如式（14）所示。

根據公式（14）可知 JΣ(x)由 Jr(x)、Jg(x)、Jb(x)三個變量線性疊加而成，而紅、綠、藍三通道的亮度值均滿足如式（12）、式（13）的關系。因此式（15）成立。

對公式（15）進行移項、整理得到任意顏色通道的亮度值，即

其中 ξλ(x)的值由公式（4）、公式（5）所確定，JΣ(x)由2.2節提出的基于同態濾波的水下圖像對比度增強方法所確定。求解JΣ(x)的方法如下：根據公式（14）的子方程（1）求解 IΣ(x)；將公式（9）下標 λ用 Σ 替代，將 IΣ(x)帶入公式（5）得到 AΣ；將公式（9）下標 λ用 Σ 替代，將IΣ(x)和 AΣ帶入公式（9）得到 JΣ。最后將 JΣ和 IΣ(x)帶入公式（16）中得到色彩恒定的彩色水下圖像。

3 實驗結果與分析

實驗過程采用CPU i5-7500，內存DDR4-2133，顯卡GTX1050作為硬件仿真環境。軟件仿真環境是Matlab 2012b，Win 10操作系統。

3.1 水下成像模型參數設置方法

本文所采用的原始水下成像模型（如式（3）所示）中包括一個可以自由選取的參數N（標準化剩余能量比）。盡管Chiang等[4]根據不同的水質將N的范圍設定在如式（4）所示的一段比較小的范圍內，但是仍然需要根據水體的類型去設定該參數值。這種方式不利于實現算法的通用性。

3.1.1 參數的選取對于圖像質量的影響

對公式（3）進行整理，可以得到如式（17）所示的計算未衰減目標亮度Jλ的表達式。

根據公式（17）可知，未經衰減的目標亮度 Iλ(x)由衰減后的目標亮度Iλ和環境光的亮度Aλ兩項相加而構成。Iλ的權重系數是1/，Aλ的權重系數是1-1/。

根據公式（17）可知，如果參數的估計值大于N的真值，則Iλ的權重變小，而Aλ的權重變大，因此Jλ的估計值則會更偏向于環境光的亮度值。根據公式（5）可知，全體局部區域像素亮度最小值的最大值決定了環境光的亮度。因此當估計值大于N的真值時，盡管增強圖像整體上較為明亮，但是增強圖像的對比度下降，繼而導致增強圖像的清晰度變差。另外，如果參數的估計值小于N的真值，則Iλ的權重變大，而Aλ的權重變小，因此Jλ的估計值則會更偏向于衰減后的目標亮度值。因此當估計值小于N的真值時，增強圖像的視覺效果與衰減后的圖像相近。

3.1.2 參數設置方法

綜上所述，只有當參數的估計值逼近于N的真值時，增強圖像的圖像質量、清晰度、對比度才能與未衰減的圖像保持一致。為了確定合適的參數值，本文利用不同的N值進行實驗得到一組增強圖像，再從這組增強圖像中選出最清晰的圖像作為最終的實驗結果。實驗部分采用的原始水下圖像如圖1所示。為了驗證參數N對于增強水下圖像的圖像質量的影響，本文對于N值的有效范圍(N∈[0,1])進行五十等分，分割后區間的區間端點即為所選取的N值。圖2選取了五個具有代表性的N值對應的水下增強圖像。

圖1 原始水下圖像cave和turtle

圖2 中每個子圖所對應的N值如表1所示。

圖2 不同N值對應的實驗結果對比

表1 各圖組對應的N參數值

從圖2可以看出不同子圖的模糊度、亮度、明暗對比均不同。例如圖像cave的子圖（c）的清晰度較高，輪廓紋理較清晰，并且圖像的明暗對比效果較佳，因此子圖（c）對應的N值更接近于參數N的真實值。子圖（a）、（b）對應的陰影部分（兩個巖壁以及圖像下部的巖石區域）亮度較為昏暗，不利于人眼觀察。另外當N值較小時，增強圖像整體的視覺效果與如圖1（a）所示的原始圖像的視覺效果較為接近；子圖（c）、（d）的高光區域過于明亮，圖像整體的霧化效果較為嚴重，圖像清晰度較差。另外，根據圖2可知，不同N值對應的增強圖像的主觀視覺效果與3.1.1節的理論分析結果保持一致。

由于信息熵主要對圖像的細節、清晰度進行評價，圖像的信息熵越大，則增強圖像清晰度和圖像細節就越好，反之亦然。因此本文采用信息熵作為衡量圖像模糊化程度的測度，信息熵最高的圖像就是最終圖像增強結果。圖2各子圖的信息熵如表2所示。

表2 各子圖對應的信息熵

由表2可知圖像cave的子圖（c）以及圖像turtle的子圖（c）的信息熵最高。因此這兩幅子圖像為最終的圖像增強結果。

3.2 實驗結果對比

對比算法包括：Chiang算法[4]、Borker算法[6]、Galdran算法[7]，以及本文算法。其中本文算法采用上文所述的方法自適應地決定參數N的值。圖3是需要增強的名為rock和aquatic的水下圖像。

圖3 原始水下圖像rock和aquatic

由圖3（a）可知，原始圖像的亮度較低，圖像兩側巖石表面的圖像細節難以辨識。由圖3（a）可知，原始圖像的顏色飽滿程度較低，圖像整體的色調較為暗淡，低照度的陰影部分嚴重降低了圖像質量。圖4、圖5分別是如圖3所示的原始水下圖像對應的圖像增強結果。

圖4 水下圖像rock的主觀結果對比

由圖4可知：Chiang算法在一定程度上提升了圖像的照度，但是圖像左右兩側巖石部分的亮度差異過大，導致人眼無法分辨右側巖石部分的圖像細節。Borker算法對應的增強圖像整體亮度得到一定提升，但是圖像的清晰度不高，圖像的細節較為模糊不清；Galdran算法對應的增強圖像的對比度優于Borker算法，高照度區域的圖像層次、紋理適于人眼的主觀觀察，但是低照度區域（例如圖像4（c）右側巖石部分）的亮度較低主觀視覺效果較差。相比而言，本文算法對應的增強圖像的亮度較高，圖像的紋理、細節較為突出，圖像的整體層次感較好。

從圖像的亮度和對比度的角度上來說，圖5的主觀效果與圖4基本保持一致，即本文算法對應的增強圖像的層次感和細節表現力較強。從圖像的色彩方面來看，本文算法的色彩豐富、逼真，圖像的整體顏色表現力好于另三種算法。

圖5 水下圖像aquatic的主觀結果對比

表3和表4分別是衡量圖像質量的客觀評價指標。色階映射圖像質量評價系數（Tone Mapped Image Quality Index，TMQI）[12]是衡量增強圖像的色彩與原始圖像色彩一致性的指標。TMQI源于Wang等[13]提出的圖像結構相似度指標（Structural Similarity Index Measure，SSIM）。TMQI改進了SSIM只能用于無色圖像這一缺點，將改進后的SSIM值分別用于測量紅、綠、藍三通道的相似程度。TMQI的值越大，則色彩的一致性越好，反之亦然。TMQI-R，TMQI-G，TMQI-B分別代表紅、綠、藍三通道的色彩恒定性評價系數。

表3 圖像rock的客觀評價指標

表4 圖像aquatic的客觀評價指標

由表3、表4可知本文算法對應的信息熵和三個顏色通道對應的TMQI指標均高于另外三種對比算法。因此本文算法對應的圖像細節、色彩恒定性優于另外三種相關算法。

4 結束語

為了提高水下圖像的圖像質量，本文提出一種基于同態濾波的圖像增強與色彩恒定模型。本文在由比爾-朗伯定律和路徑輻射分量建立的水下光線衰減模型的基礎上，通過同態濾波克服了由具有低頻性質的距離分量引起的圖像模糊效果。通過麥克勞林級數對該模型進行級數展開，推導出一種水下圖像色彩恒定模型。實驗部分通過主觀對比與客觀評價兩方面，驗證了本文方法能夠有效地提高水下圖像的圖像質量，增強圖像的對比度、細節、色彩都得到了一定程度的提升。

參考文獻：

[1]郭繼昌，李重儀，郭春樂，等.水下圖像增強和復原方法研究進展[J].中國圖象圖形學報，2017，22（3）：273-287.

[2]Park D，Han D K，Ko H.Enhancing underwater color images via optical imaging model and non-local means denoising[J].Ieice Transactions on Information&Systems，2017，E100.D（7）：1475-1483.

[3]Tripathi A，Gupta P，Richaria V.Haze removal and color compensation of underwater image and denoising[J].International Journal of Computer Science&Information Technolo，2014.

[4]Chiang J Y，Chen Y C.Underwater image enhancement by wavelength compensation and dehazing[J].IEEE Transactions on Image Processing，2012，21（4）：1756.

[5]楊愛萍，鄭佳，王建，等.基于顏色失真去除與暗通道先驗的水下圖像復原[J].電子與信息學報，2015，37（11）：2541-2547.

[6]Borker S，Bonde S.Contrast enhancement and visibility restoration of underwater optical images using fusion[J].International Journal of Intelligent Engineering&Systems，2017，10（4）：217-225.

[7]Galdran A，Alvarez-Gila A，Alvarez-Gila A.Automatic red-channel underwater image restoration[J].Journal of Visual Communication&Image Representation，2015，26（C）：132-145.

[8]Shwartz S，Namer E，Schechner Y Y.Blind haze separation[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2006：1984-1991.

[9]Gordon H R.Can the Lambert-Beer law be applied to the diffuse attenuation coefficient of ocean water?[J].Limnology&Oceanography，1989，34（8）：1389-1409.

[10]Stephan T，Beyerer J.Computergraphical model for underwater image simulation and restoration[C]//Computer Vision for Analysis of Underwater Imagery，2014：73-79.

[11]Petit F，Capellelaize A S，Carre P.Underwater image enhancement by attenuation inversionwith quaternions[C]//IEEE International Conference on Acoustics，Speech and Signal Processing，2009：1177-1180.

[12]Yeganeh H，Wang Z.Objective quality assessment of tonemapped images[J].IEEE Transactions on Image Processing，2013，22（2）.

[13]Wang Z，Bovik A C，Sheikh H R，et al.Image quality assessment：From error visibility to structural similarity[J].IEEE Transactions on Image Processing，2004，13（4）：600-612.