基于細節增強和多顏色空間學習的聯合監督水下圖像增強算法

摘" 要： 由于水下特殊的成像環境，水下圖像往往具有嚴重的色偏霧化等現象。因此文中根據水下光學成像模型設計了一種新的增強算法，即基于細節增強和多顏色空間學習的無監督水下圖像增強算法（UUIE?DEMCSL）。該算法設計了一種基于多顏色空間的增強網絡，將輸入轉換為多個顏色空間（HSV、RGB、LAB）進行特征提取，并將提取到的特征融合，使得網絡能學習到更多的圖像特征信息，從而對輸入圖像進行更為精確的增強。最后，UUIE?DEMCSL根據水下光學成像模型和聯合監督學習框架進行設計，使其更適合水下圖像增強任務的應用場景。在不同數據集上大量的實驗結果表明，文中提出的UUIE?DEMCSL算法能生成視覺質量良好的水下增強圖像，且各項指標具有顯著的優勢。

關鍵詞： 水下圖像增強； 多顏色空間學習； 無監督學習； 細節增強； 特征提??； 特征融合

中圖分類號： TN911.73?34； TP391.41" " " " " " " " 文獻標識碼： A" " " " " " " " " 文章編號： 1004?373X（2025）01?0023?06

Joint supervised underwater image enhancement algorithm"based on detail enhancement and multi?color space learning

HU Rui1， 2， CHENG Jialiang2， HU Fuyuan2

（1. Information Construction and Management Center， Suzhou University of Science and Technology， Suzhou 215009， China;

2. School of Electronic and Information Engineering， Suzhou University of Science and Technology， Suzhou 215009， China）

Abstract： Due to the special underwater imaging environment， serious color offset and atomization usually occurs to underwater images. In view of this， on the basis of the underwater optical imaging model， this paper designs a new enhancement algorithm， named unsupervised underwater image enhancement algorithm based on detail enhancement and multi?color space learning （UUIE?DEMCSL）. In this algorithm， an enhancement network based on multi?color space is designed. This network converts the input into multiple color spaces （HSV， RGB and LAB） for feature extraction. The extracted features are fused， so that the network can learn more image feature information and enhance the input image more accurately. The UUIE?DEMCSL is designed according to the underwater optical imaging model and the joint supervised learning framework， which is more suitable for the application scenarios of underwater image enhancement tasks. A large number of experimental results on different data sets show that the proposed UUIE?DEMCSL algorithm can generate underwater enhanced images with good visual quality， and each index of the algorithm has significant advantages.

Keywords： underwater image enhancement; multi?color space learning; unsupervised learning; detail enhancement; feature extraction; feature fusion

0" 引" 言

水下圖像是指通過水下攝影或潛水器等設備拍攝的海洋、湖泊等水域的景象。這些圖像通常呈現出清澈透明的水質，以及形態各異的水生動植物、巖石和珊瑚礁等景觀[1?2]。水下圖像可以用于科學研究、環境監測、旅游宣傳等領域，也可以作為藝術作品展示。然而，由于水下特殊的成像環境，水下圖像往往具有嚴重的色偏、霧化等現象。水下圖像增強可以有效地提高水下圖像的可見度和對比度，從而更好地展示水下世界的美麗景象。因此，水下圖像增強是一項重要的視覺任務，對水下作業、水下探測等任務存在重要意義。

目前，水下圖像增強可以分為三種方法：基于先驗的方法、基于物理模型的方法以及深度學習驅動的方法?；谙闰灥姆椒ㄖ苯訉斎雸D像的像素值進行處理，或者利用不同顏色空間的直方圖以提高圖像的對比度；而基于物理模型的方法可以根據水下光學成像模型，分解出輸入水下圖像的多個分量，進而求解出清晰的增強結果；深度學習驅動的方法通過端到端的學習，實現從水下降質圖像到水下清晰圖像的映射，對水下圖像進行增強。然而，基于先驗的方法和基于物理模型的方法往往有部分區域存在過曝光或者顏色不均衡的問題，基于深度學習的方法則不能很好地學習圖像的紋理等細節特征[3]。

因此，本文提出了基于細節增強和多顏色空間學習的無監督水下圖像增強算法（Unsupervised Underwater Image Enhancement Algorithm based on Detail Enhancement and Multi?color Space Learning， UUIE?DEMCSL）。首先，本文提出的UUIE?DEMCSL根據水下光學成像模型設計，降質的水下圖像經過結構與細節分離模塊提取出細節分量和[A]分量，[T]分量提取模塊提取出[T]分量，而清晰的水下圖像（[J]分量）經多顏色空間特征提取模塊和多顏色空間特征融合模塊獲得；其次，本文算法設計了一種基于多顏色空間的增強網絡，將輸入轉換為多個顏色空間（HSV、RGB、LAB）進行特征提取，并將提取到的特征融合，使得網絡能學習到更多的圖像特征信息，對輸入圖像進行更為精確的增強；最后，UUIE?DEMCSL根據水下光學成像模型和聯合監督學習框架進行設計，更適合水下圖像增強任務的應用場景。在不同數據集上大量的實驗結果表明，本文提出的UUIE?DEMCSL算法能生成視覺質量良好的水下增強圖像，且各項指標具有顯著的優勢[4]。

1" 相關工作

基于先驗和物理模型的水下圖像增強算法是傳統的水下圖像增強算法[5?6]?；谙闰灥姆椒▋A向于直接調整輸入圖像的像素值。文獻[7]設計了一種新的白平衡和融合模型，結合紅色通道先驗和基于灰度世界假設的白平衡算法。文獻[8]通過直方圖先驗進行顏色校正，并將其與對比度增強相結合，進一步對細節信息增強?；谖锢砟Ｐ偷姆椒ㄍǔＪ峭ㄟ^求解成像模型來實現，文獻[9]利用水下光學成像模型恢復水下圖像，并提出了一種適用于水下場景的暗通道先驗模型，該算法可以有效地改善水下圖像的霧化現象。文獻[10]使用超拉普拉斯反射先驗作為修正變分模型對水下圖像進行增強，使得增強后的圖像更加明亮，視覺效果更好。

近年來，基于學習的水下圖像增強算法已成為主流，主要分為兩種類型：基于卷積神經網絡（Convolu?tional Neural Network， CNN）的水下圖像增強算法和基于生成對抗網絡（Generative Adversarial Network， GAN）的水下圖像增強算法。基于學習的方法[11?13]可以端到端地學習從退化的圖像到清除圖像的映射，而不需要先驗或物理模型。UWCNN[14]是第一個深度學習驅動的模型，但由于其基于合成數據集進行訓練，合成數據集與真實數據集差異很大，在測試真實水下圖像時其結果顯示出嚴重的顏色失真。文獻[15]通過深度神經網絡融合了傳統算法的三種增強結果（即白平衡、伽馬校正和直方圖均衡），獲得了良好的視覺質量。他們還提出了Ucolor，該網絡利用不同的顏色空間進行協作增強，同樣獲得了不錯的增強結果[16]。FUnIE?GAN基于條件生成對抗網絡（Conditional Generative Adversarial Network， CGAN），并通過損失函數考慮全局相似性和內容一致性對水下圖像進行增強，增強后的結果更符合人類的視覺感知[17]。

2" 基礎理論

由于水下圖像具有嚴重的色偏和霧化現象，本文提出了基于細節增強和多顏色空間學習的無監督水下圖像增強算法（UUIE?DEMCSL）。它通過水下深度網絡估計水下光學成像模型的各個分量來進行水下圖像增強，具體的網絡結構如圖1所示。

2.1" [A]分量估計

本節將介紹水下光學成像模型以及[A]分量估計。首先，根據水下光學成像模型，降質的水下圖像可以表示為：

[Iλ（x）=Jλ（x）Tλ（x）+Aλ（x）（1-Tλ（x）），" "λ∈{R，G，B}]" （1）

式中：[Iλ（x）]是輸入的水下降質圖像；[Tλ（x）]是透射圖；[Aλ（x）]代表背景光；[Jλ（x）]是求解可得到的水下清晰圖像。

通過對輸入進行高斯模糊，可以獲得水下降質圖像的大部分結構信息，進而可以從結構信息中分解得到背景光。

[Aλ（x）=B（Iλ（x）），" " λ∈{R，G，B}] （2）

式中[B（?）]代表高斯模糊操作。

2.2" [T]分量估計

為了得到水下光學成像模型中的[T]分量，本文設計了T?Net來生成透射圖[T]，其具體結構如下：

[Tλ（x）=EiTIλ（x），" " λ∈{R，G，B}] （3）

式中[EiT]代表估計[T]分量的網絡T?Net，[i]代表T?Net各層。以第一層為例，具體操作如下：

[E1T（x）=σ（C（Iλ（x）））] （4）

式中：[σ]是線性激活函數（ReLU）；[C]是卷積核尺寸為3×3的卷積。

2.3" [J]分量估計

受到Li等人利用多色彩空間進行水下圖像增強的啟發，本文設計了基于多色彩空間的[J]分量估計網絡。如圖1所示，其具體結構由多顏色空間提取模塊和多顏色空間特征融合模塊兩個部分構成。

為了能夠學習到水下圖像在不同色彩空間的特征表示，本文設計了多顏色空間提取模塊，通過在不同色彩空間進行特征信息提取來獲得更加完整的水下圖像色彩表示。

[fHSV（x）=FHSVIHSV（x）fLAB（x）=FLABILAB（x）fRGB（x）=FRGBIRGB（x）] （5）

式中：[fHSV（x）]、[fLAB（x）]和[fRGB（x）]是提取到的色彩特征；[IHSV（x）]、[ILAB（x）]和[IRGB（x）]分別是HSV、LAB和RGB色彩空間下的水下降質圖像；[FHSV]、[FLAB]和[FRGB]代表三種色彩空間的特征提取網絡。本文選用ResNet作為特征提取網絡。

為了能夠充分利用三種色彩空間的優勢，本文提出了多顏色空間融合模塊，該模塊可以自適應地學習三種色彩空間各自的優良特征，并將這些特征融合。

[F（x）=wRGB*fRGB（x）+wLAB*fLAB（x）+wHSV*fHSV（x）] （6）

式中：[wRGB]、[wLAB]和[wHSV]分別是RGB、LAB和HSV色彩空間的權重，[wRGB]+[wLAB]+[wHSV]=1。

2.4" 損失函數

現有的基于深度學習的水下圖像增強算法大致可以分為監督學習和無監督學習兩種學習方式。其中：監督學習的方式可以端到端地學習從低質量圖像到清晰圖像的映射；而無監督學習的方式根據已有的圖像先驗和水下光學成像模型來恢復圖像。為了綜合兩種學習方式的優點，本文提出了一種聯合監督的學習方式。

1） 監督損失

本文選用[L1]和VGG損失作為監督損失。[L1]損失可以減少像素值間的差異，而VGG損失可以拉近生成圖像和真值圖像在高維特征空間上的距離。

[Ls（x，y）=L1（x，y）+0.1×LVGG（x，y）] （7）

式中：[x]是經網絡增強后的水下圖像；[y]是真值圖像。

2） 無監督損失

本文選用色彩損失和重建損失作為無監督損失，以進一步減少重建圖像的細節損失。

[Lu（x，z）=L1x*T+A*（1-T）， z] （8）

式中：[x]是經網絡增強后的水下圖像；[z]為輸入退化圖像；[T]為透射圖；[A]為背景光。

3） 總損失

總損失為有監督損失和無監督損失的線性疊加：

[Lau=λ1Ls+λ2Lu] （9）

式中：[λ1]設置為0.75；[λ2]為0.25。

3" 實驗結果

本文使用PyTorch庫構建UUIE?DEMCSL算法。本文提出的算法使用AdamW作為優化器，并通過180個批次來完成網絡的擬合。初始學習率設定為0.000 1，每30個批次下降50%。網絡學習的過程中，設置Batchsize為4。所有訓練中的圖像都被裁剪為[256×256]的尺寸，并歸一化至[0，1]。

本文使用UIEB數據集和SQUID數據集進行實驗。UIEB數據集和SQUID數據集是兩個廣泛使用的水下圖像增強基準數據集。首先，由于UIEB數據集的數量較少不滿足訓練需求，本文對UIEB數據集做數據增廣。通過對數據集中的圖像做水平和垂直翻轉以及旋轉90°、180°和270°完成數據增廣。本文使用增廣后的12 680對圖像作為訓練集，并選擇剩余圖像中的80對圖像作為測試集。對于SQUID數據集，本文也選擇其中的80對圖像作為交叉測試集。

對于全參考圖像質量評價，本文使用PSNR和SSIM兩種指標。其中，PSNR代表圖像信息量與噪聲量的比值，PSNR越高，圖像噪聲越少，與真值圖像更接近。而SSIM代表生成圖像與真值圖像的結構相似度，其值越高，圖像越清晰，色彩與紋理更好。對于無參考圖像質量評價，本文選用UIQM和UCIQE兩種常用的水下圖像質量評價指標進行測評。UCIQE指標通過CIELab色彩空間進行測定，它可以評估水下圖像的色彩失真、霧化等降質現象的程度；而UIQM指標通過HSV顏色模型進行評價，并考慮了顏色、銳度以及對比度三種屬性。UCIQE和UIQM值越高，代表水下圖像視覺質量越好。

為了驗證本文提出算法的有效性，選擇16種水下圖像增強算法作為對比。其中，包括6種傳統算法：GDCP、HLRP、NUDCP、ACDC、ERH和Fusion算法，以及10種基于深度學習的方法：UWCNN、URSCT、L2UWE、FUnIE?GAN、LCNet、CLUIE?Net、TOPAL、Water?Net、UICoE?Net和Ucolor算法。

3.1" 主觀評價與分析

本文提出的方法在UIEB?80和SQUID?80測試集的增強結果視覺質量對比分別如圖2和圖3所示。

首先，傳統的水下圖像增強算法可以改善顏色退化，并且增強結果沒有明顯的綠色或藍色色偏。然而，這些處理后的圖像往往有嚴重的噪聲，而且色彩較為單一。與陸地上拍攝的無降質圖像相比，色調偏黑白化。GDCP和NUDCP算法在亮度方面有了一些改進，但它們往往會產生不均勻的霧化現象和顏色失真；ACDC算法產生灰白色圖像，視覺效果較差；HLRP算法傾向于過度曝光圖像，而ERH和Fusion算法會產生更暗的結果。在基于學習的方法方面，大多數方法表現出更好的顏色和處理良好的細節。然而，他們的研究結果仍然有一些局限性。URSCT和L2UWE很難處理嚴重的彩色失真；FUnIE?GAN和LCNet增強后的圖像引入了紅色偽影，并且LCNet的大部分處理結果顯示出嚴重的紅色色偏；CLUIE?Net、TOPAL和UICoE?Net在某些結果中仍然表現出一些顏色退化。相比之下，本文提出的UUIE?DEMCSL算法在UIEB?80和SQUID?80測試集上取得了良好的結果，本文提出的算法可以有效地解決色彩失真、霧化等問題，并且增強后的圖像有極佳的視覺效果。

3.2" 客觀評價與分析

本節將定量地比較本文提出的方法和State?of?The?Art（SOTA）方法。表1使用4個指標：PSNR、SSIM、UCIQE以及UIQM來評估UIEB?80數據集中的增強結果。在表1中，本文提出的方法在PSNR、SSIM和UCIQE指標方面具有優勢。此外，表2顯示了在SQUID?80數據集上測試的一些優秀算法，該測試更加全面和具體。在表2中，本文算法的度量指標均大幅度超過了其他算法。以上結果表明，本文提出的UUIE?DEMCSL方法在PSNR、SSIM、UCIQE和UIQM指標方面比最優秀的算法仍然具有顯著的優勢?？偟膩碚f，本文提出的算法在測試的UIEB?80和SQUID?80數據集上都表現良好，增強后的水下圖像在主觀測試和客觀評價中都有較好的結果。

4" 結" 語

水下圖像增強是計算機視覺領域的一個重要研究方向，由于水下環境的復雜性，水下圖像往往存在嚴重的色偏、霧化等問題，這對圖像的識別和理解帶來了很大的困難。因此，設計一種有效的水下圖像增強算法具有重要的實際意義。本文提出UUIE?DEMCSL算法。首先，將輸入圖像轉換為多個顏色空間（如HSV、RGB、LAB）；然后，在每個顏色空間中進行特征提取，并將提取到的特征融合，使得網絡能學習到更多的圖像特征信息。這種方法可以有效地提高圖像的對比度，減少色偏和霧化現象，從而提高圖像的視覺質量。此外，UUIE?DEMCSL算法還采用了聯合監督學習框架，根據水下光學成像模型進行設計，這使得該算法更適合水下圖像增強任務的應用場景。

實驗結果表明，UUIE?DEMCSL算法在各種數據集上都能生成視覺質量良好的水下增強圖像，且各項指標具有顯著的優勢。這證明了該算法的有效性和優越性。

注：本文通訊作者為胡銳。

參考文獻

[1] HUIZENGA C， ABBASZADEH S， ZAGREUS L， et al. Air quality and thermal comfort in office buildings： Results of a large indoor environmental quality survey [J]. Proceedings of healthy buildings 2006， 2006， 3： 393?397.

[2] ARIF M， KATAFYGIOTOU M， MAZROEI A， et al. Impact of indoor environmental quality on occupant well?being and comfort： A review of the literature [J]. International journal of sustainable built environment， 2016， 5（1）： 1?11.

[3] FRONTCZAK M， WARGOCKI P. Literature survey on how different factors influence human comfort in indoor environments [J]. Building and environment， 2011， 46（4）： 922?937.

[4] 百度百科.熱舒適度[EB/OL].[2022?07?11].https：//baike.baidu.com/item/熱舒適度/15703491.

[5] GOTO T， TOFTUM J， DE DEAR R， et al. Thermal sensation and comfort with transient metabolic rates [J]. Indoor air， 2002， 1： 1038?1043.

[6] KARJALAINEN S. Gender differences in thermal comfort and use of thermostats in everyday thermal environments [J]. Building and environment， 2007， 42（4）： 1594?1603.

[7] ANCUTI C O， ANCUTI C. Single image dehazing by multi?scale fusion [J]. IEEE transactions on image processing， 2013， 22（8）： 3271?3282.

[8] ZHUANG P X， WU J M， PORIKLI F， et al. Underwater image enhancement with hyper?Laplacian reflectance priors [J]. IEEE transactions on circuits and systems for video technology， 2022， 33： 5442?5455.

[9] ZHANG S， LI D L， ZHAO R， et al. PDCFNet： Enhancing underwater images through pixel difference convolution and cross?level feature fusion [EB/OL]. [2024?09?28]. https：//arxiv.org/pdf/2409.19269.

[10] MINHAS T， HASSAN F， IRSHAD R， et al. Underwater image enhancement using hyper?Laplacian reflectance priors and CNN?based classification [J]. Journal of imaging， 2023， 46（1）： 14.

[11] PAN J Y， DUAN Z Y， DUAN J H， et al. LUIE： Learnable physical model?guided underwater image enhancement with bi?directional unsupervised domain adaptation [J]. Neurocomputing， 2024， 602： 128286.

[12] SU J W， XU B Y， YIN H J. A survey of deep learning approaches to image restoration [J]. Neurocomputing， 2022， 487： 46?65.

[13] NIU W J， ZHANG K H， LUO W H， et al. Deep robust image deblurring via blur distilling and information comparison in latent space [J]. Neurocomputing， 2021， 466： 69?79.

[14] LI C Y， ANWAR S， PORIKLI F. Underwater scene prior inspired deep underwater image and video enhancement [J]. Pattern recognition： The journal of the pattern recognition society， 2020， 98： 107038.

[15] LI C Y， GUO J C， PORIKLI F， et al. LightenNet： A convolutional neural network for weakly illuminated image enhancement [J]. Pattern recognition letters， 2018， 104： 15?22.

[16] JAZIZADEH F， MARIN F M， BECERIK?GERBER B. A thermal preference scale for personalized comfort profile identification via participatory sensing [J]. Building and environment， 2013， 68： 140?149.

[17] JAZIZADEH F， GHAHRAMANI A， BECERIK?GERBER B， et al. Human?building interaction framework for personalized thermal comfort?driven systems in office buildings [J]. Journal of computing in civil engineering， 2014， 28（1）： 2?16.

[18] LIANG J， DU R X. Thermal comfort control based on neural network for HVAC application [C]// Proceedings of 2005 IEEE Conference on Control Applications. New York： IEEE， 2005： 819?824.

[19] FELDMEIER M C， PARADISO J A. Personalized HVAC control system [C]// Proceedings of Internet of Things （IoT）. New York： IEEE， 2010： 1?8.

[20] YAO Y， LIAN Z W， LIU W W， et al. Experimental study on skin temperature and thermal comfort of the human body in a recumbent posture under uniform thermal environments [J]. Indoor and built environment， 2007， 16（6）： 505?518.

[21] CHOI J H， LOFTNESS V. Investigation of human body skin temperatures as a bio?signal to indicate overall thermal sensations [J]. Building and environment， 2012， 58： 258?269.

基金項目：國家自然科學基金資助項目（61472267）

作者簡介：胡" 銳（1986—），男，安徽六安人，碩士研究生，高級工程師，碩士生導師，研究方向為人工智能。

程家亮（2001—），男，江西撫州人，碩士研究生，研究方向為人工智能、計算機網絡。

胡伏原（1978—），男，湖南岳陽人，博士研究生，教授，碩士生導師，研究方向為人工智能、圖像處理。