基于零參考深度曲線估計的水下圖像增強算法

摘" 要： 水下環境由于水的吸收和散射會對圖像的生成產生負面影響，導致水下拍攝的圖像常常出現色偏、模糊、低對比度等問題。針對上述問題，文中提出一種無參考水下圖像增強算法。算法以卷積神經網絡為基礎，結合曲線估計實現水下圖像的增強。首先，該算法通過卷積層保留圖像的淺層特征；然后，通過連接密集殘差塊補償圖像特征的細節信息；最后，將提取的特征信息進行曲線估計，動態調整像素值，得到清晰圖像。在網絡訓練過程中通過一組無參考損失函數來驅動網絡學習，可在不需要成對數據的情況下提高圖像質量。在公共數據集上對模型的性能進行評估與測試，與具有代表性的增強方法進行了比較驗證。實驗結果表明，該算法在PSNR指標和SSIM指標上分別達到了23.544和0.830，較第二名算法分別提高了10.02%和3.88%。

關鍵詞： 水下圖像增強； 曲線估計； 無參考損失函數； 殘差網絡； 深度學習； 跳躍連接

中圖分類號： TN911.73?34； TP391.41" " " " " " " "文獻標識碼： A" " " " " " " " " 文章編號： 1004?373X（2024）19?0055?07

Underwater image enhancement algorithm

based on zero reference depth curve estimation

FENG Yan， ZHANG Wenpeng， LIU Jinyun， AN Yongli

（College of Artificial Intelligence， North China University of Science and Technology， Tangshan 063210， China）

Abstract： Underwater photography is challenged by optical distortions caused by absorption and scattering of water. These distortions manifest as color aberrations， image blurring and reduced contrast in underwater scenes. In view of the above， a no?reference underwater image enhancement algorithm is proposed. On the basis of the convolutional neural network （CNN）， the algorithm realizes underwater image enhancement by combining with curve estimation. The shallow characteristics of the image are retained by the convolution layer first， and then the detailed information of image features is compensated by connecting dense residual blocks. Finally， the extracted feature information is subjected to curve estimation， and the pixel value is adjusted dynamically， so as to obtain a clear image. In the process of network training， a set of no?reference loss functions are used to drive the network learning， which can improve the image quality without the need of paired data. The model performance is evaluated and tested on the public data set. Comparison analysis against other prominent enhancement methods demonstrates the superiority of the proposed algorithm. It′s PSNR （peak signal?to?noise ratio） and SSIM （structural similarity index measure） reach 23.544 and 0.830， respectively， surpassing the second?best algorithm by 10.02% and 3.88%， respectively.

Keywords： underwater image enhancement; curve estimation; no?reference loss function; residual network; deep learning; skip connection

0" 引" 言

在圖像生成過程中，光照、運動、遮擋、曝光等因素不可避免地會對圖像品質造成影響，導致圖像質量退化。水下圖像受到光照不均、能見度低、光的折射和散射以及微小顆粒和懸浮物的影響，導致圖像存在色彩偏差、顏色偽影和細節模糊等問題。這些問題不僅影響了水下視覺任務的應用與發展，同時也給水下作業任務帶來了巨大挑戰。因此，通過增強技術實現水下圖像復原具有重要意義。

在圖像增強領域，基于CNN的方法通常是設計合適的網絡結構并使用數據訓練網絡，經過訓練后的網絡可以學習特征表現，進而實現增強。文獻[1]提出一種基于CNN的色彩平衡和去噪網絡，該網絡是在卷積中間引入PReLU激活塊來增強圖像質量，去噪效果明顯，但是在一定程度上會出現偽影。文獻[2]利用雙色空間和密集的多尺度注意塊來實現圖像增強，通過雙色空間來獲取近似顏色信息，采用密集注意塊徹底提取顏色信息，同時添加顏色引導，引導網絡專注退化顏色信息，以實現視覺上的增強，但該模型復雜度高、計算時間長。

基于GAN的方法通常是通過對抗訓練的方法來提高圖像質量。GAN網絡由生成器和鑒別器構成，生成器將低光照水下圖片升級成高光照圖片，鑒別器對生成圖像與實際圖像進行相似度評估，通過生成器和鑒別器的相互競爭，不斷優化模型產出質量更高的圖像。文獻[3]提出一種基于GAN的深度模型，通過給鑒別器添加U?Net結構、生成器添加擴張卷積來提高視覺感知，進而去除彩色偽影得到高質量的水下圖像，但該模型復雜度高，同時需要消耗大量計算資源。文獻[4]提出一種以物理模型為引導的GAN方法，該模型使用兩個鑒別器，通過參數估計網絡來學習物理模型的反射參數，并使用增強網絡輔助信息獲取。同時，設計了一種風格內容對抗損失來增強水下圖像的風格和內容，但會產生噪聲影響。

針對光照強度對水下圖像的直接影響，本文提出一種無參考深度曲線估計的水下圖像增強方法。通過卷積操作與密集殘差塊（Dense Residual Block， DRB）相結合，實現圖像細節特征提取。利用曲線估計對提取的特征圖進行處理，通過曲線估計的方式對低光照水下圖像的亮度分布進行調整。最終在網絡訓練過程中引入一組無參考損失函數，其中空間一致性損失指導網絡獲得水下圖像的空間信息；光照平滑損失指導曲線對光照進行調整，避免曲線估計時出現過度增強；顏色損失指導網絡對水下圖像色彩信息的恢復。使網絡在不依賴成對數據集的情況下，可以學習水下圖像的關鍵特性，從而獲得高質量的水下增強圖像。

在公共數據集上的實驗結果證明，該模型在PSNR和SSIM指標上取得了最優結果，較第二名算法分別提高了10.02%和3.88%。

1" 算法設計

本文基于無參考深度曲線估計的水下圖像增強網絡由特征提取網絡、光照估計曲線（LE?curves）、損失函數三部分組成。為減少計算量，網絡操作不涉及上下采樣步驟，所有操作都在特征圖上進行，總體流程圖如圖1所示。輸入的水下圖像經過特征提取網絡得到一組像素級曲線參數映射，再通過LE?curves迭代應用這些曲線參數映射，根據設計的損失函數驅動LE?curves來動態調整輸入圖像的RGB通道的所有像素，對像素值進行調整，獲得最終的增強圖像，以實現無參考圖像增強過程。

1.1" 特征提取網絡

受Dense Net[5]的啟發，本節通過卷積與密集殘差塊進行特征提取。每個DRB由卷積層、批量歸一化層和激活層構成，詳細結構如圖2所示。卷積層使用32個3×3的卷積核逐通道地提取特征圖；激活函數層使用Leaky ReLU函數，可以在負值處添加小的斜率，避免“死亡神經元的問題”，同時可以捕捉輸入中的細微特征變化，提高模型的魯棒性和收斂速度；批量歸一化層能夠加速神經網絡的訓練過程，同時解決模型梯度消失的問題，從而更好地提升模型性能。

特征提取網絡共由9層網絡結構組成，1/2/3和5/7/9采用具有對稱連接的普通卷積神經網絡，4/6/8采用密集殘差層，網絡結構如圖3所示。其中1/2/3/5/7層卷積由32個大小為3×3、步長為1的卷積核組成，并接著使用ReLU激活函數進行非線性激活，為防止破壞相鄰像素之間的關系，摒棄了下采樣。最后一層卷積采用Tanh激活函數，為后續的光照曲線估計迭代生成24個參數映射圖，其中每次迭代需要三通道的3個曲線參數映射圖。

具體地，前三層普通卷積主要實現圖像特征的淺層提取，之后通過加入的密集殘差層來增強模型特征的提取能力，獲得更多的圖像細節信息，實現降噪和提升圖像清晰度的目的，用對稱連接實現圖像淺層特征信息向深層網絡中傳遞，提升了模型對輸入數據特征信息的捕獲，同時防止模型出現梯度消失的問題。

具體實現過程為：輸入一副水下圖像經過1/2/3層卷積提取圖像淺層特征，將前3層提取的淺層特征輸入第4層DRB進行細節信息補充，對輸出結果進行卷積操作并與第3層輸出進行連接，將連接圖像輸入到第5層DRB進一步進行細節信息補充，以此類推，直到將第8層輸出結果進行卷積操作并與第1層輸出進行連接后，通過使用Tanh函數，對輸出圖像按RGB通道進行映射，生成光照估計曲線中8次迭代所需的24個參數映射。

1.2" 曲線估計

LE?curves的設計是一種非線性映射曲線，用于對輸入圖像的亮度空間進行增強。它滿足以下三個目標。

1） 防止信息溢出截斷引起的信息丟失，增強后圖像像素值應歸一化到[0，1]范圍內；

2） 曲線保持單調性，以維持相鄰像素之間的差異性；

3） 在梯度反向傳播過程中具有簡單且可微的形式。

為實現這些目標，設計了一個二階曲線，具體表示如下：

[LE（I（x）;α）=I（x）+αI（x）（1-I（x））] （1）

式中：[x]為像素坐標；[I（x）]為輸入圖像像素值；[LE（I（x）;α）]是給定輸入[I（x）]的增強值，[α∈[-1， 1]]是可訓練曲線參數，它控制亮度水平，同時也調整曲線的大小。每個像素歸一化為[[-1， 1]]，所有操作都是像素級的。將LE?curves分別應用于RGB三個通道，可以更好地保持固有顏色，并降低過飽和的風險。

為進一步提高曲線的表達能力，本文采用迭代的方式來解決水下光照不足的問題。具體而言，將曲線參數[α]用矩陣[A]表示，[A]是含有與輸入的水下圖像尺寸相同的參數圖，即輸入圖像的每個像素對應一條曲線，通過將每個像素的曲線與最佳擬合曲線進行比較，相應地來調整每個像素的動態范圍。因此，可以將公式（1）重新表示為：

[LEn（x）=LEn-1（x）+An（x）LEn-1（x）（1-LEn-1（x））] （2）

式中：[An]為第[n]次調整后對應的全局像素級參數矩陣；[LEn]為第[n]次調整后的圖像亮度；[LEn-1]為第[n-1]次調整后的圖像亮度；[x]是像素坐標，即每個像素點；[n]為迭代次數，即增強次數，當[n=1]時，公式（2）可退化為公式（1）。經過大量實驗驗證，本文將[n]設置為8時，可以得到令人滿意的結果。采用高階曲線可以靈活地對圖像亮度進行增強，從而使模型能夠適應復雜的水下光照不足的條件。

1.3" 損失函數設計

為了改善水下圖像質量和清晰度，同時減少對參考圖像的依賴，受文獻[6]啟發，本文設計了一組無參考損失函數。水下圖像特征和紋理包括：空間一致性損失、光照平滑損失和顏色損失。

空間一致性損失：由于水下圖像復原通常缺乏可靠的參考圖像進行約束，因此復原圖像中相鄰區域的像素值可能會與輸入圖像相鄰區域的像素值分布不一致。為保持輸入圖像和復原圖像相鄰區域之間的差異，對兩者相鄰區域的三通道像素計算均值，得到對應灰度圖像，將灰度圖像分解成若干塊，對每塊區域的中心像素計算其與相鄰像素之間的插值，并求得這些插值的均值以促進復原圖像與輸入圖像之間的空間相干性，具體函數如下：

[Lspa=1Ki=1Kj∈Ω（i）Yi-Yj-Ii-Ij2] （3）

式中：[K]為局部區域個數；[Ω（i）]為以區域[i]為中心的4個相鄰區域（上、下、左、右）；[Y]和[I]分別為增強圖像和輸入圖像在局部4×4區域內的平均像素強度。

光照平滑損失：為了保持水下圖像相鄰像素之間的單調關系，設計光照平滑損失函數，通過在每個曲線參數映射中增加光照平滑損失，這樣使得各通道的水平、垂直方向梯度均值不會因為迭代次數的不同出現過度增強。這有助于減少光照不均勻的影響，使得曲線參數映射更加平滑自然，避免出現明顯的不連續或突變的效果。光照平滑損失函數如下：

[LtvA=1Nn=1Nc∈φ?xAcn+?yAcn2，" " φ=R，G，B] （4）

式中：[N]為迭代次數；[Acn]為第[n]次調整后對應三通道像素的全局像素級參數矩陣；[?x]和[?y]分別為水平和垂直方向的梯度運算。

顏色損失：灰度世界算法[7]可以用作水下圖像增強的損失函數。該算法是基于自然環境下圖像各個通道的平均像素值趨近于灰色的假設，通過調整圖像通道的顏色平衡來實現增強效果。由于水下環境中光線存在衰減現象，導致圖像顏色會產生偏移，本文根據灰度世界假設算法設計了顏色損失函數，通過計算各通道所有像素與圖像平均像素的差值平方和，將三通道結果相加得到圖像整體平方均值后開方，與各通道像素最大、最小值差值和求商，以改善水下圖像色偏問題，使其顏色更加平衡和自然。具體函數如下：

[Lcol=1Mi=1Mc∈φ（Ic（x）-In）2c∈φ（Icmax-Icmin），" " "φ=R，G，B] （5）

式中：[M]為圖像像素數量；[Imax]為各個顏色通道像素最大值；[Imin]為各個顏色通道像素最小值；[In]為圖像像素平均值。[In]的表達式為：

[In=c∈φ（Icmax+Icmin）2×3，" " φ=R，G，B] （6）

綜合以上損失函數，設計總的損失函數為：

[L=λspaLspa+λtvALtvA+λcolLcol] （7）

式中：[λspa]、[λtvA]和[λcol]為權重參數，根據大量實驗，設置總損失函數權重[λspa]為3、[λtvA]為20、[λcol]為6.5。

2" 實驗結果與分析

本文方法基于TensorFlow深度學習框架實現，硬件設備為14核Intel[?] Xeon[?] CPU E5?2680v4@2.40 GHz處理器，使用NVIDIA GeForce RTX 3090 （24 GB） GPU顯卡進行運算加速。在訓練過程中，輸入圖像大小為256×256的彩色照片，采用ADAM優化器進行參數優化，學習率設為0.000 1，批次大小設為8，網絡訓練次數為100次。本文實驗使用EUVP數據集[8]進行訓練和評估，其中訓練集11 435張圖像、驗證集1 970張圖像和測試集515張圖像。

為驗證本文方法的有效性，本文與具有代表性的水下圖像增強方法進行對比實驗，從主觀視覺效果和客觀圖像評價指標進行評價，對比方法包括Water?Net[8]、UWCNN[9]、UDnet[10]、FUnIE?GAN[11]和NU2Net[12]。

2.1" 主觀效果分析

本文選擇具有不同顏色基調的水下圖像進行比較，對比結果如圖4所示。

從對比結果可以看出，基于深度學習的算法都可以有效去除藍綠色背景，但也存在一些問題。Water?Net算法增強效果適中，但對于藍色背景下的水下圖像增強會丟失部分顏色信息，同時綠色背景下的水下圖像增強則無法有效去除背景帶來的影響；UWCNN算法增強圖像對紅色通道過度補償，這使得在綠色背景下的水下圖像出現色偏，藍色背景下的圖像偏暗；UDnet算法增強圖像出現對比度過度增強，導致增強圖像整體偏白。FUnIE?GAN算法增強效果明顯，但存在部分區域過度增強，丟失一些細節信息；NU2Net算法增強圖像對圖像背景顏色存在過度增強，導致增強圖像背景為白色，丟失了原有的色彩信息。相比之下，本文提出的算法通過曲線估計提高了水下圖像的對比度，通過添加顏色損失函數進一步細化增強圖像的色彩表達能力，使得增強圖像對比度得到提高，同時圖像細節更加豐富。

2.2" 客觀效果分析

在客觀評價指標上，采用無參考的水下彩色圖像質量評價指標[13]（Underwater Color Image Quality Evaluation， UCIQE）、有參考的評價指標圖像峰值信噪比（Peak Signal?To?Noise Ratio， PSNR）和圖像結構相似性（Structural Similarity Index， SSIM）進行評估。表1顯示了不同算法在這些評價指標上的平均值，最佳結果以粗體顯示。在PSNR評價指標上，本文方法結果為23.544，為對比結果中的最高值，相比與第二名FUnIE?GAN算法提高了10.02%，在SSIM評價指標上，本文方法也取得了第一的位置，結果為0.830，相比第二名Water?Net算法提高了3.88%。在UCIQE評價指標上，僅次于UDCP和FUnIE?GAN算法。

本文算法相對其他方法在UCIQE指標、PSNR指標和SSIM指標上均有所提升，綜合這些對比結果，證明了本文所提算法的有效性。

3" 消融實驗與應用性測試

為驗證本文方法中密集殘差塊和損失函數的有效性，進行了大量消融實驗，實驗結果如圖5所示。缺少光照平滑損失函數，復原的圖像出現明顯的偽影，同時顏色校正結果較差；缺失空間一致性損失函數，復原的圖像色偏比較嚴重；缺少顏色損失函數，復原的圖像無法有效去除原有的藍色或綠色背景；網絡結構中缺少密集殘差塊，復原的圖像部分紋理信息丟失，同時對紅色通道過度補償。

表2展示了消融實驗在各項客觀評價指標的平均值，最佳結果以粗體顯示。無論從主觀感知還是客觀評價均可以看出，密集殘差塊的添加有效改善了網絡的性能，即使UCIQE值減少，但PSNR和SSIM都有所提高。

使用ORB匹配算法[14]計算增強圖像和原始圖像之間的對應點。在相同實驗條件下，選擇水下魚類場景進行匹配測試，驗證本文算法在實際應用中的效果。各算法的特征點匹配測試結果如圖6所示，對應特征點匹配數目如表3所示。

測試結果表明，本文算法匹配的特征點為363個，遠超于其他對比算法，驗證了本文方法提升圖像局部特征的有效性，同時在實際應用中有一定的潛力，為后續水下圖像任務奠定了基礎。

4" 結" 語

本文提出一種無參考水下圖像增強網絡，該網絡通過卷積與密集殘差塊的結合，改善了水下圖像增強效果不佳、容易出現色偏和細節模糊的現象。在EUVP數據集上，與其他水下圖像方法進行對比實驗，通過圖像質量評價指標PSNR、SSIM和UCIQE證實了改進后的圖像質量優于其他算法。消融實驗進一步證明了本文方法的有效性。此外，本文方法在訓練過程中不需要參考圖像，通過一組損失函數驅動模型自主學習水下圖像中的特征，并恢復其顏色和對比度，這一優勢在無參考的水下環境中更為契合。由于所用數據集為合成數據集，該數據集模擬水下環境并非真實水下環境，在未來工作中，主要針對本文方法如何適應真實的水下圖像增強，并嘗試在水下視頻實時增強方面進行探索。

注：本文通訊作者為安永麗。

參考文獻

[1] CHANDRA I S， SHASTRI R K， KAVITHA D， et al. CNN based color balancing and denoising technique for underwater images： CNN?CBDT [J]. Measurement： Sensors， 2023， 28： 100835.

[2] ZHOU J C， LI B S， ZHANG D H， et al. UGIF?Net： An efficient fully guided information flow network for underwater image enhancement [J]. IEEE transactions on geoscience and remote sensing， 2023， 61： 1?17.

[3] LIN J C， HSU C B， LEE J C， et al. Dilated generative adversarial networks for underwater image restoration [J]. Journal of marine science and engineering， 2022， 10（4）： 500.

[4] CONG R M， YANG W Y， ZHANG W， et al. PUGAN： Physical model?guided underwater image enhancement using GAN with dual?discriminators [J]. IEEE transactions on image processing， 2023， 32： 4472?4485.

[5] HUANG G， LIU Z， PLEISS G， et al. Convolutional networks with dense connectivity [J]. IEEE transactions on pattern analysis and machine intelligence， 2022， 44（12）： 8704?8716.

[6] GUO C L， LI C Y， GUO J C， et al. Zero?reference deep curve estimation for low?light image enhancement [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2020： 1777?1786.

[7] MA X M， CHEN Z H， FENG Z P. Underwater image restoration through a combination of improved dark channel prior and gray world algorithms [J]. Journal of electronic imaging， 2019， 28（5）： 053033.

[8] LI C Y， GUO C L， REN W Q， et al. An underwater image enhancement benchmark dataset and beyond [J]. IEEE transactions on image processing， 2020， 29： 4376?4389.

[9] LI C Y， ANWAR S， PORIKLI F. Underwater scene prior inspired deep underwater image and video enhancement [J]. Pattern recognition， 2020， 98： 107038.

[10] SALEH A， SHEAVES M， JERRY D R， et al. Adaptive uncertainty distribution in deep learning for unsupervised underwater image enhancement [EB/OL]. [2023?01?02]. https：//doi.org/10.48550/arXiv.2212.08983.

[11] ISLAM M J， XIA Y Y， SATTAR J. Fast underwater image enhancement for improved visual perception [J]. IEEE robotics and automation letters， 2020， 5（2）： 3227?3234.

[12] GUO C， WU R， JIN X， et al. Underwater ranker： Learn which is better and how to be better [C]// Proceedings of the AAAI Conference on Artificial Intelligence. [S.l.]： AAAI Press， 2023： 702?709.

[13] GUO P F， HE L， LIU S Y， et al. Underwater image quality assessment： Subjective and objective methods [J]. IEEE transactions on multimedia， 2022， 24： 1980?1989.

[14] TAREEN S A K， RAZA R H. Potential of SIFT， SURF， KAZE， AKAZE， ORB， BRISK， AGAST， and 7 more algorithms for matching extremely variant image pairs [C]// 2023 4th International Conference on Computing， Mathematics and Engineering Technologies （iCoMET）. New York： IEEE， 2023： 1?6.

作者簡介：馮" 巖（1997—），男，河北邯鄲人，碩士研究生，研究方向為深度學習、圖像增強。

張文鵬（1999—），男，河北唐山人，碩士研究生，研究方向為水下圖像增強。

劉勁蕓（1987—），女，河北唐山人，博士研究生，講師，研究方向為圖像特征提取和識別。

安永麗（1979—），女，河北唐山人，博士研究生，教授，碩士生導師，研究方向為通信安全、計算機視覺。

收稿日期：2024?03?28" " " " " "修回日期：2024?04?19

基金項目：國家科技部重點研發專項（2017YFE0135700）；河北省高層次人才工程項目（A201903011）；河北省自然科學基金項目（F2018209358）