基于聯合生成-去除的水下圖像增強方法

郭 赟，肖雪堯，曹舒寧，許晟旗，魯辛凱，2，3，*

（1.華中科技大學 人工智能與自動化學院，湖北 武漢 430074；2.中國船舶集團有限公司第七一〇研究所，湖北 宜昌 443003；3.清江創新中心，湖北 武漢 430076）

0 引言

隨著科技的進步，資源的不足制約了發展的速度，而海洋約占了地球表面積的71%，含有豐富的資源。要想合理地開發海洋資源，需要在水下能夠看的“清”，然而水下的環境相當復雜，光在傳播過程中很容易受到水體和懸浮顆粒的吸收以及散射，這嚴重影響水下成像質量，導致水下成像出現顏色偏差、霧化現象、對比度低以及細節模糊等問題，給后續的分析帶來了較大的干擾，因此怎樣獲得真實、清晰以及顏色正常的水下圖像具有很重要的意義。

水下圖像增強是提高圖像質量的重要一步，現有的研究方法主要可以分為 3個方面，分別是基于非物理模型方法、基于物理模型方法以及基于數據驅動的方法。

基于非物理模型方法不需要建模水下成像的過程，它們直接通過算法來對圖像的每一個像素點進行變換，以此來對圖像進行顏色矯正，對比度增強等。直方圖均衡化就是一個比較簡單快速的方法，它通過像素值變換使得大多數灰度等級具有大致相同的像素個數，從而增加動態范圍比較小的圖像的對比度，但是它的缺點就是只針對整體圖像，很難改善圖像局部區域的對比度。MA等人[1]利用限制對比度自適應直方圖均衡化算法，在 YIQ顏色空間和 HSI顏色空間得到 2個不同增強的圖像后，再將它們轉換成到RGB空間進行融合，并利用Sobel邊緣檢測算子，進行自適應權值選擇以及非線性圖像增強。同年。HUANG等人[2]提出了一種自適應參數的相對全局直方圖拉伸方法（RGHS），該方法在 RGB色彩空間對藍色通道和綠色通道進行均衡處理后，再對每個通道直方圖進行了重新分配，實現了對比度矯正。而為了進行顏色的矯正，接著在CIE-Lab顏色空間中對L通道進行了拉伸，并調整了a和b通道。一些基于融合的方法也廣泛應用在水下圖像增強領域中。ANCUTI等人[3]提出了一種新的融合策略用來解決水下圖像和視頻增強的問題，它有2個輸入，分別是顏色矯正后的圖像、對比度增強的圖像，以及4個權重參數用來增加遠處物體的能見度，增強的圖像顏色更加正常，細節保留的更好。接著在 2017年，ANCUTI等人[4]在原先基礎上進行了改進，對圖像先進行了白平衡，再分別對圖像進行伽馬校正和圖像銳化，再通過多尺度融合得到增強后的圖像。MARQUES等人[5]創建了2個不同的模型，并從中產生了2個增強的圖像，分別是增強了細節的圖像以及提升了亮度的圖像，再通過多尺度策略來進行融合。除此之外，一些基于視網膜理論（Retinex）的模型也被得到了應用。FU等人[6]提出了一種基于Retinex理論的水下圖像增強方法，包含3個步驟：第1步是進行顏色矯正，第2步是利用變分的Retinex框架來分解反射率和照度，第 3步則采用不同的增強策略對反射率和照度進行增強得到最終圖像。ZHANG等人[7]根據CIE-Lab顏色空間中圖像的3個通道的特性，對圖像的3個通道進行了雙邊濾波和三邊濾波，進而提出了一個多尺度的Retinex框架來增強水下圖像。

基于物理模型的方法需要建立成像退化模型，將水下圖像的增強看作為求解它的逆問題。暗通道先驗[8]在2009年被提出，它在水下圖像增強中得到了廣泛的應用。CHIANG等人[9]結合暗通道先驗提出了波長補償和圖像去霧算法來消除光散射和顏色變化引起的失真。為了改進暗通道先驗的效果，DREWS等人[10]提出了水下暗通道先驗（UDCP），驗證了水下環境中藍通道和綠通道包含了大多數視覺信息，將暗通道先驗應用于藍通道和綠通道能更加有效增強圖像。PENG等人[11]則提出了一個泛化的暗通道先驗，不僅可以用于增強霧天、霧霾、沙塵暴類型退化圖像，也能增強水下圖像。另一方面，通過利用水下的光學成像特性，AKKAYNAK等人[12]提出了一個新的水下成像模型，它表明了信號的衰減系數在整個場景中是不均勻的，取決于目標距離和反射率，而且控制后向散射隨距離增加的系數與信號的衰減系數也存在不同。LI等人[13]基于最小信息損失原理和直方圖分布先驗，提出了一種有效的水下圖像去霧增強算法，以恢復水下圖像的可見度、顏色和對比度。

近年來，由于深度學習的發展，一些基于數據驅動的方法也相繼被提出。LI等人[14]利用水下成像物理模型和水下場景光學特性，合成了不同類型和退化水平的水下圖像訓練數據集，進而提出了一種基于水下場景先驗的水下圖像卷積神經網絡（UWCNN），直接輸出清晰增強的水下圖像。然而由于訓練數據是仿真的，與真實水下圖像存在差距。為了解決這個問題，LI等人[15]構建了一個真實水下圖像增強數據集（UIEB），包括950個真實水下場景，其中 890個具有成對的參考圖像，并訓練了一個水下增強網絡（Water-Net）驗證了數據集的泛化性。同年，ISLAM等人[16]也構建了一個真實水下圖像增強數據集（EUVP），提出了一種基于條件生成對抗網絡的水下圖像增強模型（FunIE-GAN），能夠快速地對水下圖像進行增強。由于RGB空間對亮度和飽和度等圖像屬性不敏感，基于這一觀點，WANG等人[17]提出了一個水下增強網絡，集成了RGB色彩空間和HSV色彩空間信息，使得增強的圖像有一個更好的視覺效果。

基于深度學習的水下圖像增強方法在仿真的水下圖像上取得了良好的效果，但是由于簡化的仿真圖像與復雜的真實圖像之間存在較大差距，此類方法在處理真實水下圖像時性能明顯下降。為了解決真實水下圖像增強問題，本文研究了一種聯合生成-去除水下圖像增強方法。該方法采用分解思路，將水下圖像分解為清晰的背景層和包含色偏與模糊的退化層，通過循環一致性損失和對抗性損失來更好地保留背景，進而實現真實圖像和仿真圖像之間的轉換，既校正了圖像顏色，又提升了圖像對比度，實現良好的增強效果。

1 聯合生成-去除水下圖像增強方法

1.1 方法動機

圖像生成可視為從清晰圖像到退化圖像的正向變化過程，而圖像去除則是從退化圖像到清晰圖像的逆向變化過程，二者互逆，地位相同。現有方法大多將去除與生成相互孤立，具有一定的局限性。一方面，由于缺乏成對的數據，有監督的方式學習清晰圖像到退化圖像的映射；另一方面，仿真水下退化圖像缺乏真實性，導致成對數據訓練的模型在實測的水下退化圖像上難以泛化。

本文提出如下觀點：生成與去除互為逆問題，二者是有機結合的整體。如果生成數據與去除數據分布差異較大，將導致二者之間的不匹配。因此，我們提出聯合生成-去除水下圖像增強方法，在圖像去除后，將剝離出來的水下退化層輸入到網絡中進行學習，使網絡專注從仿真退化到真實退化的遷移學習。因此，既減輕了網絡學習難度，又保證了生成前后圖像背景一致性，保存了圖像目標紋理、語義等信息。

1.2 框架設計

本文提出基于分解思路的聯合生成-去除水下圖像增強方法，具體網絡結構如圖1所示。

圖1 聯合生成-去除水下圖像增強網絡框架圖Fig.1 Overview framework of JUIGR

整體框架基于 CycleGAN的循環一致性生成網絡，分別輸入仿真和實測退化數據。包含 1個真實圖像到仿真圖像遷移模塊和 1個仿真圖像到真實圖像遷移模塊。以前者為例，該模塊首先經過復原網絡對仿真水下退化圖像進行分解，得到背景信息與仿真退化層，再將分解結果輸入到生成網絡中，通過對抗損失函數的約束，使得生成網絡能夠生成與真實退化圖像差距較小的水下圖像，完成仿真圖像到真實圖像的遷移。在遷移過程中，由于仿真圖像與真實圖像之間的差距主要體現在退化層，而背景內容是相同的。因此，提出的JUIGR框架利用2個模塊分解出來的背景信息，且進一步施加對抗損失與重建損失，進而保證背景內容在遷移過程中的不變性。因此，我們提出的框架能夠重點關注真實與仿真退化層之間的映射關系，同時保留背景內容不變。最終，2個模塊在生成高質量的水下退化圖像與清晰圖像復原的過程之間彼此學習，相互制約，共同提升水下圖像的復原與生成能力。

1.3 損失函數

1）生成對抗損失函數。

對于去除網絡輸出的清晰背景，為了保證真實圖像去除網絡進行有效的水下圖像增強，我們采用了一個背景判別器對輸出結果進行判別。背景判別器以真實拍攝的水下清晰圖像，去除網絡生成的“假”清晰圖像為輸入進行訓練，希望其盡可能的分辨出圖像的真假。而另一方面，我們希望真實圖像去除網絡與仿真圖像去除網絡輸出的“假”清晰圖像質量越來越高，越來越像“真”清晰圖像，直到能夠“騙過”背景判別器。因此，我們施加下面的背景對抗損失約束：

式中：Os和Or分別代表仿真與真實輸入退化圖像；Fs和Fr代表仿真與真實去除網絡；Gs和Gr作為仿真與真實生成子網絡；B為真實拍攝的清晰圖像；α為平衡權重參數。值得注意的是，這一過程無需嚴格對齊的成對數據進行有監督約束，這是生成對抗網絡帶來的好處之一。

2）循環一致損失函數。

本文采用的循環生成結構具有這樣的好處：在仿真圖像遷移到實測圖像后，再進行一次實測圖像到仿真圖像的逆向遷移，而這一逆向遷移結果需要和最原始的輸入仿真圖像保持一致，即循環一致約束，防止圖像生成過程中內容信息被破壞，從而導致模型崩塌。

3）最小誤差損失函數。

在仿真圖像去除過程中，我們本身擁有其對應的清晰圖像真值（Ground Truth），使用最小誤差損失函數對部分網絡進行有監督訓練，可使得網絡快速收斂，因此我們仍然在仿真圖像去除網絡上施加了最小誤差損失函數：

最終聯合損失函數如下所示：

綜合來看，JUIGR的每個子網絡均使用對抗損失函數對輸出風格進行約束，使用循環一致函數對輸入信息進行保真，另外對于仿真圖像，還有最小誤差損失函數進行強約束。這些施加于每一步中間結果的約束使得生成網絡與去除網絡可以在訓練過程中相互促進，適應真實水下退化圖像，而泛化更好的去除網絡可將退化從圖像中剝離出來，從而降低生成網絡學習難度，反過來促進圖像生成。

2 對比實驗與結果分析

2.1 實驗準備

本文基于 PyTorch框架實現使用 4塊 RTX 2080TI GPU，其中U-Net作為生成器，PatchGAN作為判別器。平衡參數α，λadv，λcyc，λmse分別設置為4，10，1，10。在256×256大小尺寸上訓練，優化器選擇為 Adam，批量大小設置為 8，我們首先對每個子網絡單獨訓練100次學習率為0.000 1，然后聯合訓練200次學習率分別除以10和100。

1） 數據集。

①EUVP數據集：選取 3 700對成對的仿真水下圖像，用于JUIGR網絡仿真圖像端輸入。②UIEBD數據集：包括890個原始水下圖像和相應的高質量參考圖像和 60張具有挑戰性的水下圖片，用于JUIGR網絡真實圖像端輸入。

2） 評價指標。

客觀評價指標包括有參考評價指標峰值信噪比（PSNR）、結構相似度（SSIM），二者越大越好；無參考水下圖像增強評價指標有水下圖像質量度量（UIQM）、水下彩色圖像質量度量（UCIQE）。主觀指標為復原圖像視覺效果。

2.2 水下圖像增強方法對比

在本節內容中，為評估不同算法對水下圖像增強的有效性，將本文提出的 JUIGR模型與現有的水下圖像增強方法在UIEBD數據集上進行定性和定量的對比分析，對比方法包括基于深度學習的方法 UWCNN，Water-Net和 UIEC^2-Net。

表1顯示，在有參考指標方面，與原始退化圖像相比，UWCNN和Water-Net的2個指標表現均明顯下降，尤其是UWCNN下降約3.38 dB，對水下圖像增強起副作用；UIEC^2-Net的表現較為良好，相較于退化圖像PSNR提升了5.33 dB，SSIM提升了0.87，顯著提升了圖像復原效果；JUIGR的提升最為顯著，在PSNR和SSIM的2個指標上均表現最佳，圖像增強效果顯著。在無參考指標方面，JUIGR同樣在UCIQE和UIQM上取得了突出的表現，再次證明了JUIGR的增強效果最優。

表1 水下圖像增強結果定量對比Table 1 Quantitative comparison of underwater image enhancement results

圖2中展示了不同方法在UIEB數據集上的增強結果，通過主觀分析可以看出，UWCNN的復原結果整體較差，主要表現為未去除藍綠色偏，且過多的對紅色通道進行了增強，導致結果與自然圖像有較大的偏差，并且模糊程度進一步加劇；Water-Net對色偏和模糊的改善較為明顯，但亮度較UIEC^2-Net更低，且在圖像的亮部（例如第4張圖的左上方白光處）引入了黑色偽影，導致視覺效果較差；UIEC^2-Net一定程度上削弱了水下圖像的藍綠色偏和模糊，但是UIEC^2-Net的復原結果整體較暗，影響觀感；JUIGR的結果相較于其他方法，不僅有效的改善了原始圖像的藍綠色偏，還增強了圖像的對比度，整體更加明亮，在一些圖像上取得了比參考圖像更好的視覺效果。綜上，可視化結果與定量對比結果基本一致。

圖2 水下圖像增強可視化結果對比Fig.2 Qualitative comparison of underwater image enhancement results

2.3 消融實驗

為了解各個損失函數對網絡有效性的影響，我們進行了消融實驗分析，表2展示了各種消融模型下的指標效果。JUIGR中主要使用了對抗損失函數、一致性損失函數、MSE損失函數對網絡進行約束，第1行數據證明了對抗損失函數與一致性損失函數具有重要作用，說明生成和去除之間的互相博弈和網絡的循環一致性對水下圖像增強有著至關重要的影響；而MSE損失函數作用較小，但仍有一定提升效果。

表2 聯合生成去除方法消融分析Table 2 Ablation study of JUIGR

3 結束語

在本篇工作中，我們提出了一個生成與去除聯合的生成對抗網絡用來進行真實水下圖像增強與顏色矯正問題。通過生成對抗損失和循環一致性損失函數對生成和去除網絡進行約束，二者相互促進，進而形成了對稱的雙向穩定的網絡結構，使網絡能夠泛化到真實水下場景增強。我們進一步利用分解的策略來將真實的水下圖像分解為干凈的背景層和退化層，從而促進仿真圖像和真實圖像之間的相互遷移。大量的真實水下數據集實驗闡述了我們提出方法的優越性。