基于改進生成式對抗網絡的水下圖像增強

王明哲，侯國家，馬佳琦，王國棟

（青島大學 計算機科學技術學院，山東 青島 266071）

0 引言

近年來，各國均在積極發展海洋戰略，而清晰的水下圖像可以提供寶貴的海洋信息，因此對清晰水下圖像的獲取就變得尤為重要。然而，由于水介質的吸收和散射特性會出現不同程度的渾濁與模糊，并且不同波長的光在水中的衰減程度不同，其中紅色光衰減最為嚴重，藍色與綠色光衰減程度相對較弱。因此，水下拍攝的圖像通常呈現藍色或綠色。此外，由于懸浮顆粒也會對光散射進行干擾，所以水下成像亦會出現對比度低和飽和度低等問題。因此，有必要對失真的水下圖像進行質量增強，以獲得清晰的、恢復真實色彩的水下圖像。其目的是增加退化圖像在多個后續處理任務上的可利用性，例如目標檢測、識別和分割等。糾正這些退化現象，有助于對復雜的海洋環境進行開發，具有重要的現實意義。

圍繞對水下圖像的清晰化處理，目前的水下圖像增強方法可以大致分為3類：基于物理模型的方法、基于非物理模型的方法和基于深度學習的方法。其中，基于物理模型的方法通過手工制作的先驗估計模型參數，然后反轉水下成像模型以獲得清晰的圖像。這些先驗包括水下暗通道先驗、最小信息損失、模糊先驗、衰減曲線先驗、一般暗通道先驗和霧線先驗等。例如，BERMAN等人[1]引入了霧線模型來處理波長相關衰減并重建水下圖像。AKKAYNAK等人[2]基于水下依賴性修改了水下成像模型來增強水下圖像。總體而言，這些基于物理模型的方法在某些情況下是有效的，但它們嚴重依賴于手工制作的先驗知識。因此，當這些先驗在某些水下場景中失效時，增強后的圖像往往無法達到讓人滿意的結果。基于非物理模型的方法通過直接調整圖像像素值來提高水下圖像的視覺質量。代表性方法包括基于Retinex的方法、基于直方圖均衡化的方法和基于圖像融合的方法。例如，ANCUTI等人[3]提出了一種多尺度策略，并將其用于融合從白平衡方法中獲得的顏色校正和對比度增強后的圖像以獲得更好的增強效果。這些基于非物理模型的方法忽略了水下成像機制，容易導致經非物理模型方法增強后的圖像出現過增強和過飽和等問題。

隨著深度學習在計算機視覺領域的發展，基于深度學習的方法已廣泛應用于計算機低級視覺任務。在水下圖像增強領域，GUO等人[4]提出了一種基于生成對抗學習（Generative Adversarial Network，GAN）[5]的弱監督學習網絡UWGAN。該網絡包括1個生成器和1個判別器，可以學習失真圖像與非失真圖像之間的非線性映射。LI等人[6]提出了一種基于水下場景先驗的水下圖像增強卷積神經網絡（Convolutional Neural Network，CNN）模型，稱為UWCNN。此模型不需要估計水下成像模型的參數，而是可以直接重建清晰的水下圖像。ISLAM等人[7]提出了一種基于CGAN（Conditional GAN）[8]的實時水下圖像增強模型 FUnIE-GAN。該方法通過一個目標函數來監督對抗訓練，可以感知圖像的整體內容、顏色、局部紋理和風格信息，并以此來評估并提升圖像質量。在2021年，LI等人[9]設計了一種結合水下模型特點的由多顏色空間編碼器網絡和透射率引導解碼器網絡組成的編解碼網絡Ucolor。WANG等人[10]介紹了一種將RGB顏色空間和HSV顏色空間集成在一個CNN中的水下圖像增強網絡 UICE^2-Net。此方法是第1個基于深度學習的使用HSV顏色空間進行水下圖像增強的網絡。最近，FU等人[11]提出了一種新的水下圖像增強方法SCNet，該方法基于跨越空間和信道維度的歸一化方案，以應對水下場景中呈現的多種退化問題。基于深度學習的方法對水下圖像的增強具有令人滿意的效果，但此類方法普遍依賴高質量的訓練數據集，且目前網絡的泛化能力不足，難以滿足實時性的要求。

受上述工作的啟發，本文提出了一種端到端的基于改進生成式對抗網絡的深度學習模型進行水下圖像增強。通過學習失真圖像與參考圖像之間的雙邊特征，有效地提高了圖像的清晰度并恢復了圖像的色彩。本網絡中引入的圖像質量引導模塊，改善了傳統的GAN網絡中生成器只關注生成樣本的真假而帶來的圖像質量受限等問題，獲得了質量更高的水下圖像。

1 生成對抗網絡

生成式對抗網絡（GAN）[5]是 2014年GOODFELLOW 等人提出的一種深度學習網絡模型。近年來，該模型吸引了計算機領域眾多學者的關注和研究。生成對抗網絡能夠生成數據的特點，彌補了深度學習訓練時數據不足的問題；此外GAN在圖像增強與復原、圖像風格遷移和圖像生成等應用中均發揮了獨特的作用。

GAN由生成器G和判別器D組成。從本質上講，G和D均為函數，通常依靠深層的網絡結構來實現。在網絡的訓練過程中，G把隨機的噪聲分布z輸出為生成數據G（z），并將這個數據傳輸給判別器D。D的輸入除了G（z），還有真實的數據x，輸出的數據為一個概率，表示G（z）對x的接近程度，并將這個值反饋給G，幫助其將生成的數據G（z）優化。在理想的狀態下，生成數據G（z）與真實數據x無限接近，此時G學習到了真實樣本的完整分布，模型達到最優。GAN的優化通過一個極大極小目標函數實現：

整個目標函數描述的是將真假樣本分類正確的能力。在網絡訓練過程中，先進行判別器D的訓練。對于D來說，分類能力應該越高越好，因此目標函數（1）對于判別器D為最大化的過程。接下來是生成器G的訓練，此時會固定判別器D的參數。對于生成器來說，式（1）應該越小越好，表示判別器D的能力因為生成器G生成的樣本使其無法區分而減弱。這也就是GAN的目標函數是一個min-max函數的原因。

2 本文方法

針對水下圖像的各種退化問題，本文提出了一種基于改進生成式對抗網絡的方法進行水下圖像增強。本方法在原始的生成式對抗訓練基礎上，將中間過程的生成數據進行評分，并利用這個指標指導生成器的訓練及調整，以獲得不受傳統訓練模式限制的高質量水下圖像。

2.1 框架結構

本文的框架結構采用了 pix2pix-HD[12]作為基線網絡，并使用了1個生成器和3個輸入不同圖像尺寸的判別器D1、D2、D3。如圖 1所示，退化圖像x和參考圖像y作為成對訓練數據輸入網絡中，通過學習二者之間的映射關系，生成器最終可以將具有不同退化特征的水下圖像增強為可被后續利用的高質量圖像。由于使用了多個判別器，本網絡的目標函數可以表示為

圖1 本文方法總體框架圖Fig.1 Overall framework of proposed method

式中：Dk代表3個判別器D1、D2和D3，G代表網絡的生成器。

在GAN網絡訓練過程中，判別器D區分生成數據接近真實樣本還是生成樣本的行為是一個正負分類問題。然而，當生成的樣本足夠真實時，將高質量樣本與低質量樣本同等對待是不公平的。因此，我們認為在進行圖像增強時，GAN面臨的是一個高質量和低質量的分類問題，而不是一個普通的真假分類問題。由這種分類邏輯改進的網絡結構更適用于圖像增強任務，能夠使得生成的數據在足夠真實的同時達到更高的圖像質量。因此，我們在網絡中，結合圖像質量評價技術，引入了圖像質量引導模塊QGM（Quality Guided Module）。我們將網絡訓練中生成的中間數據處理為可以進行算法評分的樣本，并將得到的結果與從高質量樣本得到的指標進行擬合。在這個過程中產生的差值將用于調整生成器G的網絡參數，由這種方法得到的增強模型可以改善真假訓練邏輯帶來的限制，提高增強結果的質量。

經過對比和評估，我們采用 UIQM（Underwaterimage Quality Measurement）[13]作為QGM的評分指標。UIQM包括3種水下圖像屬性度量：水下圖像色彩度量（UICM）、水下圖像清晰度度量（UISM）和水下圖像對比度度量（UIConM）。經過線性組合后，UIQM評價指標可以表示為

式中：c1、c2、c3三參數由多元線性回歸（MLR）得到，取值[13]分別為0.028 2、0.295 3和3.575 3。

2.2 損失函數

本文網絡模型的損失函數由3部分組成，分別為GAN損失函數LG、特征匹配損失函數LF和質量引導損失函數LQ。其中，GAN損失函數LG的目標是通過以下函數，在給定輸入語義標簽映射的情況下，對真實圖像的條件分布進行建模：

式中：x和y分別為網絡輸入的成對訓練數據退化圖像和參考圖像。特征匹配損失函數LF通過從鑒別器的多個層中提取特征，并學習從真實圖像和到合成圖像的映射來對應這些中間表示。這個損失函數提高了訓練的穩定性，并對圖像增強類網絡的效果有提升作用。這個損失函數可以表示為

式中：T表示總層數；D（i）k表示鑒別器Dk的第i層；Ni表示每層中的元素數量。質量引導損失函數LQ應用在質量引導模塊中，通過對生成樣本和高指標樣本之間的擬合，使圖像不受傳統GAN訓練模式的限制，實現更好的增強效果。質量引導損失函數LQ可以表示為

式中：U代表我們采用的評價指標UIQM算法。經過以上分析，我們的整體損失函數可以表示為

式中：λ1=10和λ2=1是函數的參數，決定了3個度量的比重。

3 實驗設置與結果分析

為了驗證所提方法的有效性，將本文與現有的4個先進的基于深度學習的方法進行了實驗對比，并從主觀和客觀的角度對結果進行對比分析。實驗結果表明：本文算法針對水下圖像質量增強具有更好的魯棒性。

3.1 實驗設置

實驗的訓練和測試均在 SUIM-E[14]數據集上進行，我們使用數據集中的1 525對圖像進行訓練，其余 110對圖像進行測試。SUIM-E數據集包含1 635幅真實的水下圖像，這些真實的水下退化圖像經過11種圖像增強算法以及一種用于增強水下圖像的商業應用（dive+）增強后，生成了 12組候選參考圖像。利用原始的水下圖像及其增強候選圖像，10名志愿者從12個增強結果中獨立選擇最佳結果。然后，對于每個原始水下圖像，選擇投票數最高的結果作為其最終參考圖像。這些原始水下圖像與其增強參考圖像構成了成對的訓練集和測試集。

實驗使用Adam優化器，學習率設為0.000 1，批量（Batchsize）大小為4，迭代（Epoch）200輪。實驗在Ubuntu11.2.0操作系統上進行，基于 Pytorch平臺展開，使用 CPU Intel（R）Xeon（R）w-2133@ 3.60GHz處理器，NVIDIA GeForce RTX 1080Ti GPU進行訓練與測試。

3.2 實驗結果與分析

本文從測試集中選取了具有不同退化程度的圖像，并將本文方法與 UWCNN[6]、FUnIE[7]、UIEC?2-Net[10]、SCNet[11]4個方法進行對比，最終定性分析的對比結果如圖2所示。

圖2 不同方法主觀對比Fig.2 Subjective comparisons of different methods

從圖2可以看出，UWCNN對失真圖像的增強效果較差，圖像存在較嚴重的偽影問題。FUnIE得益于輕量級的模型，在速度上取得了一定的優勢，但其在解決失真圖像的偏色問題上表現不佳，增強后的部分圖像仍存在明顯的偏色與失真。UIEC?2-Net方法具有明顯的提升效果，但這個方法在并沒有解決部分圖像存在的模糊問題，導致圖像的部分區域細節丟失，清晰度較差（如第5幅圖）。SCNet基本還原了圖像的脫水特征，但其與UIEC?2-Net模型相比，提升效果不夠明顯，圖像的偏色問題改善不足，保留了原圖像的部分失真（如第7幅圖）。相比之下，本文方法在解決退化圖像的偏色、模糊、對比度低和飽和度低等問題上表現更好，視覺增強效果優于對比方法，并且生成的圖像具有更豐富的細節特征，從而增加了圖像的可利用性。

為了進一步評價本文所提方法的性能，并從客觀的角度對本方法的增強效果進行比較和分析。本文采用了2種經典的全參考圖像質量評價指標，峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）指標和結構相似性（Structure Similarity，SSIM）指標，以及2種無參考水下圖像質量評價指標，分別是水下圖像質量評價（Underwater Image Quality Measure，UIQM）指標和水下色彩圖像質量評價（Underwater Colour Image Quality Evaluation，UCIQE）指標[15]來對圖像的增強效果進行客觀評估。其中，PSNR客觀地反映了圖像的失真程度，SSIM則客觀地反映了圖像在多尺度上的結構相似性。并且由于水介質會使圖像在色彩和清晰度等方面發生退化，因此我們選擇能夠同時反映多種圖像特征的無參考水下圖像質量評價指標UIQM和UCIQE來客觀地評估整體水下圖像質量。所采用的4種指標均為評估值越高，圖像的視覺質量越好，最終的定量分析對比結果如表1所示。

表1 不同方法客觀對比Table 1 Objective comparisons of different methods

從表 1可以看出，經過本文算法增強之后，SSIM、UCIQE和UIQM指標均取得了最優結果，分別比當前對比最好效果提高 2.9%、6.2%和14.3%。同時，PSNR也取得了相對可觀的結果，達到了對本文增強算法的預期。以上分析證明了本文方法在提高圖像的對比度、清晰度、以及還原水下圖像的真實色彩等方面均有較好效果，并可以保留完整的圖像紋理結構特征。

為了驗證本文中QGM模塊的有效性，我們在真實的水下圖像上對該模塊進行了消融實驗與分析。為公平起見，實驗均在相同設置下進行訓練。在消融實驗中，分別在2幅退化圖像上進行了提出模型與移除QGM模塊的網絡模型的增強對比，結果如圖3所示。

從圖3中可以看出，由提出模型得到的增強結果在清晰度和顏色校正等方面均優于移除QGM模塊的模型。同樣，在UCIQE和UIQM指標上，本文方法相較移除 QGM 模塊的模型分別提升了5.7%和 9.7%。消融實驗結果表明，引入圖像質量引導后的模型，在學習參考圖像與輸入圖像一致性的基礎上，更加關注生成圖像的質量，這使得生成的圖像不受傳統訓練模式只分辨真假而忽略質量提升的限制，從而得到了質量更佳的增強結果。

4 結束語

本文提出了一種基于改進生成式對抗網絡的水下圖像增強方法，通過學習退化圖像與參考圖像之間的雙邊特征，提高了圖像的對比度和清晰度并恢復了圖像的色彩；網絡中引入了圖像質量引導模塊，改善了原始訓練模式中GAN網絡過于關注生成樣本真假性的問題，使得增強后的圖像相比較其他方法具有更優的主觀視覺效果。本文方法模型較大且參數量較多，導致算法時間復雜度較高，后續將探索將網絡輕量化的方法，在保持網絡性能的基礎上降低時間復雜度。