基于水下成像物理模型的生成對抗網絡

陳 驍，舒藝沆，沈潤杰*，黃奕欣，童鑫紅

（1.福建華電可門發電有限公司，福建福州 350000；2.同濟大學電子與信息工程學院,上海 201804）

如今大多數深度學習任務都屬于有監督學習，需要大量的有標簽數據指導模型訓練。當缺少數據時，網絡模型無法學習足夠的非線性特征并且極易出現過擬合問題，這種現象在數據集規模很小時尤為明顯。生成對抗網絡的出現給解決這一難題帶來新的思路，采用生成對抗網絡合成圖像，對小樣本圖像數據進行增強，能有效融合前景目標和各種類型的背景，解決由于數據匱乏導致的神經網絡難以訓練的問題。合成數據和真實數據相比既有結構上的相似性，同時又能呈現出上下文信息的多樣性；加入合成數據后，模型能夠更加穩定地訓練，進一步提高對各種背景條件下退化圖像的學習能力。Li等人提出一種生成水下圖像數據集的模型WaterGAN［1］，包含生成器G和判別器D兩部分，通過對抗訓練的方式生成逼真的水下圖像。其中生成器G分為衰減、散射和暈渲三個部分，判別器D通過區分合成圖像和真實圖像指導生成器G的訓練。Fabbri等人基于生成對抗網絡思想構造模型UGANP［2］，不需要將水下圖像的深度信息輸入到生成器，而是基于CycleGAN學習RGB圖像和水下退化圖像特征合成退化的水下圖像。本文針對高級視覺模型訓練過程中水下圖像數據缺乏的問題，基于Jaffe-McGlamery水下成像物理模型，構造UWGAN網絡，同時提出多目標損失函數指導模型訓練，該模型能夠合成豐富的水下退化圖像，實現對水下圖像數據集的增強。

1 本文方法

1.1 Jaffe-Mc Glamery水下成像物理模型

經典水下成像物理模型主要有Jaffe-McGlamery模型和蒙特卡洛方法［3］。在Jaffe模型的基礎上［4］，McGlamery等人［5］建立了新的物理模型，根據Jaffe-McGlamery水下成像物理模型，光線通過三種路徑到達成像平面，成像結果實際上是三個分量的線性疊加，如圖1所示。其中模型分量分別如下所示。

圖1 Jaffe-McGlamery物理模型Fig.1 Jaffe-McGlamery physical model

（1）目標物反射后直接被相機捕捉的分量稱為直接分量Ed。

（2）經過目標物表面反射后受微粒影響而發生小角度散射的分量稱為前向散射分量Ef。

（3）直接被水中的懸浮顆粒散射后被相機接收到的分量稱為后向散射分量Eb。

Jaffe-McGlamery模型可表示為

式（1）中，ET表示總的光強度值，Ed、Ef、Eb分別表示直接分量、前向散射分量和后向散射分量。每種分量在傳播過程中都會被水分子、溶解物或者懸浮顆粒等吸收，并且對不同波長的光吸收程度不同。通過圖2（a）可以看出，紅、黃以及淺綠色光透射率低，而藍綠光具有較大的透射率，其中波長為462~475 nm的藍光衰減程度最小。水的吸收使藍光的強度每米衰減約4%，其他波長的光衰減程度更大，因此，通常情況下獲取的水下圖像都呈現藍綠色。水下成像過程中光強度值隨著傳播距離增加呈指數衰減，衰減過程可以由式（2）表示，即

圖2 光在水中的吸收和散射作用Fig.2 Absorption and scattering of light in water

水下成像過程中，散射作用對圖像退化的影響更大。如圖2（b）所示，根據Jaffe-McGlamery物理模型坐標系，通過幾何光學理論可以計算出直接分量，根據數學推導，直接分量可以表示為

其中，EI表示目標物體表面(x'，y')處的反射輻照度值，Rc表示點(x'，y')到相機光心的距離，M(x'，y')表示反射率，經驗值取M(x'，y')∈(0.02，0.1)，Tl、F和Fl分別表示相機參數，角度θ表示反射光線與切向平面的夾角。前向散射分量可以由直接分量和點擴散函數計算得到，如式（4）所示，其中g(x，y，Rc，G，c，B)表示點擴散函數。

從目標反射平面到相機接收平面，對近似的體積散射函數進行體積元分析并積分，得到最終的后向散射分量，即

其中，Eb，d(x，y)表示后向散射的直接分量。在水下成像過程中，Jaffe等人在充分考慮各種限制條件后構造了水下成像物理模型，根據物理模型就能推導出何種因素導致了水下圖像退化，具體為水體吸收部分光波導致色偏，以及水中懸浮顆粒散射導致成像模糊或大顆粒泥沙造成遮擋，因此，可以根據水下成像物理模型構造生成對抗網絡合成退化的水下圖像。

1.2 合成水下退化圖像模型UWGAN

1.2.1 UWGAN網絡結構

整個UWGAN網絡結構如圖3所示。

圖3 UWGAN網絡結構Fig.3 UWGA network structure

網絡的核心模塊主要是生成器和判別器。輸入分別是RGB圖像I、對應深度圖像D和隨機噪聲向量Z。合成圖像的過程主要分為兩個階段，第一階段是模擬水體對光的吸收造成的退化，記為G_1；第二階段是模擬水中懸浮物以及大顆粒泥沙對光的散射造成的圖像模糊，具體分為前向散射和后向散射，統一記為G_2。兩個階段的具體描述如下。

（1）G_1：水體對不同波長的光的吸收造成圖像色偏。生成器的直接退化部分G_1模擬光在水中衰減，即

其中，Iair是輸入的RGB圖像或者通過水體傳播之前的初始輻照度，rc是目標物體到相機光心的距離，η(λ)是網絡估算的與波長λ有關的衰減系數。

將原始圖像離散為RGB三個顏色通道后，根據不同波長λ學習不同的衰減系數，符合水體對不同波長光吸收程度不同的實際情況，同時也避免了模型在學習過程中各通道參數相互耦合。各通道衰減系數首先被初始化為一個隨機值，接著分別乘以由深度圖像表征的距離值后，再按照RGB的通道順序進行拼接，最后和輸入的RGB圖像一起代入公式（6），得到顏色衰減后的結果G1，整個G_1的結構可以由圖4（a）表示。

（2）G_2：水中懸浮顆粒和泥沙對光的散射造成圖像模糊。光在水中經過懸浮顆粒的散射后會在水下圖像中產生霧化效果，導致無法清楚地識別目標物體，退化過程可以通過式（7）表示，即

其中，β是取決于波長的標量參數，這一階段通過淺卷積網絡計算散射系數。如圖4（b）所示，輸入深度圖像D和噪聲向量Z。噪聲向量Z經過投影和整形后與深度圖像進行拼接得到特征圖像F，再分別經過三個殘差卷積模塊學習不同通道的散射系數，每個卷積分支得到一個單通道特征圖像Si，按照RGB成像順序在通道維度上進行拼接得到輸出特征圖像M2。最后將散射得到的模糊圖像M2和顏色退化圖像G1進行相加，得到最終的合成水下退化圖像G2，如式（8）所示。

圖4 生成器結構圖Fig.4 Generator structure

判別器是基于PatchGAN［6］實現的一個串行網絡，整個結構共包含5層，除了第一層和最后一層不使用BN歸一化，其余所有卷積層都遵循相同的基本設計，即“卷積+BN+Leaky ReLU”，并且使用頻譜歸一化以限制判別器的Lipschitz常數，穩定判別器的訓練。

1.2.2 UWGAN損失函數

整個UWGAN的損失函數分為四個部分，如圖5所示。

圖5 UWGAN損失函數Fig.5 UWGAN loss function

第一部分是帶約束條件的生成對抗損失，如式（9）所示，即

第二部分是指導退化風格的生成對抗損失，具體形式是帶有softmax的交叉熵損失，如式（10）所示，即

第三部分是結構一致性損失，保持內容的一致性及輸入和輸出圖像之間的結構相似性，通過比較生成圖像和目標圖像的均值、方差和協方差，保證圖像風格轉換后仍然保持上下文信息的一致性，具體如式（11）和式（12）所示，即第四部分是色彩一致性損失，如式（13）所示，即

總損失函數如式（14）所示，其中α，β和δ分別取值2，1，1，即

2 實驗與分析

為了驗證本文使用的生成對抗模型UWGAN能夠有效合成逼真的水下退化圖像，本實驗使用經典算法WaterGAN、UGAN-P和UWGAN進行對比，并使用NYU Depth數據集，該數據集包含了利用kinect采集的1449張室內場景RGB圖像和對應的深度圖像，每張圖像的分辨率為640×480。部分合成圖像的對比結果如圖6所示。

圖6 合成圖像對比Fig.6 Comparison of synthetic images

由于單目相機進行深度估計所固有的尺度模糊性，WaterGAN只能估計相對深度而不是絕對深度，因此合成的圖像整體亮度偏暗，并且圖像四周出現陰影和漸暈；UGAN-P基于CycleGAN的循環一致性損失合成退化圖像，能夠充分利用原始圖像和目標圖像之間的像素差異，因此能夠很好地合成色偏圖像，而對于大顆粒懸浮物遮擋這類帶有高級語義信息的特征合成效果較差，甚至會產生條紋狀的偽影；本文使用的UWGAN能夠較為準確地估計圖像中前景和背景的深度信息，因此不僅能合成藍綠或者黃綠色偏圖像，還能有效模擬模糊現象，包括一些大顆粒泥沙造成的遮擋，合成的圖像在主觀視覺效果上更接近真實水下退化圖像。

3 結 論

本文通過分析水下成像物理模型，構造生成對抗網絡UWGAN，在生成器中模擬吸收和散射作用，同時集成生成對抗損失、風格損失、顏色損失和結構一致性損失構造多目標損失函數，實現端到端訓練，將室內RGB圖像轉換為指定樣式的水下圖像。實驗結果表明，UWGAN保留了原始RGB圖像的前景紋理信息，同時有效融合了水下場景特征，為合成圖像實現數據集擴充提供了新的思路，也為其他水下高級視覺任務提供了支持。