基于紅色通道注意力機制的水下圖像增強

王浩瀚，王國棟，張鐔月，董 浩

（青島大學 計算機科學技術學院，山東 青島 266071）

0 引言

海洋資源的開發和利用對人類具有重要意義，水下機器人的廣泛應用使人們可以輕松地收集水下圖像和視頻，它們收集的水下圖像也可以幫助和促進水下生物研究、海洋資源利用等領域的研究。

由于各種環境因素，水下圖像的質量通常較低。一方面，整體顏色為綠色和藍色；另一方面，對比度較低，細節比較模糊。退化的水下圖像限制了它們在圖像識別、檢測和目標跟蹤等方面的應用。因此，開發一種有效的技術來提高水下圖像的質量至關重要。

水下圖像增強算法的 2個基本目標是對抗光散射的影響（類似于去霧化）和糾正顏色投射。當水下圖像增強算法作為預處理步驟時，可以提高跟蹤高級檢測或者分類任務的準確性。許多水下圖像增強算法已經被提出了各種假設來解決這些退化問題。早期的方法依賴于多個水下圖像或偏振濾波器等專門的硬件設備來提高水下圖像的質量。隨著圖像增強技術的發展，出現了很多使用來自單個圖像的信息來處理這個問題的無模型方法。雖然這些無物理模型的方法可以在一定程度上提高視覺質量，但它們忽略了水下成像的物理機制，因此會產生過度增強的結果或者效果不佳的結果，并且可能引入過多的人為色彩。例如，當遇到各種不同且具有挑戰性的水下場景時，傳統的無模型的顏色校正算法并不總是可靠的。

近年來，深度學習在圖像識別、圖像分割和目標檢測等計算機視覺任務上取得了很好的效果。越來越多的研究人員開始將深度學習應用于水下圖像增強任務中。LI等[1]提出了水下圖像顏色校正方法CycleGan，SKINNER等[2]提出了兩級神經網絡結構圖像深度估計和顏色校正，FU等[3]提出了一個神經網絡結合全局和局部信息的水下圖像增強。上述基于深度學習模型的方法往往只適用于特定的圖像，無法被廣泛使用，而現有的方法大多是基于近似的圖像形成模型。其中2種基于深度學習的方法忽略了圖像形成模型，導致了復雜的模型結構，使訓練過程更加困難。其他一些基于深度學習的方法結合了圖像形成模型，但簡化了這個過程，這可能導致圖像增強效果并不顯著。

本文結合現有的基于深度學習的圖像增強方法，構建了一個全新的能夠用于水下圖像增強的網絡。在這個網絡中，為了降低模型的復雜度、減少訓練的時間，采用小分辨率圖像參與訓練；為了充分利用特征圖的通道信息，著重采用不同尺寸的卷積核獲取更多通道數目的特征。此外，圖1和圖2分別是一張水下圖像及其顏色直方圖表示以及對應的真實圖片及其顏色直方圖表示，從中可以看出對于RGB通道信息來說，紅色通道的信息最不明顯，表示在傳播過程中已經衰減完成，水下圖像保留著大部分的藍色和綠色通道的信息。為了補償水下圖像丟失的紅色通道信息，基于紅色通道構建了注意力機制，以加強對于圖像中容易丟失信息的紅色通道的特征的提取。在此基礎上，基于EUVP，UFO120等數據集進行消融實驗，驗證了紅色通道注意力機制的有效性。

圖1 水下圖像及其顏色直方圖Fig.1 Underwater image and color histogram

圖2 真實圖像及其顏色直方圖Fig.2 Real image and color histogram

1 相關工作

近些年來，探索水下世界已成為一個被廣泛關注的問題[4]。海洋資源的開發和利用對人類具有重要意義。為了提高記錄圖像視覺質量，水下圖像增強作為不可或缺的步驟引起了人們的廣泛關注。目前已經提出了多種方法，除了基于補充信息的方法和專門的物理硬件之外，主要分為2部分：傳統的無模型方法和基于深度學習的方法。

1.1 基于補充信息的方法

在早期階段，來自多個圖像的補充信息[5]或專門的硬件設備[6-7]被用來提高水下圖像的可見性。與基于補充信息的方法相比，單一水下圖像增強已被證明更適合動態場景等具有挑戰性的情況，因此受到廣泛關注。

1.2 傳統的無模型方法

早期的圖像增強是通過調整原始圖像的像素值以提高視覺質量，如動態像素范圍拉伸[8]、像素直方圖均衡調整[9]和圖像融合[10]。例如，ANCUTI等人[10]首先獲得了原始水下圖像的顏色校正版本和對比度增強版本，然后計算了不同版本所占的權重，最后結合了不同版本的優點進行圖像增強。ANCUTI等[11]進一步改進了基于融合的水下圖像增強策略，并提出了基于多尺度融合策略的白平衡算法的2種版本。最近，基于對夜間低光環境、水下和不均勻人工照明等不利條件下信息的觀察，ANCUTI等[12]提出了一種顏色通道補償（3C）預處理方法。作為一個預處理步驟，3C操作符可以改進傳統的恢復方法。

1.3 深度學習模型

深度學習的出現導致了低水平視覺任務的明顯提升[13-15]。先前的工作有幾次嘗試通過改進深度學習策略增強水下圖像的性能。近年來，一些基于生成對抗網絡（GAN）[16]的水下圖像增強模型能夠生成真實圖像，在未配對和配對訓練中都獲得了令人印象深刻的結果。為了提高泛化數據集的能力，文獻[17]提出了一種弱監督的水下顏色校正網絡（UCycleGAN）。此外，LI等[18]提出根據不同的水類型模擬真實的水下圖像和水下成像物理模型。利用10種水下圖像合成，訓練10種水下圖像增強（UWCNN）模型，利用每個 UWCNN模型對相應類型的水下圖像進行增強。最近，LI等人[19]收集了一個真實的成對水下圖像數據集（UIEBD），用于訓練深度網絡，并提出了一個門控融合網絡來增強水下圖像。該門控深度模型需要 3個預處理圖像，包括伽馬校正圖像、對比度改進圖像和白平衡圖像作為門控網絡的輸入。JAMADANDI提出了一種基于小波校正變換[20]的水下圖像增強方法。YANG等人[21]提出了一種條件生成對抗網絡來提高水下圖像的感知質量。

2 模型網絡結構

一個成功的水下圖像增強算法必須解決水下成像中的以下一個或所有問題，包括能見度下降、顏色投射和更高級別檢測任務的精度降低。然而，大多數現有的水下圖像增強方法都是針對3個目標中的1個或2個。因此，建立一個適應范圍廣的、多樣化的水下圖像增強模型具有重要意義。在本節中，我們將介紹所提出的 RCANet的架構。

RCANet基于融合網絡架構來學習 3個置信圖，它們將3個輸入圖像組合成一個增強的結果。此外，我們添加了1個殘差網絡，用于構建紅色通道的注意力機制，并添加到學習到的置信圖之中。最后，將學習到的置信度圖與我們細化輸入相乘得到最終的增強結果。本文提出的RCANet的體系結構和參數設置如圖3所示。

圖3 RCANet網絡結構Fig.3 RCANet network structure

2.1 輸入生成

由于復雜的水下環境和光照條件，沒有將算法推廣到所有類型的水下圖像。一般來說，基于融合[22]的方法取得了良好的結果，這得益于由多個預處理操作和一個融合策略獲得的輸入。在RCANet中，我們也采用了這種方式。基于水下圖像退化的特點，我們分別應用白平衡（WB）、直方圖均衡化（HE）和 Gamma校正（GC）算法對水下圖像生成3種輸入。具體來說，WB算法用于校正水下圖像的顏色投射，而HE和GC算法分別旨在提高對比度和照亮黑暗區域。對于WB算法，我們使用動態閾值算法，將radio設為0.5，如果該值過大過小，色溫向兩極端發展。對于HE算法，由于lab顏色空間使顏色分布得更好，能夠表達人眼所能感知到的所有顏色，所以使用cv2提供的自適應量函數應用于Lab顏色空間中的L分量，然后再轉換回RGB顏色空間。對于GC算法，首先建立映射表，然后根據圖像顏色查表完成伽馬校正。

2.2 紅色通道注意力機制

與紅、藍通道相比，綠色通道在水下保存較好。長波長的光，即紅光，在清澈的水中首先會丟失。綠色通道是比紅色通道含有相反顏色信息的通道，因此，補償紅色比其他顏色更強的衰減顯得尤為重要。

為此，我們將原始的圖像輸入以及應用白平衡（WB）、直方圖均衡化（HE）和Gamma校正（GC）算法對原始水下圖像生成 3種輸入的紅色通道單獨提取出來，對紅色通道的特征信息單獨進行增強。在編碼器網絡中，特征通道數目的數量從256減少到 128再減少到 64，而在解碼器網絡中特征通道數目從64增加到到128再增加到256。所有的卷積層都有相同的內核大小，即 3×3。將經過一系列卷積得到的結果經過3×3卷積得到RSAM模塊的原始輸入。RSAM模塊主要用于生成紅色通道的增強結果，在 RSAM模塊中特征圖的通道數由256下采樣至4通道然后上采樣回256通道，這里使用Sigmod激活函數后與RSAM的原始輸入進行像素級別的乘法，Sigmoid函數的輸出在（0，1）之間，輸出范圍有限，優化穩定，可以用作輸出層。最后，為了防止在采樣過程中丟失原始紅色通道的特征信息，與輸入 RSAM 模塊之前的卷積結果進行像素級別的加法得到最終的紅色通道增強結果。

2.3 網絡結構

RCANet首先將原始圖像以及經過預處理之后的白平衡（WB）、直方圖均衡化（HE）和Gamma校正（GC）算法得到的圖像經過concat連接在一起提供給提出的RCANet來預測置信圖。在融合網絡中，通道數由512減少至256然后減少至128最后經過一個3×3卷積得到置信圖。在通道數目不變的層之間，特征圖依次通過 7×7，5×5，3×3的卷積操作，采用不同尺寸的卷積核獲取更多通道數目的特征，有利于充分利用特征圖的通道信息。在執行融合之前，需要將通過殘差網絡得到的紅色通道增強結果與置信圖逐像素相加得到增強后的置信圖。然后，我們添加了3個特征轉換單元來細化這3個輸入。特征轉換單元的目的是減少由WB、HE和GC算法引入的顏色投射和偽影。最后，將改進后的 3個輸入乘以 3個學習到的增強置信度圖，得到最終的增強結果：

其中：Ien為最終增強結果；⊙為矩陣的元素乘積；RWB、RHE、RGC分別為 WB、HE、GC算法處理后的輸入細化結果；CWB、CHE、CGC為學習的置信圖；EWB、EHE、EGC分別為原始圖像WB、HE、GC算法處理后的圖像的紅色通道經過殘差網絡得到的增強結果。

3 實驗

在本節中首先介紹了實驗所采用的數據集及實驗設置、水下圖像增強效果的評價指標以及實施的細節。然后，我們進行了消融實驗，證明了紅色通道注意力機制的有效性。最后通過對比試驗，證明了所提出的RCANet的優勢。

3.1 數據集及實驗設置

本文采用UFO-120和EUVP數據集進行評估。UFO-120數據集包含 1 500個樣本用于訓練和驗證，另外120個樣本用于測試。另一方面，在EUVP數據集中使用3 500張成對的圖像作為訓練和驗證樣本和515個樣本用于評估。在訓練過程中，圖像被調整到112×112。我們在配備Intel（R）i7 6700 CPU、32GB RAM 和 NVIDIA GeForce GTX 1080 Ti GPU的 PC上使用 TensorFlow實現了建議的RCANet。在訓練期間，應用了批處理大小為8的批處理模式學習方法。將學習率初始化為 1e-3，并且每50次迭代將學習率降低0.1，直到所提出的RCANet收斂。

3.2 評價指標

選擇峰值信噪比（PSNR）、結構相似度（SSIM）作為評估模型優劣的指標，這2個指標是通過基于先驗的方法得到的。

自然圖像具有極高的結構性，表現在圖像的像素間存在著很強的相關性，這些相關性在視覺場景中攜帶著關于物體結構的重要信息。所以通過探測結構信息是否改變來感知圖像失真的近似信息，衡量2幅圖像的相似度。結構相似性的計算公式為

式中：x，y為輸入的2幅圖像；μ為圖像的平均灰度；σ為圖像的標準差；C為平衡參數。SSIM函數的值域為[0，1]，值越大說明圖像失真越小，2幅圖像越相似。

PSNR在圖像處理上主要用于量化受有損壓縮影響的圖像和視頻的重建質量。PSNR通過均方誤差MSE表示，給定一個無噪聲的m×n單色圖像I及其噪聲近似值K，MSE定義為

PSNR定義為

式中，MAX是圖像中最大可能的像素值，如使用的是8位像素，那么MAX就是255。

3.3 實施

從 UFO-120和EUVP中提取的 5 200對圖像用于生成訓練集。由于內存有限，我們將輸入圖像的大小調整為 112×112。翻轉和旋轉用于獲得原始訓練數據的 7個額外增強版本。UFO-120和EUVP數據集中的其余 635對圖像被視為測試集。為了減少由L1和L2等像素損失函數引起的偽影，我們最小化感知損失函數來學習水下圖像增強的映射函數。受到啟發，我們基于預訓練的 19層 VGG網絡的 Relu激活層定義了感知損失。設φj(x)為在 ImageNet數據集上預訓練的 VGG19網絡φ的第j個卷積層（激活后）。感知損失表示為增強圖像Ien和參考圖像Igt的特征表示之間的距離：

式中：N為訓練過程中每批的數量；Cj、Hj、Wj分別為特征圖的數量、高度、寬度，Cj HjWj是VGG19網絡中第j個卷積層的特征映射的維度。

3.4 對比試驗

我們選擇峰值信噪比（PSNR）、結構相似度（SSIM）作為模型定量評價的客觀指標，選擇了2個基于先驗的方法DCP和IBLA以及2個基于深度學習的方法Water-Net和U-GAN與我們的方法進行公平的比較。在EUVP測試集下得到的結果如圖4所示，表示為平均PSNR和SSIM±√方差。其中紅色表示最優的結果，藍色表示次優的結果。

圖4 對比實驗結果指標Fig.4 Results of contrast experiment

在UFO-120和EUVP測試集中隨機抽取圖像分別用DCP、IBLA、Water-Net、U-GAN以及我們的模型進行測試，得到的增強圖像如圖5所示。

圖5 增強效果對比Fig.5 Enhancement effect comparison

先前方法估計的增強結果在色調校正方面存在不足，在某些區域存在一些顏色畸變。與現有的方法相比，我們的方法在去除水和偽影/失真抑制方面具有更好的性能。

3.5 消融實驗

我們分析了預處理過程中白平衡（WB）、直方圖均衡化（HE）和Gamma校正（GC）算法和RSAM模塊的優勢。對EUVP數據集的實驗測試結果如表1所示。首先，在編號1、2、3中，我們分別不使用白平衡算法（WB），直方圖均衡化算法（HE）和Gamma校正（GC）算法進行預處理，它們的表現不太令人滿意，PSNR分別下降了4.4、3.54、4.51，SSIM分別下降了0.1、0.09、0.19。在編號4中，我們使用預處理算法但是不構建 RSAM模塊，此時的PSNR和SSIM分別只有18.81和0.74。消融實驗的結果證明了我們的預處理算法和紅色通道注意力機制的有效性。

表1 消融實驗結果指標Table 1 Results of ablation experiment

3.6 算法局限性分析

本文提出的 RCANet采用融合的策略獲得輸入，基于融合的策略可以獲得更好的處理結果，使模型獲得更強的泛化能力，但是比較依賴多個預處理操作，無法直接端到端地得到增強結果。

我們采用小分辨率圖像以及小型網絡框架進行訓練，使用更加深層的網絡結構以及高分辨率圖像參與訓練可以進一步提升模型的精確度。但這樣做會增加模型的復雜度，增加模型訓練的時間。需要在模型的精確度以及模型的復雜度做出取舍，這是我們今后工作的一個研究方向。

4 結束語

本文通過提出一種紅色通道注意力機制的水下圖像增強模型，解決了水下圖像對比度低、細節模糊等問題，為后續的水下目標探測識別創造了有利條件。通過對特征圖多通道特征信息的利用以及紅色通道注意力機制的構建，提高了模型的性能。基于融合的策略，對原始圖形進行多種預處理并融合增強圖像，提高了模型的泛化能力。本文提出的算法不僅可以幫助水下機器人收集更高質量的水下圖像，而且對未來的海洋資源開發利用具有重要意義。