基于多尺度塊級聯的水下圖像增強算法

郝駿宇，楊鴻波，侯 霞，張 洋

（北京信息科技大學 自動化學院，北京 100089）

1 引言

水下機器人在海洋石油鉆探、海底隧道、管道搭建和水產養殖等水下作業任務中，需要穩定清晰的水下圖像予以輔助分析。由于紅、綠、藍3種光的衰減率不同，紅色光在水下衰減最為嚴重，圖像表現出嚴重的藍綠色偏。此外，水下懸浮的微粒會使光產生散射作用，這會導致水下圖像出現低對比度、模糊和有霧的現象［1-4］。

針對上述水下圖像的特點，改善水下圖像質量的方法一般分為兩大類。一類是水下圖像增強（Underwater Image Enhancement，UIE）算法。基于深度學習的UIE 算法側重于調整圖像對比度、清晰度和色彩以提高人體視覺感知質量，而不依賴于水下成像模型。2017 年，Perez 等人提出了一種基于卷積神經網絡［5］的水下圖像增強方法，第一次將深度學習方法應用于水下圖像增強領域。該方法采用簡單的卷積層堆疊構成整個增強網絡，難以有效解決色偏問題，且對比度較低［6］。2019 年，Nan Wang 等人提出的UWGAN 采用3 次下降的UNET 網絡來進行水下圖像的增強，但是無法去除局部霧化的情況，且增強后的圖像存在亮部曝光過度的問題［7］。2021 年，Jiang 等人的兩步域水下圖像增強算法，首先用CycleGAN 生成擁有地面風格但有一定霧化情況的中間域圖像，接著用去霧算法對其進一步增強到目標域。此算法經過兩個階段的增強，生成圖像具有模糊現象［8］。2021 年，李微對UWGAN 進行了改進，首先用改進JM 退化模型建立GAN 網絡，接著在UNET 網絡中加入一個注意力機制，從而提高網絡的魯棒性［9］。2021年，Deep-WaveNet使用UIEB 的成對數據集，通過在其3 層波浪式結構中加入CBAM 注意力模塊構建了一個增強網絡。該方法采用卷積和注意力機制融合的方法進行增強，但單一的卷積核尺寸和上下采樣結構使得網絡無法泛化到其他風格的圖像［10］。2022 年，Qi 等人提出了以語義分割引導的卷積神經網絡增強方法，通過嵌入不同的特征提取塊進行圖像增強。該方法同樣因為使用單一的卷積核尺寸和上采樣和下采樣結構，從而難以解決水下圖像局部霧化的情況［11］。另一類是水下圖像恢復（Underwater Image Restoration，UIR）算法。基于深度學習的UIR 算法［12-15］主要是根據水下圖像建立退化模型，將水下圖像根據建立的退化公式恢復到未退化狀態。這類算法只能估計一種水下風格的參數，無法對其他風格的圖像進行恢復，通用性較差，水下機器人等設備在不同風格的水下環境中無法直接使用。

綜上所述，目前基于深度學習的UIE 網絡一般采用單一的卷積尺寸和上下采樣方式，導致增強后的圖像存在色偏、霧化和細節丟失等質量較低的問題。針對這一問題，本文借鑒大氣圖像降噪的SOTA 算法［16-18］中通過構建特征提取塊進行級聯的思想，構建了基于3 個多尺度特征提取模塊，并據此提出了完整的UIE 網絡水下圖像增強框架，從而實現了水下圖像端到端的增強任務。為進一步增加網絡的特征提取能力，在網絡高維特征空間中添加了CBAM 注意力機制［19］。實驗結果表明，本文算法可以有效解決水下圖像的色偏、霧化和細節丟失的問題，在對增強結果的主觀分析和客觀指標評價中均優于其他算法。

2 本文方法

針對現有基于深度學習的算法特征提取較為單一的問題，本文借鑒特征提取塊級聯的思想，在編解碼網絡的基礎上構建出3 個功能模塊，并以級聯的方式構建出整個增強網絡。

2.1 整體框架

網絡整體框架如圖1所示，包括4種主要組件，分別是下采樣模塊（Downsampling Module，DM）、上采樣模塊（Upsampling Module，UM）、特征提取模塊（Feature Extraction Module，FEM）和CBAM模塊。網絡以尺寸為256×256 的水下RGB 圖像作為輸入，使用兩個DM 模塊、兩個UM 模塊、一個CBAM 注意力模塊和4 個FEM 模塊構建整個編解碼網絡。此外，為降低圖像信息損失進行了兩次跳躍鏈接，第一次將輸出特征F1 和輸出特征U1進行通道合并后輸入FEM3 模塊，第二次將輸入圖像和輸出特征U2 進行通道合并后輸入FEM4模塊進行特征提取。在訓練時，輸出圖像與清晰的參考圖像計算損失。在訓練完成后，可以端到端地對水下圖像進行增強。

圖1 算法整體框架圖Fig.1 Overall framework of the algorithm

2.2 DM 模塊

在視覺任務中，為提高特征感受野和降低網絡參數量，需要對圖像進行下采樣。卷積下采樣在訓練過程中的參數需要學習，生成的縮略圖能提取更加符合網絡任務的特征，最大值池化下采樣注重圖像紋理特征的提取。均值池化下采樣偏向于保留圖像的全局特征，所以不同的下采樣方式對特征提取的側重點不同，如果能使用不同的下采樣方式對特征進行下采樣，就可以得到更豐富的特征信息。

為解決圖像下采樣過程中特征提取不充分和信息損失較大的問題，我們采用融合3 種不同方式的方法構建了DM 模塊對圖像進行下采樣。如圖2 所示，DM 模塊首先分別采取步長為2×2的卷積、最大值池化和均值池化3 種方式對圖像進行下采樣；其次對最大池化特征和均值池化特征進行通道合并，并經過一層批量歸一化層（Batch Normalization，BN）；然后合并卷積下采樣和上一步的輸出特征；接著經過一層3×3 的卷積層；最后經過一層LeakRelu 激活層進行非線性激活。

圖2 DM 模塊結構圖Fig.2 DM module structure diagram

2.3 UM 模塊

如圖3 所示，UM 模塊和DM 模塊原理相同。為獲取多層次的圖像特征，我們采用轉置卷積和線性插值兩種不同的上采樣方式對特征進行上采樣。輸入特征首先分別經過轉置卷積和線性插值對特征進行上采樣，其次對線性插值后的特征進行批量歸一化，接著對轉置卷積通道和線性插值通道進行通道合并，最后經過一層3×3 的卷積神經網絡，并經過一層LeakRelu 輸出特征。

圖3 UM 模塊結構圖Fig.3 UM module structure diagram

2.4 FEM 模塊

不同大小的卷積核可以提取不同細粒度的圖像特征，在圖像增強領域，往往會因為圖像特征提取不充分而導致圖像細節丟失嚴重。如圖4 所示，FEM 模塊首先使用3×3、5×5 和7×7 的卷積層分別對輸入特征進行特征提取，并經過LeakRelu進行非線性激活；其次對3 個尺度提取的特征進行通道合并；接著經過一層卷積核為3×3 的卷積把通道降維到和輸入特征一樣，經過一層LeakRelu激活層；接著把輸入特征和上一步的多尺度提取完的特征進行通道合并；最后再經過一層3×3 的卷積層，并經過BN 層和LeakRelu 層輸出特征。

圖4 FEM 模塊結構圖Fig.4 FEM module structure diagram

2.5 CBAM 注意力機制

為進一步提高網絡特征提取能力，本文在圖像高維特征空間中引入CBAM 注意力機制。如圖5 所示，CBAM 注意力機制從通道（Channel）和空間（Spatial）兩個維度對輸入特征進行注意力集中。通道注意力模塊通過對輸入特征的每個通道進行特征篩選，輸出每個通道的注意力圖。空間注意力模塊通過對輸入特征進行空間特征融合得到空間注意力圖，然后將獲得的注意力圖與輸入特征相乘以進行自適應特征集中。

圖5 CBAM 注意力機制結構圖Fig.5 Structural diagram of CBAM attention mechanism

2.6 損失函數

目前，大部分基于深度學習的任務都是基于經驗風險最小化（Empirical Risk Minization，ERM）進行有監督訓練，損失函數對任務的最終結果至關重要。所以在基于深度學習的水下圖像增強研究中，損失函數對圖像增強結果的影響也非常重要。經過大量實驗分析，我們使用公式（1）～（3）中的LALL作為損失函數。

其中：L1為平均絕對誤差（Mean Absolute Error，MAE），簡稱L1損失。E(x)為輸出圖像，T(x)為參考圖像，N為圖像三通道像素總數。LSSIM為結構相似性（Structural Similarity Index，SSIM）損失，簡稱SSIM 損失，SSIM(x，y)表示圖像亮度、對比度和結構組成的結構相似度數值。

3 實驗結果

3.1 實驗設置

本實驗采用UIEB［20］公開數據集，此數據集共有890 張原始水下圖像以及相對應的清晰參考圖像。此數據集包含豐富的水下場景，涵蓋大部分水下退化風格，有利于驗證本文結果的有效性。在模型訓練中，我們將batchsize 設置為8，一共100 個epoch，圖像輸入和輸出大小均為256×256，學習率設置為0.000 1，最優化下降方法使用Adam算法。

3.2 結果分析

本文使用UIEB 公開數據集進行對比實驗。為充分展示圖像增強效果，我們對增強后的圖像從主觀分析、客觀指標分析和應用分析3 個角度進行實驗分析。

3.2.1 主觀分析

UIEB 數據集為混合風格的水下圖像數據集，包含海洋生物、水下設備、水下建筑和海底風貌等風格迥異的水下圖像。為驗證所提算法框架的直觀增強效果，我們將本文方法與UDCP［21］、Deep-WaveNet［10］、CycleGAN［22］、CLAHE［23］、IBLA［24］和ICM［25］算法進行比較。

圖6（a）～圖6（e）為5 組不同場景的原始水下圖像及增強結果，圖6（f）為圖6（d）中方框的局部放大圖。通過主觀分析可以看出，UDCP 算法對水下圖像具有一定程度的去霧效果，但難以解決水下圖像的色偏問題。在UDCP 算法的增強結果中，圖6（a）～圖6（d）的增強結果有明顯的紅色色偏現象，由圖6（f）可以看出偏暗的區域細節信息丟失嚴重，但存在嚴重的紅色色偏現象。Deep-WaveNet 算法對水下圖像的去霧和糾正色偏均有一定的效果，但整體效果低于本文算法。在其增強結果中，圖6（a）和圖6（c）的背景色存在增強過度的現象，圖6（b）、圖6（d）和圖6（e）的亮度較低，由局部放大圖6（f）可以看出細節損失較大，霧化程度較高。CycleGAN 算法的增強結果存在模糊失真的現象。在其增強結果中，圖6（a）有嚴重的偽影，圖6（b）～圖6（d）的霧化程度較高，由圖6（f）可以看出細節信息丟失嚴重。CLAHE 算法去霧能力較差，由其增強結果可以看出，圖6（a）、圖6（b）和圖6（e）存在明顯的霧化現象，由局部放大圖6（f）也可以看出存在一定程度的模糊現象。IBLA 算法存在嚴重的色偏和亮度失衡現象，由其增強結果可以看出，圖6（a）和圖6（b）增強程度較小，圖6（c）～圖6（f）整體偏暗且均存在色偏問題，由圖6（f）可以看出偏暗的區域細節信息丟失嚴重。ICM 算法去霧能力較差，由其增強結果可以看出，圖6（a）～圖6（e）均存在大量的霧化現象，由圖6（f）觀察可知圖像存在細節丟失現象。本文算法具有良好的去霧和糾正色偏能力，由增強結果可以看出，圖6（a）～圖6（d）的去霧效果最佳，且顏色最為均衡，沒有色偏現象，圖6（e）的前景對比度最高，顏色較為自然，由圖6（f）可以看出，本文算法能最大程度地保留了圖像的細節信息。

圖6 （a）～（e）不同場景的實驗效果對比圖；（f）圖6（d）中方框的局部放大圖。Fig.6 （a）～（e） Comparison of experimental results of different scenes；（f） Partical enlarged drawing of Fig.6（d）.

綜上所述，現有的水下圖像增強算法在去霧、糾正色偏和細節信息保留方面存在一定程度的缺點。相比之下，本文提出的算法最大程度地修正了水下圖像的色偏和霧化現象，結果圖具有真實的顏色特點，并且較好地保留了圖像細節信息，具有良好的視覺效果。

3.2.2 客觀指標分析

本文采用峰值信噪比（ Peak Signal To Noise Ratio，PSNR）［26］、結構相似度（Structural Similarity Index Measure，SSIM）［26］、視覺信息保真度（Visual Information Fidelity，VIF）［27］和水下圖像質量估計（Underwater Image Quality Measure，UIQM）［28］4 種客觀評價指標對增強結果的質量進行量化分析。

PSNR 指標為圖像最大可能功率和影響它的表示精度的破壞性噪聲功率的比值，PSNR 值越大說明圖像噪聲越小，保留有更多有價值的圖像信息。SSIM 指標可以量化圖像的亮度、對比度和結構保留度等方面的圖像質量，SSIM 值越大說明增強后的圖像亮度、對比度和結構保留度越好。VIF 指標通過量化增強后的圖像和標注圖像之間共享的香農信息，從而定量表示圖像的質量，VIF 值越高表示圖像質量越高。UIQM 指標是一種基于人類視覺成像系統的無參考水下圖像質量評價指標，UIQM 值越高說明圖像的色彩平衡度、清晰度和對比度越高。以上4 種評價指標的值越大，表示圖像的整體質量越高。

由表1可以看出，本文所提算法在PSNR、SSIM、VIF 和UIQM 指標上均遠高于其余算法。與其他客觀指標最高的算法相比，本文算法的PSNR指標提高了6.9%，說明本文算法去霧（噪聲）能力好于其他算法。本文算法的SSIM 指標提高了8.0%，說明本文算法增強后的圖像在亮度、對比度和結構保留度等方面優于其他算法。本文算法的VIF 指標提高了8.5%，說明本文算法增強后的圖像整體質量高于其他算法。本文算法的UIQM 指標提高了7.7%，說明本文算法增強后的圖像在色彩平衡度、清晰度和對比度優于其他算法，可以最有效地糾正水下圖像的色偏現象。結合主觀評價結果，本文算法的增強效果最為顯著，在去霧、糾正色偏和細節保留等方面具有最佳增強效果。綜合主客觀分析可以得知，本文算法增強后的圖像質量最高。

表1 不同算法的客觀評價對比Tab.1 Comparison of objective evaluation of different algorithms

3.2.3 應用分析

在水下機器人等水下設備中，圖像增強算法一般為其他視覺任務的前置算法，可以為后續的圖像處理提供高質量的圖像輸入。

為進一步驗證本文算法和其他算法對其他視覺任務性能的提升效果，我們使用SIFT 特征點檢測和Canny 邊緣檢測算法對增強效果進行對比分析。SIFT 特征點檢測是視覺處理中獲取圖像特征的一種常用方法，圖像特征越多代表圖像內容信息越豐富。Canny 邊緣檢測是為了尋找圖像像素變化最劇烈的區域，檢測結果可以直觀地反映圖像所包含的結構信息，越多的邊緣信息代表越豐富的細節信息。

如圖7 所示，其中（a）組圖像為原始水下圖像及各種算法的增強結果，（b）組圖像為SIFT 特征點檢測結果圖，（c）組圖像為Canny 邊緣檢測示意圖。通過觀察圖7（b）發現，本文算法增強后的圖像在SIFT 特征點檢測中可以檢測到更多的特征點。在圓圈內，本文算法可以檢測到3 個特征點，UDCP 和CycleGAN 算法可以檢測到2 個特征點，CLAHE 算法和IBLA 算法可以檢測出1 個特征點，原圖和DeepWaveNet 算法檢測出的特征點數為0。通過觀察圖7（c）發現，本文算法增強后的圖像在Canny 邊緣檢測中可以檢測到豐富的輪廓，在圓圈內，本文算法可以檢測到最多的輪廓信息，UDCP 算法、Deep-WaveNet 算法和CLAHE 算法可以檢測到少量輪廓，其他算法檢測不到輪廓。

圖7 SIFT 特征點檢測與Canny 邊緣檢測效果對比圖。（a）原始水下圖像及各種算法的增強結果；（b） SIFT 特征點檢測結果；（c） Canny 邊緣檢測示意圖。Fig.7 Comparison of SIFT feature point detection and Canny edge detection effect.（a） Original underwater images and enhancement results of various algorithms；（b） SIFT feature point detection results；（c） Schematic diagrams of Canny edge detection.

為進一步對上述觀察結果進行量化，我們對特征點數和邊緣檢測結果圖的輪廓數進行統計。如表2 所示，本文算法檢測出的特征點數和邊緣檢測圖輪廓數遠高于原始圖像和其他算法，其中特征點數和其他算法相比提高了8.44%，邊緣檢測圖輪廓數和其他算法相比提高了11.43%。

表2 不同算法的對比Tab.2 Comparison of objective evaluation of different algorithms

由此分析可知，本文提出的算法可以檢測出更多的特征點和圖像邊緣信息。與其他算法相比，本文算法增強后的圖像可以最大程度地提高其他視覺任務性能，即圖像質量高于其他算法。

3.3 消融實驗

為驗證本文所提框架中每個模塊的有效性，我們對DM 模塊、UM 模塊、FEM 模塊和CBAM 注意力機制分別進行了消融實驗。在DM 模塊只保留最大池化下采樣方式進行對比，在UM 模塊只保留轉置卷積上采樣方法進行對比，在FEM 特征提取模塊的并行卷積部分只保留3×3 的卷積通道。此外，我們也對CBAM 注意力機制模塊進行了消融實驗。

消融結果如表3 所示，在PSNR 指標中，DM模塊提升了27%，UM 模塊提升了11.4%，FEM模塊提升了33.0%，CBAM 模塊提升了7.6%，表明所有模塊均有去霧效果，其中FEM 模塊的去霧效果最為顯著；在SSIM 指標中，DM 模塊提升了13.8%，UM 模塊提升了10.6%，FEM 模塊提升了26.6%，CBAM 模塊提升了8.51%，表明所有模塊對圖像亮度、對比度和結構保留度均有明顯的質量提升效果，其中FEM 模塊提升效果最顯著；在VIF 指標中，DM 模塊提升了20.2%，UM 模塊提升了18.0%，FEM 模塊提升了20.2%，CBAM 模塊提升了7.87%，表明所有模塊對圖像整體質量的提升均有明顯作用，其中DM 模塊和FEM 模塊的提升作用最顯著；在UIQM 指標中，DM 模塊提升了17.86%，UM 模塊提升了11.90%，FEM 模塊提升了22.6%，CBAM 模塊提升了1.19%，表明所有模塊對圖像的色彩平衡度、清晰度和對比度均有提升，可以有效糾正圖像的色偏問題，其中FEM 模塊的提升作用最顯著。

表3 消融實驗的指標對比Tab.3 Comparison of objective evaluation of ablation experiments

綜上所述，對4 個評價指標的對比結果表明本文算法中的4 個模塊都可以有效提升圖像質量，對整體網絡的去霧和糾正色偏能力均有較大的貢獻。

4 結論

針對現有算法處理后的圖像存在色偏、對比度低、細節丟失嚴重和局部霧化等難以解決的問題，本文采用多尺度特征提取的方式構建了基于多尺度特征融合思想的DM 模塊、UM 模塊和FEM 模塊，并在此基礎上提出了一個水下圖像增強框架。為進一步提高神經網絡的魯棒性和對圖像的特征提取能力，我們在網絡高維特征空間中添加了CBAM 注意力機制。結果表明，本文算法有效校正了水下圖像的色偏和霧化問題。主觀分析、客觀指標分析和應用分析結果均說明本文算法優于其他算法。