基于圖像融合及YOLOv3 的水下生物目標識別研究

林秦輝，甘屹，王雙園

（200093 上海市 上海理工大學(xué) 機械工程學(xué)院）

0 引言

海底蘊含著豐富的資源，隨著陸地資源的日益匱乏，海洋逐漸成為各個國家爭奪的焦點[1]。水下探測技術(shù)對海洋資源的探索、海洋軍事的應(yīng)用等具有重要意義[2]。目前，光學(xué)探測和聲吶探測是水下探測的兩種主要手段。相比于水下聲吶圖像，水下光學(xué)圖像具有分辨率高、視覺感知信息豐富等特點，因此基于光學(xué)圖像的水下探測技術(shù)具有聲吶探測無法代替的優(yōu)勢。但是，基于光學(xué)圖像的水下探測技術(shù)在應(yīng)用時，由于海水具有吸收光線最長波長的物理特性，紅光被吸收，導(dǎo)致水下圖像呈現(xiàn)綠色和藍色的問題，而且水介質(zhì)中的顆粒對入射光產(chǎn)生散射效應(yīng)[3]，導(dǎo)致了水下出現(xiàn)圖像對比度低等問題。

對水下圖像預(yù)處理通常采用圖像增強或圖像恢復(fù)的方法[4]。圖像增強常采用基于直方圖處理方法進行圖像增強,能夠有效提高圖像對比度。文獻[5]使用直方圖均衡化對圖像進行圖像增強。該方法把集中在某個灰度區(qū)間內(nèi)的原始圖像直方圖均勻分布在圖像的全部灰度范圍內(nèi)，從而提高圖像對比度，但這會導(dǎo)致原始圖像某些細節(jié)被抹去；文獻[6]提出一種自適應(yīng)直方圖均衡法對圖像進行增強。通過計算圖像的局部直方圖，重新分布亮度來提高圖像對比度，因此該算法更適合于改進圖像的局部對比度以及獲得更多的圖像細節(jié)，但是也存在著有過度放大圖像中相同區(qū)域的噪聲的問題。

在圖像恢復(fù)方面，常采用色彩恢復(fù)方法進行圖像恢復(fù)，該方法能較好還原圖像色彩，解決圖像色彩失真問題。Ramo[7]等人提出了一種基于k-means 算法進行色彩恢復(fù)的方法，通過將相似的顏色聚合在一起，減少圖像的顏色數(shù)量，以此來對色彩進行恢復(fù)，但是該方法在減少顏色數(shù)量的同時會導(dǎo)致圖像大小的變化；黃黎紅[8]提出了一種暗通道去霧算法，在不改變原圖像大小的同時，認為空氣中的霧圖像和水下圖像的低對比度均是因光被吸收和光的散射所導(dǎo)致的，因此將暗原色先驗去霧算法直接用于水下圖像增強，但實驗證明該算法只能提高圖像對比度，而圖像色彩恢復(fù)效果較差。

基于圖像融合的算法應(yīng)用范圍廣，可有效解決水下圖像對比度低、顏色失真等多方面問題，本文提出了一種水下圖像增強與恢復(fù)融合算法。首先應(yīng)用CLAHE(限制對比度自適應(yīng)直方圖均衡)在輸入的RGB(紅黃藍)圖像的3 個通道顏色進行色彩恢復(fù)，得到色彩恢復(fù)圖像[9]，在整個動態(tài)范圍內(nèi)對輸入的RGB 圖像的3 個通道進行對比度拉伸，得到對比度拉伸圖像[10]，然后使用基于加權(quán)拉普拉斯金字塔融合方法對色彩恢復(fù)圖像、對比度拉伸圖像進行多尺度融合，獲得高質(zhì)量的水下圖像，最后將原圖像和融合算法處理后的圖像分別采用目標檢測網(wǎng)絡(luò)YOLOv3 進行訓(xùn)練和預(yù)測，比較兩種圖像的識別準確率。

1 圖像增強和恢復(fù)融合算法

本文提出的圖像增強和圖像恢復(fù)融合算法，首先對水下圖像進行色彩恢復(fù)，獲得色彩恢復(fù)圖像，與此同時對水下圖像進行對比度拉伸，獲得對比度拉伸圖像，分別計算兩幅圖像的色彩、亮度權(quán)重，并對權(quán)重進行歸一化處理，最后根據(jù)歸一化后的權(quán)重進行圖像融合。其基本工作流程如圖1 所示。

圖1 圖像增強和恢復(fù)融合算法的工作流程圖Fig.1 Work flow chart of image enhancement and restoration fusion algorithm

對圖1 所獲得的輸出圖像采用SSIM(結(jié)構(gòu)相似性)[11]進行評價，計算得到的圖像SSIM 值越接近1，說明圖像5 增強和恢復(fù)融合的效果越好。SSIM 公式是根據(jù)原始圖像a 和處理后的圖像b中的3 個變量：亮度L（a，b）、對比度C（a，b）和結(jié)構(gòu)S（a，b）構(gòu)成，計算公式如式（1）、式（2）所示。

式中：μa——a的均值；μb——b的均值；——a 的方差；——b 的方差；σab——a 和b的協(xié)方差；SSIM（a，b）——計算的結(jié)構(gòu)相似性值；c1，c1，c1——常數(shù)，避免出現(xiàn)0值。

1.1 水下圖像圖像增強

水中雜質(zhì)會對光線產(chǎn)生散射效應(yīng)，導(dǎo)致圖像出現(xiàn)對比度低等問題。為了解決上述問題，采用圖像增強中的對比度拉伸方法處理所有顏色通道的直方圖，以覆蓋整個圖像范圍，即可提高圖像對比度。通過式（3）對圖像的對比度進行拉伸處理。為了防止對比度拉伸過程中帶來的噪聲問題，采用雙邊濾波方法過濾噪聲，并能減少圖像的邊緣信息的丟失。式（4）表示對輸出圖像進行雙邊濾波處理。

式中：（x，y）——二維圖像的坐標；CI（x，y）——對比度拉伸后的圖像；maxI，minI——每個顏色通道的最大和最小強度值；max，min——最大和最小強度值；B[CI（x，y）]——對圖像進行雙邊濾波后的圖像。

經(jīng)對比度拉伸后，得到對比度后的圖像的3D 直方圖，如圖2 所示。對比拉伸前后的圖像3D 直方圖可以看出，拉伸后的RGB 顏色直方圖在平面范圍內(nèi)由[-10，10]延伸至[-50，50],使得對比度拉伸后的圖像直方圖分布更均勻。對比度拉伸前后的圖像效果如圖3 所示。計算對比度拉伸前后圖片的SSIM 值，圖3（a）約為0.81，圖3（b）約為0.85，可知圖3（b）圖像直方圖在整個圖像范圍內(nèi)分布更均勻，水下圖像對比度得到提高。

圖2 對比度拉伸前后圖像3D 直方圖Fig.2 3D histogram of images before and after contrast stretching

圖3 原始圖片和經(jīng)對比度拉伸后的圖像Fig.3 Original image and contrast-stretched image

1.2 水下圖像色彩恢復(fù)

由于海水的光學(xué)特征，光線在水下傳播，紅光被完全吸收，導(dǎo)致大多數(shù)圖像顯示為綠色或藍色，光在水中的衰減情況如圖4 所示[12]。為了解決水下圖像失真問題，采用CLAHE 算法對失真的圖像進行色彩恢復(fù)。CLAHE 算法[13]包括以下5 個步驟：（1）將原圖像分成n×n 個大小相等且互不疊加的子塊；（2）計算每個子塊的直方圖；（3）計算裁剪幅值T；（4）裁剪直方圖，并對像素點進行分配；（5）對重新分配以后的子塊直方圖進行均衡化處理。經(jīng)過CLAHE 算法處理前后的圖像如圖5 所示。由SSIM 公式計算出色彩恢復(fù)前后的圖像的SSIM 值，圖5（a）約為0.81，圖5（b）約為0.89。對比SSIM 值可知色彩恢復(fù)后圖像的紅、綠、藍各通道色彩更均衡，圖像色彩失真問題得到有效改善。

圖4 水下光線吸收示意圖Fig.4 Schematic diagram of underwater light absorption

圖5 原始圖像和經(jīng)色彩恢復(fù)后的圖像Fig.5 Original image and image after color restoration

1.3 權(quán)重歸一化

在圖像融合前需計算圖像色彩權(quán)重、亮度權(quán)重，為了消除權(quán)重之間單位和尺度差異的影響，以對每個權(quán)重同等看待，需對權(quán)重進行歸一化處理。

色彩權(quán)重用于調(diào)節(jié)輸入圖像的色彩在輸出圖像中的比率。該權(quán)重的計算見式（5）：

式中：Wc,i（x，y）——第i 張圖像色彩權(quán)重；Li（x，y）——輸入圖像灰度圖；Si（x，y）——輸入圖像的飽和度；Hi（x，y）——輸入圖像的色調(diào) 。

為了賦予亮度適中的像素點較大的權(quán)重，賦予過亮或過暗的像素點較小的權(quán)重，亮度權(quán)重按式（6）進行計算：

式中：WB,i（x，y）——亮度權(quán)重。

對權(quán)重進行歸一化處理如式（7）所示。

式中：W(x,y)——歸一化處理后的權(quán)重。

1.4 基于多尺度的拉普拉斯金字塔融合方法

如果將色彩恢復(fù)圖像和對比度拉伸圖像直接疊加，將會導(dǎo)致偽影現(xiàn)象[14]。為避免產(chǎn)生偽影，本文采用多尺度融合方法，具體如下：（1）首先采用多尺度拉普拉斯法,將各輸入圖像分解為多尺度的拉普拉斯金字塔；（2）采用高斯濾波算子,將各權(quán)重圖分解為多尺度的高斯金字塔；（3）對拉普拉斯金字塔和高斯金字塔在各尺度上進行融合；（4）將金字塔還原為輸出圖像。多尺度融合計算式如式（8）所示：

式中：F（lx，y）——輸出的圖像金字塔；——對歸一化的權(quán)重進行高斯金字塔分解；Ll（Ik（x，y））——將輸入的圖像進行拉普拉斯金字塔分解。最后，采用式（9）對輸出的金字塔圖像進行處理，即

式中：O（x，y）——最終輸出圖像；A（Fl（x，y））——對圖像金字塔進行向上采樣操作。融合前后的效果圖如圖6 所示。計算融合前后圖片的SSIM 值，圖6（a）約為0.81，圖6（b）約為0.94。文獻[15]提出了一種基于多尺度注意力融合和CNN 的水下圖像恢復(fù)方法，使用SSIM 評價融合后的水下圖像質(zhì)量，其融合后圖像SSIM 值約為0.927 8。對比SSIM 值可知，經(jīng)本文算法處理后的圖像，SSIM 值提高了2%，因此本文提出的圖像增強融合算法處理后的圖像色彩更均衡，圖像對比度得到提高，有效改善了水下圖像質(zhì)量。

圖6 色彩恢復(fù)和對比度拉伸融合后的圖像Fig.6 Image after color restoration and contrast stretch fusion

2 實驗及分析

YOLOv3[16]采用one-stage 網(wǎng)絡(luò)結(jié)構(gòu)，相比于Faster-RCNN 的two-stage，網(wǎng)絡(luò)訓(xùn)練速度快很多，所以本文選擇該網(wǎng)絡(luò)進行目標檢測。該網(wǎng)絡(luò)結(jié)構(gòu)主要包括Darknet-53 網(wǎng)絡(luò)與YOLO 層兩部分。Darknet-53 作為骨干網(wǎng)絡(luò)主要用于提取圖像特征，它是全卷積網(wǎng)絡(luò)，包含53 個卷積層，并引入了殘差結(jié)構(gòu)。Darknet-53 特征提取網(wǎng)絡(luò)輸出3 個尺度的特征圖，將3 個不同尺度的特征圖通過FPN（Feature Pyramid Network）進行融合，最后將融合后的特征輸入YOLO 層進行類別預(yù)測和邊界框回歸。

本文采用水下目標檢測競賽提供的水下圖像數(shù)據(jù)集，該數(shù)據(jù)集包含5543 張圖像，其中包括JPG 格式的水下圖像集與對應(yīng)圖像的xml 標注結(jié)果文件，另外還提供800 張圖片來進行預(yù)測實驗。采用Adam 解算器進行網(wǎng)絡(luò)訓(xùn)練，設(shè)置學(xué)習(xí)率=0.0001，批量大小為1，網(wǎng)絡(luò)訓(xùn)練100 個周期。為了驗證本文提出的水下圖像增強和恢復(fù)算法對水下圖像的有效性，在實驗過程中，采用平均精確度（Mean Average Precision@0.5 MAP@0.5）評價識別精度。

在原始數(shù)據(jù)集和融合數(shù)據(jù)集下檢測方法的目標識別精確度如圖7 所示。圖7（a）中，目標檢測網(wǎng)絡(luò)在原始數(shù)據(jù)集上的識別精度約為0.27@0.5，圖7（b）融合數(shù)據(jù)集上的識別精度約為0.36@0.5。融合前后，目標檢測網(wǎng)絡(luò)的識別精度提高了約18%，利用訓(xùn)練好的YOLOv3 目標檢測網(wǎng)絡(luò)測試原始圖像的結(jié)果如圖8 所示。即使在模糊不清、顏色失真的原始圖像8（a）（b）（c）（d）中，水下生物也能夠被準確地識別出。

圖7 原始圖像和融合后圖像的模型識別精度圖Fig.7 Model recognition accuracy map of original image and fused image

圖8 模型識別圖片F(xiàn)ig.8 Model recognition picture

3 結(jié)語

本文采用圖像恢復(fù)方法對色彩失真圖像進行色彩恢復(fù)處理，同時針對水下圖像對比度低問題采用對比度拉伸方法，提高圖像對比度，然后采用拉普拉斯金字塔方法進行多尺度融合,以獲得高質(zhì)量的水下圖像，最后通過目標檢測網(wǎng)絡(luò)YOLOv3 對原始圖像和增強和恢復(fù)融合后的圖片進行訓(xùn)練和預(yù)測，最后比較兩種圖像的識別準確率大小，來驗證本文提出的圖像增強和恢復(fù)融合算法的有效性。結(jié)果表明本文算法能有效恢復(fù)水下圖像色彩以及提高水下圖像對比度。