基于視覺傳達的大型船舶航行圖像融合研究

蔣順生

(韓國東亞大學，韓國 釜山 49315)

0 引 言

大型船舶識別是海上監(jiān)測的主要內容之一，對于海域管理與船舶管理具有重要意義[1]。而圖像融合是圖像識別的重要環(huán)節(jié)，高質量的圖像融合能夠顯著提升船舶識別的準確性[2]，因此研究船舶圖像對于海域管理與船舶管理具有重要意義。賀欣等[3]采用基于ResNet 的方法進行圖像融合處理，但大型船舶航行過程中外界環(huán)境的復雜性導致該方法的實際融合效果較差。蔣一純等[4]基于圖像退化模型實現(xiàn)圖像融合目的，但該方法應用過程較為復雜，實時性能較差。羅迪等[5]利用生成對抗網絡融合圖像，但該方法融合后的圖像存在顯著細節(jié)信息丟失問題。因此研究基于視覺傳達的大型船舶航行圖像融合方法，為海域管理等研究提供新的方向。

1 大型船舶航行圖像融合方法

1.1 基于視覺傳達的大型船舶航行圖像去模糊處理

式（1）中第一個“+”前部分為保真項，第一個“+”與第二個“+”后部分分別為關于x和關于k的正則項，前者的主要目的是在大型船舶航行圖像重建過程中提升尺度不變的稀疏性，后者的主要目的是降低k的噪聲。

式（1）可由初始x與k開始，通過交替更新兩者對其進行優(yōu)化。在k被估計出來后，通過非盲去卷積算法可從模糊的大型船舶航行圖像中復原出清晰圖像f。最簡單的非盲去卷積算法為強化學習算法[6]，但該算法在實際應用過程中對模糊核具有較高敏感度，當模糊核估計產生偏差時，通過強化學習算法去模糊處理后的圖像將存在顯著的振鈴效應。針對這一問題，可通過總變分正則化方法對大型船舶航行圖像實施非盲去卷積處理，式（2）為大型船舶航行圖像去模糊處理過程中的總變分正則化模型為：

利用快速總變分圖像復原算法對式（2）進行求解，該算法在求解過程中具有運算效率高以及對模糊核較差誤差具備較強魯棒性的優(yōu)勢[7]，由此能夠獲取較高質量的去模糊大型船舶航行圖像。

1.2 基于視覺傳達的大型船舶航行圖像亮度調整

對大型船舶航行圖像進行去模糊處理后，通常會使航行圖像的亮度發(fā)生變化，為了校正去模糊后航行圖像的亮度，采用伽馬校正算法對其進行校正。該算法經由調整參數(shù) γ實現(xiàn)航行圖像像素值的非線性變換，由此調整因去模糊處理導致的航行圖像亮度變化問題，公式為：

式中：T(l)和l分別表示亮度調整后輸出的航行圖像強度和輸入的去模糊處理后航行圖像強度，lmax和 γ分別表示輸入的去模糊處理后航行圖像灰度值上限和伽馬校正系數(shù)。

在 γ>1 的條件下，航行圖像的灰度值提升，圖像整體亮度與對比度均有所提升；在 γ<1 的條件下，航行圖像的灰度值與整體亮度下降，但其對比度卻有所提升。

1.3 基于視覺傳達的圖像融合

針對2 幅去模糊與亮度調整后的航行圖像，可通過以下過程進行圖像融合處理：

步驟1 確定2 幅航行圖像的熵值，對比2 幅圖像熵值結果，以A 圖像和B 圖像分別描述熵值較大的圖像和熵值較小的圖像。通過基于二維局部均值分解算法獲取A 圖像的殘余分量，令其同B 圖像具有顯著相關性。

步驟2 通過基于方向濾波的二維局部均值分解法分解A 圖像殘余分量與B 圖像的頻率，得到高頻方向子帶與低頻子帶。

步驟3 分別對高頻子帶與低頻子帶進行融合，由此獲取高頻系數(shù)與低頻系數(shù)。

步驟4 基于所獲取的高頻系數(shù)與低頻系數(shù)，通過基于方向濾波的二維局部均值分解法的逆運算實施變化，將逆變換所獲取的結果與步驟1 中A 圖像提取殘余分量后剩余的部分結合，即可獲取融合后的大型船舶航行圖像。

1.3.1 高頻系數(shù)計算

大型船舶航行圖像的高頻部分包含圖像的主要特征與細節(jié)信息，為保障這些特征與信息不丟失，可選取基于多判據(jù)的高頻系數(shù)融合標準，經由比較區(qū)域能量與區(qū)域清晰度的不同獲取航行圖像融合過程中的高頻系數(shù)。

1）基于區(qū)域能量不同的融合標準

R1表示區(qū)域能量的對比差異，利用式(4)確定R1：

式中：EA(x,y)和EB(x,y)均表示高頻系數(shù)的區(qū)域能量，EA和EB分別表示對應窗口A 圖像與B 圖像的能量和。

若R1(x,y)>1，則說明A 圖像的區(qū)域能量對插差異值高于B 圖像，因此可選擇A 圖像高頻系數(shù)；相反選擇B 圖像的高頻系數(shù)。

2）基于區(qū)域清晰度差異的融合標準

R2表示區(qū)域清晰度對比差異，利用下式確定：

式中：CA(x,y)和CB(x,y)均表示高頻系數(shù)的區(qū)域清晰度，CA和CB分別表示對應窗口A 圖像與B 圖像的清晰度和。

若R2(x,y)>1，則說明A 圖像的區(qū)域清晰度對比差異值高于B 圖像，則選取A 圖像的高頻系數(shù)；相反選取B 圖像的高頻系數(shù)。

基于以上計算結果，依照R(x,y)獲取最終的高頻系數(shù)為：

即最終的高頻系數(shù)R(x,y)為R1(x,y)與R2(x,y)中的較大值。

1.3.2 低頻系數(shù)計算

大型船舶航行圖像的低頻部分中包含其主要能量，可通過自適應加權平均法對圖像低頻系數(shù)進行融合，公式為：

式中：CF(i,j)表示低頻系數(shù)融合結果， ηξ和 ηψ分別表示背景圖像與目標圖像的隸屬度，CA(i,j)和CB(i,j)分別表示A 圖像與B 圖像點(i,j)的低頻系數(shù)。

式（7）中的里隸屬度可通過高斯隸屬度函數(shù)確定，公式為：

式中： μ和k分別為圖像B 低頻系數(shù)的平均值與閾值范圍為1～3 的可修改參數(shù)， σ表示圖像B 低頻系數(shù)的標準偏差。

2 仿真實驗分析

本文研究基于視覺傳達的大型船舶航行圖像融合方法，為驗證本文方法的實際應用性能，以某數(shù)據(jù)庫中的船舶航行圖像數(shù)據(jù)集為研究對象，研究對象中包含不同大型船舶在不同海洋環(huán)境與空氣環(huán)境下以及不同成像區(qū)域、成像距離、成像時間成像角度下所采集的航行圖像。采用本文方法對研究對象中的航行圖像進行融合測試。

2.1 圖像視覺傳達處理效果分析

2.1.1 直觀效果分析

在研究對象中隨機選取一艘大型船舶航行圖像（見圖1），采用本文方法對其進行去模糊處理與亮度調整，結果如圖2 和圖3 所示。可知，采用本文方法對所選圖像進行去模糊處理后，與初始圖像相比，圖像的內容更為全面，細節(jié)更為清晰。采用本文方法進行亮度調整后，圖像的亮度也顯著提升，進一步提升了目標細節(jié)度。由此說明采用本文方法對能夠有效提升大型船舶航行圖像的細節(jié)清晰度，令圖像的視覺傳達效果增強。

圖2 去模糊處理后圖像Fig.2 Image after deblurring processing

圖3 亮度調整后圖像Fig.3 Image after brightness adjustment

2.1.2 客觀效果分析

為客觀分析本文方法對大型船舶航行圖像的視覺增強效果，在圖1 的基礎上，另外選擇2 幅圖像進行去模糊與亮度調整處理。選取標準偏差（用于分析圖像對比度，其值越大圖像對比度越大）、峰值信噪比（用于分析圖像的保真性，其值越大圖像失真越小）和信息熵（用于分析圖像信息量，其值越大圖像中細節(jié)信息量越大）3 個評價指標對本文方法的視覺傳達處理效果實施客觀評價，結果如表1 所示。可知，采用本文方法對研究對象實施視覺增強處理后，航行圖像的標準差提升2 4.5% 以上，峰值信噪比提升18.3%以上，信息熵提升5.4%以上。由此說明本文方法能夠顯著提升大型船舶航行圖像的視覺傳達效果。

表1 圖像視覺傳達增強效果分析Tab.1 Analysis of image visual communication enhancement effect

2.2 圖像融合效果客觀分析

圖像融合是圖像識別的關鍵環(huán)節(jié)，高質量的圖像融合能夠顯著提升圖像識別精度。采用本文方法對大型船舶航行圖像實施融合處理，為驗證本文方法的圖像融合性能，對比基于采用本文方法融合圖像前后的船舶圖像識別性能，結果如圖4 所示。可知，采用本文方法對圖像融合處理后，能夠顯著提升圖像識別的準確度，由此說明本文方法具有較高的圖像融合效果。

圖4 船舶圖像識別性能Fig.4 Performance of ship image recognition

3 結 語

本文研究基于視覺傳達的大型船舶航行圖像融合方法，通過去模糊處理與亮度調整提升大型船舶航行圖像的視覺傳達效果。在此基礎上，通過基于方向濾波的二維局部均值分解法實現(xiàn)圖像融合。實驗結果顯示，本文方法能夠較好地增強視覺效果，基于本文方法融合后的圖像進行圖像識別，準確率顯著提升。