非下采樣輪廓波變換的前視聲吶圖像融合

張健，卞紅雨

(1.哈爾濱工程大學 水聲工程學院，黑龍江 哈爾濱 150001； 2.哈爾濱工程大學 水聲技術重點實驗室，黑龍江 哈爾濱 150001)

非下采樣輪廓波變換的前視聲吶圖像融合

張健1,2，卞紅雨1,2

(1.哈爾濱工程大學 水聲工程學院，黑龍江 哈爾濱 150001； 2.哈爾濱工程大學 水聲技術重點實驗室，黑龍江 哈爾濱 150001)

針對前視聲吶圖像清晰程度不同，局部區域模糊的特點，本文提出一種基于非下采樣輪廓波變換的前視聲吶圖像融合算法。依據圖像多尺度分解的理論，對源圖像進行非下采樣輪廓波變換，得到一系列多尺度子帶分解系數；根據圖像中清晰目標反射聲波能量大、對比度高特點，構建前視聲吶圖像融合規則，即低頻子帶采用Gabor能量、高頻子帶計算局部對比度指導融合規則，提出區域一致性校驗準則抑制圖像噪聲，產生融合圖像多尺度子帶分解系數，并應用非下采樣輪廓波逆變換獲得融合圖像。聲吶圖像融合對比實驗證明，采用提出方法生成的融合圖像在主觀視覺和客觀指標上均優于其他融合方法。

圖像融合； 多尺度分析； 非下采樣輪廓波變換； 前視聲吶圖像； 融合規則； Gabor能量； 局部對比度； 區域一致性校驗

Abstract：According to the inherent properties of forward- looking sonar (FLS) images, such as non- uniform clarity and local blurred regions, a novel fusion method based on non- subsampled contourlet transform is proposed for FLS image fusion. Based on the theory of multi- scale analysis, the source images are decomposed into multi- scale coefficients by non- subsampled contourlet transform; the fusion rules are constructed on the fact that the clear objects have high reflection energy and contrast in FLS images, therefore the low- frequency sub- band is fused by the Gabor energy and the high- frequency sub- bands are fused by the local contrast, respectively; the region consistency check is then implemented to suppress the influence of noise; the fusion image is obtained by inverse non- subsampled contourlet transform on the generated fused coefficients. Experiments on FLS image fusion have been conducted to demonstrate the effectiveness and the superiority of the proposed technique using both a subjective evaluation and objective metrics.

Keywords：image fusion; non- subsampled contourlet transform (NSCT); multi- scale analysis; Forward- Looking sonar image; fusion rules; Gabor energy; local contrast; region consistency check

前視聲吶圖像融合是前視聲吶圖像配準的進一步處理，是目標分割、目標識別及跟蹤等應用的前提。前視成像聲吶是探測渾濁水域的有效設備。然而，前視聲吶探測過程中，聲吶載體與目標相對運動導致的視角變化和水體不規則時變擾動等環境因素同時影響，導致前視聲吶圖像不同區域，以及序列圖像之間清晰度不同。具體表現為：對同一幀聲吶圖像，局部區域較清晰，圖像對比度較高，而其他區域較模糊；對同一探測區域，在某幀聲吶圖像A中表現較清晰，對比度較高，而在相鄰某幀圖像B中較模糊；而其他區域在圖像B中較清晰，在圖像A中較模糊[1-3]。因此，有必要對前視聲吶序列圖像進行融合處理。融合的目的是充分利用序列聲圖像互補信息，強化圖像各目標信息，使同一場景中各目標均比較清晰。

圖像融合主要分為空間域圖像融合和變換域圖像融合[4]。空間域圖像融合直接操作源圖像像素灰度實現融合操作。根據源圖像灰度空間上的分布，將圖像分割為若干子圖像，通過一定規則選擇子圖像作為融合圖像相應位置區域，實現圖像融合。然而，由于分割方式不易確定，融合圖像容易產生“塊效應”，即不同子圖像區域結合處的視覺差異，嚴重影響融合圖像質量[5]。

近年來，基于多尺度變換圖像融合方法逐漸為研究者開發，應用拉普拉斯金字塔(laplacian pyramid, LP)分解和重建圖像，并且以指定的融合規則獲得圖像[6]。同樣地，文獻[7]使用梯度金字塔(gradient pyramid, GP)實現圖像融合，并證明其有效性。隨后，二維離散小波變換(discrete wavelet transform, DWT)作為圖像多尺度分解和重建工具，應用于圖像融合算法[8-10]。與空間域圖像融合方法相比，多尺度變換融合方法能夠有效地避免“塊效應”，這是由于源圖像信息可以通過多尺度分解系數體現，從而避免在空間域分割源圖像。

傳統多尺度變換(multi- scale transform, MST)過程中的采樣操作導致源圖像分解和重建過程在圖像強邊緣處產生“偽吉布斯”現象[11]。此外，塔式變換無法有效表示圖像方向信息，而DWT只能產生3個固定方向高頻子帶，不足以充分地表達圖像邊緣和輪廓中奇異點多方向信息[12]。因此，塔式變換和DWT不足以反映圖像細節信息。文獻[13]提出輪廓波變換(contourlet transform, CT),CT首先利用LP捕捉圖像中奇異點，然后通過方向濾波器組處理，體現多方向信息。于是，CT不僅繼承了多尺度分析的特點，并且具有各向異性。然而和傳統MST一樣，由于采樣操作，圖像在分解和重建過程中在目標邊緣處易產生“偽吉布斯”現象，嚴重影響融合圖像質量。

文獻[11]提出非下采樣輪廓波變換 (non- subsampled contourlet transform, NSCT)，該變換繼承了傳統多尺度變換的優點，同時避免圖像分解和重建過程中的采樣操作，有效地抑制了“偽吉布斯”現象。因此，NSCT更適用于圖像融合。本文基于多尺度變換圖像融合框架，利用NSCT進行圖像多尺度分解和重建，針對前視聲吶圖像特點提出融合規則，實現前視聲吶圖像融合。

1 基于NSCT的圖像融合算法

NSCT由非下采樣金字塔濾波器組(non- subsampled pyramid filter banks, NSPFB)和非下采樣方向濾波器組(non- subsampled directional filter banks, NSDFB)組成。圖像的NSCT多尺度分解過程如圖1所示。首先，圖像被NSPFB分解為1個低頻子帶和1個高頻子帶；然后，重復將每次分解后的低頻成分通過NSPFB分解k次，得到k+1個子帶圖像，包括1個低頻子帶和k個高頻子帶；最后，分別將每個高頻子帶圖像經過l級NSDFB處理，在每個高頻子帶上產生2l個方向子帶。NSCT通過NSPFB保證其多尺度分析的特性，利用NSDFB充分地表達圖像各向異性信息。由于NSCT在分解過程中避免對圖像進行采樣操作，能夠有效地抑制“偽吉布斯”現象產生。此外，非下采樣分解產生的子帶圖像大小與源圖像相同，保證子帶圖像信息與源圖像信息空間位置一致，方便制定圖像融合規則[14]。

圖1 NSCT圖像多尺度分解Fig.1 Image decomposition by NSCT

與其他MST圖像融合方法類似，對于兩幅源圖像A和B，基于NSCT的圖像融合算法步驟如下所述：

綜上所述，基于NSCT的圖像融合算法框架如圖2所示。

2 基于NSCT的前視聲吶圖像融合算法

在基于NSCT多尺度分析的圖像融合算法中，圖像首先被分解為低頻子帶和高頻子帶，再分別建立合適的融合規則，獲得融合系數。融合規則是圖像融合算法的核心步驟，合理地制定融合規則可以提高融合質量，改善視覺感受。

圖2 NSCT圖像融合算法框架Fig.2 Framework of image fusion algorithm based on NSCT

一般地，融合系數通過 “選擇”或“平均”獲得[15]。當源圖像在同一像素位置存在顯著差異時， 融合過程直接選擇源圖像分解系數中突出信息，作為融合圖像相應位置的分解系數，并放棄非突出信息。當同一像素位置信息相似時，融合過程通過平均或加權平均確定該位置的融合系數。 這樣，“選擇”有效地保留圖像間互補信息，“平均”保證圖像內容均勻穩定。綜上，多尺度分析圖像融合算法根據源圖像差異性信息，選擇或平均源圖像分解系數確定融合規則，獲得融合圖像。

對于光學圖像，其圖像灰度均勻，細節特征豐富，噪聲干擾小，往往衡量圖像局部區域活躍程度，如梯度、空間頻率和局部方差等參數作為差異信息，指導融合規則。然而，由于聲吶圖像亮度非均勻，細節特征不突出且噪聲污染嚴重，導致局部活躍信息受這些因素影響較大，不能準確地體現聲吶圖像間的差異。因此，應該重點根據聲吶圖像的特殊性，合理確定圖像間差異信息，以此建立適用于聲吶圖像的融合規則。

2.1 低頻子帶系數融合規則

由于前視聲吶圖像本質是目標反射聲波能量在空間上的分布，反射能量越大，目標越清晰。而低頻子帶保留了源圖像絕大部分信息，體現圖像的能量分布。因此，應該以能量強弱體現前視聲吶圖像差異性。在此，選擇Gabor能量作為衡量源圖像差異的參數，建立前視聲吶圖像低頻子帶系數融合規則。

Gabor能量可以有效地反映圖像中能量分布，良好的抗噪性和相似不變性使其在前視聲吶圖像處理方面也有較好的效果[16-17]。低頻子帶系數與Gabor濾波器二維卷積生成不同尺度和方向上的Gabor系數。m尺度n方向的Gabor濾波器gmn(x,y)定義如下：

(1)

Cg(x,y,m,n)=?L(x′,y′)gmn(x-x′,y-y′)dx′dy′

(2)

式中:L(x,y)為輸入矩陣，此處為圖像低頻子帶。計算(x,y)所有尺度和方向上Gabor系數平方和作為(x,y)點Gabor能量Eg(x,y)：

(3)

構建基于Gabor能量的低頻子帶融合規則如下：

LF(x,y)=

(4)

2.2 高頻子帶系數融合規則

高頻子帶系數表示圖像中的尖銳特征，比如物體的角點，邊緣和輪廓等特征。因此，為了保證融合圖像細節，高頻子帶系數融合規則一般采用絕對值最大準則。然而，前視聲吶圖像受噪聲污染嚴重，絕對值最大準則容易將噪聲誤認為有用信息，引入融合圖像。此外，絕對值最大準則沒有考慮高頻子帶和低頻子帶系數之間的關系，根據人類視覺系統(human visual system, HVS)特點，觀察者對物體的對比度而不是物體本身的尖銳程度更敏感，對比度強的像素點往往包含有用的視覺信息[18]。因此，通過對比度衡量聲吶圖像高頻子帶的差異信息，建立融合規則。

圖像的對比度R定義如下[19]

(5)

式中:L為局部區域灰度級，LB為圖像背景亮度，即低頻子帶系數，那么ΔL代表高頻子帶系數。除了對比度強弱，HVS同時對對比度頻率和方向變化敏感[20]。那么(x,y)處k尺度l方向上的對比度Rkl(x,y)定義如下[20]

(6)

(7)

(8)

將局部對比度較大的系數作為圖像有利信息，選擇其為融合系數。

2.3 區域一致性校驗準則

基于局部對比度的高頻子帶融合規則雖然保證視覺信息，但是不能有效地抑制噪聲。圖像噪聲通常是一些隨機離散的、孤立的像素點，與它們相鄰的像素明顯不同。區域一致性校驗目的是檢驗中心像素信息與其鄰域信息是否一致。在高頻子帶系數融合過程中，如果某點的高頻系數來自源圖像A，而該點鄰域(一般取8鄰域)系數多數來自源圖像B，那么將該點系數替換為源圖像B系數；反之亦然。通過一致性校驗準則，融合過程可有效抑制來自源圖像的噪聲。

3 聲吶圖像融合實驗與分析

3.1 評價標準

評價融合效果分為主觀評價和客觀評價[21]。主觀評價通過觀察者觀察圖像評價融合效果，客觀評價通過定義指標判斷融合性能。由于主、客觀評價標準不完全一致，有時主觀效果較好的融合結果未必達到較高的客觀指標[21]。因此，判定融合效果應該綜合主觀觀察和客觀指標。

優秀的融合算法應該充分提取源圖像間互補信息，傳遞到融合圖像中，且不產生任何與源圖像內容不一致信息[14]。因此，選擇以下客觀評價標準：

1) 互信息 (mutual information, MI)[22]，表示源圖像傳遞到融合圖像的信息量，MI越大，融合效果越好。

2)基于邊緣相似性度量 (edge based similarity measure, QAB/F)[23]，通過邊緣信息，衡量融合圖像與源圖像之間相似程度，QAB/F越大，融合效果越好。

3)峰值信噪比 (peak signal to noise ratio, PSNR)[24]，衡量融合圖像和源圖像內容差異程度，PSNR越大，差異越小，融合效果越好。

3.2 前視聲吶圖像融合實驗

將提出算法分別與3種基于MST融合算法和1種基于空間域融合算法比較，分別為基于LP圖像融合算法，融合策略采用絕對值最大準則；基于DWT圖像融合算法，融合策略應用均值規則；基于SCBG的圖像融合算法[26]，該算法是一種基于空間域的融合算法；基于NSCT圖像融合算法，融合策略采用SML[25]規則，該規則通過計算圖像局部區域的二階差分反映圖像活躍程度，在光學圖像融合應用中表現出優異的性能[14]。基于變換域的融合算法均進行4層分解, NSCT方法方向取4或8方向。

圖3(a)和3(b)分別是原始聲吶圖像第38幀和68幀，采用極坐標變換方法[27]配準兩幀原始圖像。圖3(c)和3(d)是原始圖像配準后的重合部分，作為融合源圖像A和B。源圖像A中左側目標較清晰，右側目標較模糊，不能區分目標陰影和背景。源圖像B左側目標模糊，右側目標清晰，目標陰影與背景分明。于是，為了使源圖像有利信息互補，對源圖像A，B進行圖像融合處理，以獲得一幅左右目標均清晰的融合圖像。

圖4是LP、DWT、SCBG、SML和本文提出方法的融合結果，5種方法均在不同程度上實現了源圖像有利信息互補。為了主觀上更加直觀地對比融合方法性能，分別將融合結果與源圖像A和B相減，得到對應方法差值圖像，如圖5所示。結合融合圖像和差值圖像，即剩余信息，綜合評價融合效果。圖4(a)和4(b)中，基于LP和DWT的融合方法在目標某些邊緣位置和前視聲吶圖像扇形邊界處產生大量額外信息，即“偽吉布斯”現象，在差值圖像5(a)～(d)中體現更加明顯；在圖4(c)中，SCBG融合結果產生明顯的“塊效應”，嚴重影響了主觀視覺效果；圖4(d)和4(e)是基于NSCT多尺度分析的融合結果，既有效地抑制“偽吉布斯”現象，又避免了“塊效應”產生，說明NSCT更適合作為圖像的多尺度分解工具。進一步對比SML方法和提出方法，圖4(e)提出方法較圖4(d)中基于SML準則的融合結果背景和目標表面灰度更加均勻，在差值圖像中體現更為明顯：圖5(g)和(h)中，剩余信息較多，表明SML方法不能充分吸收源圖像有利信息，導致融合結果背景強度不均勻。這說明局部活躍信息不能有效反映前視聲吶圖像間的差異性，以此建立的融合規則不適用于前視聲吶圖像融合。而提出方法的差值圖像，圖5(i)右側剩余信息較多，左側剩余信息幾乎為0，圖5(j)左側剩余信息較多，右側剩余幾乎為0。這剛好與源圖像A左側區域清晰，右側區域模糊，源圖像B左側區域模糊，右側區域清晰相對應，說明提出的融合規則能夠更充分地提取源圖像中有利信息，產生良好的視覺效果，更適用于前視聲吶圖像融合。

圖3 原始前視聲吶圖像和源圖像Fig.3 Original FLS images and source images for fusion

圖4 不同方法融合結果Fig.4 Fusion results by different methods

表1列出5種方法的客觀評價指標。SCBG方法產生了最大的MI指標。這是因為MI是統計圖像灰度概率分布相似程度的指標，SCBG方法融合過程直接選取源圖像像素灰度，而基于MST方法在圖像多尺度分解和重建過程中，不可避免地破壞原始圖像灰度，所以基于空間的圖像融合方法往往產生高于基于MST圖像融合方法的MI指標[28]。但是SCBG方法融合結果主觀效果差，并且QAB/F和PSNR指標較低。與LP和DWT融合方法相比，兩種基于NSCT多尺度分析的融合結果顯著地提高了客觀指標。其中，本文提出的方法產生了最大的QAB/F和PSNR指標，并且MI指標僅略小于SCBG方法。客觀地說明提出方法的優越性。因此，綜合主、客觀評價結果，本文提出的融合算法更適合于前視聲吶圖像融合處理。

圖6是原始聲吶圖像第100幀和130幀重合部分配準結果，作為融合處理的源圖像A和B。圖6(c)～(g)分別是LP、DWT、SCBG、SML和本文方法的融合結果。表2是融合結果客觀指標。綜合主觀視覺和客觀指標，本文提出的融合方法效果優于其他融合方法。

表1 圖3融合結果客觀評價指標

表2 圖6融合結果客觀評價指標

圖5 不同方法差值圖像Fig.5 The difference images by different methods

圖6 源圖像和不同方法融合結果Fig.6 Source images and fusion results by different methods

4 結論

1)與傳統方法相比，該方法能充分地融合源圖像有利信息，避免產生偽像，并在一定程度上抑制圖像噪聲。

2)考慮到人類視覺系統特點，結合對比度大小及方向融合圖像，融合結果清晰可靠，有利于人眼觀察判決和計算機處理。

由于圖像多尺度分解和重建過程不可避免地損失源圖像信息，影響融合結果互信息指標，而基于空間域的圖像融合方法能產生較大的互信息，今后的工作可以在這方面進行深入研究，有機地結合變換域和空間域圖像融合方法優點，以便提出更好的前視聲吶圖像融合算法。

[1] WAITE A D. Sonar for practising engineers [M].Beijing: Publishing House of Electronics, 2004: 77-80.

[2] AYKIN M D,NEGAHDARIPOR S. On feature extraction and region matching for forward scan sonar imaging [C]//IEEE Oceans Conference, 2012: 1-9.

[3] AYKIN M D, NEGAHDARIPOR S. On feature matching and image registration for two- dimensional forward- scan sonar imaging [J]. Journal of field robotics, 2013, 30 (4): 602-623.

[4] MITIANOUDIS N,STATHAKI T. Optimal contrast correction for ica- based fusion of multimodal images [J]. IEEE sensors journal, 2008, 8 (12): 2016-2026.

[5] DE I,CHANDA B. Multi- focus image fusion using a morphology- based focus measure in a quad- tree structure [J]. Information fusion, 2013, 14 (2): 136-146.

[6] BURT P J, ADELSON E H. The laplacian pyramid as a compact image code [J]. IEEE transactions on communications, 1983, 31 (4): 532-540.

[7] PETROVIC V S,XYDEAS C S. Gradient- based multiresolution image fusion [J]. IEEE transactions on image processing, 2004, 13 (2): 228-237.

[8] YANG Y, HUANG S Y, GAO J F. Multi- focus image fusion using an effective discrete wavelet transform based algorithm [J]. Measurement science review, 2014, 14 (2): 102-108.

[9] KANNAN K, PERUMAL S A,ARULMOZHI K. Area level fusion of multi- focused images using multi- stationary wavelet packet transform [C]// International Journal of Computer Applications, 2010, 2 (1): 88-95.

[10] ZHOU Z Q, LI S,WANG B. Multi- scale weighted gradient- based fusion for multi- focus images [J]. Information fusion, 2014, 20: 60-72.

[11] DA C A L, ZHOU J P, DO M N. The nonsubsampled contourlet transform: theory, design, and applications [J]. IEEE transactions on image processing, 2006, 15 (10): 3089-3101.

[12] YANG Y, TONG S,HUANG S. Log- gabor energy based multimodal medical image fusion in NSCT domain [J]. Computational and mathematical methods in medicine, 2014, Article ID: 835481.

[13] DO M N, VETTERLI M. The contourlet transform: an efficient directional multiresolution image representation [J]. IEEE transactions on image processing, 2005, 14 (12): 2091-2106.

[14] YANG Y, TONG S, HUANG S Y. Multifocus image fusion based on nsct and focused area detection [J]. IEEE sensors journal, 2015, 15 (5): 2824-2838.

[15] 王達，卞紅雨. 水下聲圖像多分辨率融合研究 [J]. 武漢大學學報:信息科學版，2015，40(1)：77-82. WANG Da, BIAN Hongyu. Research on multiresolution- based underwater acoustic image fusion [J]. Geomatics and Information Science of Wuhan University, 2015, 40 (1): 77-82.

[16] HE C, ZHENG Y F, AHALT S C. Object tracking using the gabor wavelet transform and the golden section algorithm [J]. IEEE transactions on multimedia, 2002, 4 (4): 528-538.

[17] CHEN J B, GONG Z B,LI H Y. A detection method based on sonar image for underwater pipeline tracker [C]//IEEE Second International Conference on Mechanic Automation and Control Engineering (MACE), 2011: 3766-3769.

[18] ZHANG Q,GUO B L. Multifocus image fusion using the nonsubsampled contourlet transform [J]. Signal processing, 2009, 89 (7): 1334-1346.

[19] TOET A, RUYVEN L J,VALETON J M. Merging thermal and visual images by a contrast pyramid [J]. Optical engineering, 1989, 28 (7): 789-792.

[20] DEVALOIS R L, YUND E W,HEPLER N. The orientation and direction selectivity of cells in macaque visual cortex [J]. Vision research, 1982, 22 (5): 531-544.

[21] LIU Z, BLASCH E,XUE Z Y. Objective assessment of multiresolution image fusion algorithms for context enhancement in night vision: a comparative study [J]. IEEE transactions on pattern analysis and machine intelligence, 2012, 34 (1): 94-109.

[22] YANG B,LI S. Pixel- level image fusion with simultaneous orthogonal matching pursuit [J]. Information fusion, 2012, 13 (1): 10-19.

[23] XYDEAS C S,PETROVIC V.Objective image fusion performance measure [J]. Electron letters, 2000, 36 (4): 308-309.

[24] MIAO Q G, SHI C, XU P F. A novel algorithm of image fusion using shearlets [J]. Optical communication, 2011, 284 (6): 1540-1547.

[25] HUANG W, JING Z. Evaluation of focus measures in multi- focus image fusion [J]. Pattern recognition letters, 2007, 28 (4): 493-500.

[26] TIAN J, CHEN L，MA L.Multi- focus image fusion using a bilateral gradient- based sharpness criterion [J]. Optical communication, 2011, 284 (1): 80-87.

[27] MATUNGKA R, ZHENG Y F，EWING R L. Image registration using adaptive polar transform [J]. IEEE transaction on image processing, 2009, 18 (10): 2340-2354.

[28] LI S，YANG B. Hybrid multiresolution method for multisensory multimodal image fusion [J]. IEEE sensors journal, 2010, 10 (9): 1591-1526.

Forward-lookingsonarimagefusionbasedonnon-subsampledcontourlettransform

ZHANG Jian1,2, BIAN Hongyu1,2

(1.College of Underwater Acoustic Engineering, Harbin Engineering University, Harbin 150001, China; 2.Acoustic Science and Technology Laboratory, Harbin Engineering University, Harbin 150001, China)

10.11990/jheu.201606093

http://www.cnki.net/kcms/detail/23.1390.u.20170426.1815.094.html

TN911.73

A

1006- 7043(2017)09- 1373- 07

2016-06-24. < class="emphasis_bold">網絡出版日期

日期：2017-04-26.

國家自然科學基金項目(41376102).

張健(1988-), 男, 博士研究生； 卞紅雨(1969-), 女, 教授,博士生導師.

卞紅雨，E- mail:bianhongyu1116@hrbeu.edu.cn.

本文引用格式：張健，卞紅雨. 非下采樣輪廓波變換的前視聲吶圖像融合[J]. 哈爾濱工程大學學報， 2017， 38(9): 1373 -1379.

ZHANG Jian, BIAN Hongyu. Forward- Looking Sonar Image Fusion Based on Non- Subsampled Contourlet Transform[J]. Journal of Harbin Engineering University， 2017， 38(9): 1373-1379.