結合分數階顯著性檢測及量子煙花算法的NSST域圖像融合

林劍萍，廖一鵬

（1.陽光學院 人工智能學院，福建 福州350015；2.福州大學 物理與信息工程學院，福建 福州350108）

1 引 言

圖像融合是通過特定的算法，將兩幅或多幅圖像在時空上具有相關性或信息上具有互補性的信息提取出來，同時去除冗余的成分，綜合成一幅新的圖像，從而更全面、準確地表征圖像，具有互補性和冗余性，在多個行業領域有著重要的應用［1］。目前圖像融合的技術主要有基于多尺度分解、基于神經網絡、基于子空間的變換以及多種融合方法的混合等方法［2］。

圖像融合算法中最常用、有效的分析方法是基于多尺度分解。多尺度分解能夠在深層結構上分析圖像的信息，對圖像特征描述更為準確。多尺度方法主要包括金字塔變換、小波變換、輪廓波變換（Contourlet Transform）、非下采樣輪廓波變換（Nonsubsampled Contourlet Transform，NSCT）及非下采樣shearlet變換等。其中金字塔算法的分解各層系數之間相關性較強，具有冗余性，采用金字塔算法融合的圖像存在圖像邊緣不夠清晰和細節不夠豐富等缺點［3］；小波變換各層系數相對獨立，能夠較好地表示圖像中的重要信息，得到了更好的應用，但小波變換對圖像邊緣信息的提取有一定的局限性，不能有效地保留局部特征［4］；輪廓波變換的優勢在于提取圖像邊緣的幾何形狀，但由于上下采樣和金字塔結構，會出現冗余移位方差問題，導致吉布斯現象［5］；NSCT可實現多分辨率分解，并實現平移不變性，消除了頻譜混疊現象，同時更好地表征圖像的邊緣和紋理信息［6-7］，但其方向選擇受限，運算效率較低；NSST不僅具備NSCT的特點，且分解方向不受限制，運算效率高，得到了廣泛的應用，如文獻［8］提出了基于NSST和對比度的圖像融合算法，保留了融合圖像的細節，并提升了對比度，但在增強的同時引入了部分不必要信息，并出現過增強效應。

圖像融合的框架很重要，但是合適的融合規則同樣可以有效提高圖像融合的質量。傳統融合規則包括加權平均法、絕對值取大、區域能量和、區域梯度等［9-12］。這些融合規則由于沒有從全局上考慮區域間的相關性，容易導致圖像中的重要信息丟失。近年來，為了提高融合圖像的質量，提出了一些基于視覺顯著性檢測的圖像融合算法，如文獻［13］提出了一種基于NSCT和改進頻率調諧（Frequency-Tuned，FT）的圖像融合算法，使得融合后的圖像目標突出，背景較為豐富，但該方法仍存在部分圖像特征丟失嚴重現象；文獻［14］利用改進的流形排序（Manifold Ranking，MR）算法，使得融合圖像突顯了圖像的目標信息，圖像整體細節信息清晰度得到提升，但源圖像的優點不夠突出；文獻［15］利用離散剪切波變換（Finite Discrete Shearlet Transform，FDST）對紅外和可見光圖像進行分解，采用改進的雙通道脈沖耦合神經網絡（Dualchannel Pulse Coupled Neuron Network，PCNN）進行圖像融合，該方法有效增強了圖像清晰度。

因此，本文提出了一種基于分數階微分顯著性檢測和改進量子煙花算法的NSST域圖像融合方法。首先將圖像進行NSST變換，低頻部分先利用自適應分數階微分增強，然后進行顯著性檢測，根據檢測結果，構造兩幅圖像的顯著性匹配度，采用基于匹配度的融合規則進行融合；接著根據圖像鄰域內的結構特征可根據中心與周圍像素點之間的灰度距離和梯度距離來表征這一特性，對高頻系數采用梯度變化與灰度差異加權策略融合；最后采用動態自適應旋轉角改進量子煙花算法的位置更新策略，并對高頻及低頻融合參數進行優化，最終得到最優融合圖像。

2 NSST域紅外與可見光圖像融合方法

2.1 NSST變換

NSST是對Shearlet變換的優化改進，其利用非下采樣尺度變換以及非下采樣方向濾波器進行處理，具有良好的平移不變性，同時避免了偽吉布斯現象的出現，能較好地運用于圖像融合領域中［16］。NSST變換的結構如圖1所示。

圖1 NSST變換三級分解結構圖Fig.1 Three-level decomposition structure of NSST

NSST變換可實現多尺度多方向分解，首先由NSLP（非下采樣金字塔濾波器組）對輸入圖像進行塔形分解，得到低頻子帶和多個帶通子帶，然后采用SF（剪切濾波器）對各個帶通子帶進行方向化，得到多個方向子帶圖像，分解得到的所有圖像分辨率都和原始圖像相同。

2.2 低頻子帶圖像融合

低頻子帶是原始圖像的最佳逼近，它包含了圖像的大部分能量，因此，其融合規則決定了對源圖像的互補信息提取的效果。鑒于人的視覺系統對圖像中像素的對比度比較敏感這一特點，本文提出基于分數階微分增強的顯著性檢測，并依據顯著圖匹配度進行低頻融合。

2.2.1 分數階微分顯著性檢測

FT顯著性檢測算法［17］采用的是高斯差分濾波方法，對于一幅輸入圖像，其顯著性圖計算為：

其中：Iu為輸入圖像I的L，A，B通道均值；Iwhc(x，y)為輸入圖像I經過高斯濾波之后，在L，A，B三通道的圖像均值；‖·‖是對三通道均值和濾波得到的圖像取歐氏距離并求和。為了得到更好的邊緣保持和細節增強性能，并保證圖像的亮度，本文提出了基于自適應分數階微分顯著性檢測。

經典的Tiansi模板算子具有微分特性，對圖像邊緣和紋理細節的增強效果明顯，但對圖像的亮度增強效果不佳，文獻［18］提出了一種改進分數階微分算法，通過在模板中加入亮度控制參數ρi，構造了新的微分掩模算子，如式（2）所示，其中v表示分數階微分的階數。

本文根據NSST分解前后圖像平均梯度值、低頻子帶各像素點的梯度值構造自適應分數階微分階次函數：

其中，G(i，j)為圖像在任 意點的梯度，Gmax，G0，GL分別為低頻子帶中梯度的最大值、原圖像的平均梯度，低頻子帶的平均梯度，T g為梯度閾值。對輪廓細節區域，即像素點的梯度大于T g而小于等于Gmax時，主要是實現對輪廓細節或弱邊緣的增強，具體做法是根據G(i，j)的大小在范圍動態調整微分階次，采用Tiansi模板進行卷積運算；對于平滑區域，即像素點的梯度小于或等于T g時，選擇固定的微分階次0.1，通過改進的Tiansi算子進行卷積運算，改善圖像的整體亮度。經實驗，T g取2時效果最好。

接著根據圖像第0~64級灰度的概率分布P64，確定式中ρi為0的個數，建立關系式（4）：

si為圖像中第i級灰度的出現概率。因此，改進后的顯著圖輸出為：

其中，If d(x，y)為輸入圖像I經過分數階微分增強后的輸出。

2.2.2 低頻子帶系數的融合規則

為避免融合后圖像丟失大量的細節信息，文章將兩幅源圖像的成像差異進行量化描述，引導低頻子帶圖像的融合。差異程度的量化以兩幅圖像的區域相似性來描述，若已知圖像a在像素點（i，j）處的顯著值為Sa(i，j)，圖像b在像素點（i，j）處的顯著值為和Sb(i，j)，則圖像a和b的區域相似性可定義為：R a，b(i，j)表示圖像a和b對應像素點的顯著值的相似程度，其值越高，相似程度越高；反之，表明兩圖像在此區域的差異性越大。

由此，本文提出了以下低頻子帶的融合規則：

設定相似性匹配度閾值δ，當Ra，b(i，j)小于設定的閾值δ時，選擇其中顯著值大的像素作為該像素點融合圖像的像素值；當R a，b(i，j)大于等于閾值δ時，將此位置處的兩像素值進行加權，作為融合圖像對應的像素值，設加權系數λ(i，j)。具體如式（8）~（10）所示。

若Ra，b(i，j)<δ，則：

若Ra，b(i，j)≥δ，則：

其中λ(i，j)為：

a(i，j)、b(i，j)分別為源圖像a、源圖像b在(i，j)處的像素值，p為圖像a，b的融合圖像。

相較于簡單加權或者取最值來確定融合圖像的方法，這種基于匹配度的融合規則顯得更科學、合理。

2.3 高頻方向子帶系數的融合規則

圖像的弱邊緣及突變紋理信息主要體現在高頻子帶，且圖像鄰域內的結構特征可通過圖像中心與周圍像素點之間的梯度變化和灰度距離表征。因此，本文高頻子帶融合采取梯度變化與灰度差異加權的策略。

設圖像的梯度G(x，y)，區域窗口的中心像素點(x，y)，相鄰像素點(i，j)，灰度值H(x，y)，則圖像鄰域間的差異性σ可定義為：

其中，λ是灰度變化、梯度距離差異性的影響因子，本文取λ=4。

令指數影響因子為：

圖像第j層k方向的高頻子帶系數W j，k(x，y)，則高頻子帶加權系數φ可定義為：

3 基于量子煙花的自適應融合方法

融合過程中，相似性匹配度閾值δ和高頻圖像結構差異閾值γ的選擇對融合后圖像的效果影響較大。δ一般取值在0~1.0之間，經實驗，當δ>1.0、γ<0.8或δ>1.0、γ>1.0時，融合的圖像效果變差，主觀上體現在兩源圖像的特征不能很好的體現，有時融合的圖像會過份依賴于其中的一個源圖像，不利于融合后圖像的整體質量。所以本文δ取值在0~1.0之間，γ取值在0.8~1.0之間。為尋找δ及γ的最優值，本文引入改進的量子煙花算法對這兩個參數進行優化。

3.1 改進量子煙花算法

傳統最優化算法常常受到局部極值的約束而影響最優化效果。為了使算法跳出局部極值，許多學者對算法進行了改進和優化，如引入量子的思想。常用的基于量子的最優化算法有：量子遺傳算法（QGA）［19］、量子細菌覓食算法（QBFA）［20］、量子狼群算法（QWPEA）［21］等，量子思想的引入，提高了算法的收斂速度和精度。煙花算法（FWA）是2010年由譚營［22］等人提出的，具有較強的全局搜索和局部搜索能力，但在尋優過程中容易陷入局部最優，因此本文提出自適應旋轉角的量子煙花算法，將量子態矢量表達引入煙花當前位置編碼，更新煙花個體位置，利用量子旋轉門對煙花個體進行概率變異操作，提高算法的全局最優搜索能力和保證收斂速度。

3.1.1 煙花位置量子編碼

量子個體P的每個量子位的狀態|φ〉的幅度表示為概率幅形式，即|φ〉=?α，β」，利用概率幅作為煙花當前位置的編碼，則量子個體位置表示為：

其中：θjk=2πrand()，j=1，2，…，m，k=1，2，…，n，m為煙花個數；n為空間個數。

3.1.2 煙花位置量子旋轉門更新

對煙花個體的位置采用量子旋轉門進行更新，更新公式為：

3.1.3 煙花個體變異操作

煙花個體在進行量子旋轉門位置更新后，有一定的概率Pn進入量子非門變異操作，其變異操作為：

即將量子個體中每一維的概率幅αi與βi進行交換，如下式所示：

為變異的概率幅。

3.1.4 適應度函數

融合圖像性能客觀評價指標中，目前覆蓋較廣泛的有信息熵（IE）、平均梯度（AG）、交叉熵（CE）、空間頻率（SF）及結構相似性（SSIM）等。信息熵、平均梯度、空間頻率、結構相似性的值越大，圖像的融合效果越好，交叉熵的值越小，圖像融合效果越好。設信息熵、平均梯度、空間頻率、結構相似性及交叉熵分別為：fIE，fAG，fSF，fSSIM，fCE，則為了得到最佳融合圖像，構造以下適應度函數：

3.2 自適應融合方法及步驟

本文提出的融合方法步驟如下：

Step1利用NSST變換分別對已配準并預處理后的源圖像進行分解，得到低頻子帶系數和高頻子帶系數；

Step2對低頻子帶，先利用分數階微分增強后進行顯著性檢測，并依據顯著圖匹配度規則，將紅外與可見光圖像的低頻子帶系數執行融合操作，得到低頻子帶融合圖像；

Step3對高頻子帶系數，按照梯度變化和灰度差異加權策略進行融合；

Step4對融合處理后的高頻方向子帶系數及低頻子帶系數執行NSST逆變換，利用改進的量子煙花算法對高低頻融合參數δ和γ進行最優化處理。

Step5輸出最佳的融合圖像。

融合流程如圖2所示。

圖2 自適應融合算法流程圖Fig.2 Flow chart of adaptive fusion algorithm

4 實驗結果與分析

為了驗證所提算法的有效性與先進性，本文選用了3組紅外與可見光圖像進行實驗，這3組圖像均為FEL攝像機系統注冊的標準圖庫圖像，且均已經過嚴格配準。實驗硬件平臺為：Windows 10操作系統、CPU：Pentium、RAM：8 GB；軟件運行環境是Matlab R2016a。

4.1 分數階微分顯著性檢測性能測試

為了驗證本文所提視覺顯著性檢測方法的有效性，將本文檢測方法與譜殘余（SR）顯著性檢測、基于圖流形排序（MR）顯著性檢測、頻率調諧（FT）顯著性檢測等方法進行比較，圖3為紅外圖像經過不同視覺顯著性檢測方法得到的結果圖，PR曲線如圖4所示，其中Precision表示查準率，Recall為查全率。通過視覺顯著圖的結果可以看出，SR方法受復雜邊緣的影響，檢測效果不太理想；MR方法檢測結果中存在較多的背景信息；FT方法目標突出，但邊緣細節還不夠豐富；本文方法克服了上述幾種方法的不足，檢測結果紅外的目標信息突出，邊緣細節得到保持，背景信息在一定程度上得到抑制。

圖3 視覺顯著性檢測結果及比較Fig.3 Results and comparison of visual saliency detection

圖4 顯著性檢測PR曲線圖Fig.4 PR curve of saliency detection

4.2 改進的量子煙花算法性能測試

為求得本文提出的動態自適應旋轉角函數中λ的最佳值，利用測試函數matyas進行性能測試，如式（23）所示，該函數最小值在（0，0）點取為0，最大迭代次數設為200。實驗中，算法的參數設置如下：煙花個數N=10，爆炸火花個數Si=80、爆炸半徑，高斯變異火花數GM=35、非門變異概率Pn=0.2。每組實驗進行100次，在不同的λ值下，實驗達到的最優值的概率和迭代次數的平均結果如表1所示。當取λ=1.4時，算法的尋優能力和尋優速度達到最佳，并將此結果當作本文方法的最佳參數。

表1 量子煙花算法在不同λ值得到的平均最優值的概率（%）和迭代次數Tab.1 Probability（%）and iterations of the average optimal value of QFWA in differentλ

另外，為了驗證所提改進量子煙花算法的有效性，本文將所提算法與另外幾種基于量子的優化算法進行對比實驗，用matyas測試函數進行測試，實驗結果如表2所示，幾種智能算法求解的迭代過程如圖5所示。

表2 量子煙花與其他幾種智能算法尋優測試對比Tab.2 Comparison between QFWA and other intelligent algorithms

圖5 五種基于量子的智能算法求解matyas的迭代過程Fig.5 Iterative process of five intelligent algorithms based on quantum for Matyas

由實驗結果可知，量子煙花算法在最優值、平均值及方差上的表現均優于其他幾種算法。量子煙花算法由于在煙花算法的基礎上進行量子旋轉門和非門變異操作，使得算法能夠跳出局部最優，一定程度上加快了算法收斂速度。

4.3 圖像融合效果及比較分析

將本文所提算法與基于小波變換、輪廓波變換、NSCT變換的融合算法以及文獻［8］、［13］、［14］和［15］所提算法進行比較分析，以驗證本文所提融合方法的有效性與先進性。其中，小波變換采用“db4”濾波器進4層分解，Contourlet及NSCT變換采用“9-7”金字塔濾波器、“dmaxflat”方向濾波器進行3級分解，本文NSST分解層數為3，每層方向數為2i，i∈[1，2，3，4]。

圖6 ~圖8為三組圖像不同方法的融合結果。其中：（a）圖是采用小波變換，4層分解，低頻子帶系數按能量取平均，高頻部分取能量最大的作為融合的高頻系數；（b）圖采用Contourlet變換，3層分解，同（a）圖一樣，低頻取平均，高頻能量取最大的融合方法；（c）圖采用高、低頻能量取平均值的NSCT變換融合方法；（d）圖先對圖像進行NSSCT變換，然后高頻部分利用信息互補的方式進行融合，低頻部分采用顯著性增強方法進行融合；（e）圖采用多尺度變換NSCT和改進FT的融合方法；（f）圖利用改進的MR算法對圖像進行視覺顯著性檢測，以指導低頻子帶的融合，高頻則以兩圖中局部標準差的較大值作為融合的高頻系數；（g）圖采用FDST和PCNN的融合方法。

通過以上圖6~8所示的融合效果可見：小波變換的融合算法可以獲得一定的特征信息，如圖6（a）中的行人、道路及屋頂帽檐，圖8（a）中的汽車和探照燈等重要特征基本能突顯出來，但融合圖像還存在虛影，圖像中的部分特征信息較為模糊，層次感不強，不能有效地保留局部特征，即存在偽吉布斯效應；相較于小波變換，基于輪廓波變換融合算法的融合效果得到一定提升，但融合后圖像的細節信息不夠豐富，畫質比較粗糙，效果不明顯，如圖6（b）~7和8（b）所示；與基于輪廓波變換的融合算法相比，基于NSCT的融合效果比較顯著，融合后圖像的邊緣、輪廓更加清晰，融合圖像的紋理細節更為豐富，層次感更好，如圖7（c）中的石頭顯得更加突出，圖8（c）中的行人、探照燈、護欄等的層次感更強，畫質也更加清晰，但部分輪廓連貫性表現不足，即部分邊緣、輪廓信息丟失，如圖8（c）中的車輛信息、山體的凹凸面輪廓、屋頂等輪廓不夠連貫；參考文獻［9］采用的融合算法融合后圖像的對比度有所提升，細節更為豐富，但同時引入了部分不必要信息，如圖8（d）中的探照燈等，即出現過增強效應；參考文獻［13］、［14］、［15］采用的融合算法更為先進，融合效果較好，整體的畫質和輪廓邊緣更加清晰，紋理細節更為豐富，圖像目標信息與與背景層次感更強，如圖中行人與背景的層次；本文采用的融合方法融合效果與實際場景更相符，整體效果更佳，特別是對角區域和中軸線區域，紋理清晰、明朗，層次感強。

圖6 第1組融合效果圖Fig.6 Fusion effects of group 1

圖7 第2組融合效果圖Fig.7 Fusion effects of group 2

圖8 第3組融合效果圖Fig.8 Fusion effects of group 3

為進一步驗證本文算法的融合效果，文章從信息熵（IE）、平均梯度（AG）、空間頻率（SF）及結構相似度（SSIM）、交叉熵（CE）、運行時間幾個方面對融合效果進行客觀評價。通過實驗，六個參數的統計結果如表3所示。從統計結果可見：3組數據6個指標中，本文所提方法需要的運行時間較長，與參考文獻［15］的時間相當，這是因為本文所提方法在運行過程中要不斷迭代尋優，耗費了較長的時間。但本文算法的其它5個指標均是最優的，除了第1組中在結構相似度上文獻［14］比文獻［13］略低，第2組數據中，平均梯度和空間頻上文獻［14］比文獻［13］略低外，幾個指標基本上呈逐漸遞增趨勢，剛好與主觀人眼視覺分析相吻合。幾種比較算法中，文獻［15］所得到的參數值是最佳的，與效果較佳的文獻［15］相比，本文算法在信息熵、平均梯度、空間頻率和結構相似度幾個參數上，第1組分別提高了4.3%，0.9%，1.0%，2.2%，第2組分別提高了4.4%，2.3%，1.2%，5.6%，第3組分別提高了4.1%，1.7%，0.6%，2.2%，交叉熵三組分別降低了2.8%，3.1%和2.6%，這與主觀人眼視覺看到的融合效果一致，體現了本文所提算法的先進性與有效性。

表3 三組利用不同融合方法的客觀指標評價結果Tab.3 T hree groups evaluation results of objective index with different fusion methods

5 結 論

針對傳統紅外與可見光圖像融合算法中存在的細節紋理信息不夠清晰，邊緣信息保留不夠充分等問題，提出一種基于分數階顯著性檢測及改進量子煙花算法的NSST域圖像融合方法。圖像的低頻部分，結合分數階微分增強后進行顯著性檢測，該檢測方法突出了圖像的目標信息，保持了邊緣細節，同時一定程度上抑制了背景信息，為后續結合顯著圖匹配度的融合提供了較好的指導。梯度變化與灰度差異加權的高頻融合規則，使得融合后圖像邊緣細節豐富，紋理清晰。改進的量子煙花算法有效地提升了算法的尋優能力和收斂效率。實驗結果表明：所提方法得到的融合圖像有效地綜合了源圖像中的細節信息，從人眼視覺感知和5個客觀數據分析函數驗證了本文方法的有效性，與現有方法相比具有較好的融合效果，且自適應能力強、無需人工干預。