基于NSST 和NLMF 的多聚焦圖像融合*

吳 劍 ，吳曉紅 ，何小海 ，李林怡 ，卿粼波

(1.四川大學 電子信息學院 圖像信息研究所，四川 成都610065；2.中國民航局第二研究所，四川 成都610041)

0 引言

圖像技術的不斷發展以及現代光學成像設備的聚焦范圍局限性，很難保證成像圖像都位于聚焦區域。多聚焦圖像融合技術將同一場景通過相同傳感器得到的不同聚焦信息有效地整合在一起，形成一幅內容豐富、信息飽和的聚焦圖像，可應用在遙感技術、醫學圖像和攝影等方面。

基于變換域的融合方法將源圖像通過各種變換以得到多尺度、多方向的多幅子帶圖像；然后，通過各種融合規則對子帶圖像進行融合；再通過反變換得到最終融合圖像。非下采樣輪廓波變換(Non-Subsampled Contourlet Transform，NSCT)[1]的提出主要解決了融合圖像的邊緣及輪廓表現得不是很明顯的問題。但是此變換忽視了空間一致性。通過NSCT[2-3]和脈沖耦合神經網絡(Pulse Coupled Neural Network，PCNN)的有效結合，不僅解決了空間一致性問題，同時也實現了更好的視覺效果。由于非下采樣剪切波變換(Non-Subsampled Shearlet Transform，NSST)[4]具有多方向、多尺度變換，平移不變等良好特性，也被用于圖像融合。稀疏表示(Sparse Representations，SR)[5]、低秩表示(Low-Rank Representation，LRR)[6]最近幾年也相繼出現在圖像融合領域，LRR 在帶有噪聲的圖像融合中表現較為突出。基于卷積神經網絡(Convolutional Neural Networks，CNN)的圖像融合技術[7]等也被提出，并且達到了很好的視覺效果。

BUDADES A 等提出的非局部均值濾波(Non-Local Mean Filter，NLMF)算法[8]不僅能達到去除噪聲的目的，還能在很大程度上保留圖像的結構信息。

本文利用NSST 以及NLMF 的各自優勢，提出了一種基于NSST 與NLMF 的多聚焦圖像融合算法，有效提高了融合圖像的視覺效果。

1 相關理論

1.1 非下采樣Shearlet 變換

NSST 是對Shearlet 變換的改進，針對Shearlet 變換在下采樣過程中不具備平移不變性的缺點而提出的。NSST 變換通過非下采樣金字塔濾波器組(Non-Subsampled Pyramid Filter，NSPF)對源圖像進行多尺度剖分，再利用基于改進的剪切波濾波器組(Shearlet Filter Box，SFB)進行多尺度局部化分解。分解原理如圖1 所示，利用NSPF 對源圖像進行K級分解后得到高頻和低頻子帶系數，再利用SFB 對每一級的高頻子帶系數進行多方向局部化分解，最終可以得到K個高頻子帶圖像和一個低頻子帶圖像，且子帶圖像大小與源圖像尺寸一致。

1.2 非局部均值濾波

NLMF 是對傳統濾波的一種改進。該算法考慮到圖像的自相似性，充分利用圖像的冗余信息，較大程度地保留了圖像的細節特征，與傳統均值濾波不同之處在于：獲得權值w的策略不同。其計算公式如下：

圖1 NSST 分解原理圖

式中，ui表示輸入RGB 圖像，i=1，2，3；B(p，r)表示中心像素點為p，大小為(2r+1)×(2r+1)的像素塊。w為權重，計算公式如下：

這里采用指數函數對兩個像素塊之間的平方距離d2進行權值計算(本文采用遞增指數函數，盡可能平滑邊緣)，B(p，f)、B(q，f)分別表示中心像素為p、q，大小為(2f+1)×(2f+1)的像素塊。

2 基于NSST 和NLMF 的融合算法

2.1 融合算法

輸入源圖像，經過NSST 變換得到低頻子帶圖像以及一系列高頻子帶圖像。針對低頻子帶圖像，采用基于局部區域的改進拉普拉斯能量和以及NLMF 修正規則；針對高頻子帶圖像,采用相位一致性(Phase Congruency，PC)以及空間頻率和能量相關系數的融合規則。最后通過NSST 反變換得到最終融合圖像。

2.2 低頻子帶系數融合規則

2.2.1 初始融合規則

2.2.2 NLMF 修正融合規則

2.3 高頻子帶系數融合規則

2.3.1 初始融合規則

高頻子帶圖像中，紋理、邊緣細節信息居多。本文針對高頻子帶系數，設計了一種基于相關系數的空間頻率和能量相結合的加權融合規則(SF_Eng_Corr)：

2.3.2 相位一致性修正融合規則

由相關系數得到的初始高頻融合權重忽視了高頻子帶系數本身的相關性，為此，本文采用相位一致性加以修正，其過程如下：

3 實驗結果及分析

3.1 實驗說明

為對本文提出算法的可行性進行有效驗證，進行了一系列對比實驗。實驗中選取3 組不同聚焦圖像進行融合實驗，并與現有的5 種常見算法進行比較，分別為文獻[10](GFF 方法)、文獻[2](NSCT 方法)、文獻[5](ASR 方法)、文獻[7](CNN 方法)以及文獻[11](GFDF 方法)。所用對比圖片均已配準；對融合結果分別在主觀視覺和客觀評價指標上進行了分析。

3.2 主觀評價

圖2～圖4 展示了不同融合算法對Clock、Disk、Pepsi 三對不同聚焦圖片的融合結果。在Clock 的實驗結果中，相對于源圖像2，NSCT、ASR、CNN 方法在聚焦邊緣(如圖中框中所示)存在邊緣模糊、缺失現象；同時，ASR 方法得出的融合圖像在圖像清晰度方面有所不足，細節部分有所丟失。而GFF、GFDF以及本文方法在圖像清晰度、邊緣部分都有很好的表現,融合效果較好。

在Disk 的實驗結果中，ASR 以及CNN 方法在聚焦邊緣(中間小方框中)存在細節缺失、不平滑現象；同時，在書架上白色書籍邊緣(左邊方框中)，NSCT、ASR方法存在白色光暈現象。GFF、GFDF 以及本文算法并未出現上述現象，同時圖像細節保留很好，清晰度較高。

在Pepsi 的實驗結果中，NSCT 和ASR 方法在圖中英文單詞處(右上方框中)有輕微的模糊現象，清晰度不高；同時，相對于源圖像2，GFF、NSCT 以及ASR 方法在圖中桌面倒影處(偏右下長方形小框)也存在些許模糊。從主觀上看，本文算法不管是在聚焦邊緣、細節保留還是在圖像清晰上，都有一定的提高,融合效果相對較好。

圖2 Clock 實驗結果

圖3 Disk 實驗結果

3.3 客觀評價

為對本文算法的有效性做進一步的驗證，選取了5 個評價指標對融合圖像進行定量評估，分別為互信息(MI)[12]、標準差(STD)、視覺信息保真度(VIFF)[13]、結構相似性(SSIM)[14]、結構互信息(QFMI)[15]。其中，融合圖像包含的信息量越多，MI、QFMI越大。STD 反映圖像對比度，越大則對比度越高。VIFF 反映人眼視覺效果，其越大，視覺效果越好。SSIM 反映的是融合圖像與參考圖像之間的相似度，其值越接近1，融合效果越好。

圖4 Pepsi 實驗結果

表1 列出了評價指標對比結果，從表中可以看出，對于融合圖像Clock 和Disk 的對比實驗結果，本文算法的MI、SSIM、QFMI均高于其他幾種算法，特別是SSIM 接近于1。可見,本文算法得出的融合圖像中所包含源圖像的聚焦信息與其余算法相比，有較大的提升。對于融合圖像Clock 和Pepsi 的實驗結果，MI、VIFF 均高于其余算法，說明在保留較多源圖像的聚焦信息的同時，融合圖像的視覺效果也較優于其余算法。在圖像Clock 的融合結果中，MI、STD、VIFF、SSIM、QFMI都優于其余算法，說明本文算法在信息豐富度、對比度、人眼視覺效果上都有較好的表現。三組實驗中，本文算法的MI、STD、VIFF、SSIM、QFMI均高于NSCT、ASR 方法；并且，相對于當前對比的深度學習算法，本文算法在MI、VIFF、SSIM、QFMI指標上均有一定的優勢。

結合主觀評價和客觀評價，本文算法的融合效果較其他幾種算法都有較好的優勢，特別在融合圖像的信息豐富度、對比度上，有較大的提高。同時，本文算法也提高了融合圖像的人眼視覺效果。

表1 客觀評價結果

4 結論

多聚焦圖像融合彌補了傳統數字成像設備不能聚焦全部場景信息的不足。本文運用非局部均值濾波、改進拉普拉斯能量和以及相位一致性等理論，提出了一種基于NSST 和NLMF 的多聚焦圖像融合算法。根據仿真結果，得到以下結論：

(1)本文算法不僅有效地保留了源圖像的輪廓、紋理等細節信息，同時，在圖像的聚焦邊緣區域，也有良好的視覺效果。

(2)相比于其他五種算法，本文算法得出的融合圖像的對比清晰度有一定的提升，在互信息量以及結構相似度上提升明顯，融合效果較理想。

未來工作考慮將更多的圖像色彩信息與紋理細節有效地結合起來，提高融合效果的同時，使得融合圖像的色彩飽滿度得到提升；同時，對于帶噪圖像的融合方法也是今后考慮的方向。