基于ＮＳＳＴ和稀疏表示的多聚焦圖像融合方法

摘要：為使融合圖像保留豐富的細節和紋理信息，提出了一種基于非下采樣剪切波變換（NSST）和稀疏表示的多聚焦圖像融合方法。鑒于稀疏表示能夠有效地捕捉圖像中的結構信息這一優勢，并充分考慮像素間的區域相關性，低頻子帶系數采用稀疏表示和區域能量相結合的融合策略，以及加權平均的融合規則．高頻子帶系數采用區域能量取大的融合規則。實驗結果表明，該方法融合圖像清晰度高，能夠更好地保留圖像細節信息。

關鍵詞：非下采樣剪切波變換；稀疏表示；區域能量；多聚焦圖像；圖像融合

中圖法分類號：TP391 文獻標識碼：A

１ 引言

由于光學鏡頭景深的限制，成像系統無法獲取場景中全部目標均清晰的圖像，這不利于后續圖像的理解與處理。多聚焦圖像融合技術的出現有效解決了這一難題。多聚焦圖像融合通過一定的算法，可以把２ 幅或多幅圖像融合成所有目標均清晰的圖像［１～２］ 。

目前，多聚焦圖像融合技術已廣泛應用于機器視覺、目標識別、醫學、軍事等領域。

多尺度變換是目前最常用的像素級融合方法。

其中，小波變換在時域和空域均有良好的局部化特性，能夠獲得良好的融合效果，但小波變換在圖像細節提取方面效果欠佳。針對小波變換的不足，研究者提出了輪廓波變換［３］ 。輪廓波變換具備良好的非線性逼近能力，能夠更稀疏地表示圖像，但因其在變換過程中存在采樣操作，容易產生偽吉布斯效應。非下采樣剪切波變換（ＮＳＳＴ）完全繼承了輪廓波變換的優點，且在變換過程中不存在采樣操作，其計算效率更高，具有方向敏感性、平移不變性等優點。因此，作為一種有效的圖像分解工具，ＮＳＳＴ 被廣泛應用于圖像去噪、圖像增強等圖像處理領域。

在基于多尺度變換的融合方法中，研究者大多把研究焦點放在高頻子帶系數融合規則的設計上，低頻子帶系數一般采用“取平均”的融合規則。“取平均”策略雖然實現簡單，但是容易丟失源圖像中的有用信息，且降低圖像的對比度。因此，本文將研究重點放在低頻子帶系數融合規則的設計上。利用過完備字典的冗余性，稀疏表示可以捕捉圖像的各種結構特征，有效地對圖像進行表示［４］ 。鑒于稀疏表示在圖像表示方面的優勢，并充分考慮像素間的區域相關性，本文對低頻子帶系數進行稀疏表示，提取系數的區域能量特征，同時采用加權平均的融合規則。高頻子帶系數采用區域能量取大的融合規則。通過圖像仿真實驗，并與經典的圖像融合方法相比，結合主觀圖像質量評價與客觀評價指標，均表明了本文方法的可行性與有效性。

４ 實驗及結果分析

４．１ 實驗設置

將本文融合方法在多聚焦圖像上進行仿真實驗。

待融合圖像的大小為２５６×２５６，圖像格式為ｂｍｐ。為進一步驗證本文方法的有效性，將其與３ 種經典傳統的多聚焦圖像融合方法進行對比：基于輪廓波變換和脈沖耦合神經網絡的圖像融合方法［５］（方法１）、基于非下采樣剪切波變換的圖像融合方法（方法２）、基于拉普拉斯變換的圖像融合方法［６］（方法３）。其中，對比方法的參數設置為：方法２ 的分解層數為３，每層子帶數為６，６，６，低頻子帶系數融合規則采用取平均值，高頻子帶系數融合規則采用區域能量取大法；方法３的分解層數為３，低頻子帶系數融合規則采用取平均值，高頻子帶系數融合規則采用取大法。本文方法的參數設置為：分解層數為３，每層子帶數為６，６，６，圖像分塊大小為８×８，滑動步長為４。

４．２ 實驗結果

花豹圖像的源圖像及融合結果圖像如圖２ 所示，花豹圖像的客觀評價指標如表１ 所列。

圖２（ａ），２（ｂ）分別是待融合的近聚焦圖像與遠聚焦圖像。圖２（ｃ）～圖２（ｆ）是本文方法和對比方法的融合結果圖像。從主觀視覺效果上來看，方法１ 的融合圖像“花豹的爪子”比較模糊，出現偽影。方法３ 的融合圖像對比度和圖像清晰度較低。方法２ 和本文方法的融合圖像清晰度高，含有更多的細節紋理信息。

為定量地對融合圖像進行評價，本文引入標準差、平均梯度、空間頻率、信息熵、邊緣轉換率等指標［７］ 。標準差可以反映圖像像素值的分布，平均梯度表示圖像的清晰度，空間頻率反映圖像在空間域的總體活躍程度，信息熵表示圖像包含的信息量，邊緣轉換率表示源圖像到融合圖像的邊緣轉化率。表１ 給出了花豹融合圖像的客觀評價指標（加粗為最優值）。

從表１ 可以看出，本文方法在標準差、平均梯度、空間頻率、信息熵和邊緣轉換率上均具有最優值，方法２與本文方法在高頻子帶系數融合規則上相同，由于本文方法對低頻子帶系數融合規則的設計，使得本文方法的客觀評價指標優于方法２，從主觀視覺和客觀指標評價上均證明了本文方法的有效性。

５ 結束語

本文提出了一種基于ＮＳＳＴ 和稀疏表示的多聚焦圖像融合方法，通過ＮＳＳＴ 這一有效的分解工具提取待融合圖像的系數，并充分利用稀疏表示和區域特征的優勢設計低頻子帶系數融合規則。通過多聚焦圖像實驗表明，本文方法能夠保留更多的圖像紋理和細節信息。下一步研究重點將放在算法對其他類型圖像（醫學圖像、遙感圖像、紅外與可見光及彩色圖像）的適用性上。

參考文獻：

［１］ 王磊，齊爭爭，劉羽．深度學習多聚焦圖像融合方法綜述［Ｊ］．中國圖象圖形學報，２０２３，２８（１）：８０?１０１．

［２］ 劉明君，董增壽，張鳳珍．基于改進的非下采樣剪切波變換多聚焦圖像融合技術的研究［Ｊ］．儀表技術與傳感器，２０１７（９）：１１４?１１７．

［３］ 張旭，陳華鋒．數字全息和輪廓波變換相融合的激光圖像水印技術［Ｊ］．激光雜志，２０２２，４３（１０）：２０２?２０７．

［４］ 張洲宇，曹云峰，丁萌，等．采用多層卷積稀疏表示的紅外與可見光圖像融合［Ｊ］．哈爾濱工業大學學報，２０２１，５３（１２）：５１?５９．

［５］ 趙賀，張金秀，張正剛．基于ＮＳＣＴ 與ＤＷＴ 的ＰＣＮＮ 醫學圖像融合［Ｊ］．激光與光電子學進展，２０２１，５８（２０）：４５３?４６２．

［６］ 黃福升，藺素珍．基于拉普拉斯金字塔變換方法的多波段圖像融合規則比較［Ｊ］．紅外技術，２０１９，４１（１）：６４?７１．

［７］ 楊艷春，李嬌，王陽萍．圖像融合質量評價方法研究綜述［Ｊ］．計算機科學與探索，２０１８，１２（７）：１０２１?１０３５．

作者簡介：張翠英（ １９８８—）， 碩士， 助理實驗師， 研究方向： 圖像處理。