基于卷積稀疏表示的圖像融合方法

曹義親，楊世超

（華東交通大學軟件學院， 南昌 330013）

0 引言

隨著傳感器技術不斷地發展和完善，單傳感器所獲得的信息已經不能滿足人們的需求，需要通過對多個傳感器信息進行融合來獲得更豐富的信息。圖像是一種媒介，包含了大量的信息，如何對這些信息進行有效地處理也成為了迫切需要解決的問題。因此，許多學者將信息融合應用于圖像當中，從而出現了一個新的名詞——圖像融合。圖像融合是指將來自不同傳感器的源圖像采用一定的技術手段，融合成一張新的并且信息度更加豐富的圖像。近年來，圖像融合在軍事、視頻監控、醫學成像、遙感等領域發展比較迅速。在軍事領域中，圖像融合跟目標追蹤和導航緊緊聯系在一起，通過對可見光圖像與紅外圖像進行融合，能幫助飛行員實現更精確的定位。通過對遙感圖像進行融合，融合得到的圖像同時具有高空間分辨率和多光譜特性，使目標識別和分類更加迅速。在醫學領域中，通過對電腦斷層掃描圖像（CT）和核磁共振圖像（MRI）進行融合，能提高醫生診斷疾病的準確率。

由于需要對多傳感器所獲得的信息進行處理，故在一定程度上會增加圖像融合的耗時。為了提高信息處理的效率，需要提出一種新的方法和思路，稀疏表示很好地解決了這一問題。文獻［1］直接對低頻系數進行稀疏表示，能有效提升圖像的融合質量，但在圖像邊緣處會有虛影產生。文獻［2］將稀疏表示應用于遙感圖像，雖然融合結果比較成功，但由于遙感圖像的細節信息比較豐富，并不適用于本文研究。文獻［3］提出對低頻子帶的四個方向進行快速稀疏表示，這能在一定程度上減少圖像融合所耗費的時間，但細節信息會出現丟失。文獻［4］提出采用非下采樣雙樹復輪廓波變換對源圖像進行分解，此方法雖然在一定程度上提高了圖像融合質量，但所耗費的時間也有所提高。文獻［5］將多任務魯棒稀疏表示模型運用到多聚焦圖像融合當中，這可以大大提高圖像融合方法的魯棒性，但計算復雜度比較高。文獻［6］通過將魯棒稀疏表示模型與形態學濾波相結合，有效提高了圖像塊之間的相關性，但同時圖像的對比度也會降低。文獻［7］提出了一種新穎的卷積稀疏表示模型，將圖像看成一個整體，直接對圖像本身進行操作，有效解決了圖像塊關聯性不夠的問題。

針對文獻［7］對低頻子帶系數進行整體融合，但忽略了對高頻子帶系數進行合理有效處理這一問題，本文在文獻［7］基礎上加以改進，提出了一種基于卷積稀疏表示的圖像融合方法。首先，在高頻子帶系數中，利用相似度分析和視覺顯著性進行融合。然后，將低頻子帶系數整體融合改進為使用Butworth低通濾波對低頻子帶進行分解，得到低頻近似子帶和強邊緣子帶。最后，再用改進的脈沖耦合神經網絡（PCNN）對強邊緣子帶進行融合。

1 NSST的基本理論

在傳統仿射系統的基礎上，Easley等［8］將幾何與多尺度相結合，提出了一種新型的多分辨率分析工具——非下采樣剪切波變換（Non-subsampled Shearlet Transform，NSST）。它不僅吸收了小波理論的最新研究成果，而且具有嚴格的數學基礎，具體公式如下

式（1）中，ψ∈L2（R2），｜detN｜＝1；j為分解尺度，l為方向參數，K為剪切參數；M為各向異性矩陣，N為剪切矩陣，Z為整數域。

NSST的核心部分是非下采樣金字塔（Non-subsampled Pyramid，NSP）分解和剪切波方向濾波（Shearlet Filter，SF）分解。NSP分解能將低頻分量不斷地分解，而SF分解主要用于分解高頻分量，具體的流程圖如圖1所示。

2 脈沖耦合神經網絡（PCNN）

脈沖耦合神經網絡（Pulse Coupled Neural Network，PCNN）［9］是一種簡化的神經網絡，該網絡模型根據生物視覺神經系統的工作原理，通過模擬貓腦視覺皮層同步脈沖爆發現象而建立起來的。

圖1 NSST的多尺度多方向分解過程Fig.1 Multi-scale and multi-direction decomposition of NSST

標準的PCNN模型主要由三部分組成：刺激接收場、脈沖調制場和脈沖生成場。當將PCNN模型應用到圖像時，網絡中的神經元與圖像中的像素點是相對應的，迭代公式如下

式（2）～式（6）中，（i，j）為一個像素點，n為迭代次數，Lij為連接輸入，Fij為反饋輸入激勵，Uij為內部活動，β為鏈接強度，θij為動態閾值，Yij為神經元的輸出，WijKl為神經元矩陣之間的連接權重，VF、VL、Vθ為放大因子，aF、aL、aθ為時間常數。

3 卷積稀疏表示理論

卷積稀疏表示（Convolution Sparse Representation，CSR）［10］可以看作是對稀疏表示采用卷積形式，其基本思想是將圖像s建模為稀疏系數映射xm與字典過濾器dm之間的一組卷積之和

式（7）中，?為卷積運算符。文獻［10］提出了一種ADMM算法，可以很好地解決卷積稀疏表示編碼問題。字典學習被定義為式（8）的優化問題

4 融合規則

首先，將源圖像A和B進行NSST，將圖像由空間域轉換到頻域。對于低頻子帶系數，采用Butworth低通濾波進行分解，分解為低頻近似子帶和強邊緣子帶。對于高頻子帶系數，先進行相似度分析，再結合視覺顯著性進行融合。將卷積稀疏表示方法用于融合低頻近似子帶，將改進的PCNN方法用于融合強邊緣子帶。

4.1 低頻近似子帶融合

低頻近似子帶系數傳統的處理方式通常為簡單選擇或加權平均，但這樣會導致融合后的圖像部分信息丟失。采用稀疏表示的方式能很好地改善這個問題，但由于稀疏表示是基于圖像塊進行編碼的，這會破壞圖像塊間的相關性。因此，采用卷積稀疏表示對低頻近似子帶進行處理，通過對圖像整體進行稀疏表示，從而增強圖像塊間的相關性，提高圖像融合效果。具體步驟如下所示：

1）對低頻近似子帶XA（i，j）、XB（i，j）進行卷積稀疏表示處理，得到系數映射xA，m（i，j）、xB，m（i，j）。

2）對系數映射求l1范式，采用如下規則得到融合后的系數映射xF，m（i，j）

3）重構融合后的系數映射，得到最終的結果。

4.2 強邊緣子帶融合

PCNN模型具有良好的視覺感知能力，但模型參數大都設置為經驗值。因此，本文采用改進的PCNN方法對強邊緣子帶系數進行融合。比較常用的指標為EOL和SML，但在對邊緣特性的表達上，由于不能充分地提取邊緣特征，會降低融合后圖像的清晰度。因此，選擇邊緣能量作為PCNN的外部輸入

式（11）中，Z（i，j）為強邊緣子帶系數，E1、E2、E3為方向濾波操作。其中，E1、E2、E3滿足

傳統方法對PCNN模型的處理只會考慮兩個方向的梯度能量，通常為水平方向和垂直方向，因而忽略了對角線方向的信息。為了提高圖像的清晰度，本文對不同方向上的像素點進行一并考慮，將8-鄰域梯度能量設置為該模型的連接強度。8-鄰域梯度能量定義如下

式（14）中，M×N為區域大小，Y（i，j）為高頻子帶系數。

4.3 高頻子帶系數融合

相似度是對圖像融合效果的一種衡量方法，分析視覺顯著性能夠幫助辨別圖像的部分區域是否顯著，從而有效獲得更多的整體信息。先進行相似度分析，再結合視覺顯著性進行融合，能有效提高融合效果。具體的方法如下所示：

對源圖像A和B進行分解，分解為高頻子帶系數HA和HB。對高頻子帶系數使用3×3的滑動窗口進行分塊，采用如下公式進行相似度分析

式（15）中，l（x，y）、c（x，y）和s（x，y）依次為亮度相似性、對比度相似性和結構相似性，計算公式如下

式（16）中，μx、μy為均值，σx、σy為標準差，σxy為協方差。

當SM＞0.5時，表示圖像塊具有相似性。此時，分別計算圖像塊的區域能量，區域能量的定義如下

通過區域能量計算出對應子帶系數的權重，并進行加權，有

當SM＜0.5時，說明圖像塊不具有較高相似性。因此，需要計算每個圖像塊中像素點的顯著性，并根據顯著性進行加權融合，具體的公式如下

式（19）中，Sn為像素點的顯著性，In（i，j）為圖像的像素值，μn為圖像的均值。通過函數對顯著性進行處理，獲得加權系數，結果如下

式（20）中，σ為圖像方差；n為源圖像的數量；k為調整參數，本文設置為0.8。

4.4 融合方法

本文提出的方法具體步驟如下：

1）通過NSST將源圖像A和B變換到頻域空間；

2）通過Butworth低通濾波對低頻子帶系數進行處理，得到低頻近似子帶和強邊緣子帶；

3）將卷積稀疏表示方法用于融合低頻近似子帶，將改進的PCNN方法用于融合強邊緣子帶；

4）對于高頻子帶系數，先進行相似度分析，再結合視覺顯著性進行融合。

對應的算法流程如圖2所示。

圖2 算法流程圖Fig.2 Flowchart of algorithm

5 融合實驗和結果分析

采用“clock”、“pepsi”兩組多聚焦圖像和一組遙感圖像進行實驗，如圖3所示。實驗采用主頻為1.70GHz、內存為8G的筆記本電腦運行，使用的是win7系統，軟件環境是Matlab R2016b，PCNN模型的參數設置為：Vθ＝0.2、VL＝1.0、aθ＝20、aL＝1、Nmax＝200。

圖3 實驗源圖像Fig.3 Source image of experiment

為了驗證本文所提算法的融合結果，將本文算法與其它幾種算法進行比較。文獻［7］直接使用卷積稀疏表示對圖像進行處理；文獻［11］利用非下采樣輪廓波對圖像進行分解，然后采用卷積稀疏表示對低頻進行處理；文獻［12］利用引導濾波和Gauss濾波對源圖像進行分解，然后采用卷積稀疏表示對低頻近似子帶進行處理。實驗結果如圖4～圖6所示。

圖4 “clock” 圖像實驗結果對比Fig.4 Comparison of “clock” images experiment results

圖5 遙感圖像實驗結果對比Fig.5 Comparison of remote sensing images experiment results

圖6 “pepsi” 圖像實驗結果對比Fig.6 Comparison of “pepsi” images experiment results

由圖4～圖6可知，文獻［7］算法的融合結果中，整體圖像信息不夠豐富，顏色比較灰暗。文獻［11］算法的融合結果中，三幅圖像左邊區域都出現了不同程度的模糊現象，視覺效果不佳。文獻［12］算法的融合結果中，整體圖像的右上邊邊緣區域出現虛影，有明顯的變形。本文算法的融合結果中，圖像整體清晰度增強，邊緣特征保持較好。

為了說明本文算法的融合結果有不錯的提升，將客觀評價指標信息熵（IE）、標準差（SD）、空間頻率（SF）、互信息（MI）用于對圖像進行評價。信息熵是用來衡量圖像信息量大小的指標，標準差反映了圖像值的變化大小，空間頻率用于測量圖像的清晰度級別，互信息是用來測量源圖像信息在融合后圖像中所占比重的指標。這幾個客觀評價指標中，數值越大表明圖像融合質量越好。評價結果如表1～表3所示。

表1 “clock” 圖像實驗結果的客觀比較Table 1 Objective comparison of “clock”images experiment results

表2 遙感圖像融合結果的客觀比Table 2 Objective ratio of remote sensing image fusion results

表3 “pepsi” 圖像實驗結果的客觀比較Table 3 Objective comparison of “pepsi” images experiment results

對表1～表3中的數據進行分析，可以看出，本文算法在客觀指標上總體優于對比算法。以文獻［7］、文獻［11］和文獻［12］的數據為基礎進行對比（三者中數值最小的），信息熵提高了將近3%、標準差提高了將近9%，空間頻率提升了將近30%，互信息提升了將近25%。

在時間復雜度上，本文分別對四種算法在三組圖像上進行了測試，并對每種算法得到的數據取平均值，結果如表4所示。由表4可知，本文算法具有一定的優勢。

表4 不同圖像融合算法的時間比較Table 4 Time comparison of different image fusion algorithms

6 結論

針對光學傳感器的成像特性，本文將卷積稀疏表示模型與圖像融合相結合，提出了一種基于卷積稀疏表示的圖像融合方法。首先，將源圖像進行分解，得到多尺度分解系數。對于低頻分量，采用Butworth低通濾波進行分解，得到低頻近似分量和強邊緣分量。對于高頻分量，先進行相似度分析，再結合視覺顯著性進行融合。將卷積稀疏表示方法用于融合低頻近似子帶，對于強邊緣分量，采用改進的PCNN方法對其進行融合。根據融合結果顯示，相比于其他幾組融合算法，本文算法的信息熵提高了將近3%，標準差提高了將近9%，空間頻率提升了將近30%，互信息提升了將近25%。同時，時間效率也有了一定程度地提升。