基于NSCT和分數階微分的多聚焦圖像融合方法

朱亞輝

(陜西學前師范學院 數學與統計學院,陜西 西安 710100)

由于受外部環境的影響及相機本身固有的不足，往往難以得到某個場景的全聚焦圖像。利用多聚焦圖像融合技術，獲得全圖聚焦清晰、細節豐富的圖像。這在機器視覺、遙感監測等方面具有非常重要的應用，越來越多的學者提出了許多的多聚焦圖像融合方法。如張亞峰等人將線性延遲相位濾波器推廣到非線性群延遲相位濾波器，設計出基于擴展相位拉伸變換局部相位方差獨立的融合策略，該方法優于傳統融合算法，但也存在圖像邊緣能力描述不佳的問題；歐陽寧等提出了基于自適應稀疏表示的多聚焦圖像融合，雖然該方法客觀融合效果評價指標值較好，但由于字典矩陣在描述圖像邊緣等方面能力不佳，部分細節信息被平滑處理。屈小波等提出非降采樣輪廓波(Non-sampling-down Contourlet, NSCT)域內空間頻率激勵的圖像融合算法，該方法在描述顯著目標的邊緣上能力不佳。分數階微分算子具有弱導性，既能很好地提取圖像的邊緣信息，又能較好地保留平滑區域的弱邊緣信息。因此，分數階微分算子在圖像去噪、圖像增強和圖像邊緣檢測等方面取得較好的應用。

鑒于上述分析，在現有研究的基礎上，提出了一種基于NSCT和分數階微分的多聚焦圖像融合方法。首先經NSCT將多聚焦圖像分解一個低頻子帶和多個高頻子帶；其次，根據各子帶的特征，設置不同的融合規則。其中，低頻子帶采用源圖像與低頻圖像間的局部對比度差的絕對值最大為融合規則；高頻子帶采用基于分數階微分梯度最大為融合規則。實驗結果表明，本融合方法在主、客觀評價中都有較好的性能。

1 基本理論

1.1 圖像NSCT分解

NSCT是由非下采樣方向濾波器(Non-sampling-down directional filter, NSDFB)和非下采樣金字塔(Non-sampling-down pyramid, NSP)兩部分而組成。圖1為NSCT變換三級分解結構圖。

圖1 NSCT變換三級分解結構圖

1.2 分數階微分濾波器

分數階微分是一種常用的圖像增強算法，該算法相比于整數階微分算法可以更好地檢測模糊邊界和微弱細節，調整圖像的對比度圖像細節更突出而且還保留了平滑區域的紋理信息，改視覺質。

目前，Grümwald-Letnikov分數階微分常常用于數字圖像處理中，其數學表達式為：

其中：表示此式為分數階微積分呢，()表示積分時間步長；()為伽馬函數。

若()的持續期∈[,]，將函數持續期間[,]按單位間隔=1進行等分，得到：

則一元函數()的階分數階微分差分表達式為：

(1)

應用公式(1)前3項，求取5×5八方向的分數階微分掩模算子，圖2為疊加后得到的掩模。

圖2 5×5掩模

文獻[10]和文獻[11]證明，基于分數階微分的邊緣檢測，既能很好地提取圖像邊緣信息，又能較好地保留平滑區域的弱邊緣信息。

2 融合方法及融合規則

已知兩幅多聚焦圖像,，首先采用NSCT將圖像,分解為低頻子帶,和高頻子帶{},{}；再分別采用局部對比度差的絕對值最大和基于分數階微分的梯度最大為融合規則，最后采用逆NSCT得到融合圖像。

2.1 低頻子帶融合規則

一般情況下，圖像經過NSCT變換分解得到的低頻分量集中反映圖像基本信息。圖3為左右聚焦源圖像及其低頻子帶。

由圖3可知：當區域為聚焦區域時，該區域與其相應低頻區域的局部對比度變化強烈；當區域為模糊區域時，該區域與其相應低頻區域的局部對比度變化緩慢。因此，將源圖像與其低頻子帶間的局部對比度差的絕對值最大作為決策圖。

圖3 源圖像及其低頻子帶

具體融合規則公式為：

其中，=|()-()|,=|()-()|.

(′)和(′)分別沿著,方向的梯度。

圖4為低頻子帶決策圖。

圖4 低頻子帶的決策圖

由圖4可以看出，通過計算源圖像與低頻子帶的局部對比度絕對值差可以獲得較好的決策圖。

2.2 高頻子帶融合規則

高頻子帶描述源圖像的邊緣信息。分數階微分相比于整數階微分算法能更好地檢測模糊邊界和微弱細節，調整圖像的對比度圖像細節更突出，而且保留了平滑區域的紋理信息。因此，高頻融合規則采用邊緣梯度最大原則，其中邊緣檢測算法采用分數階微分算法。高頻融合規則如下：

其中，為基于分數階微分算法的梯度，表達式如下：=max{,,,,,,,},其中，8個方向的掩模如圖2所示。

3 實驗及結果分析

3.1 實驗參數的設計及融合圖像的生成

在本節中，通過主、客觀評價多組融合圖像的效果，分析本文融合方法的有效性。其中，4組多聚焦源圖像對分別為：“Clock”“Pepsi”“Desk”和“Flower”；采用的融合方法包括：文獻[4]融合方法、文獻[13]融合方法、文獻[14]融合方法和本文方法。其中，本文融合方法的參數設置如下：分解級數為4級，濾波器參數為'pyrexc' 和'vk'，分解方向數為[2 3 3 4]，分數階數=09。多種方法的融合結果如圖5所示，其中圖5(a)和圖5(b)為多聚焦源圖像對，圖5(c)～圖5(f)分別為文獻[4]、文獻[13]、文獻[14]和本文方法。

圖5 多聚焦圖像對及融合結果示意圖

3.2 融合圖像的主觀評價

對比第1組融合結果可以看出，基于文獻[4]的融合圖像右邊鬧鐘表盤紋理邊緣不清晰；基于文獻[13]的融合圖像左邊小鬧鐘的邊緣較為模糊；基于文獻[14]的融合方法和本文融合方法融合效果均較好。

對比第2組的融合結果可以看出，基于文獻[13]的融合圖像紋理較為模糊，字母出現重影；基于文獻[14]的融合圖像右下角邊緣不清；基于文獻[4]的融合圖像右端文字較為模糊。基于本文方法的融合圖像紋理清晰，尤其字體清晰，無重影。

本文融合方法的優勢同樣體現在第3組和第4組的融合圖像中。例如，在第3組中，本文方法較好地保留等紋理信息；在第4組中，在本文方法的融合結果中，“花”在結果圖像中對比度適中，背景細節信息清晰；總體來說，在視覺質量上，本文融合方法較優于其他圖像融合方法。

3.3 融合圖像的客觀評價

為了更加客觀地評價本文融合方法的有效性，應用邊緣信息保留度(Edge Information Retention, EIR), 特征相似度(Feature Similarity, FS), 結構相似度(Structural Similarity, SSIM)和特性互信息(Feature Mutual Information, FMI)評價融合圖像質量，這4個指標數值越大，則融合效果越好。表1～表4給出了多組融合圖像的客觀評價指標值。

表1 Clock融合結果評價

表2 Pepsi融合結果評價

表3 Desk融合結果評價

表4 Flower融合結果評價

由表1～表4可知，對于“EIR”,本文融合方法均優于其他融合方法，表明本文融合方法很好地保留更多的邊緣信息；對于“FS”，本文融合方法在“Pepsi”“Desk”和“Flower”圖像融合結果評價值最優，但在“Clock”融合圖像上本文融合方法次之(表1)，表明了本文融合方法較好地保留了源圖像的特征；對于“SSIM”和“FMI”這兩個評價指標，雖然本文融合方法根據優劣排序并不是最優的，但與最優值相差不多，表明本文融合方法較好地保留了結構相似性和特征互信息性。總之，從整體上，本文融合方法具有較好的融合結果。

4 結 論

NSCT能增強圖像的平移不變性，但在描述顯著目標的邊緣上能力不佳。分數階微分算子既能很好地提取圖像的邊緣信息，還能較好地保留平滑區域的弱邊緣信息。為了彌補NSCT的不足，提出了基于NSCT和分數階微分的多聚焦圖像融合方法。通過對比多組融合圖像主、客觀評價結果表明，該方法能有效保留邊緣信息。