一種結(jié)合清晰區(qū)域增強多聚焦圖像融合算法

郭鋒鋒

(宿州職業(yè)技術(shù)學(xué)院 計算機信息系，安徽 宿州 234000)

0 引言

在現(xiàn)實場景中由于光學(xué)鏡頭聚焦特性，形成圖像局部清晰圖像，如手機拍照當(dāng)聚焦某一物體時，我們發(fā)現(xiàn)物體時清晰但相應(yīng)其他背景則變得模糊，同理聚焦別的物體時也會發(fā)生這種現(xiàn)象。多聚焦圖像融合是指提取多幅圖中有效信息融合成一幅清晰圖像[1]。圖像融合技術(shù)經(jīng)過快速的發(fā)展，應(yīng)用場景廣泛，應(yīng)用價值較大，并為后來技術(shù)發(fā)展做了鋪墊[2]。

近年來，圖像融合技術(shù)發(fā)展迅速，先后經(jīng)過小波、多尺度幾何分析函數(shù)、神經(jīng)網(wǎng)絡(luò)等發(fā)展階段。由于小波[3]不能很好表示圖像的奇異性，因而被多尺度幾何分析函數(shù)[4-6]取代，其中最為典型的基于contourlet變換函數(shù)[7]，但是由于contourlet變換不具有平移不變性，且會發(fā)生頻譜混疊現(xiàn)象，針對contourlet變換缺點將其改進為非下采樣contourlet變換(NSCT)，Bhatnagar G等[8]提出了NSCT域的指導(dǎo)對比度多模態(tài)醫(yī)學(xué)圖像融合，提高圖像對比度。閆利等[9]提出了一種NSCT域內(nèi)結(jié)合邊緣特征和自適應(yīng)PCNN的紅外與可見光圖像融合，通過對邊緣特征的有效提取及PCNN對細節(jié)信息有效提取，使最終融合圖像更加清晰；宋瑞霞等[10]提出了一種NSCT與邊緣檢測相結(jié)合的多聚焦圖像融合算法，該算法最終增強融合圖像邊緣信息；趙春暉等[11]提出了采用WA-WBA與改進INSCT的圖像融合算法，該算法通過結(jié)合WA-WBA，有效的提取了圖像細節(jié)信息。

由于NSCT域具有平移不變性且不會發(fā)生頻譜混疊現(xiàn)象，能更好的分解圖像。本文主要思想是通過改進融合規(guī)則及通過對原圖清晰區(qū)域邊緣信息提取來對融合后圖像進行邊緣信息強化，因此本文算法最終融合圖像邊緣信息突出，圖像主觀及客觀大幅提高。

1 非下采樣contourlet 變換(NSCT)原理

由于contourlet 變換的圖像不具有平移不變性，而NSCT變換是一種具有局部性，平移不變性，且不存在頻譜混疊現(xiàn)象的多尺度幾何分析函數(shù)，因此NSCT被廣泛用于圖像融合中。

NSCT是有兩組濾波器組成的，即非采樣方向濾波器(NSPFB)和非采樣塔形濾波器(NSDFB)，如下圖1所示，原圖首先經(jīng)過NSPFB濾波，然后在經(jīng)NSDFB濾波。

圖1 本文算法分解原理圖

2 本文融合算法原理

算法流程如圖2所示：

圖2 本文算法流程圖

(2)提出了改進的梯度能量的規(guī)則用于低頻子帶融合和基于切比雪夫矩的融合規(guī)則，并分別用到低通、帶通子帶融合。

(3)最后采用pal算法對初步融合圖像處理，以增強邊緣信息，得到融合圖像。

2.1基于改進的梯度能量的低頻子帶融合規(guī)則

(1)

其中

fx(i，j)=f(i，j)-f(i-1，j)

(2)

fy(i，j)=f(i，j)-f(i-1，j)

(3)

由公式(1)所示，圖像的梯度能量對方向表征不足，因此本文將其改進如下：

(4)

其中fxy、f-xy為歸一化的對角像素差，公式如下

(5)

(6)

(7)

2.2基于切比雪夫矩的帶通子帶融合規(guī)則

由于切比雪夫矩的計算中沒有近似誤差[13]。因此被廣泛使用，切比雪夫多項式定義如下：

(8)

正則化

(9)

(10)

其中δmn為克羅內(nèi)克函數(shù)。對于I×J圖像f(i，j)的圖像切比雪夫矩定義如下

(11)

其反變換為

(12)

由于圖像清晰區(qū)域?qū)?yīng)切比雪夫矩值較大，而模糊區(qū)域的值較小。基于此，對于帶通子帶本文提出如下融合規(guī)則：

(1)對原圖像A，B分塊，塊狀大小8×8，利用公式(12)，我們可以將圖像映射切比雪夫基上，并取該塊狀中系數(shù)最大值作為該塊的特征值Tijmax，使各子塊有唯一特征值。

(2)用步驟(1)中的切比雪夫矩值Tijmax代表各個表征值，提出如下公式：

(13)

其中TH為極限參數(shù)，平滑清晰區(qū)域與模糊區(qū)域邊緣信息。

2.3改進的Pal算法的融合圖像邊緣增強

李正等[14]提出了一種基于梯度方向一致性的邊緣檢測算法，該算法較傳統(tǒng)算子性能大大提高，但是忽略圖像的清晰度。基于此，Pal和King提出了一種基于模糊邊緣檢測的算法[15]，算法首先將一個I×J的大小圖像f(i，j)表示為一個灰度集

(14)

公式中μij/xij為圖像中某點(i，j)相對某個特定灰度集Xk的隸屬度，其中隸屬函數(shù)為

(15)

其中Xmax為Xk的最大灰度級；FdFε分別為倒數(shù)型及指數(shù)型模糊因子。通過增強算子(16)對圖像增強。

(16)

式中：

(17)

由于變換后的圖像仍然存在輕微的模糊現(xiàn)象，因此本文采用Pal算法進行處理，本文閾值取0.2[15]。將原圖A，B經(jīng)過上述Pal算法處理后得到UA(i，j)和UB(i，j)，再通過UA(i，j)和UB(i，j)對初步融合圖像進行清晰區(qū)域邊緣加強，公式如下

(18)

其中F是最終圖像。

3 實驗分析

3.1改進的Pal模糊邊緣檢測實驗

如圖3所示，在本文選取的幾種對比算法針對模糊圖像的邊緣提取時，不能有效的描述圖像聚焦區(qū)域邊緣信息，只能描述全圖的邊緣信息，而本文Pal算法[16]能很好的提取圖像清晰區(qū)域的邊緣信息，從上圖看出清晰區(qū)域提取的邊緣信息豐富，而模糊區(qū)域幾乎不會被提取，能夠很好完成本文算法對圖像融合信息的加強。

圖3 幾種邊緣檢測算法效果比較

3.2圖像融合實驗

本文選取離散小波(DWT)；平移不變離散小波(SIDWT)；NSCT域的加權(quán)平均融合規(guī)則(NSCT1)，作為對比算法。圖4及圖5(a)-(e)分別為罐子桌子圖及時鐘人物圖的五種算法的融合結(jié)果圖。

圖4 罐子桌子圖的融合圖

圖5 時鐘圖的融合圖

從圖4和圖5融合結(jié)果對比，DWT與SIDWT算法對比NSCT算法，前者存在明顯模糊現(xiàn)象；NSCT算法明顯改善，但是邊緣信息不夠突出；本文算法由于在融合過程中有效保留邊緣信息，并且最后對邊緣信息進行了增強，因此主觀視覺效果最好。

如表1、表2所示，統(tǒng)計了罐子桌子圖及時鐘圖的圖像融合客觀指標值，選取能量信息、平均梯度、空間頻率和邊緣保持度四個評價指標，以上四個指標值越大圖像融合效果越好，值越小證明融合效果越差。

表1 罐子桌子圖客觀評價表

表2 時鐘圖客觀評價表

從客觀評價表橫向?qū)Ρ龋梢缘玫剑姆N客觀評價指標值，本文算法最優(yōu)，其他幾種算法的值較小。由于圖像最后經(jīng)過清晰區(qū)域增強，因此突出了邊緣信息，圖像變的更加清晰。

客觀指標的評價值與主觀感覺一致，證明本文算法的優(yōu)越性。

4 結(jié)論

本文通過對融合規(guī)則研究，將梯度能量改進，并提出了基于改進的梯度能量自適應(yīng)融合規(guī)則用于低頻子帶的圖像融合；通過對切比雪夫矩的研究，提出了基于切比雪夫矩的帶通子帶融合規(guī)則；最后在對原圖像采用Pal算法對原圖進行清晰區(qū)域邊緣提取，用于增強融合后的圖像邊緣信息，實驗結(jié)果表明，本文提出NSCT域結(jié)合邊緣檢測算法最終的主觀視覺良好和客觀評價指標大幅提高，但是存在耗時嚴重，將在今后的研究中完善。