區(qū)域方差和點(diǎn)銳度相結(jié)合的多聚焦圖像融合

趙迪迪，季軼群*

(1.蘇州大學(xué) 光電科學(xué)與工程學(xué)院 & 蘇州納米科技協(xié)同創(chuàng)新中心，江蘇 蘇州 215006；2．江蘇省先進(jìn)光學(xué)制造技術(shù)重點(diǎn)實(shí)驗(yàn)室 & 教育部現(xiàn)代光學(xué)技術(shù)重點(diǎn)實(shí)驗(yàn)室，江蘇 蘇州 215006)

1 引 言

對(duì)于光學(xué)成像系統(tǒng)，由于其景深范圍有限，無(wú)法使場(chǎng)景內(nèi)所有目標(biāo)同時(shí)清晰成像，需對(duì)場(chǎng)景內(nèi)不同區(qū)域分別聚焦成像，通過(guò)融合算法，將不同區(qū)域的聚焦圖像融合成一張全視場(chǎng)的清晰光學(xué)圖像，這種算法即多聚焦圖像融合。多聚焦圖像融合方法，對(duì)于實(shí)現(xiàn)光學(xué)系統(tǒng)在大視場(chǎng)范圍內(nèi)獲得高分辨率的光學(xué)圖像具有重要意義。

多聚焦圖像的融合算法可分為基于空間域[1-3]和基于變換域[4-6]兩種。基于空間域，是在圖像灰度空間上直接對(duì)像素點(diǎn)進(jìn)行融合處理，速度較快，但當(dāng)某些區(qū)域噪聲較大或灰度變化平緩時(shí)，易產(chǎn)生塊效應(yīng)；基于變換域，是先對(duì)源圖像進(jìn)行變換，如金字塔變換、小波變換等，然后對(duì)變換系數(shù)按一定規(guī)則進(jìn)行融合，得到融合圖像的變換系數(shù)，最后通過(guò)逆變換得到融合圖像。其中，基于變換域的圖像融合是目前研究的熱點(diǎn)，張曉菲等[7]提出基于區(qū)域能量特征的小波變換圖像融合方法, 彌補(bǔ)了傳統(tǒng)的小波變換融合算法中出現(xiàn)的信息熵減小、清晰度降低的現(xiàn)象,但此方法在處理邊緣細(xì)節(jié)時(shí)發(fā)現(xiàn)，對(duì)比度下降、易產(chǎn)生重影。葉明等[8]提出區(qū)域清晰度的小波變換圖像融合算法，可很好地消除傳統(tǒng)空域融合方法存在的塊效應(yīng)，但圖像噪聲較大、像質(zhì)下降明顯。

拉普拉斯金字塔變換是Burt和Adelson提出的一種多分辨率、多尺度的圖像融合方法[9]，本文基于拉普拉斯金字塔變換提出一種區(qū)域方差和點(diǎn)銳度相結(jié)合的融合算法。對(duì)金字塔頂層圖像，即低頻系數(shù)，采用區(qū)域方差作為融合度量，進(jìn)行融合；其余各層為高頻系數(shù)，采用點(diǎn)銳度作為融合度量，進(jìn)行融合。最后做拉普拉斯金字塔逆變換，得到完整的全視場(chǎng)清晰光學(xué)圖像。

2 拉普拉斯金字塔分解

對(duì)同一場(chǎng)景不同位置分別聚焦成像得到前景聚焦圖像圖1(a)和后景聚焦圖像圖1(b)，作為源圖像A和源圖像B。在前景聚焦圖像中，黑色測(cè)試卡刻度清晰，灰色測(cè)試卡模糊。后景聚焦圖像中，灰色測(cè)試卡刻度清晰，黑色測(cè)試卡模糊。

(1)

(2)

(3)

圖1 源圖像Fig.1 Source images

3 融合規(guī)則

拉普拉斯金字塔分解將兩幅源圖像分別分解到不同頻率層，在不同頻率層采用不同的融合規(guī)則，從而在融合圖像中保留各源圖像在不同頻率層的特征信息。

(4)

式中，LPN為金字塔頂層圖像，即低頻系數(shù)矩陣，μ表示鄰域像素均值，w為加權(quán)矩陣。

當(dāng)0≤l

(5)

式中：m,n為所選局部區(qū)域的長(zhǎng)和寬，df為灰度變化幅值，dx為像元間距離增量。公式(5)可表示為：對(duì)區(qū)域中的每點(diǎn)與其8鄰域像素點(diǎn)做差，對(duì)差值取絕對(duì)值后求加權(quán)和，最后將所有點(diǎn)所得值相加除以像素總數(shù)。

由于區(qū)域方差和點(diǎn)銳度的數(shù)量級(jí)不同，采用式(6)進(jìn)行歸一化處理：

(6)

式中:X(i,j)為區(qū)域方差或點(diǎn)銳度值，Xmax和Xmin分別為矩陣X中的最大值和最小值，Y(i,j)為歸一化后的區(qū)域方差或點(diǎn)銳度值。

(7)

(8)

本文融合方法流程圖如圖2所示。

圖2 區(qū)域方差和點(diǎn)銳度相結(jié)合的圖像融合方法流程圖Fig.2 Image fusion framework combining regional variance and EAV

4 拉普拉斯金字塔逆變換

(9)

圖3 本文方法獲得的融合圖像Fig.3 Proposed method fusion image

5 仿真對(duì)比

對(duì)同一場(chǎng)景，分別采用基于絕對(duì)值取大的離散小波變換、基于區(qū)域能量特征的小波變換和區(qū)域清晰度的小波變換圖像融合算法進(jìn)行圖像融合，得到如圖4(b)、(c)、(d)所示相應(yīng)的融合圖像。

上述3種方法均實(shí)現(xiàn)了前景聚焦和后景聚焦圖像的融合，保留了源圖像的互補(bǔ)信息。但前兩種方法對(duì)比度降低，刻度周?chē)兄赜啊５谌N方法細(xì)節(jié)信息模糊，圖像噪聲較大，像質(zhì)下降明顯。通過(guò)對(duì)比，本文采用區(qū)域方差和點(diǎn)銳度相結(jié)合的算法，得到的融合圖像具有細(xì)節(jié)信息豐富，無(wú)重影，清晰度高，對(duì)比度高等優(yōu)點(diǎn)。

圖4 不同融合方法的性能比較Fig.4 Fusion performance comparison of different methods

表1給出了融合圖像的評(píng)價(jià)指標(biāo)，包括標(biāo)準(zhǔn)差、互信息、邊緣保持度。標(biāo)準(zhǔn)差反映了像素值在其均值上下的波動(dòng)程度；互信息反映了融合圖像從源圖像中獲得的信息量；邊緣保持度反映了源圖像轉(zhuǎn)移到融合圖像的邊緣信息量。3種評(píng)價(jià)指標(biāo)的值越大，融合效果越好。可以看出本文方法得到的融合圖像評(píng)價(jià)指標(biāo)均高于其他3種。

表1 不同融合方法的性能指標(biāo)比較Tab.1 Comparison of performance indexes of different methods

6 結(jié) 論

針對(duì)傳統(tǒng)光學(xué)成像系統(tǒng)景深范圍有限，難以在大視場(chǎng)范圍實(shí)現(xiàn)高分辨率成像的問(wèn)題。本文提出一種基于區(qū)域方差和點(diǎn)銳度相結(jié)合的拉普拉斯金字塔變換融合算法。首先對(duì)多聚焦源圖像進(jìn)行拉普拉斯金字塔變換；然后，對(duì)拉普拉斯金字塔的頂層圖像，采用區(qū)域方差考量鄰域像素間的關(guān)聯(lián)性,有效保留圖像的細(xì)節(jié)信息；對(duì)其余各層，采用點(diǎn)銳度對(duì)像素點(diǎn)周?chē)幕叶葦U(kuò)散程度做統(tǒng)計(jì)，提高融合圖像清晰度；最后，通過(guò)拉普拉斯金字塔逆變換，得到了噪聲低、邊緣信息豐富的多聚焦融合圖像。進(jìn)一步從標(biāo)準(zhǔn)差、互信息和邊緣保持度等評(píng)價(jià)函數(shù)對(duì)其進(jìn)行定量評(píng)價(jià)，結(jié)果表明本文提出的融合算法優(yōu)于現(xiàn)有的常用圖像融合方法，標(biāo)準(zhǔn)差、互信息和邊緣保持度分別提高了0.24%、6.8%和8.4%。對(duì)光學(xué)成像系統(tǒng)在大視場(chǎng)范圍獲得高分辨率的光學(xué)圖像具有重要意義。