多聚焦圖像焦深擴(kuò)展分解融合算法仿真

劉麗麗,趙 玉

(1. 長(zhǎng)治學(xué)院計(jì)算機(jī)系,山西 長(zhǎng)治 046011;2. 石家莊鐵道大學(xué)土木工程學(xué)院,河北 石家莊 050043)

1 引言

隨著科學(xué)技術(shù)的不斷發(fā)展,圖像信息獲取手段已經(jīng)從單一的可見(jiàn)光傳感器[1]轉(zhuǎn)換成高光譜甚至超光譜傳感器。圖像融合就是將不同傳感器獲取的圖像實(shí)施空間配準(zhǔn),通過(guò)一定融合算法將各個(gè)圖像有機(jī)結(jié)合,產(chǎn)生新圖像的技術(shù)。近年來(lái)圖像融合技術(shù)被廣泛應(yīng)用于遙感監(jiān)測(cè)、醫(yī)療診斷等高端領(lǐng)域[2]。但是傳統(tǒng)的圖像融合技術(shù)無(wú)法滿足當(dāng)前人們對(duì)圖像融合效果的需求,因此,提出更加高效的圖像融合技術(shù),成為目前亟待解決的問(wèn)題。

文獻(xiàn)[3]提出了一種基于非下采樣Shearlet變換耦合導(dǎo)向法則的多聚焦圖像融合算法。該方法首先利用變換算法獲取多焦距圖像的不同圖像系數(shù);再提取圖像標(biāo)準(zhǔn)差以及空間頻率特征,測(cè)量圖像關(guān)聯(lián)性,制定融合規(guī)則;最后結(jié)合建立的融合法則實(shí)現(xiàn)多焦距圖像的融合。文獻(xiàn)[4]提出了一種基于超像素級(jí)卷積神經(jīng)網(wǎng)絡(luò)的多聚焦圖像融合算法。該方法首先對(duì)焦距圖像實(shí)施多尺度分割,并將分割出的超像素輸入卷積神經(jīng)網(wǎng)絡(luò)中分類,依據(jù)分類結(jié)果建立初始決策圖像;再通過(guò)獲取的決策圖確定不確定區(qū)域,結(jié)合空間頻率對(duì)聚焦圖像實(shí)施再次分類,獲取階段決策圖;最后利用形態(tài)學(xué)方法對(duì)決策圖進(jìn)行處理,完成圖像的融合。文獻(xiàn)[5]提出了一種無(wú)監(jiān)督深度學(xué)習(xí)模型的多聚焦圖像融合算法。該方法首先依據(jù)提取的無(wú)標(biāo)記數(shù)據(jù)集結(jié)合注意力機(jī)制建立網(wǎng)絡(luò)模型,獲取圖像的深層特征;再依據(jù)聚焦檢測(cè)方法對(duì)圖像深層特征展開(kāi)測(cè)量,依據(jù)測(cè)量結(jié)果決策圖;最后依據(jù)決策圖實(shí)現(xiàn)聚焦圖像的融合。

上述方法由于未能在聚焦圖像融合前,對(duì)源聚焦圖像中的退化圖像實(shí)施修復(fù)處理,導(dǎo)致上述圖像融合方法在融合圖像時(shí),融合性能低、融合效果差。為解決上述多聚焦圖像融合過(guò)程中存在的問(wèn)題,提出基于焦深擴(kuò)展的多聚焦圖像融合算法。

2 聚焦圖像獲取及預(yù)處理方法

2.1 聚焦圖像獲取

依據(jù)波前編碼技術(shù)[6],在光學(xué)系統(tǒng)的光瞳位置加入相位板,設(shè)定光學(xué)系統(tǒng)的相位因子為δ,計(jì)算相位板的當(dāng)前位置,過(guò)程如下式所示

α(p,q)=δ(pi,qi)

(1)

式中,p、q表示相位變量,二者之間互相獨(dú)立,α(p,q)表示相位板位置,i表示相位板數(shù)量。基于上述計(jì)算結(jié)果,建立光學(xué)系統(tǒng)的焦深擴(kuò)展函數(shù),對(duì)光學(xué)系統(tǒng)[7]實(shí)施優(yōu)化處理,過(guò)程如下式所示

(2)

式中,k(p)表示焦深擴(kuò)展函數(shù),exp(pi)表示指數(shù)函數(shù),j為常數(shù)。

基于光學(xué)系統(tǒng)優(yōu)化結(jié)果建立光學(xué)傳遞函數(shù),建立過(guò)程如下式所示

(3)

式中,G(l,ξ)表示光學(xué)傳遞函數(shù),ξ表示焦深擴(kuò)展系數(shù),l表示系統(tǒng)空間頻率。

依據(jù)上述獲取的傳遞函數(shù),獲取聚焦圖像,過(guò)程如下式所示

(4)

式中,Ta表示聚焦圖像,a表示圖像數(shù)量。

由于圖像獲取時(shí),對(duì)光學(xué)系統(tǒng)焦深實(shí)施了擴(kuò)展,由此避免了圖像分辨率降低的概率,但是焦深擴(kuò)展會(huì)降低圖像成像質(zhì)量,因此,在多聚焦圖像融合前,需要對(duì)聚焦圖像中退化圖像實(shí)施圖像復(fù)原處理[8]。

2.2 圖像復(fù)原

由于光學(xué)系統(tǒng)中,成像機(jī)制相同,因此,設(shè)定圖像的卷積計(jì)算符號(hào)為?,以此獲取聚焦圖像的退化圖像,過(guò)程如下式所示

h(m,n)=S(m,n)?f(m,n)+β(m,n)

(5)

式中,h(m,n)表示退化圖像,β(m,n)表示噪聲分布系數(shù),f(m,n)表示目標(biāo)聚焦圖像,S(m,n)表示光學(xué)系統(tǒng)點(diǎn)擴(kuò)散函數(shù),(m,n)表示圖像像素。

基于上述濾波流程可知,精確的點(diǎn)擴(kuò)散函數(shù)以及噪聲分布系數(shù)是影響圖像復(fù)原的關(guān)鍵。因此,對(duì)光學(xué)系統(tǒng)的焦深擴(kuò)展函數(shù)實(shí)施傅立葉變換[9],獲取點(diǎn)擴(kuò)散函數(shù)解析表達(dá)形式,過(guò)程如下式所示

(6)

式中,S(x)表示點(diǎn)擴(kuò)散函數(shù),Dk表示變換系數(shù),δ表示相位因子。

獲取退化圖像后,依據(jù)點(diǎn)擴(kuò)散函數(shù)以及Wiener濾波對(duì)退化圖像實(shí)施復(fù)原。濾波過(guò)程的具體表述形式如下式所示

(7)

式中,φ表示聚焦圖像的對(duì)比度調(diào)節(jié)系數(shù),φ表示正則化系數(shù),λ為常數(shù),Bn表示圖像矩陣,L表示拉格朗日算子,κ表示迭代次數(shù),Z(x,y)表示圖像退化函數(shù),A(x,y)表示圖像在頻域中的最小均方誤差,G(x,y)表示退化圖像的傅立葉變換。

最后通過(guò)聚焦圖像的復(fù)原結(jié)果,獲取完整的聚焦圖像。

3 一種多聚焦圖像融合算法設(shè)計(jì)

3.1 圖像超分辨率增強(qiáng)

雙三次插值是典型的超分辨率方法[10],由于該方法能夠有效平滑圖像邊緣,獲取高清晰度像素,多被用于多聚焦圖像融合中。利用雙三次插值的超分辨率方法可以在重建圖像像素點(diǎn)關(guān)系后,獲取像素密集點(diǎn),從而得到聚焦圖像的高分辨率圖像。設(shè)定聚焦圖像的行像素位置為e,列像素位置為ι,圖像像素值為Pij,以此建立圖像的鄰域矩陣,過(guò)程如下式所示

(8)

式中,J表示建立的圖像鄰域矩陣,he,ι表示像素點(diǎn)位置。

設(shè)定聚焦圖像的超分辨因子為?i,νj,結(jié)合鄰域矩陣建立超分辨率矩陣,獲取圖像高分辨率塊,過(guò)程如下式所示

(9)

式中,u表示超分辨率系數(shù),?(x,y)表示圖像的高分辨率塊,z(u*(·))表示最小整數(shù),k表示平移位置,x、y表示像素的行、列位置信息。

3.2 圖像融合流程的實(shí)現(xiàn)

獲取超分辨率塊圖像后,設(shè)定圖像的任意信號(hào)為R(t),以此獲取圖像分解[11]時(shí)的小波函數(shù),過(guò)程如下式所示

(10)

式中,Q(a,b)表示小波函數(shù),a表示伸縮因子,b表示平移因子,μa,b(t)表示平移伸縮結(jié)果,t表示信號(hào)當(dāng)前狀態(tài)。

基于上述分解結(jié)果,對(duì)聚焦源圖像實(shí)施低通、高通濾波處理[12],獲取圖像各個(gè)方向的細(xì)節(jié)系數(shù),結(jié)果如下式所示:

(11)

式中,c表示低通濾波,g表示高通濾波,C、Cj+1分別表示圖像分解后第j級(jí)以及j+1級(jí)的低頻系數(shù),CGj+1表示圖像分解的水平細(xì)節(jié)系數(shù),GCj+1表示垂直細(xì)節(jié)系數(shù),GGj+1表示信號(hào)的對(duì)角系數(shù)。

圖像各項(xiàng)濾波系數(shù)提取完成后,將濾波系數(shù)直接在變換域?qū)嵤┤诤咸幚?獲取圖像的變換系數(shù),并開(kāi)展小波逆變換[13]獲取聚焦圖像的融合圖像,過(guò)程如下式所示

(12)

式中,c(x)、c(y)表示低通濾波器,g(x)、g(y)表示高通濾波器,q表示融合圖像的垂直位置,p表示水平位置,L(j)表示聚焦圖像融合后的細(xì)節(jié)信息,L(j-1)表示低頻細(xì)小分量,G(j-1)表示圖像的高頻水平向量,V(j-1)表示高頻垂直向量,D(j-1)表示對(duì)角向量。

根據(jù)上述處理結(jié)果,給出多聚焦圖像的融合流程如下:

1)基于焦深擴(kuò)展優(yōu)化光學(xué)系統(tǒng),獲取聚焦圖像,并使用濾波算法對(duì)退化聚焦圖像展開(kāi)計(jì)算,復(fù)原聚焦圖像,獲取完整的聚焦源圖像。

2)對(duì)多聚焦源實(shí)施分解處理,建立鄰域矩陣確定圖像塊具體行、列位置。

3)通過(guò)式(9)對(duì)圖像塊計(jì)算,通過(guò)計(jì)算結(jié)果獲取源聚焦圖像的高分辨率圖像。

4)對(duì)高分辨率圖像實(shí)施濾波處理,獲取圖像各個(gè)方向的細(xì)節(jié)系數(shù)。

5)對(duì)系數(shù)展開(kāi)PCA分析,針對(duì)分析結(jié)果建立m維的獨(dú)立向量,對(duì)數(shù)據(jù)實(shí)施降維處理,結(jié)果如下式所示

wi=σT(τi-ζ)

(13)

式中,ζ表示數(shù)據(jù)樣本平均數(shù),σT表示交換矩陣,τi表示系數(shù)獨(dú)立向量,wi表示降維結(jié)果。

6)基于系數(shù)降維結(jié)果,構(gòu)建協(xié)方差矩陣Xjz,獲取圖像的特征向量值Txl=|οi-Xjz|,其中,特征系數(shù)為οi,特征向量為Txl。

7)對(duì)特征值展開(kāi)升序排列,并根據(jù)排列結(jié)果對(duì)圖像細(xì)節(jié)系數(shù)更新處理。

8)最后將圖像細(xì)節(jié)系數(shù)更新結(jié)果代入式(12)中,完成多聚焦圖像的最終融合[14-16]。

4 實(shí)驗(yàn)

為了驗(yàn)證上述聚焦圖像融合方法的整體有效性,需要對(duì)此方法測(cè)試。

4.1 實(shí)驗(yàn)數(shù)據(jù)與對(duì)比方法設(shè)置

實(shí)驗(yàn)所用圖像均來(lái)自The MNIST Database數(shù)據(jù)庫(kù)(http:∥yann.lecun.com/exdb/mnist/),為了保證實(shí)驗(yàn)結(jié)果的可信度,從主觀與客觀兩個(gè)角度出發(fā),測(cè)試不同方法的圖像融合效果,并采用MATLAB軟件對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行處理。實(shí)驗(yàn)中,分別采用基于焦深擴(kuò)展的多聚焦圖像融合算法研究(所提方法)、基于非下采樣Shearlet變換耦合導(dǎo)向法則的多聚焦圖像融合算法(文獻(xiàn)[3]方法)、基于超像素級(jí)卷積神經(jīng)網(wǎng)絡(luò)的多聚焦圖像融合算法(文獻(xiàn)[4]方法)測(cè)試。

4.2 評(píng)價(jià)指標(biāo)

為了測(cè)試所提方法、文獻(xiàn)[3]方法以及文獻(xiàn)[4]方法的圖像融合性能,選取圖像質(zhì)量指標(biāo)以及平均梯度作為客觀評(píng)價(jià)指標(biāo),測(cè)試上述三種方法的融合性能。

圖像質(zhì)量指標(biāo)指的是融合圖像與源聚焦圖像之間的偏差性。設(shè)定圖像融合后的質(zhì)量指標(biāo)為Ψ,融合圖像為υ(p,q),源圖像為ω(p,q),指標(biāo)計(jì)算流程如下式所示

(14)

式中,υ′表示融合圖像均值,ευ表示標(biāo)準(zhǔn)差,ω′表示源圖像均值,?υω表示圖像之間的協(xié)方差。

圖像的平均梯度指的是圖像融合后的細(xì)節(jié)表達(dá)能力,獲取過(guò)程如下式所示

(15)

式中,Δp、Δq表示圖像的一階差分,M×N表示融合圖像尺寸,Φ表示平均梯度值。

基于上述計(jì)算結(jié)果可知,聚焦圖像完成融合后,圖像質(zhì)量指標(biāo)值以及平均梯度測(cè)試結(jié)果越高,融合圖像的融合質(zhì)量就越高。

4.3 實(shí)驗(yàn)結(jié)果及分析

1)客觀評(píng)價(jià)結(jié)果

依據(jù)上述測(cè)試指標(biāo)檢測(cè)所提方法、文獻(xiàn)[3]方法以及文獻(xiàn)[4]方法的圖像融合性能,測(cè)試結(jié)果如圖1、圖2所示。

圖1 不同融合方法的圖像質(zhì)量檢測(cè)結(jié)果

圖2 不同融合方法的圖像平均梯度測(cè)試結(jié)果

分析圖1和圖2可知,所提方法檢測(cè)出的圖像質(zhì)量以及圖像平均梯度均高于文獻(xiàn)[3]方法和文獻(xiàn)[4]方法的測(cè)試結(jié)果。這主要是因?yàn)樗岱椒ㄔ趫D像融合前對(duì)聚焦圖像中的退化圖像實(shí)施了修復(fù),所以所提方法在聚焦圖像融合時(shí),融合性能更好。

2)主觀評(píng)價(jià)結(jié)果

基于上述測(cè)試結(jié)果,繼續(xù)測(cè)試所提方法、文獻(xiàn)[3]方法以及文獻(xiàn)[4]方法的聚焦圖像融合效果,圖3為源聚焦圖像,三種方法的融合測(cè)試結(jié)果如圖4所示。

圖3 源聚焦圖像

圖4 不同方法的聚焦圖像融合效果測(cè)試結(jié)果

由圖4可知,所提方法能夠有效融合兩張聚焦圖像,融合后的圖像邊緣清晰,大量細(xì)節(jié)被保留,不存在模糊問(wèn)題,而其它兩種方法融合后,圖像對(duì)比度、清晰度均受到了不同程度的影響,融合效果明顯低于所提方法。

綜上所述,使用所提方法開(kāi)展聚焦圖像融合時(shí),該方法的融合性能和融合效果更好。

5 結(jié)束語(yǔ)

隨著圖像信息技術(shù)的廣泛應(yīng)用,圖像的融合方法就變得尤為重要。針對(duì)傳統(tǒng)圖像融合方法存在的問(wèn)題,提出基于焦深擴(kuò)展的多聚焦圖像融合算法研究。該方法通過(guò)對(duì)退化聚焦圖像的修復(fù),獲取完整聚焦圖像;使用圖像分解方法獲取圖像各個(gè)細(xì)節(jié)系數(shù);最后結(jié)合小波逆變換方法,實(shí)現(xiàn)多聚焦圖像的融合。該方法由于在圖像分解時(shí),還存在些許問(wèn)題,今后會(huì)針對(duì)該項(xiàng)缺陷繼續(xù)優(yōu)化該圖像融合方法。