采用改進平均梯度與自適應PCNN的圖像融合

張 蕾

(鄭州工程技術學院 河南 鄭州 450044)

0 引 言

根據相機光學成像的原理可知，鏡頭受到有限景深的制約，距離鏡頭焦點較近的區域成像更加清晰，而距離鏡頭焦點較遠的區域則相對模糊，所以在使用單一成像傳感器采集圖像時，不能使處于不同景深的目標都達到高質量的成像效果[1-2]。然而在衛星遙感遙測、醫學成像分析、高品質印刷、軍事探測、目標識別跟蹤等特殊領域，需要得到更加清晰的圖像[3-5]。圖像融合是解決該問題的有效途徑，通過多個傳感器采集同一場景內的不同目標，得到不同景深目標的清晰成像，再借助不同的算法將多幅圖像中的有效信息進行互補結合，融合成一幅高清晰度的全聚焦圖像，提升人或計算機對圖像刻畫和理解的準確性。

由于多尺度變換能夠把圖像分解成具有不同互補(信息)特征屬性的子圖，也容易被計算機運算和處理。其中小波變換是多尺度變換的代表，具有多分辨分析的特點，能夠較好地提取一維信號的局部特征。文獻[6]提出了離散小波變換(DWT)算法，并將其用于多模態醫學圖像融合中，取得了一定的效果，但是圖像屬于二維信號，只能獲得有限方向的信息，在描述線狀奇異性方面表現出了局限性，對圖像的邊緣輪廓等高維信息表征能力較弱。文獻[7]提出了一種快速離散Curvelet變換，在對聚焦圖進行融合的效果也得到了提升，但 Curvelet變換的實現過于復雜。文獻[8]將Contourlet變換應用到多聚焦圖像的融合中，得到了邊緣細節處清晰的圖像，但Contourlet變換卻引入了偽吉布斯現象。文獻[9]使用雙樹復小波變換(DTCWT)和稀疏表示實現對圖像的融合，能有效避免偽吉布斯現象，但依然存在運算復雜和時效性差的問題。文獻[10]將非下抽樣Contourlet變換(NSCT)應用到SAR圖像的融合中，能對圖像中各向異性的邊緣和紋理等信息給出更優的表示，但依然存在實現過程復雜和處理數據大的缺陷。本文將非下抽樣剪切波變換(NSST)應用到對多聚焦圖的分解中，并對高低頻分別采取了適合的融合算法，不僅在圖像融合效果上取得了更優的表現，運算時效性也得到了明顯的提升。

1 非下抽樣剪切波變換

剪切波變換(Shearlet)屬于多尺度幾何分析方法，也是最優的多維函數稀疏表示方法，目前已被應用到圖像處理領域[11]。剪切波變換在實現過程與輪廓波變換具有類似之處，卻沒有分解方向和尺寸大小的約束。另外，逆變換僅需對剪切濾波器進行加和處理即可實現，具有更快的運算效率。

對于?ξ=(ξ1,ξ2)∈R2，其中ξ1≠0。若ψ的傅里葉變換表示為：

(1)

ψ1和ψ2滿足以下兩個條件：

1) 有ψ1∈L2(R2)，且當ξ∈R時，滿足Calderon容許性條件，即：

(2)

SHψf(a,s,t)=〈f,ψast〉

(3)

(4)

那么可以將{ψast(x):a>0,s∈R,t∈R2}叫作連續剪切波。其中，所有的矩陣Mas都能分解成1個剪切矩陣Bs和1個各向異性伸縮的膨脹矩陣Aa的乘積，表示為：

(5)

故圖像能夠用剪切波變換來重構，表達式如下：

(6)

由于標準的剪切波變換中的濾波器使用的是偽極化網格，通過窗函數平移進行下抽樣操作，雖然能應用在各向異性的邊緣及輪廓分析，但缺乏平移不變性，融合效果較差。本文采用的非下抽樣剪切波變換(NSST)是由非下抽樣金字塔變換(Non-Subsample Pyramid,NSP)和剪切濾波器的不同組合，將偽極化網格系統映射到笛卡爾坐標中，在空域對圖像進行剪切波變換，從而使其具有了平移不變性。對源圖像經N級NSP分解，可以得到N個高頻子帶和1個低頻子帶[12-13]。3級NSST分解過程如圖1所示。

圖1 NSST分解過程

由于在NSST分解與重構的過程中，沒有對源圖像進行上下抽樣的操作，所以不會出現頻率混疊的情況，而且高低頻子帶與源圖像大小一致(尺度不同)，能夠更方便地找出各子帶圖像中信息的對應關系。另外，NSST本身具有較強的方向選擇性和平移不變性，可以消除偽影，更為準確地提取源圖像中有用的細節信息，提升融合圖像的主觀視覺。

2 改進的融合算法

采用NSST方式對已配準的源圖像IA和IB進行3級分解，獲取1個低頻子帶和3個高頻子帶；再采用改進平均梯度的策略對低頻子帶進行融合，對高頻子帶則采用改進的自適應PCNN策略進行融合；最后對融合后的高低頻子帶進行NSST逆變換，重構出更清晰的全聚焦圖像。融合過程如圖2所示。

圖2 圖像融合過程

2.1 低頻子帶融合策略

通過NSST變換后得到的低頻子帶攜帶了圖像的整體信息，根據像素點間具有相關性的規律，提出了改進的平均梯度融合算法，通過區域內像素點灰度變化情況和平均梯度來選取低頻子帶系數。

Step1計算低頻圖像A和圖像B的灰度相關值FGA(i,j)和FGB(i,j)：

XA(i+m+1,j+n))2+(XA(i+m,j+n)-

(7)

XB(i+m+1,j+n))2+(XB(i+m,j+n)-

(8)

(9)

(10)

根據實驗可知，令參數r=5可以較好處理半清晰半模糊區域。

Step2根據灰度相關值FGA(i,j)和FGB(i,j)選取低頻系數I(i,j)：

(11)

為了驗證提出的融合策略比空間頻率具有更好的效果進行了測試實驗，C和D表示多聚焦源圖像，Il為使用空間頻率取大的融合策略獲得的結果，Im為本文提出方法的融合結果，將兩個融合結果與源圖像D分別作差，則SD,m、SD,l分別是得到的差值圖。測試結果如圖3所示。

圖3 測試結果

可以看出：差值圖SD,l在人臉面部有較大面積的信息殘留，對源圖像的低頻子帶融合效果不佳。這說明本文提出的方法較空間頻率方法更能表現出灰度的變化情況，較好地保留了圖像的整體信息，從而使融合圖像更加清晰。

2.2 高頻子帶融合策略

高頻子帶對應著圖像的邊緣和紋理細節等信息，直接關系到圖像的清晰程度和視覺效果。對于高頻子帶的融合，本文在脈沖耦合神經網絡(PCNN)的基礎上，提出一種改進的算法。PCNN由多個神經元相互連接組成(反饋網絡)，每個神經元中又包含了接收域、調制域和脈沖生成器三個部分，并與圖像中每個像素點相對應，其輸出有點火和不點火兩種狀態[14]。改進后的單個神經元的模型如圖4所示。

圖4 改進后的PCNN神經元模型

由于標準的PCNN結構復雜，控制參數也較多，本文將其應用在對圖像高頻子帶的融合中，對其進行了簡化和改進，進一步提升了處理的效率。假設圖像中像素點的位置為(i,j)，代表1個神經元，將(i,j)處像素點的灰度值Sij作為神經元的輸入刺激信號，若Fij和Lij分別為神經元的反饋和連接輸入，那么經過n次迭代后，得到點火輸出為Yij。PCNN迭代過程描述：

(12)

式中：αL和αθ表示跟時間有關的衰減常數；VL表示連接輸入的增益；Wij,kl表示(i,j)和(k,l)兩個神經元間的連接權重；Uij表示內部狀態信號；β表示神經元的連接強度；θij和Vθ分別表示動態閾值和閾值的增益。從式(12)可看出，在整個迭代的過程中，如出現Uij大于θij，那么輸出Yij為1，即神經元發出1個脈沖(點火)。在n次迭代結束時，得到總的點火次數Tij可表征像素點(i,j)處的信息：

Tij(n)=Tij(n-1)+Yij(n)

(13)

對于整幅圖像來說，每個神經元的輸出就構成PCNN的點火矩陣[15]。其實，在圖像融合的過程中，圖像邊緣和輪廓的信息較單點像素信息更重要，故本文將高頻子帶系數引入到神經元的反饋輸入。

假設在NSST域中，尺度和方向分別為l和k，那么像素點(i,j)處的空間頻率表示如下：

(Cl,k(u,v)-Cl,k(u,v-1))2]

(14)

式中：Cl,k(u,v)表示在NSST域高頻子帶中對應像素點(u,v)的剪切波系數，能夠表征在空間域像素點(i,j)處相鄰點的邊緣和輪廓等細節信息的強度。為了運算方便，對空間頻率進行歸一化處理，并將其作為神經元的反饋輸入。

由于在整個PCNN中，神經元間具有耦合關系，所以每個神經元的輸出點火次數都會影響相鄰的神經元輸出，從而促使鄰域中與該空間頻率偏差較小的神經元產生點火。根據PCNN的傳導和同步特性可知，每個像素點的信息會傳播到整個網絡，而神經元的輸入刺激Sij的大小與圖像細節信息成正比例關系，即刺激越大，點火次數越多。本文依據整個PCNN的點火總次數，自適應選取高頻子帶系數，具體的融合步驟如下：

Step3計算每次迭代的結果，利用式(12)和式(13)求出總的點火次數。

Step4判斷當前迭代次數n，若n小于N，則跳轉到Step 3。

Step5當n等于N時，迭代結束，得到決策矩陣Mlk：

(15)

利用式(15)自適應選取融合圖像的高頻子帶系數，選取策略表示為：

(16)

3 實驗結果與分析

為驗證本文提出的多聚焦圖融合策略的有效性，對經過配準的4組多聚焦圖(尺寸256×256像素)進行融合實驗。實驗環境：采用Intel i3 3.1 GHz四核CPU，6 GB內存，300 GB固態硬盤，在Windows 7操作系統下，運行MATLAB 2015a，借助工具箱FPDEs進行仿真。通過主觀視覺和客觀指標對融合性能進行分析和評價，五種客觀評價指標分別為：

1) 互信息MI。表示從源圖像轉移到融合圖像中的信息多少，該指標越大，融合效果越佳。

2) 信息熵EN。表示圖像中含有的平均信息量，數值越大，信息越豐富，圖像越清晰。

3) 邊緣信息傳遞因子QAB/F。表征融合圖像對源圖像的結構和邊緣的保持相似度，該指數越接近1說明融合效果越佳。

4) 空間頻率SF。表征空間域的活躍度，該值越大圖像越清晰。

5) 平均梯度AG。該值越大圖像越清晰。

3.1 不同變換域下相同融合算法比較

為驗證NSST變換的優越性，分別采用DWT[6]、DTCWT[9]、NSCT[10]和NSST四種不同的變換域對2組經過配準的源圖像進行分解，并利用相同的融合算法(低頻取平均，高頻絕對值取大)進行融合，得到的融合結果如圖5所示。

(a) 下聚焦源圖 (b) 上聚焦源圖 (c) DWT

可以看出，雖然采用了相同的融合算法，但在四種不同變換域下的表現卻有所差異。其中：由于DWT的移變性引入了虛假信息，有塊狀模糊區域，圖像失真較為嚴重；NSCT和DTCWT結果中的細節得到大幅凸顯，圖像的邊緣和輪廓的銳化明顯，是由于采用了具有平移不變性的變換，其多尺度和多方向的分解使得圖像細節信息得以保留，但整體上依然存在模糊的問題；而本文采用的NSST分解方法效果得到了明顯提升，塊狀模糊區基本消除，邊緣和輪廓等細節信息相對分明完整，比較而言主觀視覺效果良好，但也有不足，主要是受到高低頻融合算法的約束，所以融合效果依然有提升的空間。

為了對融合后的圖像進行客觀定量的評價，五種客觀指標如表1所示。

表1 不同變換域下相同融合算法的客觀評價指標

可以看出，采用NSST變換域的效果在五種評價指標上均優于DWT、DTCWT和NSCT方法，表現出了NSST的完美平移不變性。另外，從融合過程所需的時間方面來看，采用NSST的融合時間均小于其他幾種變換域，這是由于NSST引入了快速傅里葉變換，在分解和重構的過程中具有更快的運算速度，也說明了NSST具有更優的時效性。

3.2 相同變換域下不同融合算法的比較

為了驗證本文提出的改進算法對多聚焦圖的融合效果，在相同的NSST變換域下，將文獻[12]、文獻[13]、文獻[16]與本文的改進算法進行比較，實驗對另外一幅細節更豐富的多聚焦圖進行融合，得到的實驗結果如圖6所示。

(a) 右聚焦源圖 (b) 左聚焦源圖 (c) 文獻[12]

從融合結果看出：雖然四種不同的融合算法均采用了相同的NSST變換，均能從多聚焦源圖像中獲取到互補的信息，但融合結果也有明顯的差異。以圖6中百事可樂瓶外包裝的多聚焦圖像融合為例進行分析，文獻[12]的融合結果中個別區域隱約出現了塊狀模糊效應，文字重影嚴重，色澤暗淡，輪廓和細節信息有丟失現象；在文獻[13]的結果中，效果上有所改善，但文字略帶重影，整體上對比度和色澤不夠鮮亮，效果依然不佳；文獻[16]的融合結果，在融合效果上也得到了明顯的提升，文字的重影現象有所改善，但個別區域的細節特征信息仍有缺失；本文算法的融合結果相比上述幾種算法效果更好，圖像整體上看更鮮亮，區域特征明顯，文字的重影基本消失，圖6(f)右側條形碼紋理更清晰，對比度適中，主要是由于在NSST變換域的基礎上對融合算法進行了改進，對低頻采用了改進平均梯度的融合策略，對高頻采用了自適應PCNN的融合策略，使得融合效果大幅改善，主觀視覺表現更優。

同樣，采用五種客觀指標對融合后的圖像進行定量的客觀評價，結果如表2所示。

表2 相同變換域下不同融合算法的客觀評價指標

續表2

可以看出，本文提出的融合策略在五種客觀指標中的表現最優，其結果也與主觀目視效果保持一致，且融合所需時間最短，充分驗證了本文所提方法的優越性。

4 結 語

本文利用了非下抽樣剪切波(NSST)變換具有的完美平移不變性對多聚焦圖進行分解，從而得到與源圖像尺寸大小相同的高頻和低頻子帶。對低頻子帶采用了改進的平均梯度融合策略，通過區域內像素點灰度變化情況和平均梯度來選取低頻子帶系數，較好地保留了圖像的整體信息；對高頻子帶則利用了自適應PCNN的融合策略，把歸一化的空間頻率引入到神經元的反饋輸入，并將整個PCNN的點火總次數作為確定高頻子帶的主要依據，進一步提升了對圖像細節的刻畫。通過不同變換域相同融合算法和相同變換域不同融合算法的對比實驗表明：本文提出的基于NSST的改進融合算法獲得了整體更自然明亮和細節紋理更清晰的融合圖像。與幾種對比算法進行了比較，在主觀視覺和五種客觀指標上均有出色的表現，且具有更優的時效性。