一種新的結(jié)合SVM和FNN的多聚焦圖像融合算法

徐海　安吉堯

摘 要：針對基于分塊的圖像融合中分塊裂痕和實際融合特征的不確定等問題，提出一種結(jié)合支持向量機（SVM）和模糊神經(jīng)網(wǎng)絡(luò)（FNN）的多聚焦圖像融合新方法。首先，通過模糊C均值聚類（FCM）和SVM獲得FNN的網(wǎng)絡(luò)參數(shù)，利用構(gòu)建的模糊神經(jīng)網(wǎng)絡(luò)，將分割的圖像塊分成清晰區(qū)域、模糊區(qū)域和過渡區(qū)域三類；然后用模糊神經(jīng)網(wǎng)絡(luò)的反模糊化輸出作為權(quán)值因子對三類區(qū)域進行加權(quán)融合，輸出融合的多聚焦圖像。最后，通過均方根誤差、平均絕對誤差和峰值信噪比等指標(biāo)對多種融合算法進行融合質(zhì)量評價。實驗結(jié)果表明，提出的融合算法魯棒性和計算性能較好，基本滿足實際圖像融合的需求，且融合質(zhì)量評價也表明本文方法優(yōu)于現(xiàn)有的融合算法。

關(guān)鍵詞：多聚焦圖像融合；特征級圖像融合；模糊神經(jīng)網(wǎng)絡(luò)；支持向量機

中圖分類號：TP391 文獻標(biāo)識碼：A

Abstract：To deal with the problems of cracks among blocks and the uncertainty of real characteristics of image fusion based on block， this paper proposed a new multifocus image fusion method by combining support vector machine （SVM） wits fuzzy neural network （FNN）. Firstly， FCM and SVM were used to obtain the parameters of FNN and the block was divided into clear， blurring and transitional zones based on the FNN. Then the three classified areas were merged with weighting to get the fused multifocus images， where the weight factors were obtained as the defuzzication outputs of the fuzzy neural network. Finally， the qualities of various fusion algorithm were evaluated by the root mean square error（RMSE）， the mean absolute error（MAE） and peak signal to noise ratio（PSNR）. The experimental results show that the proposed fusion algorithm has good robustness and computing performance， which basically meets the demand of practical image fusion， and the fusion quality evaluations illustrate that our method has an advantage over the existing fusion algorithm.

Key words：Multifocus image fusion； Featureleave image fusion； FNN； SVM

1 引 言.

圖像信息融合是信息融合的一個重要分支，通過對同一場景下多個傳感器獲取的圖像信息進行有機的綜合，生成信息量更加全面、精確、完整的圖像，以彌補單一傳感器獲取信息的局限性[1]。同一場景下，不同傳感器獲得的信息往往具有冗余性和互補性，圖像信息融合的目的則是去除冗余信息，綜合互補信息，從而提高圖像質(zhì)量，進一步為圖像的識別、理解提供可靠的數(shù)據(jù)源。目前圖像信息融合已經(jīng)廣泛應(yīng)用于醫(yī)學(xué)圖像處理、機器人視覺、遠程感知、軍事應(yīng)用等領(lǐng)域。

在視覺圖像信息獲取過程中，由于視覺傳感器自身無法改變的景深約束，不能夠獲取聚焦范圍以外物體的清晰圖像。通過多聚焦圖像信息融合技術(shù)，將同一場景下的多個圖像進行合理的融合處理，最終可以獲得一幅信息量精確、完整、可靠的多聚焦圖像，使得場景中所有的物品都清晰的展現(xiàn)在融合的圖像中。

多聚焦圖像融合的方法主要分為兩大類，其中一類比較典型的是變換域的方法，如Burt等[3]提出的拉普拉斯金字塔方法、於時才等[4-5]提出的小波變換（DWT）方法，王仁禮等[6-7]提出的IHS色彩空間方法。這一類方法很好保留了圖像變換域的信息，但是在轉(zhuǎn)換過程中容易丟失圖像的原始信息，在提升模糊區(qū)域圖像質(zhì)量的同時可能會降低清晰區(qū)域的圖像質(zhì)量。另一類是根據(jù)圖像清晰度的特點，基于分塊的空間域融合算法，如王振飛等[8-9]提出的神經(jīng)網(wǎng)絡(luò)的多聚焦融合算法，Yi Zheng等[10]提出的FNN融合算法，張誠成等[11-12]提出的SVM融合算法。這一類算法的核心思想是將原始圖形分割成若干塊，經(jīng)過對應(yīng)的分類算法將圖像塊分成清晰區(qū)域、模糊區(qū)域以及過渡區(qū)域，然后根據(jù)一定的融合規(guī)則對圖像塊進行選擇、加權(quán)處理。這一類方法能更好的保留圖像的原始信息，但是存在分塊邊緣可能產(chǎn)生分塊裂痕的現(xiàn)象。

在空間域圖像融合算法中，出現(xiàn)分塊裂痕現(xiàn)象主要受三個方面的因素影響：1、圖像分割窗口的大小；2、對圖像塊分類的正確性；3、對應(yīng)的融合規(guī)則的合理程度。

分割窗口的大小很好調(diào)整，本文從上述三個因素中的后兩個考慮，提出了一種結(jié)合了SVM和模糊神經(jīng)網(wǎng)絡(luò)的特征級圖像融合算法。該算法選擇了能源梯度、空間頻率和視覺可見度的相對差量作為FNN的輸入數(shù)據(jù)，從三個方面綜合為FNN提供了正確、有效分類的依據(jù)； FNN快速、精確、有效地將圖像塊分為清晰類、模糊類以及過渡類；選擇清晰類圖像塊作為融合圖像對應(yīng)塊，以模糊神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果作為加權(quán)因子參數(shù)，對過渡類進行模糊加權(quán)融合，最終得到本文方法的融合圖像。

本文后續(xù)章節(jié)的安排如下，第二節(jié)介紹圖像信息融合框架，第三節(jié)介紹特征的提取以及SVM與模糊神經(jīng)網(wǎng)絡(luò)的結(jié)合方法，第四節(jié)具體介紹各種融合方法的實驗對比以及結(jié)果分析，最后是對全文的總結(jié)。

2 多聚焦融合框架

特征級多聚焦圖像信息融合工作一般分三步進行：首先是圖像特征信息的提取；然后根據(jù)提取的特征信息對圖像進行分類；最后將不同類別的圖像按照對應(yīng)的融合規(guī)則進行融合。

空間域信息融合的融合規(guī)則一般是：對于冗余信息，選取其中一份作為融合信息；對于明顯能夠區(qū)分清晰或者模糊的信息，選取清晰的部分；對于無法區(qū)分清晰還是模糊的信息，則采取加權(quán)融合的方法。

由圖3、圖4可知，在實際應(yīng)用場景中，不同算法的融合效果也會有一定的差異。從主觀評價來說，平均加權(quán)方法整體比較模糊，IHS方法在圖像灰暗區(qū)域融合效果不佳，小波變換融合結(jié)果有些失真，本文方法的融合效果明顯要好于其他幾種方法。從表2中信息熵評價結(jié)果分析，平均加權(quán)方法整體不佳，IHS方法在室外明亮場景中表現(xiàn)比較好，DWT方法在色彩比較豐富的圖像中融合效果比較好，而本文的方法在室內(nèi)外場景中均實現(xiàn)了較好的融合。

5 結(jié) 論

本文根據(jù)多聚焦融合過程中需要對圖像塊進行正確、有效分類的原則，提出了一種新的融合框架。融合過程中對分割區(qū)域進行相似度的度量，避免了對冗余數(shù)據(jù)的重復(fù)處理。選擇了能源梯度、空間頻率、視覺可視度作為清晰度特征，綜合了從細節(jié)到總體以及人眼客觀感知對于圖像清晰度的度量。提出了一種結(jié)合SVM超平面方程參數(shù)以及FCM聚類算法的模糊神經(jīng)網(wǎng)絡(luò)構(gòu)建方法，很大程度上減少了模糊神經(jīng)網(wǎng)絡(luò)參數(shù)的訓(xùn)練時間，以及模糊推理規(guī)則的數(shù)量。根據(jù)分類結(jié)果分別進行冗余融合、選擇融合以及加權(quán)融合三種融合規(guī)則，使得整個融合過程更加合理，提升了整體融合質(zhì)量，避免了分塊裂痕現(xiàn)象的產(chǎn)生。實驗結(jié)果表明，本文提出的結(jié)合SVM和FNN的融合方法運算時間較少，且在標(biāo)準(zhǔn)模糊圖以及實際的多聚焦圖像場景中得到了有效的驗證，融合效果良好，基本可以滿足實時性和算法健壯性的要求。參考文獻

[1] Bahador Khaleghi， Alaa Khamis， Fakhreddine O. Karray et al. Multisensor data fusion： A review of the stateoftheart[J]. Information Fusion ， 2013， 14 ：28-44.

[2] Gemma Piella. A general framework for multiresolution image fusion： from pixels to regions[J].Information Fusion， 2003， 4：259-280.

[3] PETER J. BURT，E H.ADELSON.The laplacian Pyramid as a compact image code[J]. IEEE TRANSACTION ON COMMUNICATIONS， 1983，31 （4）：532-540.

[4] 於時才，呂艷瓊. 一種基于小波變換的圖像融合新算法[J].計算機應(yīng)用研究， 2009， 26（1）：390-391.

[5] H.Li，B.S.Manjunath，S.K.Mitra.Multisensor image fusion using wavelet transform[J].GRAPHICAL MODELS AND IMAGE PROCESSING， 1995 ， 57（3）：235-245.

[6] 王仁禮，戚銘堯，王慧.用于圖像融合的IHS變換方法的比較[J].測繪學(xué)院學(xué)報， 2000，17（4）：269-272.

[7] 陸朝霞，潘泉，程詠梅，等.一種新的基于HIS和小波變換的圖像融合方法[J].計算機應(yīng)用研究， 2008，25（2）：450-452.

[8] 王振飛， 范剛龍， 王能超. 基于神經(jīng)網(wǎng)絡(luò)與對比度的多聚焦圖像融合技術(shù)[J]. 計算機應(yīng)用， 2006， 26 （7）：1590-1592.

[9] SMT.G. Mamatha， Shaik Abdul Rahim， Cyril Prasanna Raj.FeatureLevel MultiFocus Image Fusion Using Neural Network and Image Enhancement[C]. Global Journal of Computer Science and Technology Graphics & Vision， 2012， 12（10）：16-24.

[10]Yi Zheng， Ping Zheng. Multisensor Image Fusion Based on a Fuzzy Neural Network[C] International Congress on Image and Signal Processing， 2010， 3：1547-1551.

[11]張誠成，胡金春.基于支持向量聚類的多聚焦圖像融合算法[J]. Journal of Software， 2007，18（10）：2445-2457.

[12]劉 松.基于SVM信息融合的圖像識別與并行實現(xiàn)[J].計算機工程與應(yīng)用， 2009，45（33）：168-170.

[13]劉振宇，陳超，江濤.改進的多聚焦圖像融合方法研究[J]計算機工程與應(yīng)用，2010，46（7）：187-189.

[14]Zhou Wang， Alan C. Bovik. A Universal image quality index[J].IEEE SIGNAL PROCESSING LETTERS， 2002， 9（3）：81-84.

[15]Wei Huang，Zhong liang Jing.Evaluation of focus measures in multifocus image fusion[J].Pattern Recognition Letters， 2007， 28：493-500.