非負矩陣分解和新輪廓波變換的圖像融合

王 斐，梁曉庚，2，崔彥凱，武曉軍

1.西北工業大學 自動化學院，西安 7100722.洛陽光電技術發展中心，河南 洛陽 471009 3.洛陽電光設備研究所，河南 洛陽 471009

非負矩陣分解和新輪廓波變換的圖像融合

王 斐1，梁曉庚1，2，崔彥凱1，武曉軍3

1.西北工業大學 自動化學院，西安 710072
2.洛陽光電技術發展中心，河南 洛陽 471009 3.洛陽電光設備研究所，河南 洛陽 471009

1 引言

圖像融合是目前軍事、醫學、交通監測等領域研究的熱點。如何提高融合圖像所保留源圖像的信息量和邊緣特征是圖像融合中的重要問題，另外，多幅源圖像中常含有冗余信息，如何去除冗余信息，減小運算量也是圖像融合需要考慮的問題。

現有的圖像融合方法有空域法和變換域法。空域法簡單，容易實現，但融合精度不高。變換域法主要是各種多分辨率融合方法，如：各種金字塔分解方法、小波變換方法以及近年來發展起來的Contourlet變換法等，小波變換無法有效表示二維圖像信息，Contourlet變換是一種真正意義上的圖像二維表示方法，具有良好的多分辨率、局部化和方向性等優良特性[1]，目前的圖像融合多采用該方法。但它存在以下問題：（1）算法在圖像嶺脊處產生模糊偽影，融合后圖像容易出現信息丟失、邊緣模糊或丟失等現象；（2）算法本質上是一種冗余變換，單獨使用無法有效去除冗余信息。

本文針對上述問題，將能有效去除冗余信息的非負矩陣分解和具有頻率局部尖銳化特征的新Contourlet變換相結合，將融合過程分為變換域分解和變換域融合兩步，提出了一種基于非負矩陣分解和新Contourlet變換的圖像融合新方法。圖像融合實驗以及與其他方法的對比實驗表

CNKI出版日期：2012-04-25 http://www.cnki.net/kcms/detail/11.2127.TP.20120425.1718.013.html明，本文算法提高了融合圖像的質量，保留了更多的信息量和邊緣細節特征，應用效果較好。

2 圖像的變換域分解

考慮到待融合的源圖像變換域分解后缺乏頻率尖銳局部化從而導致邊緣模糊的問題，以及尖銳頻率局部化Contourlet變換（CT-SFL）所具有的頻率局部尖銳化特點，本文將CT-SFL引入到圖像融合中，對源圖像進行分解。

采用Contourlet變換進行圖像融合時，缺乏頻率域的尖銳局部化是導致融合圖像信息丟失、邊緣模糊或丟失等現象的主要原因。而Yue Lu提出的尖銳頻率局部化Contourlet域變換可以有效地實現頻率局部尖銳化，消除Contourlet變換圖像嶺脊處產生的模糊偽影[2]。

CT-SFL變換采用了一種新的多尺度金字塔結構實現多尺度分解，并在不同尺度上應用不同的高低通濾波器組合，降低了DFB的頻率域混疊，大大減輕了非局部化問題，性能獲得了極大提升。

CT-SFL結構圖如圖1所示。

圖1 CT-SFL結構圖

CT-SFL頻域基圖像和空域基圖像分別如圖2（a）和圖2（b）所示。

圖2 CT-SFL頻率域基圖像和空域基圖像

由圖2可知，CT-SFL的頻率局域化現象非常好，空域正則性也較好。

由于CT-SFL變換的DFB中存在上采樣和下采樣，這使其缺乏平移不變性，因此，為了克服CT-SFL的這一缺陷，參考文獻[3]消除Contourlet變換平移非不變性的思路，本文將循環平移方法引入到CT-SFL中，以有效地抑制偽吉布斯現象，提高變換對平移的敏感性。

將源圖像進行循環平移并變換域分解后，可以得到能夠有效去除邊緣模糊現象、具有尖銳頻率局部化特征的低頻圖像和帶通圖像。

3 圖像的變換域融合

為了保留源圖像更多的信息量并有效減少冗余信息，本文依據變換域分解后源圖像的低通和帶通子帶特點，分別設計了新的融合規則。

3.1 基于非負矩陣分解的低通子帶系數融合

低通子帶系數包含圖像主要信息，引入非負矩陣分解可以有效去除圖像中冗余信息，其主要思路是把一個秩較大的非負矩陣分解為兩個秩較小的非負矩陣的乘積，并且這種非負性的分解結果能更直接的表達一定的物理意義[4]。非負矩陣分解在圖像融合、人臉識別等領域有很大的利用價值[5-6]。

非負矩陣分解時需要給定一個n×m的非負矩陣V，并預先定義一個正整數r，通常r＜min(n，m)，尋找一個n×r的非負矩陣W和r×m的非負矩陣H，使得：

非負矩陣的求解過程就是通過迭代使V和WH之間的重構誤差最小，其求解過程本質上是求解如下的優化函數[7]：

本文提出的低通子帶系數融合過程如下。

將待融合圖像V組成原始圖像集如下：

其中Ii為待融合的圖像，假設共有m副，M、N為每一副待融合圖像的的行數和列數，并令n=M×N，則有V∈Rn×m。V可近似分解為非負矩陣Wn×r和非負矩陣Hr×m的乘積，其中W可以看作對所有待融合圖像V進行線性逼近的一組基，H是V在基W上的非負投影。通過選擇較小的r，就可以用相對較少的基向量表示V的大部分特征信息，本文選取灰度圖像基向量的維數為n×1，可從觀測圖像V中重構恢復標準圖像W。

3.2 帶通子帶系數融合

由于帶通子帶系數對應源圖像的細節信息，人類視覺系統對單個像素灰度值并不敏感，而對鄰域內灰度的變化較為敏感。鄰域內灰度變化較大的區域常對于邊緣細節信息，鄰域灰度方差的大小對應邊緣細節信息的豐富程度和清晰度，鄰域內能量的大小則對應細節的整體亮度，綜合考慮二者因素，本文提出一種新的帶通系數融合規則。

假設Cl， k(i，j)表示l尺度k方向子帶(i，j)位置處的變換系數，則定義鄰域能量為：其中，El， k(i，j)表示l尺度k方向子帶以(i，j)為中心的窗口鄰域能量；P和Q表示窗口大小，此處為矩形窗，窗口尺寸為(2P+1)×(2Q+1);w(p，q)表示窗口權函數，距離窗口中心位置越近，則權值越大。

定義源圖像A和B的鄰域能量匹配度為：

其中，MEl， k(i，j)表示圖像A和B的l尺度k方向子帶(i，j)位置處的鄰域能量匹配度，一般有 MEl， k(i，j)∈[0，1]。若定義能量匹配度閾值T1，則ME＞T1表明源圖像A和B的鄰域能量相關程度較高，考慮能量融合因素時，需要對二者加權考慮，否則，取鄰域能量較大者即可。

定義鄰域方差為：

其中，Vl， k(i，j)表示l尺度k方向子帶以(i，j)為中心的窗口鄰域方差；(i，j)表示l尺度k方向子帶以(i，j)為中心的窗口鄰域平均值；P和Q表示窗口大小，此處為矩形窗，窗口尺寸為(2P+1)×(2Q+1);w(p，q)表示窗口權函數，距離窗口中心位置越近，則權值越大。

定義源圖像A和B的鄰域方差匹配度為：

其中：

式（7）中，MVl， k(i，j)表示圖像A和B的l尺度k方向子帶(i，j)位置處的鄰域方差匹配度，一般有MVl， k(i，j)∈[0，1]。若定義方差匹配度閾值T2，則MV＞T2表明源圖像A和B的鄰域方差相關程度較高，考慮方差融合因素時，需要對二者加權考慮，否則，取鄰域方差較大者即可。

設源圖像A和B的鄰域能量分別為EAN、EBN，鄰域方差分別為VAN、VBN，鄰域能量相對系數 ρ1=EAN/EBN，鄰域方差相對系數 ρ2=VAN/VBN，鄰域能量方差聯合相對系數ρ=ρ1·ρ2，定義鄰域能量方差聯合相對系數閾值Tρ（本文取Tρ=2），并設圖像A、B以及融合圖像F的l尺度k方向子帶(i，j)位置處系數簡記為CA、CB、CF，則有如下融合規則：

（2）若源圖像A和B的鄰域能量匹配度ME≥T1（本文取T1=0.95），且鄰域方差匹配度MV＜T2（本文取T2=0.75），則有：

3.3 算法步驟

本文算法步驟總結如下：

（1）對已配準的兩幅圖像A和B進行循環平移并進行CT-SLF分解，得到低通子帶系數和帶通子帶系數。

（2）根據低通子帶系數和式（3）構造矩陣V，對V進行非負矩陣分解得W，以W作為融合圖像F的低通子帶系數。

（3）根據帶通子帶系數和帶通系數融合規則，得到融合圖像F的帶通子帶系數。

對上述結果進行逆CT-SLF，并進行逆循環平移，得到最終融合圖像F。

4 實驗結果與分析

為驗證本文算法，采用多組圖像進行融合實驗。為驗證實驗結果的有效性，本文選擇空域和變換域中的典型有效算法和本文算法作對比。空域中的典型算法為PCA （Principal Component Analysis）法，變換域中有各種金字塔分解法（如性能較好的LP法）、小波法以及近幾年占據主流的Contourlet變換法。本文選擇PCA法、LP法以及Contourlet變換法作為參考。設低頻系數采用平均值融合、高頻系數采用最大值融合的融合規則為AVE-MAX融合，其中算法1為PCA法，算法2為LP法（AVE-MAX融合），算法3為CT法（AVE-MAX融合），本文算法為改進CS-SFLCT法（低頻系數采用NMF法，高頻系數采用EngVar法），實驗時CT-SLF進行5級分解。

紅外與可見光圖像以及基于上述不同算法的融合圖像如圖3。

從主觀效果上看，圖3中算法1得到的融合圖像整體視覺較暗，圖像邊緣不清晰，模糊有陰影；算法2得到的融合圖像邊緣模糊，且部分區域出現不連續；算法3得到的融合圖像雖然亮度和邊緣有改進，但背景區域出現噪聲；本文算法較好地保留了源圖像的亮度特性和主要信息，有效抑制了背景區域噪聲，且融合圖像具有更好的邊緣保持效果，視覺效果較好。

引入客觀評價標準進行定量分析，以精確評價融合結果。本文采用標準差、平均梯度、信息熵、互信息、邊緣信息保持值QABF對圖3中融合算法性能進行比較，比較結果見表1。

圖3 紅外與可見光圖像以及不同算法融合圖像

表1 紅外與可見光圖像融合性能比較

為進一步說明本文提出算法的有效性和實用性，本文選擇多聚焦圖像進行融合實驗。實驗參數及融合算法的選擇與第一組實驗相同，融合圖像如圖4，采用客觀評價標準定量分析的結果如表2。

圖4 多聚焦圖像以及不同算法融合圖像

表2 多聚焦圖像融合性能比較

從圖4實驗結果可以直觀地看出，四種算法中本文算法融合結果的綜合效果最優。圖4中算法1得到的融合圖像整體視覺較暗，圖像邊緣不清晰，模糊有陰影；算法2得到的融合圖像邊緣模糊，且部分區域出現不連續，如左聚焦鐘表的右邊緣中部區域不連續；算法3得到的融合圖像雖然整體效果比算法1要好很多，也比算法2清晰，但亮度比源圖像低，背景出現噪聲，部分邊緣區域出現模糊，如左聚焦鐘表的右邊緣中部區域出現模糊，表盤數字刻度有輕微的虛影；本文算法較好地保留了源圖像各自聚焦部分的亮度特性和主要信息，且融合圖像具有更好的邊緣保持效果。

比較表1數據可知，本文算法的標準差、平均梯度、信息熵、互信息、邊緣信息保持值QABF均高于其他算法。比較表2數據可知，本文算法也優于其他算法。

實驗表明針對不同的源圖像本文算法較其他算法得到的融合圖像對比度較大，細節較清晰，信息量豐富，從原始圖像提取的信息較多，邊緣信息保持較好。

5 結束語

本文針對融合圖像保留源圖像信息量少和易邊緣模糊或丟失的問題，提出了一種非負矩陣分解和新輪廓波變換相結合的新圖像融合算法，該算法能有效提高圖像融合的質量。仿真結果表明：利用本文提出的算法所得到的融合圖像，可以保留更多的信息量和邊緣細節特征，圖像亮度和對比度較好，具有較好的視覺效果，該算法可以應用到其他多源圖像融合。

[1]Do M N，Vetterli M.The contourlet transform：an efficient directional multiresolution image representation[J].IEEE Trans on Image Processing，2005，14（12）：1-16.

[2]Lu Y，Do M N.A new contourlet transform with sharp frequency localization[C]//IEEE International Conference on Image Processing.Atlanta，GA：[s.n.]，2006，8（11）：1629-1632.

[3]Eslami R，Radha H.Translation-invariant contourlet transform and its application to image denoising[J].IEEE Transactions on Image Processing，2006，15（11）：3362-3374.

[4]Xu L，Dong J Y，Cai C B，et al.Multi-focus image fusing based on non-negative matrix factorization[C]//Proceedings of Mechatronics and Machine Vision in Practice.Xiamen，China：IEEE，2007：108-111.

[5]周浦城，韓裕生，薛模根，等.基于非負矩陣分解和HIS顏色模型的偏振圖像融合方法[J].光子學報，2010，39（9）：1682-1686.

[6]牛佳.基于CVX和非負矩陣分解的圖像融合研究[J].計算機工程與設計，2008，29（20）：5311-5313.

[7]LeeD D，SeungH S.Learning thepartsofobjectsby non-negative matrix factorization[J].Nature，1999，401（6755）：788-791.

WANG Fei1,LIANG Xiaogeng1，2,CUI Yankai1,WU Xiaojun3

1.School of Automation,Northwestern Polytechnical University,Xi'an 710072,China
2.Luoyang Photoelectric Technology Development Center,Luoyang,Henan 471009,China 3.Luoyang Institute of Electro-Optical Equipment,Luoyang,Henan 471009,China

In order to improve the information and edge details of fused image which come from the original images,fusing algorithm of Non-negative Matrix Factorization（NMF）combined new contourlet transform is proposed.The source images are employed with cycle spinning and the coefficients in different scales and directions are obtained by image decomposition using the new contourlet transform with sharp frequency localization.The fusion results of low pass coefficients are obtained by utilizing NMF and the fusion results of band pass coefficients are got by introducing into the energy-variance measure function as well as matching function.The fused image can be acquired through inverse contourlet transform and inverse cycle spinning. Experimental analysis and results show that the fusion algorithm can retain more information and edge details.

Non-negative Matrix Factorization（NMF）;sharp frequency localization;image fusion;energy-variance measure function

為提高融合圖像保留源圖像的信息量和邊緣特征，提出了非負矩陣分解和新輪廓波變換的圖像融合算法。以具有尖銳頻率局部化特征的新輪廓波對循環平移后的源圖像進行分解；運用非負矩陣分解實現低通子帶融合，采用能量方差測度函數和匹配度函數實現帶通子帶融合；對各子帶信號重構并逆循環平移，得到融合圖像。實驗結果分析表明，該方法保留了更多的信息量和邊緣細節特征，應用效果較好。

非負矩陣分解；尖銳頻率局部化；圖像融合；能量方差測度函數

A

TP391.41

10.3778/j.issn.1002-8331.1111-0555

WANG Fei,LIANG Xiaogeng,CUI Yankai,et al.Image fusion combined with NMF and new contourlet transform.Computer Engineering and Applications,2013,49（5）：150-153.

王斐（1976—），男，博士研究生，講師，研究領域：圖像處理、圖像融合、智能控制；梁曉庚（1960—），男，研究員，副總設計師，博士生導師，研究領域：導航制導與控制、圖像處理；崔彥凱（1980—），男，博士研究生，研究領域：圖像處理；武曉軍（1960—），男，工程師，研究領域：機載視頻系統研制。E-mail：feiwangnpu@163.com

2011-11-29

2012-02-03

1002-8331（2013）05-0150-04