基于經驗模態分解的圖像拼接

張曉宇， 戴 芳， 甘明輝， 王賽芳

?

基于經驗模態分解的圖像拼接

張曉宇， 戴 芳， 甘明輝， 王賽芳

（西安理工大學理學院，陜西西安710054）

對待拼接圖像分別進行經驗模態分解，對分解得到的第一個固有模態函數與第二個固有模態函數的疊加進行特征點提取、特征點匹配與變換矩陣的估計以實現圖像的拼接，文中提出的方法有效提高了特征點匹配的正確率，具有很強的魯棒性。在圖像融合方面文中提出一種新的基于余弦關系變換的加權融合技術，在實現圖像無縫拼接的同時，可有效去除拼接圖像重疊區域的重影與鬼影現象。

計算機應用；圖像拼接；經驗模態分解；余弦關系變換

圖像拼接是將一組相互間存在重疊區域的圖像序列實施配準，進而融合成一幅完整、無縫、寬視野、高分辨率新圖像的技術。圖像拼接技術現已廣泛應用于顯微圖像分析、空間探測、醫學圖像分析處理、虛擬現實技術、遙感數據處理、軍事偵察、公安取證和數碼相機超分辨處理等方面，具有廣泛的應用前景。

圖像拼接的關鍵技術是圖像配準與圖像融合。在圖像配準中基于圖像特征點的配準方法是該領域的研究熱點，該方法是對待配準的兩幅圖像提取滿足特定要求的特征點，然后對這兩組特征點進行匹配，生成一組特征點匹配對，利用這組匹配點對間的對應關系估計出全局變換參數，以實現圖像配準。該方法的優點是運算速度較快，配準精度由特征點的提取精度以及特征點匹配精度決定，因此選擇和提取具有魯棒性的特征點以及提高特征點匹配的精度是本文研究的重點。

傳統Harris角點檢測算法只能在單一尺度下進行特征點檢測，特征點的提取過于依賴閾值的選取，易受噪聲點的影響而產生偏移現象。為解決這一問題，近年來有學者利用小波變換對圖像進行分解，在多尺度下進行角點提取，并取得一些成果，但小波變換的分解方法本質上是一種適合于線性信號分析的方法，它將信號按照固定的小波基進行分解，在分解過程中丟棄了信號的某些局部特征，而且在小波基的選取上也具有一定的主觀性。針對以上問題，結合經驗模態分解(Empirical Mode Decomposition, EMD)對非線性、非平穩信號分析的優越性，本文利用經驗模態分解技術對待拼接圖像進行分解，在分解后得到的固有模態函數(Intrinsic Mode function, IMF)的基礎上進行Harris角點檢測及特征點匹配，以提高特征點提取及匹配的正確率，實現高質量圖像拼接。

本文的具體安排如下：第二部分介紹經驗模態分解的基本原理，并給出對圖像進行經驗模態分解的算法步驟；Harris角點檢測的基本原理在第三部分給出；第四部分介紹歸一化相關法在本文特征點匹配中的改進與應用；第五部分介紹了RANSAC(Random Sample Consensus)算法及最小中值法的基本思想并給出了變換矩陣估計的算法步驟；第六部分是圖像拼接和融合，介紹一種基于余弦關系變換的加權融合技術，并將融合效果與傳統的0-1漸變加權融合進行了比較；第七部分為實驗結果與性能分析；最后為結論。

1　經驗模態分解

經驗模態分解是1998年由Huang等人提出的一種自適應變尺度多分辨分析方法，它利用信號自身特征進行信號分解，可以把非平穩、非線性信號按照頻率由高到低的順序逐層篩選，分解成一組穩態、線性的數據系列集，即固有模態函數集。

經驗模態分解的基本原理是找出信號的局部極大值和局部極小值點，對這些點進行插值，獲得信號的上、下包絡和均值包絡，然后利用篩選算法把符合固有模態函數的信號依次分解出來，即把一個信號分解成若干個固有模態函數和殘差信號之和。

固有模態函數是原始信號本身所包含的最基本的信號組成單元。它必須同時滿足下列條件：① 數據極值點和過零點數目必須相等或至多相差1；②在任意點由局部極大值點構成的包絡和局部極小值點構成的包絡的平均值為0。

利用經驗模態分解對圖像進行分解的具體步驟如下：

（1）求出圖像的局部極大值點和局部極小值點；

（2）對圖像極大值點和極小值點分別進行三次插值，生成上、下包絡曲面；

（3）對上、下包絡曲面取平均得到平均曲面；

（4）從圖像中減去平均曲面：-=；

（5）將作為新的重復步驟(1)～(4)，直到r滿足IMF的條件，此時得到第一個固有模態函數，記為；

（6）從原始圖像中減去，對得到殘差圖像再重復上面的篩選過程得到第二個固有模態函數；

（7）對與取和，記為=+。

是對圖像分解后得到的第一個固有模態函數，包含原圖像大量的高頻信息，反映原圖像細節及輪廓方面的信息；是圖像分解得到的第二個固有模態函數，表示圖像的次高頻信息。對與進行疊加得到的具有固有模態函數固有的局部波形對稱等優點，在保留了大量原始圖像信息的同時，還能剔除噪點、光線不一致等意外因素造成的影響，因此在上進行操作能有效提高特征點的提取精度與特征點匹配的準確率。

2　特征點提取

基于圖像特征的配準方法首先是要盡可能準確地提取出圖像的特征點。在眾多方法中Harris角點檢測由于其在一致性和有效性方面的優良性能一直被人們所推崇。該方法提取的特征點具有旋轉、平移不變性，且可以達到亞像素級的精度；對噪聲和光照條件的影響也具有一定的魯棒性。所以本文采用Harris角點檢測器對經EMD分解后的第一個固有模態函數與第二個固有模態函數的疊加進行角點檢測，以獲得理想的檢測結果。

Harris角點檢測是通過微分運算和自相關矩陣運算來檢測信號點特征的位置，即通過下列響應函數來體現

其中

（2）

閾值的設置具有主觀性，設置的過大會造成特征點錯選和漏選，而設置過小又將導致計算量的增加。為此本文首先根據值進行局部非極大值抑制以確保得到的點均為局部極值點，再對檢測到的局部極值點按照值大小進行降序排列，提取前個點作為特征點，進入下一步特征點匹配。這樣就避免了閾值設置的主觀性帶來的上述影響，同時又得到一批數目穩定、適中的最優特征點。

3　特征點匹配

對兩幅待拼接的圖像進行經驗模態分解，分別獲得和，其中是第一幅圖的前兩個固有模態函數的疊加，為第二幅圖的前兩個固有模態函數的疊加。然后分別對和進行特征點提取，對獲取的特征點進行匹配，以尋找對應的同名點。本文采用歸一化相關法(Normalised Cross-Correlation, NCC)進行特征點匹配，它的基本思想是依據待拼接圖像上對應角點鄰域像素灰度值的相似性進行匹配，設T和S分別為以待拼接圖像與上的角點為中心，大小為′兩個相關窗口，、為兩圖相關窗口內像素灰度值的均值，則定義角點之間的相關系數為

本文在進行角點匹配時，對中的每一角點p與中的所有角點進行匹配，即計算p與中所有角點的相關系數值，尋找中與p相關系數最大的角點作為p點的匹配點，其中，對圖像中的個角點遍歷完畢后即可產生個特征點對，對產生的特征點對按照值的大小降序排序，對匹配過程中產生的“多對一”誤匹配情況采取全部剔除的操作，然后在所得特征點對中按照黃金分割0.618的比例，根據相關系數值由大到小截取一定數量的最優匹配點對，從而確保得到足夠數量及精度的匹配點對，避免了匹配過程對閾值選取的過度依賴。

4　變換矩陣估計

由于相機的運動、透鏡作用和光源變化等一些復雜因素，相機獲取的圖像序列必然存在光強差異、反光區域以及坐標系不一致等問題，因此為了實現圖像序列的拼接，首先必須確定這些圖像序列間的空間對應關系。目前常用的圖像間的變換關系模型有平移變換模型、剛性變換模型、仿射變換模型以及投影變換模型。本文采用的是仿射變換模型，利用齊次坐標以矩陣的形式來描述該模型為

即為變換矩陣，通過式(4)將待變換圖像經平移、旋轉、縮放變換到參考圖像坐標系下。

經過特征點匹配以后，在兩幅像間產生一個對應特征點集。要實現圖像間的拼接，理論上直接從匹配點對中隨機抽取三對匹配點即可將計算出來，但經過歸一化方法在剔除了部分偏差過大的點對后，得到的特征點對仍然存在誤差，直接使用這些點對估計變換矩陣誤差會很大，因此要得到最優的變換矩陣還要經過一個篩選和優化的過程。本文采用RANSAC(Random Sample Consensus)算法與最小中值法(least Median squares)相結合來估計最優變換矩陣。

RANSAC是一種魯棒性的擬合數據算法，它能充分利用測得的數據，根據閾值把它們分成內點和外點。由于內點數據比較準確，因此RANSAC使用內點來進行參數估計。

最小中值法的基本思想是計算所有匹配點數據的余差，取其中值作為標準，把滿足小于中值的匹配點作為優化樣本來重新估計最優的變換矩陣。變換矩陣估計算法如下：

（1）隨機選取3對匹配點，利用式(4)計算變換矩陣；

（2）對待拼接圖像上的每一個特征點利用計算它在圖像中的對應點，并計算該對應點與在中的匹配點之間的距離差d，稱為余差；

（3）根據RANSAC算法中內點距離小于閾值的原則，設定閾值，并將d<對應的特征點對作為此次估計的內點集合，記錄內點數目，在此內點集合內重復步驟(1)重新估計；

（4）重復步驟(2)、(3)，經過次隨機采樣后得到最大內點集合以及與之對應的變換矩陣；

（5）運用最小中值優化算法對進行優化估計。首先對步驟(4)中得到的內點進行次隨機采樣，每個子樣本為3個匹配點對，根據式(4)計算出每個子樣本的變換矩陣M{M|=1, 2,…,}；然后，在最大內點集合內對每個矩陣M分別計算出與之對應的個特征點對間余差的平方r_,{r_,|=1, 2, …,;=1, 2, …,}，取每組余差平方的中間值U=(r_,)；尋找U中的最小值以及與其對應的變換矩陣；用在最大內點集合內再次計算個特征點對間余差的平方_min,{r_, |=1, 2, …,}，取_min,所對應的匹配點對作為最優的樣本空間，對最優樣本點進行優化處理求得最優變換矩陣。

5　圖像拼接與融合

變換矩陣確定后，接下來的工作就是將圖像進行配準。設為參考圖像，為待配準圖像，本文采用后向映射法對進行配準，即給出新坐標系（參考圖像所在的坐標系）下每個點的坐標，利用變換矩陣尋找其在上的對應點，并將處的像素值提取作為新坐標系下該點處的像素值，但因為通過計算得到的和值并非整數，要得到處的像素值，還需運用雙線性插值進行處理。

配準完成后，開始對圖像進行拼接融合。圖像融合是將配準后的圖像序列進行拼接，增加圖像信息量并消除接縫的過程。常用的拼接圖像平滑過渡方法是加權平均融合法（即漸入漸出法）。假如、是兩幅已配準待拼接圖像，將圖像和進行拼接融合，則融合后的圖像可表示為

參數，與重疊區域的寬度有關，且+= 1，0<,<1。在重疊區域中由1漸變到0，由0漸變到1，如圖1(a)所示（實線為，虛線為），由此實現了在重疊區域中由到的緩慢平滑過渡。該方法在拼接圖像序列的重疊區域存在圖像空間位置不一致，特別是存在運動物體時會出現很明顯的重影和鬼影現象，為此作者改進該算法，對權值、引入帶有余弦關系變換的函數，其中==,，的值由重疊區域的每一行的寬度確定，初值為0。假設某一行重疊區域的寬度為，則，該行重疊區域從左向右隨著像素位置遞增。由圖1(b)可以看出（實線為，虛線為），在重疊區域中權重，減小與增加的速度均較0-1漸變要緩和，這樣就保證了在重疊區域中線左側參考圖像的權重更大一些，在中線右側拼接圖像的權重更大一些，從而有效地減少了靠近重疊區域左右邊緣處的重影和鬼影現象。將融合后的圖像作為與圖像再次使用該方法進行加權融合，以加重在拼接圖像中的權重，以此來消除重疊區域中線周圍的重影與鬼影現象。

(a)0-1漸變權重函數

(b)　余弦關系漸變權重函數

6　實驗結果及性能分析

為驗證算法的有效性，以兩幅圖像進行實驗。實驗條件：英特爾迅馳雙核1.87G，2G，MATLAB6.5，WINXP，SONY170。使用的圖像是通過手持相機，以固定焦距連續拍攝的大小為640′480′3，JPG格式的兩幅圖像，如圖2所示。利用EMD對和分別進行分解，獲得固有模態函數，和，，其中和分別為對應于的第一個固有模態函數和第二個固有模態函數，和是對應于的前兩個固有模態函數，如圖3(a)~(d)所示。圖3(e)為與的疊加，圖3(f)為與的疊加。圖4(a)、(b)是對和分別進行Harris角點檢測，并按照角點響應值由大到小提取的前200個特征點。使用歸一化相關系數法對提取的特征點在與上進行匹配，相關窗口大小為13×13，匹配點對如圖4(c)、圖4(d)所示。該實驗的部分實驗數據與對獲取的原始圖像與直接進行特征點提取與特征點匹配操作的實驗數據如表1 所示，表1中還同時列出了本文實驗3（實驗用圖為圖8(a)與圖8(b)）的一組實驗數據，通過對比可以看出基于EMD的特征點匹配的正確率高于基于原圖像的特征點匹配的正確率。圖5為使用0-1漸變加權平均融合法得到的融合圖像，從圖中可以看出有明顯的重影與鬼影現象（由方框框出）。圖6為使用基于余弦關系變換的加權融合算法得到的融合圖像，從兩幅圖像的對比中可以看出該方法可有效去除重影與鬼影。圖6為待拼接圖像的重疊區域超過50%的拼接效果圖，圖7、圖8是使本文方法得到的另兩組重疊區域少于50%的實驗2與實驗3的拼接效果圖。（注：在圖像拼接過程中，由于圖像的旋轉和平移會產生部分黑色邊框，在本文的實驗中為了保持圖像信息的完整性，沒有對邊框進行切割。）

(a)的第1個固有模態函數(b)的第2個固有模態函數(c)的第1個固有模態函數

(d)的第2個固有模態函數(e)與的疊加(f )與的疊加

圖3 經EMD分解的固有模態函數及其疊加的圖像

(a)對進行Harris角點提取(b)對進行Harris角點提取

(c)(d)使用歸一化相關系數法得到的匹配點對

圖4 對與進行特征點提取與特征點匹配

表1 基于EMD的特征點匹配與基于原圖的特征點匹配效果比較

（注：表1兩組實驗是在相同的實驗條件下進行的，實驗條件如上文所述。）

圖5　0-1漸變加權平均融合后的拼接圖

圖6　基于余弦關系變換加權融合后的拼接圖

(a)實驗2左圖

(b)實驗2右圖

(c) 實驗2拼接效果圖

(a)實驗3左圖

(b)實驗3右圖

(c) 實驗3拼接效果圖

7　結 論

本文研究了角點檢測，特征點匹配、變換矩陣估計、圖像配準與融合等有關圖像拼接的關鍵技術，提出了一種基于EMD的圖像拼接技術，通過實驗證明了該方法有效提高了特征點匹配的正確率，具有很強的自適應性與魯棒性，在圖像融合方面提出了一種基于余弦關系變換加權融合算法，通過實驗表明該方法能夠實現視覺上的自然過渡和無縫拼接，并克服了傳統0-1漸變加權融合算法在圖像重疊區域產生的重影和鬼影現象，具有很強的實用性。

[1] Harris C G, Stephen M. A combined corner and edge detector [C]//Proc. 4Alvey Vision Conference, Manchester, 1988: 147-151.

[2] Huang N E. The empirical mode decomposition and the Hilbert spectrum for nonlinear and non-stationary time series analysis [C]//Proc. of the Royal Society of London, 1998: 903-995.

[3] 孫 暉. 經驗模態分解理論與應用研究[D]. 杭州: 浙江大學, 2005.

[4] 田 丹, 高 強, 趙振兵, 等. 基于經驗模式分解和互信息的圖像配準研究[J]. 電力系統通信, 2009, 30(195): 37-40.

[5] Nunes J C, Guyot S, Delechelle E. Texture analysis based on local analysis of the bidimensional empirieal mode decomposition [J]. Machine Vision and Applications, 2005, 16(3): 177-188.

[6] Stefano L Di, Mattoccia S, Mola M. An efficient algorithm for exhaustive template matching based on normalized cross correlation [C]//Proc. 12International Conference on Image Analysis and Processing, 2003: 322-327.

[7] 周亞平. 圖像配準技術研究[D]. 杭州: 浙江大學, 2008.

[8] ZHAO Xiangyang, DU Limin. An automatic and robust image mosaic algorithm [J]. Journal of Image and Graphics,2004, 9(4): 417-422.

[9] 黃有群, 付 裕, 馬廣焜. 基于RANSAC算法的柱面全景圖拼接方法[J]. 沈陽工業大學學報, 2008, 30(4): 461-465.

[10] 顧費勇. 基于圖像的自適應圖像拼接算法研究[D]. 杭州: 浙江大學, 2008.

[11] Richard Szeliski. Video mosaics for virtual environments [J]. IEEE Computer Graphics and Applications, 1996, 16(2): 22-30.

[12] 仵建寧, 郭寶龍, 馮宗哲. 一種基于興趣點匹配的圖像拼接方法[J]. 計算機應用, 2006, 26(3): 610-612.

Image Stitching Based on Empirical Mode Decomposition

ZHANG Xiao-yu, DAI Fang, GAN Ming-hui, WANG Sai-fang

( College of Science, Xi'an University of Technology, Xi’an Shaanxi 710054, China )

The first two intrinsic mode functions of each image are obtained by using empirical mode decomposition algorithm to decompose images which need stitch. Through this method, the feature points are extracted and matched from the first two intrinsic mode function’s superimposition of each image. Based on these matched feature points pairs, parameters of the transformation matrix are calculated and then images are stitched. Experimental results have shown that this method effectively improves the accuracy rate of the feature points matched and has strong robustness. On image fusion, a novel weighed technique based on cosine relationship transform is proposed. With this technique, not only the seamless stitching images can be obtained, but also the phenomenon of ghosting in the overlapping stitching region can be eliminated.

computer application; image stitching; empirical mode decomposition; cosine relationship transform

TP 391

A

1003-0158(2011)01-0059-08

2009-06-22

陜西省教育廳科學研究計劃資助項目（09JK611）；西安理工大學科技創新計劃資助項目（108-210811）；西安理工大學校博 士啟動金（108-210905）

張曉宇（1980-），女，山東商河人，碩士研究生，主要研究方向為計算智能與信息處理。