一種基于特征塊的圖像拼接算法

摘要：提出一種基于基本特征塊的圖像拼接算法。該方法先定義邊緣特征量，逐點計算各像素點鄰域的邊緣信息量大小，并采用局部非極大值抑制及閾值法進行排除，最終確定基本特征塊；先利用基本特征塊的位置信息初步估計模型參數，再提取特征點對模型參數進行修正；最后，對圖像進行拼接獲得更大視野更高分辨率的拼接圖。實驗表明，該算法運算量較小，但可保證一定的精確度，具有一定的可行性和適用性。

關鍵詞：圖像拼接； 基本特征塊； 配準

中圖分類號：TN941文獻標識碼：A文章編號：1009-3044(2008)24-1296-02

The Algorithm for Image Mosaic Based on Basic Characteristic Block

ZHU Guan-qun， FENG Gui

(Information Science and Engineering Institute， Huaqiao Univetsity， Quanzhou 362021， China)

Abstract: This paper proposes a new algorithm for image mosaic based on the basic characteristic block. Firstly， we give the definition of so-called value of edge information which is used to measure the quantity of marginal character in certain block. Secondly， we used the information contained in the basic characteristic block to initialize the parameters of model and then detect the corner feature points to accurate the final value of parameters. We mosaic two adjacent images into one image with a wiser vision and higher resolution. Experimental result shows the availability and utility of this algorithm.

Key words: image mosaic; basic characteristic block; matching

1 引言

圖像拼接技術一直是攝影測量學、計算機視覺、圖像分析處理和計算機圖形學研究的活躍領域之一[1]。圖像拼接就是將一組相鄰兩幅互有重疊的圖像序列拼接成為一幅大型無縫高分辨率圖像。圖像拼接可分為圖像配準和圖像融合兩個步驟，前者通過各種不同算法正確尋找到待拼接圖像重疊部分之間的位置關系及其范圍，后者用于消除拼接的圖像間因強度或顏色的不連續和幾何變形留下的拼縫[2]。

在本文中，根據圖像拼接的目的及要求，提出了一種將特征區域塊和角點特征相結合的拼接算法。首先，通過邊緣特征量的定義，提取出待拼接圖像當中含有最多邊緣信息量的基本特征塊，對兩幅待拼接圖像之間的位置關系進行初步的估計；之后，分別在基本特征領域塊內，進行Moravec角點檢測，并利用檢測到的特征點對初始位置關系的模型參數進行進一步的修正，確定較為精確的模型參數；最后，使用漸入漸出的方法消除人工拼接可能留下的拼縫，從而獲得較大視野，較高分辨率的拼接結果圖。實驗表明，該算法計算量較小，拼接效率較高，具有一定的可行性。

2 基于特征塊的圖像拼接算法

2.1 基本特征塊的選取

我們所要尋找的基本特征塊應包含盡可能多的圖像主體信息。灰度信息包含了圖像最大量的信息，而邊緣信息則反映了圖像的內在固有的性質，不會因光照等外界條件的影響而發生劇烈的變化，不同的圖像正是因為有了不同的邊緣信息才被區分開來。因而，使用邊緣信息來尋找基本特征塊無疑可保證較為可靠的穩定性。

首先我們使用Canny算子提取出待拼接圖像的邊緣特征。之后，取一定大小的窗口模板，在邊緣特征二值圖內，移動窗口模板，逐點計算模板內的邊緣特征量。定義各像素點邊緣特征量e_va(i，j)為：

其中，pixel(i+r，j+r)對應的是邊緣二值圖中（i+r，j+r）點處像素值，取1或0；r為窗口大小的一半，即取窗口大小為(2r+1)×(2r+1)，本文中取r＝5。

使用邊緣特征量可以衡量像素點所處鄰域的邊緣信息豐富程度。一般說來，圖像的邊緣特征量呈區域分布，在邊緣特征較為豐富的地方，其邊緣特征量較大，含有較多的圖像信息。

為了下一步的圖像精確配準，我們希望找到的特征塊含有盡可能豐富的圖像信息。因而，在本文中，取含有信息量最多也即邊緣特征量最大的區域作為基本特征塊。為了提取該區域塊，首先，取一定大小的窗口（本文中取20×20），進行局部非極大值抑制，取每個窗口當中最大邊緣特征量對應的像素點作為待選基本特征塊的中心點以待下一步的處理。通過局部非極大值抑制，可以先去除掉部分計算量。

我們不但希望找到的特征塊含有盡可能豐富的圖像信息，還希望找到的特征塊是獨一無二的。因而，先取閾值為T＝max(e_va)/2，濾除部分的相對較低邊緣特征量的待選點。再計算經過兩次濾除后剩下的待選點對應的邊緣特征量的均值，并取各像素點和該均值差值的絕對值來衡量不同區域之間的差異。定義該差值d_e_va(k，n)為：

其中，M為經過局部非極大值抑制之后剩下的待選點邊緣特征量的均值，s為待選點數目。

最后，取d_e_va(k，n)當中的最大值所對應的像素點，做為基本特征塊區域的中心像素點。以該像素點為中心，取一定大小的鄰域（本文取60×60大小的鄰域）確定為最后的基本特征塊。

綜上所述，基本特征塊的獲得步驟如下：

因為待拼接的圖像的重疊區域只是其中的一部分，在選擇基本特征塊，只限定在一定的范圍內進行，而不在整幅圖像范圍內進行，從而可以避免不必要的計算量.在本文中取原圖大小的 的范圍進行基本特征塊的選取。

Step 1：對待拼接圖像使用Canny算子進行邊緣檢測，獲得邊緣二值圖；

Step 2：使用11×11大小窗口，據式（1）逐點計算二值圖中各像素點的邊緣特征量e_va(i，j)；

Step 3：使用20×20大小的窗口對d_va(i，j)進行局部非極大值抑制，即取窗口內最大d_va值的像素點做為候選特征區域的中心點，進行下一步驟的處理；

Step 4：取閾值T=max(d_va(k，n))/2，對上個步驟中的各像素點，若其d_va(k，n)>=T，則保留以進行下一步的處理，否則給予去除；

Step 5：根據式（2）求解各待選點差值，并選取最大差值對應點為基本特征塊的中心像素點，并取其一定大小的鄰域作為基本特征塊。

2.2 圖像配準

兩幅重疊圖像的關系可以通過一個平面的投影運動模型來描述。平面投影變換通過式（3）將一幅圖像變換到另一幅圖像[3]。從式（3）可以看出變換關系中有八個模型參數m0～m8，配準問題的實質就在于這八個模型參數的精確求解。在本文中，我們先利用提取出來的基本特征塊包含的位置信息初步估計該模型參數，再提取特征點，利用特征點對對模型參數進行修正。

眾所周知，求解八個未知數，需要八個方程，因而，先在基本特征塊當中選取四對像素點對來構造求解參數需要的八個方程。在本文中，分別在基本特征塊中選取像素值最大點，像素值最小點，中心像素點的座標做為三對匹配點對，另外再隨機選取一對像素點對坐標做為第四對匹配點對。利用這四對匹配點對構造方程初步估計八個模型參數。

初步估計出模型參數之后，在基本特征塊內進行Moravec特征點的提取，并利用這些特征點對初步估計的模型參數進行修正，以獲得更為精確的模型參數。修正過程為，取參考圖像中的一個特征點，利用上一步驟中的初始模型參數估算出該特征點在目標圖像中”對應特征點”的位置，取目標圖像中與該”對應特征點”距離最短的特征點做為該點的最終匹配特征點。如此，確定四對特征點對再次構造方程求解八個模型參數，并確定為最終的模型參數。

2.3 圖像融合

獲得兩幅圖像重疊部分的位置關系之后，進行兩幅圖像的縫合。在重疊區域直接取兩幅圖像當中的一幅進行圖像合成，很容易因為對比度等的不同而在重疊區域的邊界形成明顯的人工拼接的痕跡，為了消除這種拼縫，需要進行融合[4]。

漸入漸出法是較為常用的圖像融合方法，該方法將圖像重疊區域的像素值按照一漸變系數相加合成拼接圖像。融合公式如下：

其中，I1（i，j）和I2（i，j）表示兩幅待拼接圖像重疊部分的像素值，d為漸變系數，從式（4）可以看出，當d從0漸變到1時，重疊區域像素值從I1（i，j）漸漸過渡到了I2（i，j），從而實現了圖像間的平滑過渡，可以消除拼接的痕跡。

3 實驗結果分析及小結

圖1為待拼接的左右兩幅待拼接圖像，方框標識利用本文算法提取獲得的基本特征塊。方框內“＋”號標識的是提取到的Moravec特征角點。圖2為最終的拼接結果圖。從該結果圖可以看出本文算法正確獲得了配準位置關系模型參數，在融合過程中基本上消除了拼縫，實現了相鄰圖像間的自然過渡，該結果說明了本算法的可行性和適用性。

示意本文以圖像的邊緣特征為關鍵信息，定義邊緣信息量，并進行局部非極大值抑制和閾值處理，逐步排除之后快速獲得最大值并作為特征塊的確定標準，避免了重匹配的問題；此外通過提取的基本特征塊進行模型參數的初始估計，再結合特征角點的提取及配準，對模型參數進行進一步的修正，從而獲得較為精確的模型參數。算法運算量不大，但可以保證較高的精度。但是，實驗表明，該算法比較適用于平移或較小旋轉的圖像序列，而對較大旋轉的拼接圖像序列尚存在一定的誤差，這也是下一步研究學習的重點所在。

參考文獻：

[1] 侯舒維.圖像拼接技術研究[D].西安：西安電子科技大學，2005:1-2.

[2] 馬令坤，張震強.圖像拼接算法的研究[J].微計算機信息，2007，(02X):303-305.

[3] 許金鈴.基于魯棒特征點的全景圖像拼接[D].長春:吉林大學，2007:21-22.

[4] 汪華琴.基于特征點匹配的圖像拼接算法研究[D].武漢:華中師范大學，2007:36-37.

注：“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文。”