基于投影模型和圖像融合的拼接畸變消除算法

姚　路　陳昌志,2　周　橋,2　安世全,2

1(重慶郵電大學計算機科學與技術學院　重慶 400065)2(重慶郵電大學移通學院　重慶 401520)

?

基于投影模型和圖像融合的拼接畸變消除算法

姚路1陳昌志1,2周橋1,2安世全1,2

1(重慶郵電大學計算機科學與技術學院重慶 400065)2(重慶郵電大學移通學院重慶 401520)

摘要圖像拼接技術是數字圖像處理的一個重要分支，廣泛運用于空間紋理檢測、文物保護、醫學圖像、公安取證、虛擬現實等領域。由于拍攝的圖像存在光照、角度、位移和抖動等各種因素影響，導致圖像拼接時易造成圖像畸變和變形。采取投影模型和圖像融合，對畸變和變形進行研究，改進傳統的拼接算法，提出一種自適應強、時效性高、穩定性好的投影模型和圖像融合相結合的拼接算法。實驗結果表明，該算法能夠很好地消除拼接過程中產生的畸變和變形，并具有很好的魯棒性。

關鍵詞圖像拼接畸變投影模型圖像融合變形

0引言

隨著計算機技術的快速發展和數字圖像處理理論的不斷擴充，圖像拼接技術作為數字圖像處理的一個重要分支，逐步成為研究熱點。目前圖像拼接已廣泛應用于紋理檢測、醫學圖像、公安取證等各個方面[1]。

圖像拼接技術對圖像有很強依賴性，例如圖像拍攝的角度、光照、位移、拍攝的硬件條件等制約因素，在圖像拼接的融合過程中會出現圖像畸變、扭曲、失真等一系列畸變、鬼影現象。傳統的拼接方法在某些特定的場景不能得到有效的應用，深入研究圖像拼接算法有非常重要的意義[2]。本文在原有基于特征提取算法上，提出一種按區域進行特征提取并建立圖像之間映射模型投影，最后進行圖像融合的方法，經過大量實驗證明其實效性和穩定性。

1基于特征的圖像拼接

在圖像拼接領域，基于圖像特征的配準方法是研究熱點和重點。這類算法計算量相對較小、效率高、有較強的適應性。

基于特征的圖像拼接算法主要包括特征檢測、特征匹配、建立投影模型和圖像融合。典型的特征提取算子有Harris算子、SIFT算子等。

本文在傳統的基于特征的圖像拼接基礎上，提高了特征提取算法的時效性和準確性，同時本文采用投影模型和圖像融合相結合的算法消除畸變現象。如圖1所示。

圖1　拼接畸變消除流程圖

2SIFT特征

2.1傳統的 SIFT特征提取

SIFT算法是基于圖像尺度空間理論的方法，傳統的SIFT特征提取主要通過構造尺度空間、檢測極值點、確定關鍵點精確位置和尺度、分配關鍵點方向和關鍵點描述子生成等五個步驟完成。

本文規定箭頭的方向為此處特征點的主方向，箭頭的大小代表模值。圖2(a)、(b)為采用傳統的SIFT特征提取方法分別對灰度圖像和彩色圖像提取兩幅圖像的特征信息。

圖2　傳統的SIFT特征提取結果

2.2改進的SIFT特征提取

雖然SIFT算法在圖像拼接領域被廣泛運用，但是它在特征點上信息量過大，特征點提取和匹配上耗時過長，計算量過大，多幅圖像匹配容易崩潰。本文在傳統SIFT特征提取算法上進行改進，提出一種基于區域的SIFT特征提取匹配算法，把SIFT特征進行分類標注，形成不同的區域，流程如下：

(1) 首先在兩幅圖像中提取出數量接近相同的特征點，盡量減少圖像匹配中的外點，誤匹配的生成。

(2) 待匹配圖像看成是點與點、邊與邊所構成的映射關系，并且映射到高維特征空間，建立權值連接圖。

(3) 對圖像按行掃描，計算各個列邊緣像素點的比例大小，確定閾值。

(4) 對閾值相似的部分歸為一類，從而形成區域。

本算法的實現主要分為以下幾個部分：

① //構建nOctaves組(每組nOctaves+2層)

voidSIFT::buildDoGPyramid(const vector&gpyr,

vector&dogpyr)const

② //在尺度空間尋找特征點(極值點)

void SIFT::findScaleSpaceExtrema

//尋找局部極值點，DoG中每個點與其所在的立方體周圍的26個點比較

for(int c=SIFT_IMG_BORDER;c

DER;c++)

//計算梯度直方圖

floatomax=calcOrientationHist

gauss_pyr [o*(nOctaveLayers+3)+layer]

// 特征點精確定位

static bool adjustLocalExtrema

③ //計算梯度方向直方圖，統計的像素范圍

for(i=-radius,k=0;i<=radius;i++)

//得到主方向

float maxval=hist[0];

④ //計算余弦，正弦，將角度值轉化為幅度值

Point pt(cvRound(ptf.x),cvRound(ptf.y));

//區域點坐標確定

for(i=-radius,k=0;i<=radius;i++)

for(j=-radius;j<=radius;j++)

⑤ //通過定義FeatureDetector的對象可以使用多種特征

檢測方法。通過create()函數調用

FeatureDetector::create(const string&detectorType);

本文采用原始圖像為800×600的灰度圖像作為待拼接圖像，實驗中以不同的顏色標注不同類的特征點。對于特征信息豐富的圖像，算法依然具有較好的自適應性。如圖3(a)，(b)分別為對灰度圖像和彩色圖像進行基于區域的特征提取。結果可以發現特征點數量較原算法有所提高，且耗時有所減少。

圖3　基于區域SIFT特征提取結果

實驗通過改變鄰域面積的方法計算提取特征點的時間復雜度，如表1和表2所示。

表1　特征提取時間比較(灰度圖像)

表2　特征提取時間比較(彩色圖像)

從表1和表2中可以看出，原程序使用3×3×3的正方體鄰域，本文將其擴大到5×5×3，7×7×3，9×9×3的矩形鄰域。雖然隨著鄰域的擴大，尋找極值點所花費的時間會增加，但是遠小于計算特征根的耗時，總耗時會隨著鄰域的擴大而減少，增強了特征提取的實時性。

2.3改進的K近鄰域算法

本文采用一種改進的K近鄰域算法，解決不必要的回溯訪問和高緯度數據查找損耗，大大地提高了搜索匹配效率。但是無論使用何種特征匹配方法都難免會產生誤匹配點對，即“外點”。本文最后在基于區域的特征提取算法上，采用了RANSAC 算法來估計變換模型參數，可以有效減少外點的生成。本算法主要為以下三部分：

輸入：kd，

//kd-tree類型

target

//查詢數據點

輸出：nearest

//最鄰近數據點

dist

//最鄰近數據點和查詢點間的距離

① if kd為null，則設dist為infinite并返回

② //進行二叉查找，生成搜索路徑

kd_point=&Kd

//Kd-point中保存kd-tree根節點

nearest=Kd_point>Node-data；

//初始化最近鄰點

push(Kd_point)到search_path中；

//search_path是一個堆棧結構，存儲著搜索路徑節點指針

If dist(nearest,target)>dist(kd_point->node-data,target)

nearest=kd_point->node-data；

//更新最近鄰點

min_dist=dist(kd_point,target)

//更新最近鄰點與查詢點間的距離

If target[s]<=kd_point->Node-data[s]

//進行二叉查找

③ //回溯查找

while(search_path != NULL)

back_point=search_path

//從search_path堆棧彈棧

s=back_point->split；

//確定分割方向

If dist(target[s],back_point->Node-data[s]))

//判斷還需進入的子空間

圖4和圖5為兩幅灰度圖像分別使用兩種特征點匹配算法的對比圖，原始圖像大小均為800×600，其中圖5對于圖4中出現的交叉線進行了消除，去除了誤匹配點，精確了匹配效率，提高了匹配的準確度。

圖4　兩幅灰度圖像采用KD-Tree最近鄰域搜索算法

圖5　兩幅灰度圖像采用改進的KD-Tree搜索算法

表3為兩幅圖像分別使用兩種特征匹配算法的匹配點對計算估計和比對,可以很明顯地發現改進的KD-Tree算法在任何參數條件設置下，特征匹配耗時都得到了明顯的減少，算法的時效性得到了提高。

表3　兩種特征匹配算法的比較

3投影模型的建立

圖像拍攝過程中，受到拍攝硬件條件的限制，如廣角拍攝中場景產生旋轉角度的變化而造成圖像之間在空間坐標上的不一致[5]，以及相機抖動對圖像拍攝帶來的影響。在進行圖像拼接中，會造成圖像的失真以及畸變，拼接后的圖像邊緣易產生拉伸和形變，即累加效應。本文采用變換模型方法，計算圖像之間的旋轉矩陣，可選擇柱面投影或球面投影，采用建立投影模型的方式在圖像融合前對圖像進行處理，通過幾何學來求解精確的點對點對應的兩幅圖像映射關系。

分別對兩幅圖像進行旋轉和平移，得到平面對應方程Xn=HX，如圖6所示。

圖6　平面投影示意圖

兩幅圖像的坐標進行投影模型變換如式(1)所示：

(1)

采用參數(s,θ,tx,ty)仿射變換模型計算變換參數，其變換矩陣為：

(2)其中s是尺度變換參數，θ是變換角度，tx，ty分別為x，y方向的平移量。點p=(xp,yp)T到點q=(xq,yq)T的映射關系如式(3)所示：

(3)

實驗證明建立投影模型不具有累加性，在多幅圖像拼接時，已拼接好的圖像不會受二次建模的影響而產生畸變鬼影，所以該算法不僅對兩幅圖像拼接具有很好的效果，對多幅圖像也同樣有效。

圖7為實驗拍攝得到的花壇四幅待拼接的圖像，由于相機偏轉角度發生了變化，最邊上的圖像與中心圖像中心坐標不一致，出現了旋轉角度θ，如果采用傳統拼接方法將會出現圖8(a)中拉伸形變和黑邊現象。本文計算相鄰圖像之間的旋轉矩陣，采用8參數的逆透視投影變換描述圖像之間的坐標關系。如表4所示。

圖7　待拼接四幅彩色圖像

參數對應成像效果m2X方向位移m5Y方向位移m0m1m3m4縮放、旋轉、剪切m6m7梯形失真(x方向和y方向形變)

在實驗中對這四幅圖像分別使用傳統的拼接方法和建立投影模型進行比對，如圖8所示。

圖8　四幅彩色圖像使用投影模型對比

本文通過建立投影模型，將圖像繪制在投影模型上，根據匹配特征點之間的映射關系來表現圖像之間投影的位置，從而將待拼接圖像映射到指定坐標空間。本文對待拼接圖像進行柱面投影，使圖像之間的空間坐標基本一致，實現了圖像之間的過渡，使得拼接圖像更加與原場景匹配。

4融合算法校正

圖像融合的任務就是把配準后的兩幅圖像根據對準的位置合并為一幅圖像。方法大致分為平均值法、加權平均法、中值濾波和多分辨率[8]。本文采用光照差異校正和加權融合相結合的方法來消除畸變。實驗采用實驗室圖像作為待拼接圖像，其中相鄰兩幅圖像存在光照差異，如圖9(a)、(b)為縱向相鄰兩幅圖像，圖9(c)、(d)為橫向相鄰兩幅圖像。

圖9　待拼接圖像

本文對具有相同重疊區域的待拼接圖像A、B分別設M、N為重疊區域的長和寬，重疊區域為OVA和OVB，設亮度調整因子為σ，則可以得到σ的值為式(4)：

(4)

(5)

其中第一幅圖像和第二幅圖像重疊部分對應坐標下的權值大小為h1和h2，也成為漸變因子，且0

(6)

實驗結果證明對于重疊區域在70%以上的相鄰圖像進行融合處理后，鬼影和拼接縫得到了很好的消除。

圖10(a)，(b)分別為未進行圖像融合和進行融合后的對比圖，可以很清晰地看到加入了加權平均融合算法后，消除了圖10(a)中的黑線。

圖10　融合校正前后對比

對于縱向的圖像拼接，依然可以對其使用加權融合。圖11(a)，(b)為兩幅彩色圖像縱向拼接對比圖。可以很明顯地看出圖11(b)很好地消除了圖11(a)中存在的鬼影現象。

圖11　縱向兩幅彩色圖像融合后對比

5結語

本文采用了改進的基于投影模型和圖像融合的拼接畸變消除算法，在進行大量的對比實驗中，可以證明其有效性和實時性。在圖像拼接中，對拍攝場景存在的因素，如光照、旋轉角度、相機抖動而造成的鬼影、桶裝變形、累加效應、拼接縫隙等各種引發圖像造成的畸變、失真等問題，本文的算法可以對其進行很好的優化。在實際應用中，尤其對于全景圖像拼接，本文算法具有較好的自適應性，使拼接得到的最后圖像更加真實和自然。

參考文獻

[1] Chalom E,Asa E.Measuring image similarity on overview of some useful applications[J].Instrumentation & Measurement Magazine,2013,16(1):22-28.

[2] Poletti E,Benedetti G.Super-image mosaic of infant retinal fundus:Selection and registration of the best-quality frames from videos[J].Engineering in Medicine and Biology Society,2013,3(7):5883-5886.

[3] Hemlata Joshi,Mr KhomLai Sinha.A Survey on Image Mosaicing Techniques[J].Advanced Research in Computer Engineering & Technology,2013,2(2):18-29.

[4] Mahesh,Subramanyam.Feature Based Image Mosaic Using Steerable Filters and Harris Corner Detector[J].Image,Graphics & Signal Processing,2013,5(6):9-15.

[5] Zhang Zhi,Jia Tong.Performance evaluation approach for image mosaicing algorithm[C]//Control and Decision Conference,2013:3786-3791.

[6] Eisank C,Dragut L.An Object-Based Workflow to Extract Landforms at Multiple Scales From Two Distinct Data Types[J].Geoscience and Remote Sensing Letters,2013,10(4):947-951.

[7] Panchal P M,Panchal S R.A Comparison of SIFT and SURF[J].Research in Computer and Communication Engineering,2013,1(2):11-23.

[8] Soumi C G,Joona George,Janahanlal Stephen.Genetic Algorithm based Mosaic Image Steganography for Enhanced Security[J].Signal and Image Processing,2014,5(1):26-30.

[9] Seyid K,Schmid A,Leblebici Y.Real-time hardware implementation of multi-resolution image blending[C]//Acoustics,Speech and Signal Processing,2013:2741-2745.

[10] Jayaprakash S,Sujitha G,Manju G.Secret Image Hiding In Targert Image of Mosaic Form[J].Engineering & Advanced Technology,2013,1(11):65-71.

收稿日期：2015-03-04。重慶市教委科學技術研究項目(KJ140 2001)；重慶市科委前沿與應用基礎研究項目(cstc2014jcyjA1347)。姚路，碩士生，主研領域：數字圖像處理。陳昌志，副教授。周橋，碩士生。安世全，教授。

中圖分類號TP391

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.07.050

STITCHING ABERRATION ELIMINATION ALGORITHM BASED ON PROJECTION MODEL AND IMAGE FUSION

Yao Lu1Chen Changzhi1,2Zhou Qiao1,2An Shiquan1,2

1(CollegeofComputerScienceandTechnology,ChongqingUniversityofPostsandTelecommunications,Chongqing400065,China)2(CollegeofMobileTelecommunications,ChongqingUniversityofPostsandTelecommunications,Chongqing401520,China)

AbstractImage stitching technique is an important branch in the field of digital image processing and is widely used in spatial texture detection, cultural relics protection, medical image, public security forensics, virtual reality and so on. Due to the impacts of various factors such as lighting, angle, shift and dithering in captured images, it is easy to lead to image aberration and deformation when image is stitching. In this paper we use the projection model and image fusion to study the aberration and deformation, by improving traditional stitching algorithm we present a new algorithm combining the projection model and image fusion which has good adaptive ability, high efficiency and good stability. Experimental result shows that the proposed algorithm can well eliminate the aberration and deformation brought about in stitching process, and it has good robustness as well.

KeywordsImage stitchingAberrationProjection modelImage fusionDeformation