基于大視差圖像中目標(biāo)物體的拼接

趙陽陽

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065)

基于大視差圖像中目標(biāo)物體的拼接

趙陽陽

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065)

0　引言

近年來，隨著計(jì)算機(jī)技術(shù)和多媒體技術(shù)的快速發(fā)展，圖像拼接技術(shù)在現(xiàn)實(shí)生活中的應(yīng)用越來越廣泛。當(dāng)前應(yīng)用中，全景拼接技術(shù)的應(yīng)用較為廣泛，而針對(duì)于大視差圖像中目標(biāo)物體的拼接技術(shù)研究卻較為局限。現(xiàn)實(shí)生活中，針對(duì)大視差目標(biāo)物體的拼接主要應(yīng)用于航拍較高建筑物或高度測(cè)量。下面圖1和圖2即為兩張縱向拍攝的大視差圖像。

圖1　通信塔（上）

圖2　通信塔（下）

大視差圖像中目標(biāo)物體的拼接，主要利用了SIFT特征提取方法提取圖像特征點(diǎn)集，并結(jié)合視差圖原理獲取目標(biāo)物體大致區(qū)域，使用基本矩陣和特征點(diǎn)匹配集平行線方法選過濾目標(biāo)物體上的特征點(diǎn)匹配集。最后，利用多幅圖像間的變換關(guān)系優(yōu)化單應(yīng)矩陣集，從而完成目標(biāo)物體的拼接。

1　特征點(diǎn)匹配集選取

1.1利用視差圖獲取目標(biāo)物體大致區(qū)域

視差圖是以圖像對(duì)中一副圖像為基準(zhǔn)，大小為基準(zhǔn)圖像的大小，元素值為視差值的圖像。由于視差圖包含了場(chǎng)景的距離信息，一般用于獲取圖像深度。結(jié)合近距離拍攝的目標(biāo)圖，如圖1和圖2其背景基本保持一致，因此可以利用視差圖可以獲取近距離的目標(biāo)物在圖像中的大致區(qū)域。

本文利用OpenCV中FindStereoCorrespondence函數(shù)獲取到的圖1和圖2的稀疏視差圖如圖3，并結(jié)合視差圖信息獲取到目標(biāo)物體的大致區(qū)域如圖4。

圖3　稀疏視差圖

圖4　目標(biāo)物體大致區(qū)域

1.2基本矩陣消除誤匹配

利用1.1中獲取到的圖像大致區(qū)域，可以在特征選取和特征匹配的時(shí)候選擇目標(biāo)圖像區(qū)域內(nèi)的特征點(diǎn)匹配集。由于計(jì)算特征匹配時(shí)會(huì)產(chǎn)生誤匹配，如圖5，因此需要對(duì)誤匹配進(jìn)行消除。本文結(jié)合兩視圖中的對(duì)極幾何關(guān)系，關(guān)系如圖6，其中C和C'為兩幅圖像的攝像機(jī)中心點(diǎn)，e和e'分別為攝像機(jī)中心點(diǎn)在圖像中的投影點(diǎn)，Xπ為對(duì)應(yīng)點(diǎn)的三維空間點(diǎn)，x和x'為三維點(diǎn)在圖像中的投影點(diǎn)，且（Xπ，e，e'，x，x'共面），結(jié)合對(duì)極幾何關(guān)系可推導(dǎo)出xFx'=0，其中x和x'為兩幅圖像中的任意一對(duì)匹配點(diǎn)，F(xiàn)為秩為2的3×3矩陣。

圖5　誤匹配消除前

本文利用基本矩陣F矩陣進(jìn)行誤匹配消除，即對(duì)于每對(duì)特征點(diǎn)匹配對(duì)，利用xFx'來進(jìn)行誤匹配消除，其結(jié)果等于0或值滿足指定的閾值內(nèi)，即默認(rèn)為正確的匹配對(duì)，否則為誤匹配。利用F矩陣進(jìn)行誤匹配消除后，結(jié)果如圖7。

圖6　對(duì)極幾何關(guān)系

圖7　利用F矩陣消除誤匹配后

1.3特征匹配集平行線選取過濾

結(jié)合基礎(chǔ)矩陣進(jìn)行誤匹配消除過后，大部分匹配對(duì)已趨于正確，但仍然會(huì)存在一些誤匹配，結(jié)合實(shí)際使用經(jīng)驗(yàn)，本文利用特征匹配集平行線選取過濾，來再次進(jìn)行特征匹配集的過濾，從而盡量獲取準(zhǔn)確的匹配集。

特征匹配集平行線過濾，即利用兩張拍攝的大小相等的圖片組合為一張圖片，如圖7，即為組合后的圖片。由于本文中的拍攝圖像為等距拍攝，因此兩幅圖像的特征匹配集連線在組合圖上應(yīng)為平行線或趨于平行線集合。

如圖7中的左圖中匹配集為：

右圖中匹配集為：

則對(duì)于每一對(duì)特征匹配對(duì)

存在直線

對(duì)于準(zhǔn)確的匹配集則盡量多的匹配對(duì)所在直線均滿足斜率K相等或誤差較小。本文利用了RANSAC方法迭代選取滿足匹配對(duì)組成直線斜率的K值相等或誤差較小最多的點(diǎn)集為過濾后的匹配集。利用平行線選取過濾后，兩幅圖像間的匹配結(jié)果如圖8。

圖8　平行線過濾后特征匹配集

2　圖像拼接

圖像拼接本質(zhì)就是利用特征點(diǎn)匹配集來計(jì)算H圖像之前的變換矩陣，然后利用變換矩陣即單應(yīng)矩陣進(jìn)行圖像間的變換，從而完成圖像拼接目的。兩幅圖像間的二維變換矩陣即單應(yīng)矩陣。

H滿足：

x=Hx'

x和x'為一對(duì)特征匹配對(duì)，其線性變換可表示為：

其中H矩陣h11，h12，h21，h22四個(gè)元素為圖像間的縮放和旋轉(zhuǎn)因子，h13和h23為兩幅圖像間的平移因子，h31和h32為圖像間的畸變因子，h33常量值為1。

2.1單應(yīng)矩陣調(diào)整

針對(duì)本文中的垂直拍攝的實(shí)驗(yàn)圖像集，選取其中一張為基準(zhǔn)圖像，其他圖像與基準(zhǔn)圖像間的變換關(guān)系可利用向前或向后圖像間的變換關(guān)系，進(jìn)行迭代計(jì)算，非連續(xù)緊鄰圖像間的變換關(guān)系采用平均法獲取，來調(diào)整單應(yīng)矩陣。如下圖集圖9、圖10、圖11和圖12，若以9為基準(zhǔn)，圖11與圖9之間的變換矩陣可通過兩種方式進(jìn)行計(jì)算。第一，直接使用圖9與圖11間的特征匹配集計(jì)算變換矩陣H1；第二，先獲取圖9和圖10之間的變換矩陣H2，再獲得圖10和圖11之間的變換矩陣H3，從而獲得圖9與圖11的變換矩陣H4=H3×H2。

本文結(jié)合上述兩種獲取變換矩陣的方式獲取H1和H4，并利用H1和H4來計(jì)算其平均來獲取非緊鄰圖間的變換矩陣，即：

從而減小單應(yīng)矩陣的誤差。且由于本文中的大視差圖像在拍攝中保持平行且等距拍攝，因此H矩陣中的畸變因子在計(jì)算中可直接賦值為1，從而減少畸變變換引起的誤差累計(jì)。

圖9　通信塔a

圖10　通信塔b

圖11　通信塔c

圖12　通信塔d

2.2利用單應(yīng)矩陣拼接圖像

結(jié)合2.1中的方法，以其中一幅圖像為基準(zhǔn)，獲取其他圖像到基準(zhǔn)圖像的單應(yīng)矩陣集合。利用圖像間的單應(yīng)矩陣集合從而完成圖像間的拼接。

圖13　大視差圖像序列集　

圖14　最終的拼接效果

3　實(shí)驗(yàn)結(jié)果及分析

如上實(shí)驗(yàn)圖所述，圖13為拍攝到的圖像序列集，圖14為最終的拼接效果圖。結(jié)合本文所述方法，對(duì)于大視差圖像序列集，利用視差圖獲取目標(biāo)物體大致區(qū)域，結(jié)合基本矩陣與匹配集平行線過濾誤匹配，使用特征點(diǎn)匹配集計(jì)算圖像間的單應(yīng)矩陣，從而完成圖像拼接。

文中實(shí)驗(yàn)圖均為縱向拍攝，其橫向拍攝的基本原理同縱向拼接。

4　結(jié)語

本文針對(duì)大視差圖像中目標(biāo)物體的拼接，利用圖像間的視差原理獲取目標(biāo)物體大致區(qū)域，并在區(qū)域內(nèi)結(jié)合基礎(chǔ)矩陣與特征匹配集平行線原理消除誤匹配，最后結(jié)合圖像間的單應(yīng)矩陣集完成圖像拼接。結(jié)合實(shí)驗(yàn)證明，針對(duì)縱向或橫向拍攝的大視差圖像，能夠有效的完成目標(biāo)物體的拼接。

［1］Richard Hartley，Andrew Zisserman.計(jì)算機(jī)視覺中的多視圖幾何［M］．韋穗，楊尚俊，章權(quán)兵，胡茂林譯．合肥：安徽大學(xué)出版社，2002.8.

［2］熊邦書，程駿.基于多窗體的改進(jìn)視差圖算法及其應(yīng)用［A］.西安：西安科技大學(xué)，2010.

［3］郭俊美.基于圖像的柱面全景圖生成技術(shù)研究［A］.失效分析與預(yù)防，2012.

［4］王愛紅，王瓊?cè)A，李大海等.立體顯示中立體深度與視差圖獲取的關(guān)系［J］.光學(xué)精密工程，2009，17:433-438.

［5］周駿.多視圖圖像三維重建若干關(guān)鍵技術(shù)研究［D］.成都：電子科技大學(xué)，2008.

Large Parallax；Image Stitching；Target Object；Horizontal Mosaic；Vertical Mosaic

Image Stitching of the Target Object Based on Large Parallax Images

ZHAO Yang-yang

（College of Computer Science，Sichuan University，Chengdu 610065）

1007-1423（2015）32-0042-05

10.3969/j.issn.1007-1423.2015.32.011

趙陽陽（1990-），男，陜西渭南人，碩士研究生，研究方向?yàn)閳D形圖像技術(shù)

2015-10-16

2015-11-06

近年來，隨著計(jì)算機(jī)技術(shù)和多媒體技術(shù)的快速發(fā)展，全景拼接技術(shù)的應(yīng)用也越來越廣泛。而針對(duì)于大視差圖像中目標(biāo)物體的拼接技術(shù)應(yīng)用和研究有一定的局限性。大視差圖像中目標(biāo)物體的拼接，指一系列縱向或橫向連續(xù)垂直拍攝的二維圖像中，目標(biāo)物體與背景視差較大，在拼接時(shí)只關(guān)注目標(biāo)物體的拼接而非整幅圖像，一般應(yīng)用于航拍建筑物體的拼接或高度測(cè)量。為了獲得目標(biāo)物體較好的拼接效果，采用等距拍攝，以及利用視差圖與特征點(diǎn)匹配集平行線選取技術(shù)，獲取目標(biāo)物體本身的特征點(diǎn)匹配集，進(jìn)而完成目標(biāo)物體的橫向或縱向拼接。實(shí)驗(yàn)結(jié)果表明，該方法能夠提高大視差圖像中目標(biāo)物體的拼接效果，并能有效滿足大視差圖像中目標(biāo)物體的拼接。

大視差；圖像拼接；目標(biāo)物體；橫向拼接；縱向拼接

國家863計(jì)劃項(xiàng)目（No.2013AA013902）

In recent years,with the rapid development of computer technology and multimedia technology,the panorama stitching techniques’applications are increasingly used.But for splicing technology applications and research on the target object in a large parallax images have some limitations.Stitching the target object of large parallax images,referring to a series of two-dimensional image vertically or laterally continuous vertical shooting,the target object and background have larger parallax,when splicing images only focus the target object rather than the entire image,generally applied to aerial architectural objects stitching or height measurement.In order to obtain a better target object mosaic effect,uses isometric shooting,and takes the use of the disparity map and feature points matching set of parallel lines select technology,gets the target object itself feature point matching set,and then completes the horizontal or vertical mosaic of the target object.Experimental results show that this method can improve the mosaic effect large parallax image of the target object,and can effectively meet the stitching large parallax image of the target object.