基于改進快速魯棒特征的實時視頻拼接研究*

閆 巖 李 楊

(91245部隊 葫蘆島 125000)

基于改進快速魯棒特征的實時視頻拼接研究*

閆 巖 李 楊

(91245部隊 葫蘆島 125000)

針對視頻拼接對實時性要求較高的實際,提出了基于SURF算法的改進圖像配準算法。首先匹配視頻首幀圖像并限定特征點的提取區域,其次采用最近鄰和次近鄰算法完成圖像特征的粗匹配,最后通過最外側匹配點檢測圖像重疊區域,并在該區域內完成后續視頻幀的計算。仿真結果表明,改進的SURF算法顯著降低了運算量、提高了匹配速度,可以完成實時視頻的生成。

視頻拼接; SURF; 圖像配準; 圖像融合

1 引言

視覺是人們獲取現實世界客觀信息最直接也是最廣泛的方式。伴隨多媒體技術的發展,人們可以通過使用諸如攝像機、攝像頭等設備獲取視頻的方式來感知世界。然而,單個視頻采集設備只能獲取較小視角的景象,即便可以通過調節焦距增大視野,也會降低拍攝圖像的分辨率,影響圖像質量。通常,人們需要獲取大視角范圍的景象,而應用視頻拼接技術可以達到此目的。它是指利用若干設備采集多幅局部視頻圖像,并將這些圖像拼成一幅全景視頻的技術[1],近年來已被廣泛應用于軍事圖形圖像、虛擬現實、醫學圖像分析以及遙感圖像處理等重要領域。

相比于前景分離的視頻拼接算法,基于圖像拼接的視頻拼接算法更加穩定[2]。而在圖像處理領域,圖像配準又是圖像拼接的核心步驟,通常使用的方法是基于圖像特征的配準。其中具有不變量特征的特征提取技術使用范圍最為廣泛[3]。

SIFT(Scale Invariant Feature Transform)和SURF(Speeded Up Robust Feature)是最經典的不變量特征算法。同基于區域的圖像配準算法相比,D.G. Lowe提出的SIFT算法將特征匹配和提取等過程有機結合,有效降低了算法的復雜度,加快了運行速度[2～4]。然而,該算法必須依賴于專用圖形處理設備或硬件加速設備,否則無法實現實時處理的效果。Bay[2～3,5]等人提出的快速魯棒特征算法(SURF)是在SIFT算法的基礎上發展而來,該算法兼具效率高、速度快的特點,并具有良好的魯棒性和穩定性。但是視頻拼接與圖像拼接又存在很大不同,其對實時性的要求更高。所謂實時性是指視頻拼接系統能實時完成視頻圖像采集、圖像拼接、輸出顯示的全過程(每秒可以采集、拼接并完成輸出不少于24幀圖像)。盡管SURF算法的穩定性較好、魯棒性較強,但如果圖像中含有較多的紋理特征信息,則會檢測出較多的特征點,消耗更多的匹配時間,增加匹配難度,同時也無法保證變換矩陣參數的準確性,無法滿足實時視頻拼接的需求。因此,需要對算法進行改進。

本文圍繞基于圖像拼接算法的實時視頻拼接進行研究,針對應用算法要兼具實時性和較快運行效率的要求,改進了基于SURF算法的圖像配準,增加了自適應算法,精確定位特征點提取范圍的同時改進了特征描述符,減小了維度。文中以雙路網絡攝像頭作為視頻采集設備同時采集視頻圖像,通過對視頻圖像幀進行特征匹配和圖像融合后在PC機上完成視頻拼接實驗,實驗結果表明改進后的SURF特征提取算法能加快視頻拼接速度,實時生成清晰的寬場景視頻。

2 SURF算法

基于圖像拼接的視頻拼接算法中,特征提取和匹配消耗的時間最多。SURF之所以運算速度較快,很大程度上取決于積分圖像的建立。積分圖像[6]是對原始圖像進行積分計算得到的圖像,它的每一點可表示為原圖像從原點到該點的矩形區域的像素和,在對整幅圖像進行積分圖像遍歷后,原始圖像中的任意矩形區域的像素和就可通過加減運算完成,而與矩形面積無關,并且面積越大,計算速度越快。此外,它采用箱式濾波器來近似高斯核函數[6],極大提升了算法的運算效率。因此,本文選用SURF算法來進行圖像配準,為了將其應用于實時視頻拼接中,文中對其進行了改進。

3 本文算法

SURF算法實現圖像配準主要有三個步驟,即特征點檢測、特征點描述(為特征點添加描述器)和特征點匹配。與原SURF算法先對整幅圖像提取特征點后再在整幅圖像區域內進行特征匹配的方法不同[7],本文匹配視頻首幀圖像,根據獲取的特征匹配對提取重合區域,對于后續視頻幀的匹配,不再進行全圖的特征檢測,而是分別在兩輸入幀對應的重合區域進行特征檢測,以降低算法的運算時間。通常,兩視頻圖像的重疊區域所占比例為30%～50%,所以只需在一定范圍內進行特征點提取即可。具體操作步驟如下。

3.1 SURF特征點檢測

3.1.1 尺度空間構建

SURF算法引入了箱式濾波器和積分圖像,通過擴大箱式濾波器模板的尺寸,可計算出Hessian矩陣[3,5～6](SURF算法的核心)行列式的響應圖像,利用非極大值抑制算法對3×3×3空間進行處理,可將不同尺度條件下的特征點進行求解。本文將尺度空間劃分為4組[8],并用尺寸逐漸增加的濾波模板逐一濾波處理原始圖像,選擇的基本尺度間隔為6的倍數,下一層尺度間隔為基本尺度間隔的2倍,以保證在擴大模板尺寸時,矩形尺寸放大的數量為整數個像素,并且中心像素始終為模板中心,同時不同組之間會發生重疊,目的是將全部可能出現的尺度覆蓋。初始濾波模板的尺寸選擇為9×9。

3.1.2 特征點定位

在構建好尺度空間金字塔的基礎上,要進一步確定某一特定尺度下的局部極值。通常Hessian矩陣的特征值用H矩陣的近似判別式可表示為[3,6]

Det(Happrox)=DxxDyy-(0.9Dxy)2

(1)

如果式(1)的值為正,那么該點是最大值或最小值。在獲取極值點之后,對3×3×3的鄰域進行非極大值抑制處理,選取比相鄰的26個像素點的響應值都大的點作為特征點。之后,再對尺度空間做插值處理,進而可計算出特征點的實際位置和尺度值。

3.2 SURF特征點描述

3.2.1 確定主方向

SURF算法作為一種高魯棒性的局部特征點檢測器,利用積分圖像來生成特征矢量,為保證特征矢量具有旋轉不變性,可利用Haar小波算法為每個特征點設置相應的主方向。確立主方向的流程如下[6,9]:

1) 將特征點作為圓心,6s(s表示特征點的尺度值)為半徑做圓,對圖像X、Y方向上全部特征點的Haar小波響應向量進行計算(Haar小波的邊長設置為4s),并給每個方向上的向量賦高斯權重,對于方向貢獻度大、與圓心距離近的特征點,這里賦以更大的權重。

2) 用圓心角為π/3的扇形窗口繞圓心旋轉,遍歷整個圓形區域,可得6個扇形區域,如圖1所示。計算出每個區域內各特征點的Haar小波向量的矢量和,最終可得6個方向矢量。

3) 將幅值最大的方向矢量作為主方向。

圖1 特征點主方向確定圖

3.2.2 生成描述符

文獻[10]中SURF算法以特征點為中心,沿主方向構造一個邊長為20s的正方形窗口,同時將該窗口16等分。對于每個大小為5s×5s的子窗口,分別計算每個子窗口在水平和垂直方向上的Haar小波響應,得到小波系數dx和dy,再以特征點為中心,對dx和dy進行高斯加權計算,最后將各子區域的小波響應和響應的絕對值相加,統計每個子塊的響應值,可得各子塊的四維特征描述符:

(2)

其維度為4×4×4=64。由于本文是以提高拼接效率,達到視頻拼接的實時性為目的,因此文中對其進行改進。如圖2所示,方法是將每個子窗口的邊長增加為10s×10s,子窗口的數量減少為2×2,這樣特征向量的維數就減少為2×2×4=16,維數的降低意味著算法的運算效率會顯著增加。

圖2 特征描述符的改進

3.3 SURF特征粗匹配

特征匹配的任務是對兩幅圖像中的特征點進行查找,找出對應關系以建立變換矩陣。實際上,特征匹配是利用距離函數對特征點進行檢索,通過計算兩幅圖像中特征點間的距離,將距離最小的特征點看作是潛在的匹配點對。通常,兩特征點的相似性度量可以利用歐氏距離進行計算。

(3)

式中:n表示特征向量的維數,Xik表示待匹配左圖里第i個特征描述子的第k個元素,Xjk表示待匹配右圖中第j個特征描述子的第k個元素。

本文對兩幅圖像中已檢測到的特征點進行粗匹配,先根據拉普拉斯響應正負號將特征點分為兩組,選取具有相同符號的特征點,然后建立K-d樹在其中一幅圖像的特征點中查找另一幅圖像中與它距離最近的特征點和次近特征點,最后利用式(4)在對應的組中分別使用最近鄰和次近鄰比值匹配法進行特征點匹配,認為比值小于某一閾值范圍內的特征點是正確匹配的特征點。

(4)

式中:閾值設置在0.5～0.8。

3.4 RANSAC提純并求取變換矩陣

假設基準集{pi},i=1,2,…,n和{qi},i=1,2,…,m分別為原圖像和對應圖像的特征點描述子集,利用K-d樹搜索算法,任意qj都存在一個距離最小的pi與之對應,數據匹配對(pi,qj)就是由pi和qj所組成。盡管數據匹配對的兩個數據點具有最近的距離,然而卻無法保證其對應的圖像區域完全相同。如果qj同時與多個特征點距離相近,qj的匹配結果也可能錯誤。因此,需要對粗匹配的結果進行檢驗并提純。在局部特征匹配中有多種提純匹配對的方法,為去除誤匹配點,本文選擇RANSAC[11]一致性提純法進行匹配對的提純并計算變換矩陣H[6]。

圖3 特征點提取范圍

在完成3.1～3.4的操作步驟之后,分別選取兩幅圖像中與中間距離最大的特征點,選取該點位置作為重疊區域的最邊緣。如圖3所示,如果(a,a′)，…，(f,f′)為兩視頻首幀圖像檢測到的匹配點,分別選取兩幅圖像中與中間距離最大的匹配點(c,c′)和(d,d′),過c點和d點對圖像進行分割,可劃分兩個視頻重疊區域的范圍,再分別計算該區域長度和圖像總長的百分比,取此范圍作為視頻后續幀特征點檢測的范圍。對于后續的連續幀,重復算法過程。

4 圖像融合處理

在視頻圖像采集的過程中,由于無法保證采集設備參數的絕對一致,并且視頻拍攝的角度、視野、光照也存在差異,待拼接圖像的重疊區域會存在顯著不同。如果對配準后的圖像直接疊加,圖像的拼接位置就會出現顯著的拼接縫,而圖像融合能實現拼接圖像的平滑過渡和無縫連接,通常使用的方法有直接平均法,加權平均法、多頻段融合法和漸入漸出法等[3,6～7],為確保實時視頻拼接系統具有較高的拼接速度和質量,本文采用漸入漸出法進行圖像融合。

5 實驗結果及分析

5.1 檢測視頻首幀圖像重疊區域實驗

圖4～圖6是應用文中算法對獲取的風景視頻第一幀圖像進行特征匹配并計算重疊面積的過程。可以看出,根據匹配后的特征點計算的重疊面積與實際重疊區域幾乎一致。

圖4 風景視頻第一幀圖像

圖5 匹配后的風景視頻第一幀圖像

圖6 風景視頻第一幀圖像檢測的重疊區域

5.2 視頻幀配準實驗

圖7～圖8是利用原SURF算法和本文算法進行特征匹配的實驗結果。表1是應用兩種算法進行特征匹配的對比結果。可以看出,應用改進后的SURF算法,計算所得的誤匹配數據明顯減少,同時匹配的運算時間大幅度降低。

圖7 原SURF特征點提純匹配

圖8 改進SURF特征點提純匹配表1 特征點匹配比對表

算法粗匹配點數提純后點數誤匹配點數匹配時間/msSURF612338189改進SURF2619793

5.3 實時視頻拼接實驗

圖9是視頻第100幀的拼接效果,表2為25幀/秒速率的圖像拼接耗時。結合圖表分析,盡管首幀拼接耗時較多,然而后續幀拼接的時間較少,并且系統具有一定的魯棒性,能獲得較為平滑、自然的拼接效果,滿足實時性要求。

圖9 第100幀圖像拼接結果

表2 拼接耗時

6 結語

本文對實時視頻拼接技術的相關理論進行了研究,提出了一種基于改進SURF的實時視頻拼接方法。實驗結果表明,改進的SURF在特征提取速度方面有了很大提升,并且不影響拼接效果,具有非常好的實用性。

[1] ZOU Xiaochun, HE Mingyi. A robust Mosaic Panorama technique for video[C]//2nd International Conference on Computer Engineering and Technology,2010:641-644.

[2] 首照宇,歐陽寧,張華俊.基于SURF和動態ROI的實時視頻拼接[J].計算機工程與設計,2013,34(3):998-1003. SHOU Zhaoyu, OUYANG Ning, ZHANG Huajun. Research on real-time video stitching based on SURF and Dynamic ROI[J]. Computer Engineering and Design,2013,34(3):998-1003.

[3] 朱琳,王瑩,劉淑云.基于改進快速魯棒特征的圖像快速拼接算法[J].計算機應用,2014,34(10):2944-2947. ZHU Lin, WANG Ying, LIU Shuyun. Fast image stitching algorithm based on improved speeded up robust feature[J]. Journal of Computer Applications,2014,34(10):2944-2947.

[4] LOWE D G. Object recognition from local scale-invariant features[C]//Proceedings of the 7th IEEE International Conference on Computer Vision. Piscataway: IEEE Press,1999:1150-1157.

[5] BAY H, ESS A, TUYTELAARS T, et al. SURF: speeded up robust features[J]. Computer Vision and Image Understanding,2008,110(3):346-359.

[6] 汪前進,朱斌,李存華.基于特征點的圖像拼接方法的研究[J].南京師范大學學報,2016,16(3):48-53. WANG Qianjin, ZHU Bin, LI Cunhua. Research and Application of Image Stitching Method Based on Feature Points[J]. Journal of Nanjing Normal University,2016,16(3):48-53.

[7] Szeliski R. Video mosaics for virtual environments[J]. Computer Graphics & Appliations IEEE,1996,16(2):22-30.

[8] EL-Saban M. Depth adaptive video stitching[C]//Proc of 17th IEEE international conference on image processing.[s.l.]:[s.n.],2010:1193-1196.

[9] 陳學濤,穆春陽,馬行.基于SURF和改進RANSAC的視頻拼接算法[J].現代電子技術,2016,39(10):44-48. CHEN Xuetao, MU Chunyang, MA Xing. Video stitching algorithm based on SURF and improved RANSAC[J]. Modern Electronics Technique,2016,39(10):44-48.

[10] 苗立剛.視頻監控中的圖像拼接與合成算法研究[J].儀器儀表學報,2009,30(4):857-861. MIAO Ligang. Image mosaicing and compositing algorithm for video surveillance[J]. Chinese Journal of Scientific Instrument,2009,30(4):857-861.

[11] 曹毓,馮瑩,楊云濤.RANSAC直線估計方法在路面三維點云優化中的應用[J].紅外與激光工程,2012,41(11):3108-3112. CAO Yu, FENG Ying, YANG Yuntao. Application of line estimation algorithm based on RANSAC in road points cloud optimization[J]. Infrared and Laser Engineering,2012,41(11):3108-3112.

Real-time Video Stitching Based on Improved Speeded Up Robust Feature Algorithm

YAN Yan LI Yang

(No. 91245 Troops of PLA, Huludao 125000)

This article presents an improved image registration algorithm that is based on SURF to solve the real-time problem in video stitching area. First, it registers the first frame of video image and restricts the extraction area of feature points. Then it matches the feature points based on the nearest neighbor and second neighbor algorithm. At last, it finishes the calculations about the subsequent frames of the image overlapping area which is detected by the lateral matching points.

video mosaic, SURF, image registration, image fusion Class Number TP301; TP751

2016年10月4日,

2016年11月26日

國家自然科學基金:廣義測不準原理及其應用研究(編號:61002052),基于調制解調的圖像多分辨率分解方法(編號:61273262)資助。

閆巖,男,碩士,助理工程師,研究方向:遙測系統,圖形圖像,虛擬現實。李楊,男,工程師,研究方向:光學測量。

TP301; TP751

10.3969/j.issn.1672-9722.2017.04.028