多光電跟蹤儀視頻拼接算法設(shè)計與實現(xiàn)

河南中光學(xué)集團有限公司 秦建峰 侯米娜 劉 洋

多光電跟蹤儀視頻拼接算法設(shè)計與實現(xiàn)

河南中光學(xué)集團有限公司 秦建峰 侯米娜 劉 洋

視頻圖像拼接是一種低成本獲取寬視角場景的方法，在軍事和民用領(lǐng)域都具有很強的應(yīng)用價值。以要地防御監(jiān)控為背景，設(shè)計和實現(xiàn)了一種基于圖像特征的多光電跟蹤儀視頻拼接算法。該算法對同步獲取的多路視頻圖像用SIFT算法提取特征點，并采用RANSAC算法進行特征點匹配；然后計算仿射變換矩陣進行圖像融合；最后由并行處理得到的多幅融合圖像再次融合得到拼接結(jié)果。實驗結(jié)果表明，視頻拼接速率可達20fps,具有一定的實時性和魯棒性。

視頻拼接；SIFT特征；RANSAC；圖像融合

1.引言

視頻圖像拼接是一種低成本獲取寬視角場景的方法，是視頻圖像處理領(lǐng)域的研究熱點之一，在軍事和民用領(lǐng)域都具有很強的應(yīng)用價值。

目前視頻拼接是基于圖像拼接實現(xiàn)的，圖像拼接包括圖像配準(zhǔn)和圖像融合兩個部分：

（1）圖像配準(zhǔn)：常用的圖像配準(zhǔn)算法有基于特征的圖像配準(zhǔn)算法和基于灰度的圖像配準(zhǔn)算法。基于特征的配準(zhǔn)算法包括Harris算法、SIFT算法和SURF算法[1]等。該類算法具有計算量小，對圖像的灰度和噪聲的影響不敏感，魯棒性和穩(wěn)健性高的特點。基于灰度的圖像算法有歸一化互相關(guān)法、相位相關(guān)法、以及互信息法[2]等，該類算法計算量大、復(fù)雜度高，對目標(biāo)場景要求高；

（2）圖像融合：常用的圖像融合算法有加權(quán)平均法和中值濾波法[3]。加權(quán)平均算法簡單易實現(xiàn)，中值濾波法計算量大。

本文設(shè)計和實現(xiàn)了一種多光電跟蹤儀視頻圖像拼接的方法。該方法采用SIFT算法和RANSAC算法進行特征提取和匹配，完成圖像配準(zhǔn)過程；用加權(quán)平均法完成圖像融合過程，進而實現(xiàn)視頻拼接。為加快拼接速度，本文采用一次配準(zhǔn)（特征提取、特征匹配和仿射變換矩陣計算等配準(zhǔn)過程只計算一次）、多次圖像融合的方法，達到了較好的加速效果。

2.拼接原理與關(guān)鍵算法

要地防御系統(tǒng)中目標(biāo)多樣且位置不定，如何在全局場景中包含人、車、物是目前的一個研究熱點和難點。全景拼接無疑是一種很好的實現(xiàn)路徑，本文探討了一種全景拼接的方法，在保障實時性的前提下，實現(xiàn)快速的全景拼接，并取得較好的拼接效果。

多光電跟蹤儀視頻拼接基本步驟：1）獲取多光電跟蹤儀的視頻圖像，并進行特征點提取及匹配，根據(jù)匹配的特征點計算仿射變換矩陣；2）利用上一步計算的矩陣進行圖像拼接處理，實時顯示拼接圖像。本文假定四個光電跟蹤儀C1～ C4依次排開，同步獲取四幀圖像I1～I4。為保證圖像拼接的實時性，實現(xiàn)圖像快速拼接，本文將多臺光電跟蹤儀分成若干小組，先進行組內(nèi)拼接再進行組間拼接，并結(jié)合多線程技術(shù)加快處理速度，圖1給出了多光電跟蹤儀視頻圖像拼接方案。其中對兩幅圖像進行兩幅圖像拼接流程如圖2所示，包括特征提取、特征匹配和仿射變換矩陣計算、圖像融合等步驟。

圖1 多光電跟蹤儀圖像拼接方案

圖2 兩幅圖像拼接流程

2.1 特征提取

特征提取是進行圖像拼接的前提和基礎(chǔ)。如何提取到合適的特征點以保證圖像能夠拼接且拼接正確，是本步驟需要解決的問題。本文對四個光電跟蹤儀同步采集的圖像I1～ I4采用SIFT算法提取特征點集P1～P4。SIFT算法是由David G.Lowe于1999年提出[4]，由于該算法在特征提取時，在特征點細節(jié)上進行了特殊處理，使得的提出來的特征點具有魯棒性高，穩(wěn)定性強的特性。SIFT算法的主要步驟包括：

1）尺度空間極值檢測；

2）特征點定位；

3）特征點方向確定；

4）特征點描述。最終生成的特征點包含特征的坐標(biāo)、尺度和方向信息[5]。

2.2 特征匹配

對需要拼接的兩幅圖像I1和I2，對其SIFT特征點集P1和P2進行匹配的過程如下：

1）粗匹配：對P1中的的每個特征點a，在P2中查找a對應(yīng)的最近鄰特征點b1以及次近鄰特征點b2，如果dist(a,b1)/dist(a,b2)

2）精匹配：經(jīng)粗匹配得到的特征點對集合S1中包含虛假匹配，為解決該問題使用RANSAC方法[7]。根據(jù)對極幾何約束關(guān)系，任意匹配點對(a,b)滿足aTFb=0，其中F為基本矩陣，F(xiàn)是一個3×3的秩2奇異方陣，具有7個自由度。求解基礎(chǔ)矩陣可采用的是改進的8點法[8]。本文采用RANSAC方法來精確估計兩幅圖像之間的基本矩陣F[9]，同時剔除S1中的虛假匹配得到兩幅圖像的匹配點對S。

2.3 仿射變換

由RANSAC算法得到兩幅圖像I1和I2的匹配點對集合S后，通過S可以計算圖像I1和I2的仿射變換[10]，公式如下：

其矩陣表示為：

其中a，b，c，d表示旋轉(zhuǎn)、縮放系數(shù)。e，f表示平移系數(shù)。(x,y)和(x′,y′)表示S中的一對匹配點。仿射變換矩陣M包含了6個參數(shù)，因此至少需要不共線的3對匹配點才能確定一個仿射變換M，因此|S|≥3（|S|表示S中點對的數(shù)目）。當(dāng)|S|>3時，可以用最小二乘法來求仿射變換M。

圖3 圖像融合示意圖

2.4 圖像融合

得到兩幅圖像之間的仿射變換后，本文采用加權(quán)平均法進行圖像融合[11]。其公式如下：

其中：I1(x,y)、I2(x,y)分別表示經(jīng)過上步驟仿射變換的第I1幅圖像和第I2幅圖像；I(x,y)表示融合后的圖像；R3=I1∩I2，R1=I1-R2，R2=I2-R3。是加權(quán)系數(shù)，為重疊區(qū)域?qū)挾鹊牡箶?shù)。圖像融合示意圖如3所示。

3.實驗結(jié)果與分析

為了驗證本文提出的算法的有效性，使用Visual Studio開發(fā)平臺，結(jié)合Opencv開源庫，用C++語言實現(xiàn)。在白天自然光照下，使用四臺光電跟蹤儀同步錄制視頻流捕獲四幀圖像I1～I4。如圖4所示。

圖4 光電跟蹤儀同步獲取的4幅視頻幀圖像

圖5 特征提取和特征匹配結(jié)果

圖6 多光電跟蹤儀視頻拼接結(jié)果

圖5給出了經(jīng)SIFT算法提取的特征點和RANSAC方法匹配結(jié)果，其中圖(a)表示圖像I1和I2的特征點提取及匹配，圖(b)表示圖像I2和I3的特征點及匹配結(jié)果，圖(c)表示圖像I3和I4的特征點提取及匹配。圖像I1～I4拼接結(jié)果如圖6所示。

4.結(jié)束語

本文以要地防御監(jiān)控系統(tǒng)場景全景拼接為背景，設(shè)計并實現(xiàn)了多光電跟蹤儀的視頻拼接算法。該算法包括特征提取、特征匹配、仿射變換、圖像融合等部分。特征點提取使用SIFT方法，特征匹配采用RANSAC參數(shù)估計方法，圖像融合采用加權(quán)平均法。實驗結(jié)果表明，視頻拼接速率可達20fps。為了進一步提高拼接的實時性，可以通過NIVIDA公司提供的GPU加速技術(shù)來進行算法優(yōu)化。

[1]邱建國,張建國,李凱.基于Harris與Sift算法的圖像匹配方法[J].測試技術(shù)學(xué)報,2009,23(03):271-274.

[2]魏曉敏.圖像配準(zhǔn)算法研究與系統(tǒng)設(shè)計實現(xiàn)[D].南京航空航天大學(xué),2010.

[3]牛凌宇.多源遙感圖像數(shù)據(jù)融合技術(shù)綜述[J].空間電子技術(shù),2005,(01):1-5+10.

[4]P.Schwind,S.Suri,P.R.A.Siebert.Applicability of the SIFT operator to geometric SAR image registration[J].International Journal of Remote Sensing,2010,31(8):1959-1980.

[5]D.G.Lowe.Distinctive image feature from scaleinvariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[6]劉相濱,鄒北驥,孫家廣.基于邊界跟蹤的快速歐氏距離變換算法[J].計算機學(xué)報,2006,(02):317-323.

[7]苗學(xué)健.全景圖像拼接技術(shù)關(guān)鍵技術(shù)研究[J].通訊世界,2016,(21):227-228.

[8]Richard I.Hartley.In defense of the8-point Algorithm. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997,19(6):580-593.

[9]崔久林.視頻圖像目標(biāo)提取技術(shù)的研究[D].長春:長春理工大學(xué),2006.

[10]R.Lin,H.B.Huang,R.C.Sun,L.N.Sun.An invariant interest point detector under image affine transformation[J].Journal of Central South University,2015,22(03):914-921.

[11]Y.Q.Zhao,Q.Pan,H.C.Zhang.Adaptive polarization image fusion based on regional energy dynamic weighted average[J].Optoelectronics Letters,2005,03:70-73.

秦建峰（1980－），男，大學(xué)本科，現(xiàn)供職于河南中光學(xué)集團有限公司，研究領(lǐng)域為視頻監(jiān)控、圖像處理、安防系統(tǒng)集成。