基于特征的視頻全景拼接技術研究

強勇勇

摘 要：視頻全景拼接就是將多個從不同角度采集的視頻畫面拼接成一幅全景畫面，廣泛地應用于視頻監控、地質勘測和軍事偵察領域。本文主要論述了基于特征的視頻全景拼接的實現步驟和配準算法，并對不同算法進行了比較，最后介紹了視頻全景拼接技術所面臨的技術難點。

關鍵詞：視頻全景拼接，圖像配準，特征提取，實時性

1 引言

伴隨著電子計算機的出現和數字多媒體技術的快速發展，人類獲取信息的途徑越來越多元化，視覺信息由于直觀、易懂等優點而被廣泛使用。但是在很多場合中，通過攝像頭獲取到的視覺信息具有片面性和局限性。為了解決這一問題，視頻全景拼接技術應運而生，通過拼接，可以大大降低一個攝像頭產生的視覺盲區。

視頻全景拼接最關鍵的步驟是圖像配準，基于特征的圖像配準目前應用最為廣泛。該方法利用一些像素突變的點或線、圖像邊緣等特征來完成圖像配準。由于特征信息的數量和圖像的像素數量比起來要大幅度縮減，因此需要進行比對的數據量也非常少;另外，由于特征信息能唯一標識一幅圖，因此在數據匹配時誤匹配相對較少，配準精度得到很大的提升。

2 實現步驟

基于特征的視頻全景拼接的主要實現步驟包括圖像采集、圖像預處理、特征點提取、特征點匹配、圖像融合。

（1）圖像采集：圖像采集一般通過攝像頭進行，沿圓周每隔一定度數布置一個攝像頭，每個攝像頭采集的圖像的視場角有一定角度重疊。

（2）圖像預處理：對采集到的圖像進行前期處理，以實現更好的圖像配準和融合，主要包括鏡頭畸變校正、攝像機標定和圖像投影變換等。

（3）特征點提取：包括特征檢測和特征描述兩個階段。圖像的特征點是指圖像上的一些拐點、角點或邊緣點，這些點具有平移、旋轉、縮放、光照不變等特性。對于同一個事物，當其出現在兩幅圖像中時，特征點在兩幅圖像中相互匹配。

（4）特征點匹配：對于圖像的特征點，通過一定的判別標準，尋找與其對應的特征點。一般將特征向量之間的歐式距離的大小作為判定特征向量間匹配與否的標準。再通過RANSAC方法剔除錯誤匹配點并擬合出圖像單應性矩陣。特征點提取和特征點匹配統稱為圖像配準。

（5）圖像融合：經過圖像配準實現了兩拼接圖像中同一物體的對齊，但是由于兩圖像仍然存在顏色和亮度差異，因此直接拼接會出現明顯的接縫。圖像融合就是用來消除圖像間的接縫，使最終的拼接圖像更加自然。

3 基于特征的配準方法

3.1 基于SIFT特征

（1）特征檢測

SIFT算法使用DoG算子作為高斯拉普拉斯函數的近似來建立尺度空間，并在其中查找局部極值點。局部極值點就是潛在的關鍵點，對這些極值點進一步篩選以獲得更加精確的結果。SIFT算法主要剔除了一些低對比度的關鍵點和邊緣關鍵點，保留特征較強的關鍵點，并為每個關鍵點賦予一個方向以實現圖像的旋轉不變性。

（2）特征描述

根據尺度在關鍵點周圍選取一個鄰域，計算鄰域內的梯度值和方向。創建一個方向直方圖，將到劃分為36個區間。確定該直方圖中的最大頻數，將所有頻數大于最大頻數的方向區間用于計算該關鍵點的方向。關鍵點周圍有一個的鄰域，將其劃分為16個大小的子塊。對于每個子塊，創建一個有8個方向區間的直方圖，最終生成一個128維的特征向量。

3.2 基于SURF特征

（1）特征檢測

SURF使用近似Hessian矩陣來檢測特征點，并且使用積分圖大幅地減少了計算量。SURF依靠Hessian矩陣行列式的局部最大值定位關鍵點位置。在每個候選關鍵點上，使用泰勒級數插值擬合方法確定該點的位置和尺度。最后依據其穩定程度確定特征點。

（2）特征描述

SURF描述符描述了以特征點為中心的某個鄰域內像素灰度的分布情況，使用X方向和Y方向上的一階Haar小波響應來構造特征向量。

3.3 基于ORB特征

（1）特征檢測

FAST是一種特征檢測算法，如果某像素與其鄰域內足夠多的像素相差較大，則該像素將被標記為角點。

（2）特征描述

BRIEF是一種二進制編碼的特征描述符，生成速度快、匹配時間短，可以極大地提高圖像配準的速度。以特征點為中心，取的鄰域窗口。在窗口內隨機選取一對點，比較二者像素的大小，并進行二進制賦值。重復選取256次，形成一個二進制串，即BRIEF特征描述符。

3.4 三種算法的比較

當兩個匹配圖像的比例，亮度和旋轉度不同時，SIFT算法是有效的，但是它的計算卻非常復雜，無法滿足實時性要求。SURF是SIFT算法的改進算法，其提取的特征是尺度和旋轉不變的，但是在光照變換劇烈，圖像邊緣抑制性方面，SIFT特征檢測比SURF特征檢測更為突出。雖然SURF算法的匹配速度有了很大的提高，但是和ORB算法等二元特征匹配算法之間仍然存在較大差距。ORB是一種實時算法，但它沒有縮放不變，并且對亮度不敏感。當兩個匹配圖像的比例或亮度不同時，特征匹配的準確性將大大降低。

4 技術難點

4.1實時性問題

在視頻全景拼接過程中，需要對每一幀圖像進行處理，為了保證畫面的連續性，必須在很短的時間內完成對每幀圖像的拼接和融合，這就對拼接算法的實時性提出了很高的要求。

4.2圖像畸變及光照問題

視頻采集過程中，攝像頭受外部因素和自身物理特性影響，導致采集到的圖像和原始場景畫面不一致，圖像發生畸變。同時，由于圖像各點的光照強度以及攝像頭附近的光源強度存在差異，也會導致圖像各點的顏色有所不同。

4.3復雜場景適應性

當攝像頭模組處于復雜場景下，發生快速移動、抖動或者光線發生明顯變化時，現有算法效果不佳，從而導致拼接圖像出現重影、錯位等一系列的拼接缺陷。

4.4系統平臺

在圖像算法領域常用的嵌入式處理器包括ARM、DSP、ASIC、PGA等，視頻拼接算法復雜并且數據運算量大，因此系統平臺的性能對視頻拼接的效果也有較大的影響。如何在嵌入式平臺算力有限的情況下提升算法性能就顯得至關重要。

參考文獻

[1]田玉曉，覃永新，陳文輝.畫面拼接技術的FPGA實現綜述[J].科技展望，2016，26（26）.

[2]熊哲源，熊小敏，吳勝益，袁幼平.圖像拼接技術研究綜述[J].科技資訊，2015，13（01）：15-16.

[3]文偉東，張明等.基于SIFT算法的全景圖像拼接技術研究[J].計算機系統應用，2017，26（7）：227-231.

[4]王偉，陸佩忠.數字圖像拼接技術[J].小型微型計算機系統，2006，27（7）：1347-1352.