基于高清圖像處理的全景拼接技術研究

姚潔

摘要：選用合適的硬件系統，結合對應的軟件算法，可以實現高清的全景圖像拼接。在未來的發展中，硬件的系統拓撲和軟件算法仍然會不斷進步，讓全景拼接更加的清晰化和智能化。

關鍵詞：高清圖像處理;全景拼接;技術

中圖分類號：TP391.41?文獻標識碼：A?文章編號：1672-9129（2020）08-0038-01

1?全景拼接的硬件系統方案

全景拼接的硬件系統主流的有兩種方案，一種是基于FPGA的圖像拼接，另一種是基于DSP的圖像拼接，下面分別進行介紹。

1.1基于FPGA的圖像拼接。采用這種方案的硬件系統，通常DSP都不具備圖像拼接的功能，因此只能通過FPGA的算力來完成。在這種方案下，多目圖像傳感器通過MIPI或者LVDS接口連接到FPGA上，FPGA通過視頻接口連接到DSP，圖像的數據采集和拼接工作都是在FPGA內完成。拼接好的圖像再傳輸給DSP進行其他方面的處理。這種方案的成本較高，系統實現也較為復雜，對于硬件的設計要求也比較嚴格，比較適用于對拼接要求較高而DSP主芯片能力相對較弱的場景。

1.2 基于DSP的圖像拼接。現階段已經有不少的DSP芯片內部集成了AVSP模塊（Any View Stitching Processor，全景拼接處理器），而且可以支持多目圖像傳感器的連接。這種方案的系統架構相對簡單，多目圖像傳感器通常通過2對或4對MIPI或者LVDS與DSP直接連接。為了保證多目傳感器之間的同步性，推薦其工作在Slave模式（從模式），通過控制不同圖像傳感器之間的同步信號，使得它們的曝光時間保持一致，實現相鄰圖像傳感器重疊區域一致的效果，同時也避免了時差造成的拼接錯位現象。這個方案的優點是架構簡單，軟件開發量相對較小，缺點是圖像幀率和圖像質量會比FPGA稍差一些。但是，隨著DSP芯片的不斷升級換代，DSP性能提升很大，DSP主芯片作為圖像拼接的載體已經慢慢成為主流的選擇。

2?全景拼接的算法實現步驟

全景的圖像拼接，是將場景中采集到的多個重疊圖像拼成一張全景圖像的方法。從數學的角度看，全景拼接輸出的是多個圖像的并集。全景拼接一般按照如下步驟進行：

（1）特征點提取：對多個圖像傳感器采集到的圖像中的特征點進行圖像的配準操作，圖像之間建立一個幾何的對應關系，那么在同一個參考系中，可以快速對他們進行變換、比較和分析等操作。可以從不同的角度來提取特征點，包含以下幾種：直接使用原圖像的像素值、對圖像數據進行頻域處理、提取邊角信息、提取高級特征（通常是處理重疊部分）。（2）圖像的變形：將采集到的圖像進行重新投影，放到一個新的畫布上進行放大、縮小、旋轉等變形操作。根據不同的算法，圖像的投影與變形的處理方式和結果會有差異，但是基本原理和目的都是一樣的。（3）特征點匹配與篩選：對上述步驟提取的特征點進行匹配，找出兩幅圖像中相同的特征點，繼而可以判斷出重疊的區域，作為圖像融合的參考依據。而實際在特征點提取的時候，并不是百分百正確的，有些特征點并不能匹配，屬于無效的特征點，那么就需要剔除掉這部分而只保留匹配成功的特征點。

3?全景拼接的關鍵算法介紹

上述已經對全景拼接的硬件系統和軟件實現流程做了一個介紹，這一小節將重點介紹全清拼接中使用到的幾種關鍵的算法。

3.1 特征點提取算法-SIFT。SIFT，全稱尺度不變特征轉換（Scale-invariant feature transform），屬于電腦視覺的算法，可以用來偵測并描述圖像中的局部特征。SIFT的關鍵特征是不受旋轉和圖像大小的影響，這個也是它作為主流特征點提取算法的標簽。SIFT算法主要具備以下特點：

（1）SIFT提取的是圖像的局部特征，可以保持對圖像的旋轉、尺寸變化、亮度變化下特征信息不變，在視角發生變化或者噪聲干擾時也有比較強的穩定性。（2）特性信息豐富，而且具有很好的區分性，便于在海量的特征數據中完成快速精準的匹配。（3）多量性，不管是復雜還是簡單的畫面，都可以提取出大量的SIFT的特征量。（4）高速性，可以進行實時的SIFT的匹配。（5）便于擴展，可以與其他形式的特征量進行聯合等算法操作。

3.2 特征點提取算法-SURF。

SURF算法還具備如下特點：

（1）使用了積分圖像，用來完成圖像卷積及相關的操作。（2）使用了Hessian矩陣用來檢測特征值。（3）使用了基于分布的描述符，用以描述局部信息。

SURF算法在特征點的提取和識別上均有很大的改進，主要步驟如下：

（1）構建Hessian矩陣：構建Hessian矩陣的目的是為了生成圖像穩定的邊緣點（突變點），跟Canny、拉普拉斯邊緣檢測的作用類似，為特征提取做準備。構建Hessian矩陣的過程對應著SIFT算法中的DoG過程。（2）構建尺度空間：SURF算法中，不同組間的圖像尺寸是保持一致的，不同組間使用的濾波器模板尺寸會有差異，模糊系數也會有所不同。（3）精確定位特征點：SURF算法的特征點定位過程和SIFT是類似的，把Hessian矩陣處理過的像素點和二維圖像空間以及尺度空間鄰域中的點位進行比較，再經過剔除能量較弱的關鍵點和定位錯誤的關鍵點，篩選得到最終穩定的特征點。（4）主方向確定：SURF算法中，采用了統計特征點圓形鄰域內的HARR小波特征的方法。在特征點的圓形鄰域內，對60°扇形內所有點的垂直和水平HARR小波特征總和進行統計，將扇形進行旋轉后再次重復統計操作，最后將值最大的扇形方向作為該特征點的主方向。

參考文獻：

[1]王菲.一種改進的紅外圖像配準拼接算法研究[D].蘭州：蘭州大學，2015.

[2]陸園，張明.基于SIFT算法的紅外圖像拼接方法改進[J].計算機系統應用，2015，24（8）：165-170.