基于ORB 算法的室外全景圖像拼接技術

潘維東，龐麗東

（1.井岡山大學機電工程學院，吉安343009；2.井岡山大學建筑工程學院，吉安343009）

0 引言

圖像拼接技術是計算機視覺和數字圖像處理領域中的一個研究重點，在增強現實、圖像檢索、跟蹤檢測、地圖學等多個領域都有著廣泛的應用[1]。

圖像拼接前，需要對圖像進行配準。目前，圖像配準方法主要有基于圖像灰度、基于圖像變換域及基于圖像特征三種。

基于圖像灰度的模板配準：是直接利用圖像灰度值來確定配準的變換空間，充分利用了圖像所包含的信息。其特點是實現簡單，但是計算量較大，難以達到實時性要求，對圖像的灰度、幾何變化、目標的變形、旋轉以及遮擋比較敏感[2]。

基于圖像變換域的配準：主要是進行傅里葉變換，圖像的旋轉、平移、仿射等變換在傅里葉變換中都有相應的體現，利用變換域還可以獲得一定程度的抗噪能力[3]。

目前常用的點特征提取方法有 Harris、SIFT、SURF 等。

Harris 算法簡單，提取的特征點均勻且合理，也可以定量提取特征點，相較于其他眾多基于灰度的角點提取算法具有明顯的優勢。但它仍然存在一些不足，對角點度量執行非極大值抑制，確定局部極大值時，角點的提取效果幾乎完全由設定的閾值大小決定[5]。

SIFT 算法在不同尺度下檢測同一個特征點，同時剔除了一些對比度較低的點及邊緣點，并提取旋轉不變特征描述符以保證仿射變換不變性，所以具有尺度、旋轉不變性，辨別力強，但存儲和計算量大[6]。

SURF 是對SIFT 的改進，通過積分圖像和哈兒小波相結合，進一步提高了特征提取的速度，但是描述子復雜度，并無改善[7]。所以這些方法都不適合在實時場合應用。

針對上述問題，為了兼顧圖像匹配精度和拼接速度，本文引入ORB 圖像配準算法，ORB 算法最大的特點就是計算速度快，而且在一定程度上不受噪點和圖像變換的影響，ORB 算法具有旋轉不變性、光照不變性、噪音不變性等特性。在對實時性有較高要求的場合，該算法表現較為出色。

1 ORB算法

ORB 即定向的FAST 檢測和旋轉的BRIEF 描述子算法，該算法綜合性能在各種測評里是最好的[8]。

綜上所述，不僅產業集聚、技術創新各自對區域經濟增長產生影響，產業集聚和技術創新對經濟增長產生關聯效應，技術創新在產業集聚影響經濟增長中起到關鍵作用，影響機理如圖1所示，技術創新行為通過技術進步促進經濟增長，產業集聚通過規模效應和擁擠效應對經濟增長施以影響，技術創新和產業集聚通過創新協同、高度分工等方式相互作用。

一個完整的全景圖像拼接過程如圖1 所示。

圖1 圖像拼接一般流程

1.1 特征點檢測

ORB 算法采用FAST 來檢測特征點，FAST 特征點不具有方向性[9]。于是利用灰度質心法（Intensity Centriod）為每個特征點加上一個特征方向屬性，構成oFAST（FAST Keypoint Orientation），這樣就解決了FAST 算子不帶有方向的嚴重缺陷，即使在較大的圖像噪聲和旋轉下，仍然均有良好的定向。

首先構造尺度金字塔，實現特征點的多尺度不變性。

將圖像的階矩定義為：

則質心位置為：

主方向為：

本文對原始圖像1、2 進行特征點檢測，圖像1 檢測到4950 個特征點，圖像2 檢測到4891 個特征點，如圖2 所示。

1.2 特征點描述

特征點描述子具有旋轉不變性，這主要是因為使用了FAST 來加速了特征點的提取[10]。再次是使用BRIEF 算法計算描述子，該描述子特有的二進制串的表現形式不僅節約了存儲空間，而且大大縮短了匹配的時間。

圖2 圖像基于ORB算法的特征提取

二進制被定義為：

其中，Ia為點 a 的灰度，P 為領域。

1.3 特征點匹配

通過Hamming Distance（D）來進行特征點匹配：

其中，b1，b2為匹配點對的描述子。如果D 滿足要求，則匹配成功。匹配后有634 對匹配點對，如圖3所示。

圖3 特征點匹配

2 RANSAC算法消除誤匹配點對

RANSAC 算法原理是隨機在數據點集中選擇兩點，確定一條直線。然后通過設置給定的閾值，計算在直線兩旁的符合閾值范圍的點[11]。統計inliers 點的個數，inliers 最多的點集所在的直線，就是我們要選取的最佳直線。

具體步驟如下：求出兩張圖片的特征點匹配對，并將其設為樣本集；在樣本集中隨機抽取4 個點對，計算變換矩陣；根據變換矩陣計算所有匹配點對的映射誤差，并判斷映射誤差和閾值的大小關系，來判斷該匹配點對是否為“內點”。

通過RANSAC 算法去除誤匹配點對后，剩余436對精確匹配點對，如圖4 所示。

圖4 精確匹配點對

3 圖像融合

本文采用加權平均法來進行圖像融合。非重合區域圖像，可以直接拼接，假設I1、I2為重合區域融合前圖像，圖像大小為A×B，則融合后的重疊區域圖像I 可以表示為：

其中，a，b 為圖像的行數和列數，ω1、ω2為權值，且它們之和為1[12]。拼接圖像如圖5 所示。

圖5 拼接圖像

4 試驗結果

試驗的硬件平臺為Intel i5-7200U CPU@2.5GHz，內存為8GB，軟件為MATLAB 2019。

將6 幅待拼接室外圖像（圖6）按照圖像拼接原理依次進行拼接，選擇中間圖像作為參考圖像，分別向左右兩側依次進行融合，最后拼接圖像如圖7 所示。由圖可見，圖像的拼接完整，無明顯亮度差異及拼接縫，能夠滿足眾多領域室外大場景全景圖像的拼接要求。

圖6 多幅待拼接圖像

圖7 室外全景圖像拼接

5 結語

本文提出了一種基于ORB 算法的室外大場景區域的全景圖像拼接技術。ORB 算法具有計算速度快，一定程度上不受噪點和圖像變換的影響，適合應用于實時性要求較高的場合。通過RANSAC 算法消除誤匹配點對，采用加權平均法來進行圖像融合。針對室外大場景區域的全景圖像能夠實現快速、精準拼接，能夠達到大視場高分辨率的效果，具有很強的實時性及實用性。