基于ORB特征點的道路圖像拼接方法

李明臻 姜夢煒 陳仕旗

（長安大學 工程機械學院，西安 710064）

近年來，我國道路建設不斷加快，道路病害問題日趨嚴重[1]。目前，道路病害檢測主要采用檢測人員目視與路面巡檢車巡檢相結合的方法[2]。隨著無人機技術的發展與普及，利用無人機進行路面病害檢測成為一種新型高效的方法[3]。為了獲取道路表面的高分辨率圖像以便于病害檢測，需要無人機近場拍攝道路圖像。單幅圖像僅可覆蓋一小塊區域，導致檢測人員很難獲得完整的道路信息來了解路面的健康狀況。所以，為了全面評估道路的健康狀況，提高裂縫的檢測效率，需要對采集的多幅圖像進行拼接[4]。

目前，圖片的拼接主要包括3個步驟，分別是圖片預處理、圖片配準和圖片融合，其中配準技術決定了拼接效果[5]。圖像配準方法主要有基于區域和基于特征兩種[6]。基于區域的配準算法主要是采用圖像間的灰度信息實現配準，運算操作量大，配準結果較差，配準時間較長[7]。基于特征的配準算法以特征點的研究較多，包括SURF（Speeded-Up Robust Features）算法、尺度不變特征變換（Scale Invariant Feature Transform，SIFT）算法以及ORB（Oriented FAST and Rotated BRIEF）算法等。其中，ORB算法運行時間短，魯棒性強，被廣泛應用于各個領域[8]。曾海長等人在ORB算法中采用Hessian檢測算子處理ORB尺度不變性較差的問題，但此類算子在拼接中易產生特征點誤匹配問題[9]。在圖像配準過程中，由于受到光照強度、圖像畸變等因素影響而產生配準偏差，導致拼接結果會產生錯位、鬼影等現象。圖像融合算法能盡量避免圖像受光照等因素影響而出現拼接結果不佳的現象[10]。

針對路面圖像存在較大區域的相似圖像的情況，本文提出采用ORB算法提取圖像的特征點，基于漢明距離和隨機抽樣一致性（Random Sample Consensus，RanSaC）算法完成同名點的篩選與匹配，并計算幾何變換模型，最后通過最佳縫合線融合算法實現圖像拼接。實驗證明，本文算法實現了道路圖像的拼接，為后續的路面病害檢測奠定了基礎。

1 圖像拼接

1.1 ORB算法

ORB算法主要結合了FAST特征點檢測和BRIEF特征描述符。

FAST算法的核心思想是比較某區域周圍像素灰度值與中心像素灰度值的關系。如果周圍像素灰度值與中心像素灰度值相比存在明顯差異，記為FAST角點。FAST角點檢測速度較快，但是不具有尺度不變性和旋轉不變性。因此，ORB特征點在FAST角點上通過構建圖像的高斯金字塔，使其具有尺度不變性。針對旋轉不變性，ORB特征點提出由FAST角點指向周圍矩形區域質心的向量作為ORB特征點的方向向量。由方向向量可以計算并得到特征點方向，從而使得特征點具有旋轉不變性。

BRIEF描述子于2010年提出，雖然不具有旋轉不變性，但是可以結合關鍵點的方向計算BRIEF描述子，從而將描述子與特征點的方向聯系在一起，增加旋轉不變性。

1.2 圖像匹配與篩選

特征點的匹配是指在不同圖像中尋找同一個物體的相同特征點。每個特征點都具有標志著唯一身份的描述子，特征點的匹配需要在兩幅重疊圖像的特征點及描述符建立完成后進行。在ORB算子中每一個特征點都有一個256位的二進制編碼與之對應，因此匹配時需采用漢明（Hamming）距離描述相似性的度。

Hamming距離匹配的核心思想是在待拼接圖像上選取兩個二進制描述子，如果進行位運算后的二進制串的相似率大于設定的閾值，則特征點匹配成功。

雖然按距離進行匹配較為快捷，但由于閾值是人為設定的，會產生誤匹配現象，需要去除誤匹配點對。目前，常見的誤匹配篩選是采用RanSaC算法。RanSaC算法的核心思想是在一系列存在“外點”的數據集上采用不斷迭代的方法查找到最優參數模型，不符合最優模型的點即為“外點”。

1.3 圖像融合

由于配準精度的影響，兩幅圖像拼接為全景圖后，在重疊區域會出現偽影或明顯的拼接縫隙，造成不良的視覺效果。采用動態規劃數學思想的最佳縫合線算法，是解決拼接結果失真、防止出現偽影的一種有效方法。這種方法的主要實現思想包括兩個方面：一方面，依照重疊區域的顏色與結構建立相應的能量函數；另一方面，依照設定的動態搜索準則，在重疊區域找到一系列能使能量函數的值最小的坐標，這一系列坐標點的連接即為最佳縫合線。

2 實驗結果與分析

為驗證本文算法的實用性，選取無人機拍攝的路面圖像對畸變較大與較小的道路圖像分別進行拼接實驗。實驗運行環境采用AMD、4800U、1.80 GHz、64位的計算機。實驗的所有算法基于OpenCV4.2.0實現，編程語言為C++，環境為Visual Studio 2015。

選取鏡頭畸變較小的單向車道，如圖1所示。圖2為鏡頭畸變較小的單向車道場景下RANSAC篩選的匹配圖。圖3為鏡頭畸變較小的單向車道場景下直接拼接與采用最佳縫合線融合算法的對比結果。此外，選取畸變較大的雙向車道進行實驗，如圖4所示。圖5為畸變較大的雙向車道場景下RANSAC篩選的匹配圖。圖6為在畸變較大的雙向車道場景下直接拼接與采用最佳縫合線融合算法的對比結果。

圖1 鏡頭畸變較小的單向車道待拼接圖像

圖2 鏡頭畸變較小的單向車道場景下RANSAC篩選的匹配圖

圖3 鏡頭畸變較小的單向車道場景下拼接結果

圖4 鏡頭畸變較大的雙向車道待拼接的圖像

圖5 鏡頭畸變較大的雙向車道場景下RANSAC篩選的匹配圖

圖6 鏡頭畸變較大的雙向車道場景下拼接結果

從實驗結果可以看出：不論是畸變較大的雙向車道還是畸變較小的單車道，直接拼接雖然能較快得到結果，但是存在明顯的拼接錯位（如圖3（a）和圖6（a）框出部分），且拼接區域出現了明顯的色差變化；通過最佳縫合線的融合方法得到的結果，拼接均勻自然，拼接效果良好。

3 結語

本文提出了一種適合無人機近場拍攝路面圖像拼接的方法，采用ORB特征點作為匹配特征，將Hamming距離作為粗匹配，利用RanSaC算法進行篩選，魯棒地計算出拼接圖像之間單應矩陣，最后采用最佳縫合線融合算法較好地消除了拼接錯位問題。對不同場景進行多次實驗，實驗結果表明，本文方法能夠高效、準確地實現路面圖像拼接。