基于改進ORB算法的雙目視覺定位測量方法*

楊 宇,許四祥,方建中,蔡永禎

(安徽工業大學機械工程學院,安徽 馬鞍山 243000)

現代化鋼鐵冶金行業中,成型的連鑄板坯在運送前需按一定長度切割,火焰切割過程中鐵元素會快速與空氣中的氧氣發生反應生成氧化物,隨著熔融鋼液蔓延至切割縫下沿,形成一條不規則且硬度較大的鋼坯毛刺,若不及時處理,會嚴重影響軋材的質量和輥道的壽命。本課題組提出了一種等離子去除板坯毛刺的新方法[1],但是由于該系統不能對板坯在輥道上的位置進行實時檢測,因此機器人不能按固定工作軌跡切除毛刺,故將其與雙目視覺定位與測量系統結合,先對板坯進行定位與測量,再由機器人自主切除毛刺。

在背景復雜的環境中,如何快速尋找和精確匹配特征點成為鋼坯定位與測量的難點。在眾多特征檢測算法中,ORB(Oriented fast and Rotated Brief)算法[2]具有計算量小,匹配速度快等優點,但傳統的ORB算法的性能易受環境影響且匹配精度不高,需要進一步提高它的穩定性。邢凱盛[3]等通過提高選取匹配點質量的方式改進隨機采樣一致性(RANSAC)算法,剔除ORB算法誤匹配點,但其特征點檢測和描述方法未改變,仍存在誤匹配。李卓[4]等采用三元組(LATCH[5])二進制描述子代替傳統ORB二進制描述子,提升了描述符的魯棒性,但特征點檢測不穩定,出現誤點率高的問題。樊彥國[6]等簡化傳統ORB算法金字塔模型并優化特征點提取方式,采用梯度方向提取特征點主方向,其算法提高了圖像的配準率,但存在多次函數擬合,影響了算法實時性。李佳寬[7]等提出基于ORB特征的水下立體匹配方法,采用水下曲線極線約束,剔除部分誤匹配點,該方法顯著提升了運算速度,但算法易受環境影響而不穩定。左川[8]等采用加速分割檢測(AGAST[9])算法進行特征點提取,利用改進的二進制描述子進行ORB特征描述,提高了特征點的匹配精度和實時性,但該算法在旋轉性上還存在一定的不足。

針對上述問題,本文對ORB算法進行改進,首先對特征點鄰域內的像素點灰度值進行加權,再采用灰度質心法提取特征點的主方向,以字符串描述子代替傳統二進制描述子對特征點進行描述,提升特征點的匹配精度,最后對正確匹配的特征點對的像素坐標進行精確定位,得出特征點的亞像素坐標,依據亞像素坐標對物體進行測量,極大提升測量精度。

1 傳統ORB算法原理

ORB是一種快速特征點提取和描述的算法,該算法是FAST(Features From Accelerated Segment Test)特征點檢測和BRIEF(Binary Robust Independent Elementary Features)特征描述子的結合,并做了一定的優化和改進[10]。算法核心主要包括:

①特征點主方向計算:傳統ORB算法采用FAST算法對圖像進行特征點檢測,運算速度快且實時性高,但檢測的特征點不具有方向屬性,傳統ORB算法采用灰度質心法計算特征點主方向,實現旋轉不變性。

②特征點描述子構建:ORB算法采用二值位描述符形式的BRIEF描述子,以特征點P為中心,定義一個鄰域為31×31的補丁區域,在區域內采用高斯隨機取樣方式選擇nd個像素點對,比較每個像素點對間的灰度值大小:

(1)

式中:xi,yi為第i個像素點對的兩個像素,P(xi)和P(yi)為兩個像素的灰度值。將補丁區域內所有比較結果構建一個nd維特征向量,生成特征點的描述符。

(2)

2 改進的ORB算法

2.1 改進特征點主方向

BRIEF描述子不具備旋轉不變性,對特征點進行描述前,需確定特征點的主方向。傳統ORB算法采用灰度質心法確定主方向,但計算精度存在誤差?？紤]到特征點周圍的像素的灰度值對特征點的貢獻是不同的,距離特征點越近,貢獻越大,因此對像素灰度值進行高斯加權處理再通過灰度質心法計算主方向,提高計算主方向的精度,提高配準率。

具體求解步驟為:

①構建一個以特征點P為中心,半徑為r的圓形補丁區域。以特征點為原點建立坐標系,遍歷補丁區域內每個像素灰度值,使用高斯函數對每個灰度值加權處理,二維高斯函數為:

(3)

式中:σ為標準差,一般取值2s,s為特征點所在的尺度圖像的尺度。

②定義補丁區域的矩,如式(4)所示,通過矩得出補丁區域的質心C和特征點的角度θ。

圖1 主方向對比示意圖

(4)

(5)

(6)

在課題組平行雙目視覺定位連鑄板坯模型過程中,由于左右相機的人為布置,導致左右兩幅圖像之間必然存在一定的尺度旋轉變化。分別使用傳統ORB算法與本文算法求解主方向,對比圖如圖1所示。圖1中兩組圖片分別為對同一組圖像使用傳統ORB算法和改進ORB算法計算主方向。以板坯左下角部分特征點為例,由圖1可知,角度α2>α1,β2>β1,即改進ORB算法計算出的各特征點主方向方向區間更大,不同特征點主方向更易區分,而傳統ORB算法計算的各特征點主方向更聚集,易造成特征點誤匹配。

2.2 改進特征點描述子

傳統ORB算法采用BRIEF描述子描述特征點,生成一條長度為nd的二進制碼,該二進制碼為特征點周圍nd個點對的比較結果。傳統ORB算法采用漢明距離H來判斷特征點描述符是否匹配,當漢明距離小于閾值Thanming時,認定兩點為匹配點。二進制碼描述子缺乏多樣性,點對的比較結果單一,較大影響特征點的匹配精度。因此,本文提出對點對的比較結果進行多區間劃分,生成一條長度為nd的字符串,使結果呈現更好的多樣性,提升特征點的匹配精度,降低閾值Thanming.

具體操作步驟如下:

①實現BRIEF描述符的旋轉不變性,需要以特征點為中心的補丁區域旋轉角度θ,重新計算補丁區域內部的坐標:(x,y)為旋轉前的坐標,(x′,y′)為旋轉后的坐標。

(7)

②采用重新計算后的點對坐標,對應補丁區域內像素的灰度值。分別比較nd對點對的像素灰度值,對比較結果進行如下分析:

將nd個點對(2n個點)組合成一個矩陣A,

(8)

對每一行中兩個點對應的像素灰度值進行相減,對得到的差值進行歸類,用一個字符表示,生成特征點的描述符。歸類算法如下:

t=I(xn1,yn1)-I(xn2,yn2)

(9)

(10)

式中:I(xn1,yn1)和I(xn2,yn2)為點對的灰度值,Valp為特征點P周圍點對的比較結果,灰度值差值t的區間可根據環境進行改變。

針對尺度旋轉變化與視角變化的板坯模型進行共6組實驗,實驗結果如圖2和表1所示,傳統ORB算法匹配精度較差,存在一點多配準現象,其匹配正確率為51.82%,本文改進算法匹配正確率為83.62%,相比傳統ORB算法精度提升了30.63個百分點。表明本文改進算法匹配正確率更高。

圖2 匹配對比圖

組號匹配精度/%傳統ORB算法本文算法136.9878.86243.7584.80340.4781.35456.2580.89567.5087.50666.0088.34均值51.8283.62

3 測量實驗及結果分析

連鑄板坯定位與測量包括相機標定、圖像校正、特征點提取與匹配等,其流程如圖3所示。為驗證本文改進算法的可靠性,通過實驗比較傳統ORB算法、文獻[6]算法及本文改進算法對板坯尺寸的測量精度。

3.1 相機標定與立體校正

本文采用Zhang[11]提出的標定法并結合OpenCV計算機視覺庫對相機進行標定[12]。標定板是14×10棋盤格,每格長度為25 mm,使用相機采集24組分辨率為1 920×1 080的標定板照片,標定結果如表2、表3所示,焦距和主點以像素為單位,平移矩陣參數為mm。

表2 相機內參數標定結果

表3 相機外參數標定結果

標定結果最大重投影誤差為0.59pixels,平均重投影誤差為0.42pixels?；跇硕ńY果,對采集的板坯進行畸變校正和極線校正,校正前后的圖像效果圖4所示。

圖4 立體校正前(上)和立體校正后(下)

3.2 匹配與測距

對校正后的左右連鑄坯圖像,采用本文改進的ORB算法對左右圖像進行特征點檢測、描述并匹配。

檢測特征點時,FAST算法會計算每一個特征點的得分值,即每個角點的角點響應值V,根據角點響應值對角點進行非極大值抑制,排除多個特征點聚集在一起的問題。傳統非極大值抑制方法是把角點的灰度與它鄰近的圓周上16個像素點的灰度值的差值的絕對值之和作為角點響應值V,在3×3領域內比較V值,保留比其8鄰域都大的像素作為最終的特征點。

篩選出測量需求的匹配點對,以這些特征點為中心,在其3×3鄰域內進行二維二次函數的最小二乘法擬合,計算出鄰域內最大得分值,以及該得分值所對應的亞像素級坐標。以特征點為原點(0,0)建立坐標系,x,y表示像素的橫、縱坐標,z軸為像素得分值,3×3鄰域內其他8個像素的坐標分別為(-1,-1),(-1,0),(-1,1),(0,-1),(0,1),(1,-1),(1,0),(1,1),這9個像素的得分值分別為V1,…,V9。

設二維二次函數為:

z=a1x2+a2y2+a3x+a4y+a5xy+C

(11)

(12)

極大值處的坐標(x′,y′)相對于特征點(x,y)的偏移量為(Δx,Δy)。選取左右圖像匹配點對,采用上述方法得出特征點的亞像素坐標,計算特征點的視差,根據三角測量原理,得出該點的三維坐標。預測點如圖5所示,篩選出的匹配點對如圖6所示,關鍵特征點在左右圖像中的像素坐標和空間坐標如表4所示。

圖5 板坯左圖像測量點

圖6 板坯測量匹配點對

表4 角點坐標

4 實驗結果分析

4.1 測量精度分析

實驗中被測板坯模型尺寸為300 mm×67 mm×63 mm,測量模型尺寸如表5所示。

表5 傳統算法測量板坯尺寸結果

從表5中可以得出,連鑄板坯模型三條邊的計算尺寸最低誤差為0.42%,最高誤差為1.93%,平均誤差為1.35%,絕對誤差保持在1.2 mm左右,均在誤差允許范圍內,而AB與BC邊的相對誤差較大,這與板坯角點不夠明顯,檢測出的特征點和理想角點有一定偏差有關。其反映在圖像上的像素偏移在各條邊產生的絕對誤差幾乎相同,但相對誤差區別較大。還需進一步提升測量精度。

4.2 對比分析

實驗測試配置:Inter 酷睿i5 4210U處理器,內存8GB。改變雙目相機與板坯的相對位置,對板坯拍攝三組不同視角的圖像,分別比較傳統ORB算法、文獻[6]改進ORB算法和本文算法的測量誤差、匹配時間。由表6～表8中多組實驗數據對比可得,傳統的ORB算法運算速度最快,其次是本文算法,文獻[6]改進算法存在多次擬合函數,速度最慢,本文算法在測量階段需要對精確的特征點像素坐標進行擬合,故速度比傳統ORB算法稍慢。從測量精度考慮,本文算法測量誤差最低,平均測量精度為0.48%,而傳統ORB算法結果誤差為2.17%,提升了1.69%,與文獻[6]算法相比也提升了0.8%,因此本文改進算法在傳統ORB算法基礎上有很大的提升。

表6 傳統算法

表7 文獻[6]算法

表8 本文算法

5 結論

論文針對基于傳統特征點檢測的雙目視覺測量中匹配時間長、誤匹配率高和測量精度低的問題,提出一種應用到雙目視覺測量中的改進ORB算法。該算法對特征點鄰域內像素灰度值進行加權改進傳統灰度質心法,同時以字符串描述子代替傳統的二進制描述子對特征點進行描述,最后利用二維二次函數擬合對特征點進行定位。通過實驗對比分析,本文改進算法在滿足尺度和旋轉不變性要求下,具有更高的正確匹配率,同時特征點采用亞像素定位,提高了雙目立體視覺定位和測量的精度,為后續機器人自主去除毛刺提供了依據。