基于改進SURF算法的雙目視覺測量系統研究

，

(華南理工大學 機械與汽車工程學院，廣州 510640)

0 引言

隨著當今工業自動化和智能化的不斷發展，工業機器人在生產中的地位得到了前所未有的重視。機器視覺定位作為機器人相關技術的一個重要的分支，其準確度的提高成為了研究人員努力的目標和方向。

雙目立體測量技術是基于計算機視覺基礎發展起來的一項重要的非接觸式三維測量技術，因其結構簡單，測量范圍較大以及較高的測量精度，在生產生活中得到了廣泛的應用[1-4]，成為機器視覺定位中的一種常用方法。在雙目視覺測量系統中，圖像匹配過程是對圖像特征點的提取和特征點之間的對應過程，匹配的結果對后續的處理至關重要，直接影響了雙目視覺測量系統的準確性，因此受到了廣泛的關注。SURF(speeded-up robust features)算法是Bay[5]等人在SIFT[6](scale-invariant feature transform)特征檢測算法的基礎上提出的改進算法，不僅保持了SIFT算法的檢測精度，而且縮短了算法的運行時間。由于SURF算法本身缺陷，進行特征點匹配時容易產生特征點對的誤匹配，因此許多研究學者也在這方面進行了大量工作。Maresca[7]等將NNDR策略加入經典SURF算法中，提高了匹配精度，不過在去除誤匹配的同時也去除大量正確匹配；陳潔[8]等采用基于極線約束幾何模型的RANSAC算法剔除經典SURF算法的誤匹配，不過由于RANSAC算法對樣本進行隨機抽樣，造成算法實時性較差；韓峰[9]等將基于極線約束的RANSAC改進匹配算法運用到雙目視覺測量中，提高了經典SURF算法雙目立體視覺測量精度。

在上述研究基礎上，提出一種改進SURF算法的圖像匹配方法，通過兩次匹配點篩選提高匹配精度，并將改進算法與雙目視覺測量模型相結合，完成目標定位測距。通過實驗證明，改進方法在準確性和實時性上均有較好表現，應用改進SURF算法的雙目視覺測量系統也可達到較高定位測量精度。

1 雙目視覺測量原理

雙目視覺測量是通過雙目相機采集目標圖像對，獲取目標點三維坐標的測量方法[10]。模仿人眼的雙目結構，根據采集目標圖像對計算目標點在左、右圖像上的視差(disparity)計算空間目標點的三維信息。圖1為雙目立體視覺測量原理圖，其中Ol-xlylzl為左相機坐標系，Or-xryrzr為右相機坐標系。

對于空間任意一點P點，在左相機成像平面的投影點為Pl，在右相機成像平面的投影點為Pr(Pl與Pr互為對應點)。

圖1 雙目立體視覺測量原理

通過匹配Pl和Pr的對應關系，根據雙目視覺測量系統的定位原理，即式(1)可計算出空間點P在左相機坐標系的空間三維坐標。

(1)

式(1)中，B為左、右相機坐標系在水平方向距離，即雙目視覺測量系統的基線距；f為左右相機的鏡頭焦距參數；cx、cx’分別是左右相機圖像中心在光心水平方向上的偏移；cy為左相機的成像平面中心在光心垂直方向上的偏移量；X、Y、Z分別是P點在左相機坐標系下的三維坐標，x、y分別是P點在左圖像平面的坐標，d為P點的視差值。其中，基線距B、鏡頭焦距f，cx、cx’以及cy等參數可通過相機內、外標定獲取[11-12]。

2 經典SURF算法匹配原理

經典SURF算法是在圖像尺度空間上對局部特征點檢測和描述方法，其特征提取結果不受圖像旋轉、縮放等因素的影響，具有仿射不變性。經典SURF算法一般包括特征檢測，主方向確定，特征描述以及特征匹配等4個步驟。

1)特征檢測：SURF算法對圖像特征點進行特征檢測時，利用Hessian矩陣對圖像像素點進行判別式求解。針對像素點f(x,y)，其Hessian矩陣如式(2)所示，根據判定結果取值將像素點進行分類。當Hessian矩陣判別式取得局部最值時，即判定當前像素點為極值點，由此定位圖像特征點位置。

(2)

2)主方向確定：以(1)中確定的特征點為圓心，根據圓心特征點的尺度值S，生成半徑為6 S的圓形域。在圓形域內，以60°扇形作為掃描區間，統計掃描區間內所有像素點水平Harr小波特征和垂直Harr小波特征總和。旋轉掃描區間，特征點的主方向即為掃描得到最長的方向向量。

3)特征描述：在2)中特征點的主方向確定后，以特征點為中心，沿著特征點主方向建立一個4×4的矩形區域塊。矩形區域中每個子區域統計25個像素相對于主方向上的水平和垂直Harr小波特征，分別記做dx和dy。通過對Harr小波特征加權，得到水平方向和垂直方向上加權小波響應值和響應值絕對值，并分別記做∑dx，∑|dx|，∑dy，∑|dy|，每個子區域形成的4維向量記為V：

V={∑dx,∑|dx|,∑dy,∑|dy|}

(3)

由于存在4×4個子區域，因此對每個特征點形成64維的特征描述向量。

3 改進SURF圖像匹配算法

采用經典SURF圖像匹配算法后可以得到大量特征點和匹配點集，不過由于經典SURF算法自身缺陷以及圖像遮擋、背景混亂等原因，匹配點集中會出現較多誤匹配點對。在雙目視覺測量系統中，若圖像匹配過程出現大量誤匹配，則會導致視差計算錯誤，從而影響最終的三維重建精度[13]。

本文的改進算法是在經典SURF圖像匹配算法特征點檢測及特征向量描述的基礎上，首先采用雙向特征向量匹配策略對經典SURF算法得到的匹配點集進行初始過濾，接下來采用PROSAC算法根據極線約束模型對初始過濾后的匹配點集進行二次篩選，得到最終的優質匹配集合，算法流程如圖2所示。

圖2 改進圖像匹配算法流程圖

3.1 雙向特征向量匹配

由于經典SURF算法特征匹配過程是單向的，即只在圖像2特征點中尋找圖像1中特征點的匹配點，因此匹配點集中會出現較多誤匹配點對。對于經典SURF算法的缺陷，采用雙向特征向量匹配策略，對圖像1和圖像2的特征向量進行雙向匹配，并對特征向量匹配結果添加一定約束，提高匹配點集的正確率。

首先通過經典SURF圖像匹配算法，獲取圖像1特征向量與圖像2特征向量的最近鄰距離d1與次近鄰距離d2，設置閾值R。若d1與d2的比值小于閾值R，則認為此對匹配點是正確的匹配點對，結果存入點集A1中。

接下來調整匹配順序，通過經典SURF圖像匹配算法得到圖像2中特征點在圖像1中的匹配點，計算圖像2中特征向量與圖像1中特征向量的最近鄰距離d1′與次近鄰距離d2′。若d1′與d2′的比值小于R，則將結果存入點集A2中。

最后將點集A1與點集A2取交集，則得到了雙向特征向量初始過濾后的匹配集A，即：

A=A1∩A2

(4)

經過實驗驗證，當閾值R取值0.4～0.6時，能獲得較好誤匹配過濾效果。

3.2 PROSAC算法獲得最終匹配

PROSAC(Progressive Sample Consensus)算法是由Ondrej Chum[14]等提出的RANSAC(Random Sample Consensus)算法的改進算法。

PROSAC算法和RANSAC算法的目的都是從數據集合中將異常數據篩選出來。RANSAC算法思路是隨機抽樣選取樣本來擬合具體的幾何約束模型，滿足幾何約束模型的樣本稱為內點，根據樣本擬合情況調整幾何約束模型參數，往復循環，直到從數據集中篩選中最多內點；PROSAC算法是在RANSAC算法的基礎上，對樣本擬合順序做了改進。首先對數據集內樣本按照某種標準進行排序，排序靠前的樣本可能是正確模型的內點，根據內點樣本確定的模型參數越好，幾何約束模型調整幅度也越小。因此對于內點概率高的數據集，采用PROSAC算法無論是在魯棒性還是在時間效率上都要優于采用RANSAC算法。

由于最初的匹配點集經過了雙向特征向量匹配步驟的初次篩選，點集內的樣本是內點的概率很高，因此非常適合采用PROSAC算法。

本文采用的PROSAC算法是基于極線約束模型，采用基本矩陣作為參數模型，其原理如圖3所示。

圖3 極線約束原理圖

圖3中，P為空間中一點，分別在左、右相機成像平面上的成像點為Pl和Pr。空間點P和左右相機光心Ol和Or三點構成的平面稱為極平面，Ol和Or的連線與成像平面的交點el和er稱為極點，極平面與左右成像平面的交線l1(plel)和l2(prer)都為極線。

由圖3可知，根據雙目視覺系統圖像采集特點，無論P點位置如何改變，其在左成像平面的點Pl一定會通過極線l1，右成像平面的點Pr一定會通過極線l2，所以Pl的對應點一定在l2上，Pr的對應點一定在l1上，這種約束關系就是極線約束。通過基礎矩陣F可以將像點Pl和Pr的坐標關系表示出來，即為：

(5)

現將采用PROSAC算法剔除誤匹配點對步驟總結如下：

(a)根據經典SURF特征描述距離，對點集A中的匹配點對進行排序；

(b) 根據取樣次數t確定假設生成集的大小n，即認為內點在前n中；

(c)從前n中隨機抽取7個數據，和第n個數據組成計算樣本，根據8點法計算基礎矩陣；

(d) 對每個基礎矩陣F，計算每對匹配點到各自極線的距離平方和記為D，設定閾值T，將符合D

(e)對步驟(b)～(d)進行循環，若符合終止條件，則結束循環，根據所對應的基礎矩陣，剔除誤差較大匹配點。

出現以下情況，則算法循環終止：

(a)當最大內點在樣本中比例達到或超過設定的閾值時，則算法循環終止；

(b)當M次采樣次數后樣本中內點數量不再增加，則算法循環終止；

(c)當N次采樣次數后，內點的增加沒有減少模型的誤差和，則算法循環終止。

4 實驗及結果分析

為了驗證前述改進算法的準確性和采用該算法的雙目視覺測量精度，下面進行具體的實驗測試。

4.1 實驗平臺

搭建的實驗平臺如圖4所示。圖像采集設備采用兩個MicroVision工業攝像頭組成雙目視覺系統，相機分辨率1280×960，幀率15 fps；平面標定板采用高精度棋盤格型金屬平面標定板，格邊長30 mm×30 mm，打印精度為±0.01 mm；視覺軟件為自主開發，開發環境Visual Studio，開發語言為C++；軟件運行環境為Windows7操作系統的計算機，采用Intel(R) Core i3 3210 M CPU @ 2.5 GHz，4 GB內存。

圖4 雙目視覺測量實驗平臺

4.2 圖像立體匹配實驗

為了檢驗本文改進圖像匹配算法，使用雙目視覺系統采集的圖像對經典SURF圖像匹配算法、文獻[9]改進算法和本文改進算法進行驗證和比較，其匹配結果如圖5和表1所示。

圖5 圖像立體匹配結果

表1 3種算法匹配結果對比

由圖5和表1所示，經典SURF得到最多的匹配點對，誤匹配現象也非常明顯，匹配正確率不高。文獻[9]采用了RANSAC算法對經典SURF匹配點集進行了篩選，提高了匹配正確率；本文改進算法由于采用了雙向特征向量匹配以及PROSAC算法，因此獲得的匹配點對數量較經典SURF算法和文獻14算法少，不過由于經過了兩次匹配點集的篩選，因此沒有出現誤匹配的現象，匹配正確率達到100%。匹配時間上，由于本文改進算法和文獻[9]改進算法都是在經典SURF特征檢測和匹配結果上進行改進，因此算法運行時間都高于經典SURF算法，不過本文改進算法相較文獻[9]改進算法，在匹配效果近似的情況下，在算法的運行時間上有了明顯的提升，能夠更好地滿足實時性的需求。

4.3 雙目視覺測量定位實驗

為了驗證本文改進圖像匹配算法在雙目視覺測量中的測量精度，基于搭建的實驗平臺進行目標測量實驗。

首先采用張氏平面標定法[12]對雙目相機單目和立體標定，求取基線距B、鏡頭焦距f，cx、cx’以及cy等雙目系統內、外參數。

固定雙目相機及測量目標物體，采集測量目標左、右圖像，并分別采用經典SURF算法、文獻[9]改進算法和本文改進算法對左、右圖像進行圖像匹配。根據匹配結果統計所有特征點的圖像坐標，并計算其對應特征點的視差值。

通過式(1)計算圖像特征點在左相機坐標系下的三維坐標值，對所有特征點深度方向測量距離求取平均值，即可估計為目標物體空間距離，實現對目標物體的深度距離測量。比較3種圖像匹配方法測量結果，并和實際距離相比較，分析采用不同匹配算法的雙目視覺測量精度。

移動測量目標物體，在不同位置進行對比實驗，并將測量值與實際值進行比較，所得實驗結果如表2所示。

由表2數據可知，在實測距離500～1 000 mm測距范圍內，運用本文改進算法相較于采用經典SURF算法和文獻[9]改進算法，雙目測量定位結果更準確，而且隨著實測距離的增加，本文改進算法的測量精度優勢更為明顯。

定位結果誤差經分析，主要有以下幾個來源：

1)相機標定過程產生的誤差對深度信息的計算產生影響；

2)圖像處理的過程中，提取的特征點的圖像坐標精度不夠，對視差計算結果造成影響。

3)采用特征點坐標平均值來估計目標物體空間坐標存在一定誤差。

5 結束語

針對雙目立體測量中所使用的圖像匹配算法精度不高的問題，提出了一種基于SURF算法的改進圖像匹配方法。該方法首先采用經典SURF算法獲取特征點和特征向量；接下來采用雙向特征向量匹配原則剔除誤匹配點對；最后采用基于極線約束的PROSAC算法對匹配點集進行篩選。同時對經典SURF算法、文獻[9]算法和本文改進算法進行了圖像匹配對比實驗，結果表明本文改進SURF圖像匹配算法具有更高的匹配準確性和較好的算法實時性?；诖罱ǖ碾p目視覺測量實驗平臺進行測量定位實驗，采用本文改進算法可實現更準確的目標測量定位，具有一定工程運用價值。