用于并聯機器人定位抓取的雙目視覺算法實現＊

任建華 張寧可 高瑞貞

（河北工程大學機械與裝備工程學院，河北 邯鄲 056038）

工業機器人結合雙目視覺模仿人眼去感受現實世界的真實場景，已經成為工學、醫學等交叉學科的新型技術。對于工業機器人，如何快速實現對工件的定位抓取已經成為行業發展的關鍵性問題[1-3]。參考國內外研究現狀，有關機器人定位的研究多數集中在自主定位方面，常見的是結合激光雷達、三維掃描儀等傳感器[4-6]進行點云重構計算。該類方法當中，多數過程采用補償技術結合運動學分析進行位姿計算估計，可以有效地提高定位精度[7]。但是成像范圍小、設備投入昂貴等因素，以至于得不到大規模推廣應用。其中雙目立體視覺技術以設備簡單、投資少等優點成為當前機器人視覺定位研究的熱點[8]。

并聯機器人屬于工業機器人的一種，相比傳統的工業機器人，并聯機器人具有更快速度、更高精度和剛度等優點，采用末端執行器定位的方法。在機器人定位圖像立體匹配中，對于窗口半徑選取的變換、像素計算以及視差計算等操作具有較好的可行性。但在實際的工作環境中，如外部光照、內部弱紋理特征以及視差圖不連續等一些因素，都會影響立體匹配的精度結果，導致三維重建不佳。其中對于弱紋理區域，由于圖像局部分辨率變化，加上光照不均等因素，就會導致計算的紋理結果有較大偏差、誤匹配率增高和出現“空洞”等一些問題。針對弱紋理區域存在的缺點，很多研究學者在局部算法方面也做了眾多研究。Gómez-Espinosa A[9]基于深度RGB 傳感器獲取對象表明顏色，結合立體視覺進行模型重建，該方法雖提高了焊接軌跡的定位識別精度，但耗資較高，應用不廣泛。陸明軍[10]等將弱區域分類，將引導濾波結合視差融合，在保證匹配率的情況下具有更高的匹配精度。Liu H[11]等運用梯度增強的方法對引導濾波進行改進，通過自適應“十”字窗口進行代價聚合，提高匹配精度，但對引導濾波邊緣保持性的缺點有待考慮。郁懷波[12]等根據不同區域像素的顏色選擇性賦值系數，以樹形結構算法為基礎，進行代價聚合計算，在弱紋理區域取得了較好的匹配結果，但對于匹配窗口、權值計算等都是采用人為設置，缺少一定的不確定性、靈活性。傳統的稀疏點云立體匹配算法是通過獲取視差圖進行三維重建，周泩樸[13]以此為基礎進行分析和改進，雖然整體的準確效率提高了，但是在特征點提取不足的缺點依舊存在。Feng H[14]等結合ADCensus 立體匹配算法對特征點進項濾波處理，有效地降低了像素點局部噪聲的影響，提高魯棒性。魯光明[15]等針對視差突變的問題，采用AD 算法變換結合代價聚合SGM 改進，提高了弱紋理區域匹配效率，但缺乏實時性的改進。趙春暉[16]以特征點為基礎，選取主方向尺度信息作為匹配代價數據，提高匹配率，該算法在旋轉和縮放的情況下表現良好。

綜上分析，結合傳統工業機器人二維情況下存在定位抓取準確率低、適用性差等缺點，引入三維信息到機器人定位抓取中。設計一種將梯度信息、自適應雙邊濾波應用到SGBM 算法當中，以提高三維點云質量為基礎，提高機器人的準確定位抓取方法。該算法解決了在代價計算階段對于弱紋理區域，存在的像素變換不連續、普通算法視差有殘缺等問題。可以降低圖像在立體匹配時的誤差，較好地抑制了弱紋理區域像素變化對代價的影響，增強了噪聲、光照因素對立體匹配的穩定性，提高了視差圖的匹配效率和質量精度，實現了工件任意擺放下的準確定位抓取。

1 雙目成像原理

在圖像處理中，單目相機是無法估計像素的深度恢復三維模型坐標的，但是類似于人眼的雙目相機，可以通過引入更多的約束求解出圖像的三維模型坐標。雙目相機同時從不同角度拍攝物體，物體表面上的像素點會被映射到投影平面，其模型原理如圖1。

圖1 雙目立體相機模型

圖中以左相機為原點。基線b：相機光心距離，f：相機焦距。假定像素點P在左右成像面交點橫坐標為Pl、Pr、xl、xr。結合三角形相似原理，由POlOr組成的三角形可以得出俯視圖上P點到成像平面的距離，也就是該點所在的深度信息。其結果為

由結果可知，其中fb乘積是固定不變的，左右成像平面橫坐標xl-xr越小，深度值Z越大，相反越小，這種方式求得的Z又被稱為視差。在雙目立體匹配中，左右相機就是通過這種方法根據左右像素點坐標，通過計算找到三維空間中的同一點像素，進而求算出圖像的視差圖進行三維點云重建。進一步，以手眼標定算法實現物體坐標在相機、機器人之間轉換，完成定位。其總的流程如圖2。

圖2 整體定位算法流程圖

2 算法的實現描述

2.1 匹配代價計算

匹配代價計算是對左右兩幅圖的相似性度量。常見的有AD、SAD、SSD 和NCC 算法，其中基于差的絕對值和（sum of absolute difference，SAD）匹配代價算法計算量小、速度快，能夠滿足實時響應的要求[17]。本文在此基礎上又融入梯度信息，在視差圖像不連續區域中梯度可以有效地解決誤匹配問題。首先以SAD 算法構建一個窗口遍歷左右圖像，計算左右匹配圖像窗口內所對應像素之差的絕對值之和，通過閾值比較，最小值即為顏色匹配代價進行視差計算。其公式表示為

式中：C1(p,d) 為 SAD 匹配代價、C2(p,d)梯度匹配代價、C(p,d)融合匹配代價。受文獻[18]啟發，根據SAD 窗口邊長選取的不同，將權重系數 ω引入一個調整系數K，這樣在融合代價計算時可更好地分配權重。可定義為

式中：像素點選窗口R越大，則對應的調整系數就越小，從而所在的SAD 匹配代價權重就越小，梯度代價權重就偏大。因此，對于那些在弱紋理區，可以更好地使用梯度代價來進行計算。

2.2 自適應雙邊濾波代價聚合

2.2.1 傳統雙邊濾波

雙邊濾波（bilateral filter）[19]其工作也是采用加權平均的計算方式，主要是以待處理像素點與四周像素點歐式距離及像素亮度作為權重。在濾波器分類中，雙邊濾波屬于非線性濾波，其數學模型公式為

式中：S(x,y)所 代表的是以像素點為中心 2R+1為邊長的方形領域坐標集合，和SAD 窗口的選取f(x,y)為濾波處理后圖像在點 (x,y)的 灰度值，g(i,j)為未經處理的噪聲圖像灰度值。在整體的算法當中綜合權重w(i,j)由 空間域權重ws(i,j)、領域灰度權重wr(i,j)組成，可表示為

對于參數R、δs、δr是影響雙邊濾波器大小的主要因素。當濾波器窗口半徑R越大濾波程度就越大；空間域標準差 δs越 大，與其對應的空間高斯函數ws權重越分散，雖然去噪效過提高了，但圖像邊界越模糊；領域灰度標準差 δr越大，與其對應的灰度相似度函數wr對灰度的要求就越低，顏色平均區域越模糊。選取樣品局部區域為驗證對象，設置R=4，空間域標準差 δs=2領 域灰度標準差 δr=0.1的參數效果如圖3 所示。可以看出圖3c 雙邊濾波和中值濾波相比紋理變換邊界更加清晰。對于不同的噪聲圖像，要想獲取更清晰的圖像需要手動設置參數，很少存在“通用”的現象，也正是因為這樣繁瑣的步驟，提出自適應雙邊濾波。

圖3 噪聲對比圖

2.2.2 自適應雙邊濾波

高斯濾波是最常見，也是最原始的一種濾波器，它是以待處理像素點與四周像素點的歐氏距離作為權重計算的一種算法。與其對應的數學模型是二維高斯函數，其分布是一維高斯函數分別在X軸、Y軸上的乘積。

不難理解服從正態分布的一維高斯函數具有對稱性原則，且二維高斯函數結合空間Z軸則有旋轉對稱性，函數效果如圖4 所示

圖4 函數效果圖

雙邊濾波綜合了高斯和結尾均值濾波，同時考慮空間域、鄰域之間的關系。

（1）空間域標準差

結合高斯函數，拋開灰度標準差，可以看出空間域標準差 δs與所選窗口邊長的大小還是存在一定的線性關系。同理高斯函數分布，從圖4 中可以看出正態分布95%的量都分布在 [-2δs、2δs]之間，冗余的并沒有太大影響。當標準差 δs越小，圖形分布越集中。為了獲取更多的目標像素作為樣本數據，可設定

式中：r為常數經驗值其小于窗口半徑R，與傳統相比，95%的分量都會落在半徑為Rr的區域內，可以有效地解決圖像權重分散、模糊的問題，其余分布在邊緣窗口的像素點主要是參與噪聲的計算。

（2）鄰域灰度標準差

與空間域標準差相比，灰度標準差對雙邊濾波的處理效果具有更大的影響。當標準差值越大，圖像的去噪效果越好，但是圖像清晰度會更差。根據文獻[20]灰度標準差 δr和 噪聲差值 δz存在一定的線性關系，該文獻進行了不同噪聲下圖像灰度標準差的取值，經試驗 δr/δz的比值大致分布在[2,3]之間，為了獲得更多的細節信息，選取 δr=2δz。結合文獻[21]噪聲方差的初步估計，F-NLE 方法在圖像處理中，為了降低紋理邊緣計算時得出的二階導數對初步估計結果的影響，所以采用2 個Laplacian 掩模算子差值N來評估噪聲。

則圖像噪聲標準差的計算 δz表示為

即灰度標準差

以VS2019 為編程實驗平臺，首先取窗口R=4，常數r取1，得出的結果如圖3 所示。通過圖3 中c 和d 相比，改進后的自適應雙邊濾波處理結果與事先設定參數的傳統濾波處理結果極為相似。可以得出，改進后的算法實現了空間域標準差和鄰域灰度標準差的自適應調整，為后面做立體匹配特征提取提供了需求。

2.3 代價計算

經過代價聚合后利用Winner-Take-All(WAT)算法策略，選取最小匹配代價視差值作為初始視差

式中：D表示計算范圍中所有可能的視差值。

2.4 視差后處理

SGBM 算法通過WTA 代價計算后，所得的初始視差圖并非最終結果，還需要進一步的后處理操作剔除異常匹配點。首先，通過視差值進行的置信度檢測，可以去除相差懸殊的代價值；結合亞像素插值使圖像視差更平滑；再以左右一致性測量為準則，判定初始視差圖中的最大誤差像素點，其定義公式為

式中：dl(p)是p點在左視差圖中的視差值，相反dr[p-dl(p)]為右視差圖的視差值，如果通過比較不能滿足公式（15），則視為像素p點所在視差為無效視差值。

3 物件對象處理

3.1 基于外輪廓的形心點定位

采用圓柱工件為驗證對象，結合外觀輪廓形狀以及三維重建后點云模型，選取其上表面中心作為機械手的定位點，對于像素坐標系下定位點 (u,v)的定義求解方式為

為了求解物體中心像素坐標，首先對目標圖像的外輪廓進行二值化處理，其結果如圖5 所示，結合式（16），通過計算可以分別得出左右圖像的像素形心坐標 (ul,vl),(ur,vr)，其兩點形心坐標在實際三維點云模型中即為中心點。

3.2 相機坐標獲取

為了獲取在圖像識別特征配準后，所做標記點Z方向上的三維坐標信息，利用改進算法分別對方形、圓柱形物體進行立體匹配處理。對其視差圖和三維點云如圖6 所示。在物體上選取的5 個特征點為分析對象，以小孔成像原理為基礎，利用像素下坐標信息結合齊次坐標式（17），畸變矯正式（18）以及式（1）計算出物體相對于主（左）相機下的三維空間坐標Xl、Yl、Zl。其中xl、yl為 像素坐標，f為焦距，ul、vl為相機內參數，實驗數據如表1。

表1 標記點相機下三維坐標

3.3 三維點云坐標轉換

根據實際并聯機器人識別分揀系統實驗，防止工作過程中機械手臂、相機之間發生沖突，所以采用Eye in Hand 的方式進行標定。將采樣點得到的坐標信息通過此方法轉換到機器人坐標系下。其轉換公式如下

式中：Rc、Tc分別為相機坐標系到機器人坐標系的旋轉和平移矩陣。將獲得的三維坐標信息通過上位機輸送給并聯機器人，在驅動器下完成物件的定位抓取。其變換后的坐標信息如表2 所示。

表2 標記點機器人下三維坐標

4 實驗結果與分析

4.1 視差圖算法驗證

為了驗證改進后加入梯度信息的代價計算算法，以及自適應雙邊濾波代價聚合算法在SGBM 算法中的真實性，本文先對Middlebury 平臺四組標準圖像進行實驗，然后再應用到實拍圖像上進行分析算法的可行性。以誤匹配率PBM 以及計算時間T來評價表明結果的好壞。其中對PBM 的定義為

首先選取標準數據集中雙目矯正后的Art、Baby、Cloth、Aloe 為實驗對象。其SAD 窗口選擇為9×9，對比的時候其他參數一致,其實驗結果如圖7。

觀察圖7c、d 和e 可以看出，在弱紋理過度區域，本文優化改進算法可以彌補BM、SGBM 的不足，在弱紋理區域能夠把一些邊緣輪廓進行填充，圖中紅色圈僅進行了局部標注說明。本文優化方法及其他兩種算法視差圖計算時間T 如表3 所示、誤匹配率對比如表4 所示。

表3 計算時間對比

表4 誤匹配率PBM

圖7 立體匹配及優化算法實驗結果

由表3 數據可以看出，對標準數據集圖像的測試，改進后的立體匹配算法時間上雖然不及BM，但與傳統算法相比，在計算時間上平均縮短了22.54%。表4 分析可以看出，優化改進后的算法較BM、SGBM 算法誤匹配率更低，平均誤匹配率降低了3.024%，更加接近標準視差圖。

4.2 實際抓取驗證

為了驗證改進后算法的真實有效性，將其應用到并聯機器人中，其實驗結果如圖8 所示。整個系統主要包括：上位機、工控機、拍照系統和機械手等。實驗步驟：首先由相機拍照系統獲取圖像，經改進算法進行處理獲取物體三維重建模型的坐標信息，通過手眼標定將相機坐標系下獲得的信息轉換到機器人坐標系下，應用上位機通信將物體形心坐標信息傳送給并聯機器人。并與BM、SGBM 下總體時間和效率兩方面進行分析對比，從而驗證了本文算法應用在機器人上應用有效可行性。

圖8 實際抓取實驗

圖9 一共統計了20 組方形塊和圓柱塊隨意擺放抓取時的相對誤差實驗數據，分析可以看出，對于表面紋理較為復雜的對象，其相對誤差率平均可以控制在5%以下，對于表面光滑的對象，其相對誤差率平均可以控制在3%以下，較比另外兩種算法有了明顯的改進。

圖9 抓取對象標記點測試誤差分析

5 結語

針對傳統機器人定位抓取中有關相機立體匹配方法的準確率低、匹配時間長問題，提出了一種機器人定位抓取的改進雙目視覺算法。通過實驗對比可以得出，對于弱紋理區域引入梯度信息到SAD算法當中，對于不同像素，通過調整系數K 更好地均分SAD 代價、梯度代價；以自適應雙邊濾波替換人為設置參數，最終得到匹配代價；進而提高三維點云的重建效果，促使機器人完成準確地定位抓取，通過實驗驗證可以將誤差率平均控制在5%以下，具有不錯的應用前景。