基于雙目視覺的機器人快速示教系統*

潘海鴻，楊竑宇，田 碩，梁旭斌，陳 琳

(廣西大學機械工程學院，南寧 530004)

0 引言

隨著機器人技術的不斷發展，工業機器人已經在人類社會的工業生產領域當中占據著舉足輕重的地位。普通工業機器人在運動前需要經過示教，目前傳統方式是示教再現[1-2]和離線編程[3-5]。示教在線方式需要反復調整機器人末端執行器位姿，整個示教過程耗時耗力，降低機器人的工作效率，并且操作人員在機器人運動的同時要靠近機器人觀察，存在人身安全風險。離線編程方式安全性較高，但需要根據不同的工件單獨建立模型，面對多變的工件種類和加工需求，繁重的前期工作使生產效率有所降低。

針對上述傳統示教方式的缺點，許多學者將雙目視覺技術與機器人示教相結合以提高示教效率。文獻[6]提出一種基于雙目相機的立體視覺示教方法，基于模糊集理論對機器人進行重復運動控制，直到機器人到達指定的示教點。文獻[7]在示教過程中采集物體的雙目視覺圖像，通過數字圖像處理方法提取物體邊緣，計算物體中心三維坐標，通過維度變換的空間擬合差值方法，生成示教路徑。上述方法主要通過圖像處理和數據優化的方式對加工路徑進行分析和計算，提高示教效率，但是缺乏機器人末端工具姿態數據來源，在實際應用上有一定局限。為此，文獻[8]提出利用雙目視覺系統連續拍攝帶有標定物的示教手柄圖像，記錄手柄運動軌跡。該方法將示教手柄在相機坐標系下的位姿信息轉換到機器人基坐標系實現復雜軌跡復現。但該方法不具有通用性，要求機器人末端執行器與示教手柄外形一致。文獻[9]提出基于視覺引導的工業機器人示教編程系統，利用帶有標定物的示教工具進行連續示教并轉化為機器人運動指令，實現示教軌跡復現。文獻[8-9]使用“眼在手外”[10]的方式搭建視覺系統來觀測示教工具，一旦系統完成標定后，機器人和視覺系統都不能夠移動，這在一定程度上限制機器人的示教空間和運動范圍。

針對上述雙目視覺技術在機器人示教中應用的局限性，提出將雙目視覺模塊安裝在機器人末端工具上，形成“眼在手上”模型的機器人快速示教系統。研究快速示教系統坐標系變換關系，對設計的手持示教裝置采用最小二乘法進行標定，最后使用該系統進行快速示教復現實驗和移動示教實驗。

1 雙目視覺示教系統

1.1 雙目視覺測距原理

雙目視覺結構基于人類雙眼觀察外界的原理[11]，將同一目標在兩個攝像機下的圖像信息進行處理和計算，使用三角視差法計算目標在雙目立體視覺系統中的深度信息，從而獲取目標在三維立體空間中的位置、形狀和姿態等信息。

在平行雙目視覺系統結構中，兩相機平行放置，兩相機的坐標系僅存在一次平移變換。如圖1a所示，左右相機兩光心之間的連線b稱為基線，投影點PL和PR之間的坐標差值d稱為視差，使用視差d和相似三角形原理，計算點P在平行雙目立體視覺系統中的三維坐標信息。

(a) 成像平面移動前 (b) 成像平面移動后圖1 平行雙目視覺模型

圖中，坐標系oL-xLyLzL和oR-xRyRzR分別是兩相機以光心為原點的相機坐標系。兩相機平行放置，兩相機光軸平行，即坐標系oL-xLyLzL和坐標系oR-xRyRzR平行。圖1a中的A平面和B平面分別為左右相機的成像平面，點P(X,Y,Z)在左右相機的成像平面上的投影點分別為PL(XL,YL,ZL)和PR(XR,YR,ZR)。為求得視差d，將右相機的成像平面平移至左相機成像平面，使兩成像平面重疊，獲得PR在左相機成像平面上的投影點PR′(如圖1b)，則有：

d=XL-XR

(1)

ZL=ZR=f

(2)

式中，f為相機焦距。

為求得P點在雙目視覺坐標系下的三維坐標信息，設K為右相機成像平面的平移位移，即兩相機光軸之間的距離(基線長度b)。f和K均通過雙目相機參數標定獲得，根據相似三角形定理，視差d與深度Z之間的關系為：

(3)

同理，點P的X和Y為：

(4)

1.2 雙目視覺示教系統坐標轉換

雙目視覺示教系統主要包括機器人，雙目視覺模塊，手持示教裝置，存在5個坐標系，如圖2所示：BCS(機器人基坐標系)、TCS(機器人末端夾持工具坐標系)、CCS(雙目視覺坐標系)、SCS(黑白方格棋盤坐標系)和PCS(手持示教裝置末端坐標系)。其中，BCS是以機器人本體底座中心位置為原點構建的坐標系，也是機器人運動的參考坐標系；TCS是以機器人所夾持的工具末端點為原點的坐標系；CCS是以雙目視覺系統中左相機的光心為原點所構建的坐標系；SCS由黑白方格棋盤的內角點結合角點之間的幾何關系構建；PCS是以手持示教裝置位姿測量桿件末端點為原點的坐標系。

圖2 雙目視覺示教系統坐標系示意圖

5個坐標系及其坐標轉換關系示意圖如圖3所示。可知5個坐標系構成運動閉合鏈。T5為BCS到PCS的位姿變換，如式(5)：

T5=T1·T2·T3·T4

(5)

式中，T1為BCS到TCS的位姿變換關系；T2為TCS到CCS的位姿變換關系，即手眼關系[12]；T3為CCS到SCS的位姿變換關系；T4為SCS到PCS的位姿變換關系。

圖3 坐標變換關系圖

根據T5可求得手持示教裝置位姿測量桿件末端(即示教點)在BCS下的位置和姿態信息，用于后續實現示教點的位姿復現。

2 手持示教裝置參數標定

圖2中手持示教裝置上包含兩個坐標系，分別為SCS和PCS。標定目的是確定SCS與PCS之間的位姿變換關系T4，若直接使用設計尺寸確定兩坐標系之間的旋轉平移變換關系將存在較大誤差。因此，提出一種SCS到PCS的平移向量標定方法，結合SCS到PCS的設計旋轉角度(0～90°)計算T4，標定步驟如下：

步驟1：獲取視覺標定板的角點三維坐標信息：將視覺標定板平鋪放置在雙目視覺有效視場范圍內，計算獲取視覺標定板的所有角點在雙目視覺坐標系下的三維坐標信息；

步驟2：求解T3：隨機選取視覺標定板上的多個角點(至少3個)，使手持示教裝置末端依次對準所選擇的角點，同時采集手持示教裝置上黑白棋盤方格圖像；計算黑白棋盤方格的角點信息，采用“三點法”構建位姿矩陣原理獲得T3:

圖4所示的黑白方格棋盤3個內角點分別為P1、P2、P3，在CCS下的坐標記錄P1、P2、P3，記作P1(x1,y1,z1)、P2(x2,y2,z2)、P3(x3,y3,z3)；根據三點的空間坐標構建在CCS下的空間向量，以點P1為公共點，點P2和點P3分別與點P1構成向量，且兩向量互相垂直，形成SCS的X、Y軸(式(6)和式(7))，根據右手直角坐標系確定Z軸(式(8))。

Xw=(x2-x1,y2-y1,z2-z1)

(6)

Yw=(x3-x1,y3-y1,z3-z1)

(7)

(8)

將向量Xw、Yw、Zw化為單位向量，建立SCS相對于CCS的旋轉矩陣R為：

(9)

最后將點P1坐標值(x1,y1,z1)設為特征識別單元坐標系的原點，即該坐標系的平移向量，最終構建出CCS與SCS之間的位姿變換矩陣T3為：

(10)

圖4 黑白方格棋盤

步驟3. 求解T4：設CCS下SCS到PCS的平移向量為Tg，則：

(11)

(12)

將i個標定點在CCS下的位置信息帶入式(12)，得：

(13)

由SCS與PCS的旋轉關系確定旋轉矩陣Rt。構建PCS時沿SCS的Y軸做一次旋轉角為45°的旋轉變換，則Rt如式(14)所示：

(14)

3 實驗驗證

3.1 視覺示教系統搭建

搭建雙目視覺示教系統實驗平臺，包括川崎RS010NA型工業機器人、雙目視覺模塊，進行示教復現測試，視覺系統參數見表1。

表1 視覺系統參數

雙目視覺的機器人快速示教系統示教過程：①通過按鈕切換到所需的軌跡擬合模式；②在雙目視覺模塊的有效視場范圍內，操作手持示教裝置對準設定點，進行設定點的位姿示教；③雙目視覺系統捕捉手持示教裝置在示教時的圖像并計算位姿測量桿件末端位姿信息，并將位姿信息轉換到BCS下，形成機器人運動路徑信息；④根據所選的軌跡擬合模式和示教點信息進行路徑規劃，形成機器人運動代碼并控制機器人復現示教，完成機器人快速示教。此外，在超出視覺系統視野范圍的示教需求場合或為減少因視野邊緣存在較大畸變而造成示教精度低的影響，可通過操作機器人移動至新的位置，使手持示教裝置在視覺視野中央范圍內進行示教，如圖5所示。

(a) 移動前 (b) 移動后圖5 移動示教

3.2 示教復現測試

在空間中選取示教點，使用手持示教裝置對準設定點進行示教，再使用機器人進行示教位姿復現，具體流程如下：

在空間中選取25點，將它們從靠近相機視野中心到遠離相機視野中心排列，并依次記為Qi(i=1,2,…,25)。使用手持示教裝置對準Qi，并記錄下此時機器人上位機顯示的末端位置信息XiYiZi；然后使用機器人進行示教復現，測量機器人復現位置與示教點位置之間的誤差，如圖6所示。機器人末端焊絲的直徑為1.2 mm，取焊絲中心為機器人末端點，使用塞尺進行誤差測量，結果如圖7所示。

圖6 示教復現誤差測量

圖7 X、Y、Z方向誤差

通過示教復現測試數據可知，示教點的位置XYZ與機器人示教復現位置X′Y′Z′之間的平均距離誤差為2.427 mm，表明所提出的雙目視覺示教系統的原理是正確的。同時，從實驗結果可知靠近相機視野中心的設定點位置復現誤差較小，遠離相機視野中心的設定點位置復現誤差較大。這是由“相機畸變”導致的，遠離相機視野中心的畸變較大。為此，提出采用移動示教對誤差較大的設定點(10個點)進行第二次測試，減小相機畸變對實驗結果的影響：移動機器人位置，使手持示教裝置處于相機視野中央范圍內并示教復現，結果如表2所示。

表2 移動示教后的復現誤差

圖8 移動示教前后25個點的位置誤差

圖9 移動示教前后25個點的平均誤差

如圖8、圖9所示，對比機器人不動的固定示教和機器人移動的移動示教測試結果可知，經移動示教后25個點的復現位置誤差明顯下降：X方向平均誤差下降10.7%，Y方向平均誤差下降36.7%，Z方向平均誤差下降22.1%，平均位置誤差下降25.3%。實驗結果表明移動示教對示教復現精度存在一定的優化效果，可減小因“相機畸變”帶來的影響。

4 結論

基于雙目視覺提出一種機器人快速示教系統：

(1)設計一種模擬真實焊槍的手持示教裝置并基于最小二乘法完成參數標定，解決目前示教工具方法通用性不足的問題。該手持示教裝置能夠充分利用人手的靈活性，迅速、直觀地確認示教點的位姿信息，減少工業機器人示教所需時間。

(2)視覺示教位姿復現實驗結果表明，經過快速視覺示教后，機器人示教復現位置平均誤差為2.427 mm；通過移動示教后，平均位置誤差下降25.3%，該系統具備可行性，且移動示教可提高復現精度。