機光電實驗教學機械手設計

魏鴻磊, 劉吉偉, 高 騰, 李明穎, 呂 艷

(大連工業大學 機械工程與自動化學院, 遼寧 大連 116034)

機電一體化是一門多領域交叉學科,隨著電子、計算機、自動化等技術的迅速發展,機電一體化技術達到了一個嶄新的水平,在諸多行業中獲得了廣泛的應用,社會對機電一體化復合型人才的需求量也越來越大。

隨著機器視覺技術與機電一體化技術的快速融合,形成了光機電一體化技術,并越來越多地應用到諸如工業檢測[1-4]、自動分揀和定位[5-7]、數控[8]、機器人視覺[9]等實際設備中。另外,很多高校也開設了光機電一體化相關課程,為提高學生實踐和創新能力的培養,需要配套相關實踐環節,但目前市場在售的教學實驗設備大都側重于機電方面,難以提供光、機、電更深層次融合的實驗設備[10-14]。本文利用攝像頭和舵機控制的低成本六自由度機械手組成了一套實驗裝置。該裝置集圖像采集、處理以及利用圖像提取的特征信息對機械手進行控制等功能為一體,可開設較高質量的綜合性、創新性實驗,提高光機電一體化的教學效果(見圖1)。

圖1 實驗裝置

1 視覺圖像采集與處理

通過攝像頭采集圖像對機械手進行控制,首先要獲取圖像。通過對圖像進行處理,提取目標的位置,并引導機械手進行抓取。本文視覺圖像的處理過程主要包括圖像采集、灰度化、二值化、目標邊界提取以及目標中心定位等幾個步驟。

1.1 圖像采集與灰度化處理

采用VS2012平臺及機器視覺軟件OPENCV實現對視頻圖像的實時捕捉和處理。為便于進行圖像處理方法的教學,OPENCV軟件僅用于圖像采集、顯示及存儲等操作,而對于各圖像處理步驟要求學生通過編程實現。對采集到的原始實驗圖像(見圖2(a)),首先將彩色圖像轉化為灰度圖像,以便于進一步的處理。圖像灰度化需要讀取每個像素的R、G、B三色,然后再利用公式(1)計算灰度值。

Y=0.299R+0.578G+0.114B

(1)

從圖2(a)中分割出目標圖像,經灰度化處理后的結果可見圖2(b)。

圖2 原始圖像和灰度化目標圖像

1.2 二值化

為方便目標物邊界的提取,需要將灰度圖像二值化,即轉換為黑白兩色。首先對原始圖像作中低通濾波,降低或去除噪聲,然后計算圖像的灰度均值,將像素的灰度值大于均值的設成白色,即灰度為255；小于均值的設成黑色,即灰度為0。這樣處理后的圖像就只有黑白兩色,從而將灰度范圍劃分成目標和背景兩類,二值化結果如圖3所示。

圖3 二值化后圖像

1.3 邊界的提取

為提取目標物的邊界,首先對二值化圖像采用3×3模板進行逐點掃描,模板組成如圖4所示。如果點P1的8領域內的點(P2—P9)全是黑點,即像素值為0,則認為當前點P1為非邊界點,并進行記錄,圖像掃描完畢后,將記錄的非邊界點全部轉化為白點,利用該方法處理完畢后的圖像僅剩下目標物體邊界線和噪聲點的邊界線。

圖4 3×3模板

對邊界線進行逐點搜索,如果發現某點是黑點,標記其為已被追蹤過的點,然后從這一點開始,在其8領域內繼續搜索下一個黑點。如果最終能追蹤到一條閉合的曲線,則將這些邊界點坐標記錄到數組中。采用該方法一般可得到3個或更多的邊界點數組。對得到的邊界數組進行有效性驗證,優選出目標物的邊界點,如圖5所示。

圖5 扇貝邊界線提取后圖像

1.4 目標定位

計算邊界數組中每2個像素點之間的距離,取其中最長的距離為目標物體的最大尺寸,從而實現目標物體的識別。設數組中距離最遠的2個點分別為A(u1,v1)和B(u2,v2),通過公式(2)計算出目標物在圖像空間的坐標。

(2)

設定機械手底盤旋轉中心為零點坐標,機械手的水平旋轉電機O的0°角方向為正X軸,如圖6所示。

圖6 圖像坐標系

由于圖像空間中的物體的長度和實際空間中的物體長度之間近似成正比關系,因此同一個點在圖像空間坐標(u,v)和實際空間坐標(x,y)之間可按公式(3)進行轉換。

(3)

其中k是實際基座寬度,l是圖像空間中的基座寬度。(u,v)和(u0,v0)分別是圖像空間中目標物的坐標和機械手底盤旋轉中心的坐標。

2 基于視覺的機械手控制

攝像頭安裝在機械手與要抓取目標物體的正上方,可觀測到全局的目標物體特征。根據從采集圖像中提取的信息,控制機械手2個伺服電機關節實現對目標物體的分級抓取,其過程如下。

2.1 機械手旋轉到目標的正上方

首先驅動關節A的電機將機械手從初始位置移動到目標抓取物的正上方,移動后的機械手在XY平面上的投影圖如圖7所示,其中坐標原點處有兩個關節電機O和A,分別驅動機械手大臂實現平行于XY平面的旋轉和垂直于XY平面的旋轉,關節電機C驅動機械手小臂實現機械手在垂直于XY平面方向旋轉。

圖7 XY平面投影圖

圖中虛線OC1為機械手臂在沒有運動前在XY平面上的投影,實線OC為機械手移動到目標抓取物上方時在XY平面內的投影,M為抓取目標,θ為伺服電機O應該旋轉的角度。

由于旋轉中心的初始位置為圖像坐標原點,目標的坐標可由圖像處理獲得,則可根據目標的圖像空間坐標確定電機O的旋轉角度θ,如圖8所示,

圖8 三角形示意圖

則伺服電機A應該旋轉的角度θ為:

(4)

2.2 機械手實施抓取

機械手移動到目標抓取物上方后,通過驅動關節電機A和C的角度旋轉實現機械手對目標物的抓取。如圖9所示,機械手伺服電機A、伺服電機C和目標物M可構成一個三角形,其中大臂AC和關節C到機械手手爪的距離可通過實際測量得到,即AC和CM已知,而M點的坐標可由公式(3)求得,因此A從M可知,角度?和β可由公式(5)和(6)計算得到。

圖9 三角形示意圖

(5)

(6)

3 實驗

該實驗裝置的控制系統分為2個模塊,第一個模塊完成對攝像頭采集的圖像進行處理,識別扇貝的類別,并提取其位置坐標；第二個模塊根據目標物的位置實現抓取。為驗證本文算法的有效性,采用50個扇貝進行分揀實驗,部分樣本如圖10所示。根據扇貝的尺寸分為大、中、小3類,并分別標為1、2、3,如圖11所示。

圖10 部分實驗扇貝樣本

圖11 扇貝分類示例

由于光線影響較大,實驗共做了3組,每組進行50次抓取實驗。分別是上午10時、下午15時以及夜間20時。其中上午和下午是自然光,晚間用的是18W的LED燈照明,抓取正確率如表1所示。其中,上下午自然光條件下正確率較高,而夜晚燈光照明條件下正確率較低,主要原因是自然光條件下成像更清晰、圖像處理更準確,錯誤的原因主要是尺寸估計不準確。而在夜間照明情況下,由于機械手遮擋、陰影等原因造成視覺定位不準確(6例)及尺寸估計不準確(3例),導致抓取失敗。圖12是實際的抓取過程示例。

表1 實驗結果

圖12 扇貝抓取的過程

4 結語

本文對機械手的控制系統進行了研究。對通過攝像頭采集的圖像進行灰度化、二值化處理,并提取目標物邊界,然后提取出目標的坐標和尺寸信息,據此控制機械手關節電機實現對不同大小的目標物進行分揀。教學實踐證明,利用該實訓系統,可有效提高光機電一體化知識的學習效果,加強對學生的動手能力和創新能力的培養。