微米級機器人視覺空間標定與目標定位算法與在自動包裝技術中的應用

馬麗雅，吳自然，吳桂初

（溫州大學 數理與電子信息工程學院，溫州 325000）

0 引言

為了減少工人在工業自動化生產流水線上的重復勞動，越來越多的工業機器人加入到工業生產的過程中來。引入機器視覺技術使得工業機器人朝著更加智能化和柔性化的方向發展，極大的提高了生產效率。當前用于自動生產線上的工業機器人大多都是利用離線編程的方式來使機器人完成動作，雖然這種方式可以提高工業自動化的水平，然而卻沒有達到人們所期望的智能化工業生產。為了能夠實現智能化的自動包裝生產，工業機器人必須要知道在傳送帶上的待包裝工件的實時位置信息，因此需要將圖像傳感設備在安裝在工業機器人，從而可以獲取外部圖像信息，使其增強自適應性來滿足包裝或分揀種類眾多工件的要求[1]。柔性化制造要根據包裝紙對象尺寸變化來移動相機的位置，所以需要在線重新標定。因此和傳統的機器人分揀和包裝作業相比較，使用機器視覺的工業機器人對于目標物體的識別和定位有著極其重要的意義[2]。

本文以紙盒為抓取對象，然后利用工業機器人把紙盒放置在包裝紙上，通過包裝紙上的膠水粘合從而完成包裝，當前制造業要求包裝紙和紙盒之間的誤差僅有幾十微米，所以紙盒定位準確對于包裝來講十分重要。機器視覺技術的研究在國外已經從實驗室階段走向了成熟，且廣泛應用于實際生產生活中，例如ABB公司的IRB340工業機器人在Flex Picker視覺系統的引導下，可以在傳送帶上抓取工件并放到預先指定的地方[3]。但是在實際應用中一直存在著些還未解決的問題，比如在復雜的生產環境下，視覺系統容易受到光照和粉塵等因素的影響，使工業相機在識別工件時的識別算法的普適性和實效性受到一定的影響[4]。近些年來，我國工業機器人取得了很大的進展，例如天津大學黃田教授發明了Diamond機構的平面Delta機構[5]。李淵等人提出了基于機器視覺的紙盒包裝定位方法，以區域中心為特征點確定感興趣區域，綜合中值濾波Canny算子、總體最小二乘法等方法檢測直線，計算修正位移和角度，克服包裝過程中光電跟蹤定位不準確的問題[6]。

1 目標識別與定位系統工作原理

系統原理圖如圖1所示，系統工作流程為：攝像機固定在工作臺上方，包裝紙從傳送帶的下側進入攝像機視覺，通過圖像處理算法找到包裝紙的角點并判斷是否為待抓取紙盒，如果確定為待抓取紙盒，則機械臂使用吸盤，將紙盒運送到包裝紙的位置。包裝紙主視圖如圖2所示，P0點為包裝紙中心點，P1和P2點為包裝紙的角點，利用這兩個角點可計算出包裝紙的中心點，從而利用機械臂將紙盒放在包裝紙上。

圖1 系統原理圖

圖2 包裝紙主視圖

2 系統組成

2.1 系統硬件

1）相機：考慮到目標尺寸大小約為55mm×40mm，其定位精度不高于0.025mm/像素，可以計算出所需的相機靶面短邊的像素為40/0.025=1600，長邊的像素為55/0.025=2200。最終選用的是500萬像素的德國Basler Aca2500-14gm工業相機，其分辨率為2592×1944。在選用此型號的相機后，測得定位精度可達到0.0218mm/像素，實際目標尺寸為55mm×42mm。該相機的特點是分辨率高，精度高，圖像質量穩定、傳輸能力高。高分辨率可以保證被檢測產品始終保持在相機視野范圍之內。使用千兆以太網與計算機通訊，相機安裝在傳送帶正 上方。

2）鏡頭：目標尺寸大小為55mm×40mm，又根據相機到物體的距離大于800mm，可以計算出放大倍率α與鏡頭焦距f，圖像的高度為Hi，目標高度為Ho，目標與鏡頭的距離為Do，放大倍率 =Hi/Ho=4.3 m m/（1944×0.025）≈0.088。鏡頭焦距f=Do/(1+1/α)≈65。通過查詢對應的鏡頭參數與選型原則，選用的是型號為HF75SA-1的長焦鏡頭，該鏡頭焦距75mm，光圈F1.8，具有低畸變、抗震性能好等特點。

3）光源：使用的是高均勻性條形白色照明光源，特點為具有更高的均勻性，更高的亮度。起照明作用的光源對機器視覺系統十分的重要，是影響機器視覺系統的至關重要的因素[7]。

4）機器人：采用Epson的LS6-602S型SCARA機器人，該機器人具有4個自由度，SCARA機器人具有結構緊湊、工作空間大、操作靈活等優點外同時還具有較高的重復定位精度和較好的性價比。末端重復定位精度達到0.017mm，編程方便，適合用于生產線上抓取作業。

5）末端執行器：末端執行器采用吸盤、真空發生器、電磁閥、氣管和氣泵。

6）傳送帶及包裝對象：由伺服電機進行驅動，包裝對象為紙盒。

(4)赤佬頂銻多金屬礦田已知礦床(點)密集，且分布范圍廣，礦床類型均為銻、汞等低溫熱液礦床，勘查深度較淺。其中最具規模的赤佬頂銻礦床的主礦體賦礦標高為409～134m，目前最深開采標高至+170m左右。推測該礦田受隱伏巖體和構造的控制，區域重、磁異常規模大(數十平方千米)，電磁法剖面反映隱伏巖體埋藏深(-600m標高以下)，顯示該地帶找礦空間廣闊，具備尋找中大型中-高溫熱液礦床的條件，是本區最具找礦前景的區域，有望成為粵北地區又一重要的多金屬礦集區。

2.2 關鍵技術

2.2.1 攝像機標定

標定板為兩個正方形中心各自有一個圓，利用其圓心點來進行標定。使用該類的模板的有點是，由于圓心坐標是通過霍夫變換累加計算，可以消除實際工作中灰塵顆粒的干擾。因此這種標定版的魯棒性好，不易受到干擾，標定板如圖3所示。標定的步驟為：首先移動工業機器人到達標定板中的目標位置且多次移動機械手的位置，獲得目標點在機器人坐標系中的位置。接著第二步是利用相機拍照成像，對圖像分析處理，獲得目標點在相機坐標系中的位置。然后利用相機和機器人坐標系中的目標點位置，計算出從相機坐標系到機器人坐標系的轉換參數。最后一步是利用標定中獲得的參數，對相機中給定的像素點坐標機器人坐標系中的坐標，并發送給工業機器人，從而工業機器人能夠移動機械臂到達指定位置。

圖3 標定板

攝像機標定的目的是為了求解模型的參數，然而參數是相對于模型的，所以需要確定攝像機的成像模型[8]攝像機標定采用線性攝像機模型標定，使用線性方程來求解，簡易且快速，在計算機視覺領域是研究的熱點之一[9]。攝像機標的關鍵是實現世界坐標系（xw，yw，zw）坐坐標系（u，v）之間的轉換。使機器人坐標系中的點和圖像平面中的點一一對應。各個坐標系的關系如圖3所示。因為攝像機是固定在傳送帶的正上方，所以不用考慮視覺系統繞x軸和y軸的旋轉，這里只需要考慮繞z軸的旋轉。為了得到圖4中與機器人坐標系平行的圖像坐標系，需要進行坐標轉化得到圖像坐標（u，v），如圖5所示，轉換關系為：攝像機坐標系（x，y，z）中的物點P在圖像物理坐標系（X，Y，Z）中像點Pu的坐標關系下：

f為焦距，即圖像平面到投影中心的距離。

圖像物理坐標系與圖像像素坐標系的關系如下：

dx，dy分別為一個像素在X與Y方向上的物理尺寸，u0，v0是圖像中心（光軸與圖像平面的交點）坐標。使用齊次坐標表示為：

sx為X方向上的采樣頻率，sx=1/dx，即單位長度的像素個數，sy為Y方向上的采樣頻率，sy=1/dy。

式(5)中，矩陣T=[txtytz]T是世界坐標系的原點在攝像機坐標系中的坐標，矩陣R是正交旋轉矩陣，其矩陣的元素滿足：

攝像機外部參數共有六個，其決定了攝像機光軸在世界坐標系中的空間位置，在正交旋轉矩陣中有3個獨立變量，再加上tx，ty，tz。

聯立上述式(1)、式(3)、式(4)，可以得到如下像素坐標系和世界坐標系的關系：

為使計算方便，建立機器人原點及坐標系與世界坐標系的原點及坐標系重合。利用標定板的兩個圓心點在機器人坐標系中的坐標與圖像坐標系中的坐標，將上述參數計算出來，標定過程完成。

圖4 標定系統坐標系

圖5 坐標轉換圖

2.2.2 霍夫變換

Hough變換檢測直線的基本思想是點-線的對偶性[10]。在極坐標系中畫出所有通過點（x0，y0）的直線，會得到一條正弦曲線[11]。對同一條直線上的不同點畫在極坐標系中，得到的曲線將會在θ-ρ平面相交，這就說明了一條直線能夠通過在θ-ρ平面中相交的曲線個數來檢測，相交的曲線個數越多，說明這個直線由越多的點組成，可以通過設置曲線的閾值來判別是否檢測到直 線[12]。本實驗的視覺檢測對象為包裝紙，放置在傳送帶上的包裝紙的角點特征不明顯（如圖6所示），這是由于在生產包裝紙的過程中造成，所以需要利用霍夫變換檢測到的直線之間的交點來找到包裝紙真正的角點（如圖7所示）。

圖6 帶檢測圖

圖7 直線檢測角點圖

圖8 軟件流程圖

2.3 工業機器人控制軟件實現

本系統是使用C#在Visual Studio 2015環境中編寫，使用WPF設計軟件界面，方便工人操作，同時作為一個開發框架，方便未來識別新的對象，實驗新的算法。尋找圖像角點的動態鏈接庫使用的編程語言為C++。軟件實現流程圖如圖8所示，首先啟動機器人與PC通信和打開相機拍照，然后調用圖像處理模塊和坐標轉換函數得到包裝紙的角點坐標，工業機器人接受到坐標后，在紙盒存放區域吸取紙盒，再放置到包裝紙上。重復上述過程實現生產線中的自動包裝。經過軟硬件調試，本實驗系統順利的完成了“識別包裝紙點-抓取紙盒-放置紙盒”的過程。實現工業機器人相應的動作之前，需要在工業機器人與視覺處理之間建立相應的通信接口，通信接口有Socket通信、調用視覺處理函數。基于Windows系統搭建了相關設備之間的通訊聯系，客戶端是工業機器人控制器，服務端是PC機，利用Socket通信實現服務端與客戶端之間的通訊。本文采用的是將視覺處理程序封裝為動態鏈接庫，在相機采集圖像的程序中調用庫函數的方法。

2.4 圖像的分析處理

由于現場采集環境伴隨著光照不均、背景干擾等影響，因此采集圖片時常會因為各種因素使得效果不理想，導致圖像處理環節的質量下降。根據所獲圖像的特點進行圖像預處理，降低各種因素的干擾帶來的影響，以便于后期包裝紙角點的提取[13]。首先判斷采集到的圖片（如圖9(a)所示）是否為單通道，若是，則不需灰度化，否則先對圖像進行灰度化。考慮到圖像在采集過程中可能會受到外界的影響，所以要對圖像進行濾波處理來減少這些噪音對圖像質量的影響[14]，然后再通過二值化轉化為黑白圖像，二值化時采用的是基于灰度直方圖的自動閾值選擇方法[15]。圖像的數據經過二值化處理后大大減少，更加凸顯包裝紙角點區域的邊緣，如圖9(b)所示。接下來進行邊緣提取，得到圖像的邊緣圖，如圖9(c)所示。特征識別和提取是角點定位的關鍵步驟，提取的特征是都合理將會對后續結果又重要的影響。邊緣提取的方法采用的是Canny算子提取邊緣[15]，Canny算子使用高斯函數對圖像進行平滑處理，通過搜尋圖像梯度的局部極大值來確定目標的邊緣。并且Canny算子不易受噪聲的干擾，適用于不同的場合來檢測到弱邊緣且邊緣連續性較好。如圖9(c)所示。由于我們只需得到角點坐標，因此可以提取感興趣區域即可，即ROI區域。接著在利用霍夫變化提取直線，利用直線的交點從而找到角點，如圖9(d)所示。

圖9 圖像的分析處理示意圖

本文中所述的目標對象是包裝紙，在對包裝紙定位的過程中，首先需要確定圖像坐標系的偏轉角度，利用機器人末端執行器與相機，分別找到標定板（如圖3所示）中兩個正方形的8個頂點在機器人坐標系中的坐標與圖像坐標系的坐標，計算出正方形內圓的圓心在機器人坐標系中的坐標M1和M2，并利用霍夫變換計算出在圖像坐標系中的坐標C1和C2，即可計算相機偏移角度θ，接著利用相機采集包裝紙的圖像，利用霍夫變換算法來尋找包裝紙的角點坐標Co，再利用式(1)～式(7)將圖像坐標轉化為機器人坐標系下的坐標Mo。最后機械臂使用吸盤將紙盒放置在相機找到的位置。如圖10所示為識別與定位的流程圖。

圖10 識別與定位流程圖

3 實驗

在對包裝紙定位的過程中，首先可計算出M1（48.789，317.625）、M2（28.538，296.676）、C1（929，1428）、C2（1900，501），相機偏移角度為θ=2.35°，接著利用相機采集包裝紙的圖像，利用霍夫變換算法來尋找包裝紙的角點坐標Co（666，822），再利用式(1)～式(7)將圖像坐標轉化為機器人坐標系下的坐標Mo（53.99，304.323）。最后機械臂使用吸盤將紙盒放置在相機找到的位置。

為了驗證系統的穩定性與準確性，進行了10次實驗。表1為視覺定位結果與機器人末端實際位置對比，本實驗取得了預期的效果。坐標（x，y，z）中x表示機械臂末端在機器人坐標系中X軸分量，y表示機械臂末端在機器人坐標系中Y軸分量，z表示機器人末端裝置端相對原始位置下降的距離。可以計算10組數據中視覺定位坐標與實際機器人末端坐標之間的歐式距離ρ作為誤差，十組數據的誤差的均值為0.031。實驗結果表明該系統的測量誤差均在企業要求的0.05mm范圍之內，很好的滿足了工業應用的要求。

4 結語

根據實驗結果可以看出，在圖像的分析處理階段，圖像的角點在尋找過程中難以確定，所以最后選擇了活霍夫直線來檢測，可以使實驗結果更加合理。本文基于機器視覺的包裝紙盒定位抓取系統進行了研究，并實驗驗證了本系統的可靠性，解決了包裝紙盒自動包裝的問題。實驗證明，該系統具有較高的定位精度，提高了生產效率和系統柔性，滿足工業生產的要求。基于機器視覺的機器人的高效作業替代了繁重的體力勞動，提高了自動化水平和作業質量，機器人自動分揀將會越來越廣泛的應用于生產領域。

表1 視覺定位結果與機器人末端實際位置對比