基于智能傳感器的工件抓取系統研究

蘇波 鄭孟州

摘要：自動化生產線產品檢測時，為快速獲取產品的三維位姿參數，提出一種基于智能傳感器的單目視覺工件位姿獲取方法。通過HALCON軟件中3D表面匹配算法，對機器人和智能傳感器系統進行標定，運動平臺帶工件作平移運動，智能傳感器掃描測量，獲取工件的輪廓點云數據，利用軟件完成物體的三維點云信息處理和模型的三維重構，確定工件位姿。試驗結果表明，該方法可以快速測量，數據可用于機器人抓取。

關鍵詞：智能傳感器;三維重構;手眼標定;表面匹配

Research on the Workpiece Grabbing System Based on Intelligent Sensor

SU Bo，ZHENG Meng?zhou

（School of Electrical Engineering and Automation， Henan Polytechnic University， Jiaozuo 454000， China）

Abstract：In order to complete the task of product testing in the automated production line and quickly obtain the three?dimensional pose parameters of the product， a method of obtaining the pose of the monocular vision workpiece based on the smart sensor is proposed. Through the 3D surface matching algorithm in HALCON software， the system composed of robot and intelligent sensor is calibrated. The moving platform with workpiece for translational motion， intelligent sensor scanning and measurement gets the contour point cloud data of the workpiece， and completes the 3D point cloud information processing of the object by software.The three?dimensional reconstruction of the model to determine the pose of the workpiece is completed. The experimental results show that this method can achieve fast measurement and the data can be used for robot grasping.

Key Words：smart sensor; 3D reconstruction; hand?eye calibration; surface matching

0?引言

人工質檢精度檢測失誤率高、效率低，已不能適應自動化生產需要。機器視覺理論提出利用機器人代替人眼作測量和判斷，有效提高了生產效率，已被廣泛應用。在機器視覺近20年的發展過程中，受圖像攝取技術和數據處理技術限制，機器視覺系統普遍基于二維視覺技術[1]。但二維視覺不具有深度信息，因此研究機構圍繞三維目標數字化這一課題開展了大量研究工作。隨著三維圖像攝取技術和數據處理技術的飛速發展，3D視覺技術成為計算機視覺領域發展焦點[2]。在機器人3D視覺領域，存在普通相機使用不便和魯棒性差等問題，智能傳感器測量系統能有效解決上述問題，成為重要的非接觸測量方式之一。

基于相機的視覺系統，專家提出了許多標定方法，但智能傳感器和相機結構上的區別限制了這些方法的通用性。人們都知道標定精度會嚴重影響智能傳感器的測量精度[3]，為此進行了許多探究，但仍沒有通用的傳感器標定方法。有學者提出根據空間定點進行標定，但仍需要標定靶[4]，增加了標定難度和成本。為解決上述問題，本文設計了基于智能傳感器的工件位姿視覺測量系統[5]，提出使用表面匹配進行傳感器和機器人系統的標定，通過智能傳感器掃描測量工件，獲取工件位姿信息。通過以太網向機器人發送指令完成抓取任務。系統不需要特定靶物，只要對待測物體進行標定即可實現手眼系統標定，較好地解決了上述問題。

1?系統總體設計

系統主要由3D智能傳感器、運動平臺、Articulated 機器人以及PC機組成，設計原理如圖1所示。為保證測量結果的準確性，智能傳感器選擇至關重要。生產車間環境差、存在較多干擾，而且需要根據產品型號調整檢測的視野范圍。經過對比智能傳感器產品，本文選擇由加拿大LMI 公司生產的Gocator2350作為系統傳感器。Gocator2350智能傳感器采用工業級設計，專門針對生產車間的嚴苛使用環境，易于集成，內置多種工具。集激光發射器和相機成像測量裝置為一體的智能激光傳感器，使用方便、獨立性強、拓展性好，裝置緊湊體積小質量輕，可固定在狹小空間內或機械臂上，是抓取系統的理想選擇。Gocator2350參數如表1所示。

采集數據時需要工件相對于傳感器做平移運動，系統將傳感器固定于工件上方，通過運動平臺帶動工件移動。系統選用傳感器運動采集模式，包括時間運動采集和編碼器運動采集兩種。時間運動采集不需要使用編碼器，每隔相同的時間采集一次信息，此方法對物體的運動速度有較高要求;編碼器運動采集通過脈沖觸發采集，運動平臺對速度的控制精度要求不高，所以本文選用編碼器運動采集模式。當運動平臺帶動工件運動時，編碼器發出與運動同步的觸發信號，智能傳感器接收同步信號，發射出線激光并開始采集圖像。激光掃描和圖像采集同步完成，從而保證圖像不會因為物體的運動速度變化而變形。按照傳感器使用手冊完成傳感器的安裝和接線后，可通過Web瀏覽器訪問界面進行各類相關參數的設置。

工業生產中常用的機器人有Articulated Robot[6]和SCARA Robot[7]兩種。Articulated機器人的臂通常覆蓋6自由度的3個旋轉接頭（3個平移和3個旋轉），而SCARA機器人通常具有3個平行的旋轉接頭和一個平行的棱鏡接頭，僅覆蓋4個自由度（3個平移和1個旋轉）。Articulated機器人可通過電磁感應方式定位，并將其解碼為需要的特殊角度，使用非常靈活;而SCARA機器人運動具有一定限制（不能傾斜），但可提供更快更精確的性能，適用于高速拾放、包裝和組裝。通過比較，本文選擇運動更為靈活的Articulated機器人。

2?HLCON圖像采集

HALCON是德國MVTec公司開發的一套標準機器視覺算法包，是一套圖像處理庫，擁有應用廣泛的機器視覺集成開發環境，能節約產品成本，縮短開發周期，是歐洲及日本工業界公認的最佳機器視覺軟件，由多個各自獨立的算子及底層數據管理核心構成[8]。HALCON支持Windows、Linux和Mac OS X操作環境，整個函數庫可用C、C++、C#、Visual basic和Delphi等多種普通編程語言訪問。HALCON為大量的圖像獲取設備提供接口，保證了硬件的獨立性。作為目前業內功能最完善、效率最高的軟件之一，HALCON廣泛應用于工業生產各個方面，如機械加工、電子器件、包裝加工、木材加工等領域[9]，本系統采用HALCON軟件作為圖像在線實時采集與處理的核心模塊。HALCON的GenTL協議，允許HALCON直接控制傳感器，采集3D點云數據和灰度數據到HALCON中。在安裝驅動時需注意的是，傳感器的驅動和固件版本必須保持一致。完成驅動安裝后，打開HALCON連接傳感器并設置采集參數就可進行連接并采集圖像。在程序編輯欄中添加三維重構算子，在HALCON圖像顯示界面就能看到三維重構模型。

3?視覺系統標定

單目傳感器視覺系統通過不同的圖像處理算子即可確定物體的三維姿態，這些數據可用來控制機器人，但由于安裝等原因，機器人與傳感器的位置關系未知。為實現精確測量，在測量前需要對機器人與傳感器位置關系求解與校正，即“手眼標定”[10]。均勻變換矩陣是描述變換的好方法，但是矩陣元素過多，往往難以理解和計算，3D姿勢可以很好地解決這個問題。 3D姿勢是一個更容易理解的剛性變換表示方法：一個姿勢具有6個參數，3個旋轉和3個平移（TransX，TransY，TransZ，RotX，RotY，RotZ），代替均勻變換矩陣中的12個參數。在HALCON中可使用create_pose創建3D姿勢，可以通過使用算子hom_mat3d_to_pose和pose_to_hom_mat3d在姿勢和均勻矩陣之間進行轉換。手眼系統標定和相機標定一樣，都是基于校準對象的多幅圖像，但與攝像機標定不同的是，手眼系統標定不會手動標定對象。根據相機與機器人位置關系的不同，機器人視覺系統可分為Eye_in_Hand系統和Eye_to_Hand系統。Eye_in_Hand系統的攝像機安裝在機器人手部末端，在機器人工作過程中隨機器人一起運動。Eye_to_Hand系統的攝像機安裝在機器人本體外的固定位置，在機器人工作過程中不隨機器人一起運動[11]。系統傳感器是固定的，屬于Eye_to_Hand系統，可通過機器人夾取標定對象進行手眼系統標定。手眼標定的目的是求解出從傳感器坐標系到基礎坐標系之間的變換關系[12]，這個過程存在一系列坐標變換。在這個坐標變換鏈中，已經知道兩個姿勢。通過標定計算確定機器人基礎坐標系與傳感器坐標系的變換關系，以及校準對象坐標系到機器人工具坐標系的變換關系[13]。手眼標定系統的標定準則如下：

公式（1）中的?H=Rt?0011，其中R為3*3階旋轉矩陣， t?為3×1階平移矩陣。本系統采用HALCON內部封裝算子實現手眼系統標定，實施步驟如下：

（1）創建數據類型。執行標定過程必須先創建手眼標定的數據類型。HALCON是一款功能強大的視覺軟件，內部封裝豐富的標定類型，如基于機器人類型的校準、相機類型的校準和相機安裝類型的校準。系統選用智能傳感器，所以選擇運用3D物體進行標定。使用create_calib_data和set_calib_data創建標定數據類型。

（2）設置標定物體位姿。相機標定通常選用合適的標定板進行標定，3D物體手眼標定選擇功能更為強大的表面匹配法進行標定。表面是基于整體點的匹配，3D表面的全部有效數據點參與匹配計算[14]。使用拍攝的標定圖構建3D模型，然后從模型中獲得表面匹配所需要的表面模型，通過在標定場景中找到表面模型，估計物體在傳感器中的位姿，使用算子如下：

read_object_model_3d

create_surface_model

find_surface_model

refine_surface_model_pose

構建的3D模型和3D表面模型如圖2、圖3所示。

（3）設置機器人工具位姿。機器人位姿精度對整個手眼標定系統的標定精度至關重要。在進行手眼標定時，每幅標定圖片需要提供相對應的機器人位姿，機器人工具位姿可由機器人直接獲得并通過input_pose_type算子確定機器人位姿類型。調用input_pose輸入末端位姿，則可創建HALCON直接讀取的文件，重復多遍即可獲得多組機器人的位姿文件。在HDevelop中對機器人位姿文件的讀取可直接由read_pose 函數實現。

（4）執行標定。在完成數據準備工作后，使用算子calibrate_hand_eye執行標定，get_calib_data獲取標定結果數據。

標定實驗選用15組數據，其中一組是標定場景中基于機器人基座的姿勢，見表2。另一組是機器人夾著標定物體的15個場景中基于傳感器的姿勢，見表3，數據通過表面匹配獲得。通過使用上述標定數據，按照標定流程，利用HDevelop示例程序進行標定測試。實驗得出標定誤差：最大平移誤差為2.539mm，最大旋轉誤差為0.541 3°，標定結果如表4所示。

4?抓取姿態確定

設機器人基礎坐標系和運動平臺在同一平面。在獲得標定數據后，通過設計的系統得到長方形工件表面輪廓的三維點云數據[15]，圖像顯示如圖4所示。已知物體相對于相機坐標系的位姿，然后使用手眼標定結果，得到抓取點在機器人基礎坐標系中的抓取位姿。機器人可使用工件的數據信息完成抓取任務[16]，原理如公式（2）所示：

在HALCON中通過以下代碼完成上述功能：

hom_mat3d_compose

hom_mat3d_invert

hom_mat3d_compose

5?結語

本文設計了基于智能傳感器的工件位姿檢測抓取系統。采用專業的機器視覺處理軟件HALCON和3D智能傳感器Gocator2350，利用3D表面匹配方法進行手眼標定，使用標定數據獲取準確的工件位姿信息，利用機器人抓取。實驗數據分析表明，本系統實用性較好，可滿足工業機器人的操作要求。

參考文獻：

[1]?楊建華，張偉，李麗.基于機器視覺的鋸材表面缺陷檢測系統設計[J].林產工業，2013，40（1） ：21?24.

[2]?莫圣陽.基于3D視覺技術的受電弓磨耗檢測系統研究[D].廣州：廣東工業大學，2015.

[3]?陳偉.3D智傳感器視覺測量系統關鍵算法研究[D].成都：電子科技大學，2014.

[4]?LIU Z， LI X J， LI F J， et al. Calibration method for line?structured light vision sensor based on a single ball target[J]. Optics and Lasers in Engineering，2015（69）：20?28.

[5]?ZHAO Y， ZHAO J， ZHANG L， et al. Development of a robotic 3D scanning system for reverse engineering of freeform part[J]. International Conference on Advanced Computer Theory and Engineering， 2008（2）：246?250.

[6]?盧冠男.基于機器視覺的工業機器人抓取系統的研究[D].合肥：合肥工業大學，2017.

[7]?合澤強.基于機器視覺的工業機器人分揀系統設計[D].哈爾濱：哈爾濱工業大學，2016.

[8]?閆霞，牛建強.基于HALCON軟件的攝像機標定[J].數字技術與應用，2010（11）：112?113，115.

[9]?姚建平，肖江，閆磊，等.基于3D結構激光的木材表面缺陷檢測的研究[J]. 林業機械與木工設備，2013，45（3）：20?25.

[10]?王英男，戴曙光.線激光器的手眼標定方法[J].電子科技，2015，28（7）：183?185.

[11]?徐德.機器人視覺測量與控制[M].第2版.北京：國防工業出版社，2011.

[12]?盧鈺庭.基于視覺的機器人標定的研究[D].廣州：華南理工大學，2013.

[13]?LIN C C，GONZALEZ P，CHENG M Y，et al.Vision based object grasping of industrial manipulator [C]. Proceedings of 2016 International Conference on Advanced Robotics and Intelligent Systems，2016.

[14]?馮義從，岑敏儀. 三維自由表面匹配及其應用[J].測繪工程，2005，14（3）：36?40.

[15]?杜曉燕.基于3D傳感器的掃描儀研制[D].鄭州：鄭州大學，2017.

[16]?盧泉奇，苗同升，汪地，等.基于HALCON的機械手視覺抓取應用研究[J].光學儀器，2014，36（6）：492?498.