基于雙目視覺定位的機器人自動制孔系統研究

朱前成 賽 音 熊珍琦 韓維群 呂韞琦

?

基于雙目視覺定位的機器人自動制孔系統研究

朱前成1賽 音2熊珍琦1韓維群1呂韞琦1

（1. 北京航星機器制造有限公司，北京 100013；2. 空軍裝備部駐北京地區第二軍事代表室，北京 100013）

為了解決傳統機器人自動制孔系統在自動化生產線中適應性的問題，實現制孔對象在機器人自動制孔工位快速自動流轉的同時保證制孔精度，提出了一種基于雙目視覺定位的機器人自動制孔方法。該套系統以現場總線的方式將機器人本體、制孔末端執行器、自動物流車、雙目視覺測量系統及其他附屬設備集成在一起，實現對加工件的自動制孔。介紹了其中的末端執行器設計、雙目視覺測量系統、機器人離線編程和系統集成控制。試驗表明，該套系統末端定位精度±0.3mm，制孔垂直精度±0.5°，孔徑精度H8。

機器人制孔；末端執行器；離線編程；雙目視覺；集成控制

1 引言

隨著柔性化、自動化和數字化裝配技術的快速發展，基于工業機器人的研究應用已經取得了顯著進展。其中，以機器人自動制孔為代表的智能裝備已經成為我國傳統制造業轉型升級的推進器[1]。與此同時，《中國制造2025》中明確指出要建設生產過程數字化和智能化的制造車間[2]。而航空航天裝備產業作為《中國制造2025》十大重點發展領域之一，已經有越來越多的科研院所將機器人自動制孔裝備引入到航空航天的生產制造過程中。

目前，機器人自動制孔裝備在航空飛行器制造領域中已經得以成熟應用。國外已經有成熟的產品和專業制造商：美國EI公司、德國Broetje公司等[3～5]。國內自動制孔技術也取得了一定的進展，但系統均為單一的加工點，工件裝卸麻煩且不能適應生產線中對自動運輸的要求[6,7]。

離線編程作為機器人自動制孔系統研究的核心之一，能夠顯著減少示教編程所需要的時間成本，且有利于提高工作人員的舒適度。目前比較成熟的離線編程軟件有KUKA的KUKA Sim、FANUC的FUNACWorks、ABB的Robot Studio等。國內的浙江大學等高校對機器人離線編程的研究主要集中在二次開發方面，但還未研究出適應多品種、小批量、操作友好靈活的成果。

以制孔為例，現階段在航空航天產品制造中完成制孔仍主要采用傳統的手工作業，操作員的經驗和身體狀態都會對加工孔的一致性產生負面作用。為了滿足我國航空航天產品安全批產的迫切需求，解決手工制孔效率低、一致性差等問題，引入機器人自動制孔裝備將是必然趨勢。同時，傳統的機器人自動制孔裝備僅僅作為單一的制造點，無法適應自動化物流生產線的建設要求，嚴重影響了生產效率的提高。

當前航空航天產品已不滿足于只解決有無和裝備數量的問題，更迫切需要提升和保證新裝備的高性能、高精度等更加復雜的性能指標，有效提高航空航天產品可靠性和使用效能。為了建設“自動化、數字化、網絡化、智能化”的智能制造車間，推動航空航天產品智能制造向新模式改變，實現核心智能制造裝備在智能制造車間的推廣應用，本文提出一種既能適應自動化生產線中的物流運輸又能保證制孔精度的機器人自動制孔系統。該系統主要由制孔機器人、多功能末端執行器、自動運輸車、視覺定位系統等組成，自動運輸車負責制孔對象在機器人制孔工位的自動流轉，視覺定位系統用于在線補償自動運輸車的運動誤差，多功能末端執行器在制孔機器人的帶動下，完成對制孔對象的自動加工。

2 多功能末端執行器設計

末端執行器作為機器人制孔系統的執行機構，始終是機器人制孔系統設計的重點和難點。針對輕載機器人末端執行器的設計難點，同時兼顧到末端執行器對制孔、壓緊和法向識別的要求，對上述功能分別進行設計并集成。

2.1 框架模塊

圖1 末端執行器與機器人連接示意圖

框架模塊是末端執行器上各功能部件的承載體，同時負責與機器人末端法蘭盤固定連接，如圖1所示。

2.2 制孔模塊

自動制孔模塊是末端執行器的核心功能部件，如圖2所示。其中，高速電主軸通過導軌滑塊實現在導軌上的滑動；進給伺服電機帶動電主軸實現規定距離的高精度移動。該模塊出于柔性加工的考慮，同時對制孔模塊進行快速自動換刀設計。

圖2 制孔模塊設計

2.3 壓力腳模塊

由于在鉆孔過程中，需要固定工件，防止工件出現振動，影響孔的質量，因此制孔前，制孔末端執行器需對工件施加一定的壓緊力。施加的壓緊力可以增加系統的剛度，有效提高孔質量。同時綜合考慮機器人末端負載限重問題，進行輕量化設計，使壓力腳模塊和制孔模塊共用導軌，如圖3所示。

圖3 壓力腳模塊

2.4 法向檢測模塊

由于待加工件大部分為曲面部件，尺寸不一致，制孔點處的法向量難以直接測量，同時為避免損傷待加工件蒙皮的表面質量，因此只能采用間接測量計算制孔點的法向量。本文采用4個激光測距傳感器，利用微球面法測量制孔點處的法線方向。如圖4所示，將4個激光傳感器對稱分布在壓力腳模塊的支撐板上，激光傳感器發射點在同一圓周上，在待加工件表面上的投射點在同一圓球面上。經過曲面法線測量算法，計算出制孔點處的曲面法線。

圖4 法向檢測模塊

3 視覺定位系統

隨著視覺識別技術的快速發展，機器視覺技術在自動化生產中逐漸得到應用，在補償機器人絕對定位精度方面起到重要作用[8]。作為一種機器視覺測量技術，雙目視覺是利用視差原理從不同位置對被測物進行拍攝并獲取不同位置角度圖像，然后計算比較兩幅圖像對應點間的位置偏差，進一步獲取物體三維信息的方法。與單目視覺測量相比，雙目視覺能夠測量被測物的三維立體信息且測量精度更高，更適合用在生產制造現場。但在傳統的設計方式中，視覺測量系統集成在末端執行器上，經常通過檢測基準孔的位姿來計算待加工孔的位姿，保證加工的位置精度[9]。但出于生產成本和避免對產品表面造成破壞等因素考慮，不能在航天領域產品表面做標記點處理，傳統的測量方式不再適用。

同時為了適應自動化物流生產線的建設需要，待加工件需要能夠自動運輸到機器人加工區域，在加工完成后自動運輸到下一工位。為了彌補自動運輸的運動誤差，本文提出在機器人制孔區域一側設立單獨的雙目視覺測量系統的方式來解決待加工件定位問題。

搭建的雙目視覺測量系統由工業攝像機、輔助照明光源、靶標盤、視覺處理軟件等組成，見圖5。

圖5 雙目視覺測量系統

選用的相機為德國AVT公司的MANTA系列數字相機，型號G504B；鏡頭為日本Kowa公司的八百萬像素鏡頭，型號LM16XC。本相機系統技術參數如表1所示。

表1 視覺系統參數

在雙目視覺測量系統中，工業攝像機用于測量靶標盤獲取靶標圖像；輔助照明光源用于補償環境光照強度變化對攝像機測量的影響；靶標盤與待加工件固定工裝定位固緊，保證與待加工件的位置關系不變；視覺處理軟件是視覺測量系統的關鍵組成部分，用于處理測量數據并進行坐標轉換，將測量數據實時在線反饋給上位機控制系統，以便完成后續操作。

基準孔中心位置的坐標提取是視覺測量的前提。首先對雙目視覺測量系統進行標定，主要包括相機標定和立體標定，本文采用張正友標定法進行相機標定。在完成系統標定工作后，需要建立產品坐標系。本文選取六個基準孔進行產品坐標系的建立，如圖5中左側圖所示。構建的產品坐標系軸方向垂直于基準孔所在平面并指向雙目相機一側，坐標系軸方向通過最右側基準孔中心，根據右手定則可以確定軸方向。

圖6 各坐標系轉換

在建立產品坐標系后，通過雙目相機拍照，可以得到產品坐標系相對于相機坐標系的位姿，此時，相機坐標系和機器人坐標系相對于世界坐標系的位姿已經通過激光跟蹤儀標定獲取，各個坐標系位姿關系如圖6所示。通過坐標轉換計算即可得到產品坐標系相對于機器人坐標系的位姿。

在圖6中，為產品坐標系，為相機坐標系，為世界坐標系，為機器人坐標系，為坐標系中的一點（制孔點），為齊次轉換矩陣。根據圖6所示位姿關系，按照式（1）所示計算即可得到制孔點在坐標系下的實際位姿。

4 機器人離線編程

工業機器人的編程方式主要是示教編程和離線編程，面對當前智能制造裝備的建設要求，耗時長、效率低、柔性差的示教編程難以滿足實際生產需要[10]。離線編程方式是一種以計算機圖形學為依托的機器人編程語言，可以使開發人員在不用訪問機器人本身的情況下完成相關任務規劃工作[11]。

無論是RobotMaster等專業開發的產品，或是RobotWorks等基于三維模型設計軟件進行二次開發的產品，都是在建立系統工作環境的基礎上，對加工件的三維模型進行分析處理，才能得到所需要的程序。本文利用激光跟蹤儀建立的系統數模如圖7所示。

圖7 系統數模

以圓柱型加工件為例對制孔過程進行分析。由于機器人固定及其靈活工作空間的限制，在制孔點遍布加工件整個圓柱表面的情況下，需要將圓柱面制孔區域分區為多個扇面，以便決定加工件上制孔點的制孔先后順序。然后對其中一個扇面區域內的制孔點進行軌跡規劃。在單個扇面的制孔過程中，機器人由上一制孔點運動到下一制孔點，因此需要制孔點的位姿信息來確保機器人到達制孔點上方后的姿態。本文利用DELMIA的Visual Basic Editor功能模塊進行二次開發[12]，對加工件上制孔點的三維坐標、法向量、孔徑等加工信息進行提取，并以圖形集的形式創建在結構樹上。由于在進行上述操作的時候已經考慮到扇面加工順序和單個扇面內的制孔順序，后續不再需要對機器人制孔點順序重新規劃，提高了編程效率。在完成制孔點加工信息提取后，就可以對機器人的運動軌跡和末端執行器加工任務進行離線規劃并進行防碰撞分析，最終導出一定格式的NC程序。圖8為離線編程系統工作架構。

圖8 離線編程軟件體系架構

在得到制孔點的理論位姿和實際位姿后，通過上位機程序計算位置誤差并反饋給機器人，即可進行補償后的制孔加工。基于視覺的機器人制孔流程如圖9所示。

圖9 基于雙目視覺測量的機器人制孔流程

5 系統集成控制

在工業機器人集成應用中，機器人與上位機控制系統之間常見通信方式有串口通信、以太網通信等。由于串行通信方式存在信息傳遞不準確、通信距離短、通信速率低、抗干擾能力差等諸多缺點，因此工業應用中經常采用基于以太網的機器人通信接口來提高控制系統信息傳遞能力。控制系統通信接口包括：上位機與機器人之間的以太網通信接口、上位機與PLC控制器之間的EtherCAT通信接口。

本文構建的集成控制系統以EtherCAT和Ethernet兩條總線為基礎，集成了機器人控制器、末端執行器、AGV以及換刀模塊等，其中除了機器人以外的控制設備均采用德國Beckhoff軟PLC和TwinCAT NCI實現。Ethernet現場總線負責數字量和模擬量I/O裝置的通信，EtherCAT現場總線負責與所有伺服運動軸驅動器通信。控制系統硬件組態如圖10所示。

圖10 控制系統組態圖

5.1 機器人外部自動控制

自動化、智能化的生產過程中要求盡可能少的人工參與以保證系統的可靠性，因此需要上位層集成控制系統接管對機器人的控制。

機器人外部自動控制涉及到兩方面內容：一方面要實現上位機對機器人的實時運行速度、位置以及關節臂的力矩、關節電機電流的監測；另一方面要實現機器人運動指令的發送。因此要建立上位機與機器人內部控制變量的映射鏈接，并實現對控制變量的寫入和機器人實時狀態的讀取。

5.2 末端執行器控制

本文末端執行器的電氣控制系統主要采用Beckhoff軟PLC的底層控制策略，通過Beckhoff所提供的TwinCAT軟件實現PLC程序的編寫，并由Beckhoff所提供的EtherCAT控制端子來實現各類電氣元件的硬件組態。

該末端執行器電氣控制系統需要實現進給電機和電主軸的伺服控制、壓力腳的氣動控制和激光測距傳感器的數據采集。由圖10可知，上位機通過EtherCAT總線實現與各伺服運動軸驅動器的相互通信，以軟PLC實現激光測距傳感器的數據采集，并與數模中制孔點的理論法線進行對比，彌補制孔點實際測量法線和理論法線存在的偏差，進一步實現制孔點法線的位置補償。

5.3 上位層軟件總體方案設計

本文基于MFC開發的上位層集成控制軟件包括NC加工總控、機器人控制、末端執行器控制、測量控制和系統管理五部分。其中NC加工總控用于制孔流程的總體操作控制并執行制孔NC代碼；機器人控制用于建立上位機與機器人的通信鏈接；測量控制用于對激光測距傳感器的測量數據采集；系統管理用于其他功能模塊的統一管理。對于上位機與機器人、末端執行器和AGV之間的通信控制，選用正確、高效的通信方式和協議來實現，為切實發揮集成控制軟件核心主導地位提供保障。

6 試驗與分析

本文以德國KUKA 的KR30HA工業機器人為末端執行器運動載體，以新松AGV為待加工件運輸載體，搭建了一套適應生產線自動物流運輸的機器人自動制孔試驗平臺。

首先，根據DELMIA開發的離線編程軟件，建立了系統的三維模型，經過動態仿真優化后生成準確無誤的NC代碼并導入集成控制軟件中；然后，采用經過優化的制孔工藝參數，以鋁合金材料待加工件為制孔對象進行多次加工，孔徑要求為2.6mm，制孔點為40個。

孔的質量主要包括毛刺大小、粗糙度、孔徑等因素，而孔徑是衡量孔尺寸精度的重要指標。本文進行多次制孔實驗，利用千分尺對制孔點的孔徑進行測量，數據統計如表2所示。

表2 鋁合金加工件孔徑

根據表2中實驗數據分析可得鋁合金材料加工件的孔徑誤差最大為0.01mm，均在H8以內，滿足精度要求。

利用50分度游標卡尺對所有制孔點的位置精度進行精確測量，得到制孔點相對于測量基準面的位置誤差，數據如表3所示。

表3 制孔點位置誤差

根據表3中實驗數據分析可得系統的最大定位誤差為0.28mm，滿足系統定位要求。

7 結束語

a. 提出了一種能夠適應自動化物流生產線運輸的機器人自動制孔系統，并簡要介紹了制孔末端執行器、離線編程、系統集成控制。

b. 針對產品實時定位問題，詳細介紹了雙目視覺測量系統的基本原理、系統搭建、技術參數和坐標計算原理。

c. 以實際生產需求為出發點對本文提出的機器人自動制孔系統進行了制孔精度試驗驗證，實驗數據表明本系統能夠滿足生產要求，提高了生產線運行效率和自動化水平。

1 陶永，李秋實，趙罡，等. 大力發展航空智能制造支撐高端裝備制造轉型升級[J]. 制造業自動化，2016，38(3)：106～111

2 周濟. 智能制造——“中國制造2025”的主攻方向[C]. 中國機械工程，2015，26(17)：2273～2284

3 王國磊，吳丹，陳懇. 航空制造機器人現狀發展趨勢[J]. 航空制造技術，2015，479(10)：26～30

4 DeVlieg R, Sitton K, Feikert E, et al. ONCE (ONe-sided Cell End effector) robotic drilling system[C]. Proceedings of SAE Aerospace Automated Fastening Conference, Chester, ENGLA, US, 2002: 9～16

5 喻龍，章易鐮，王宇晗，等. 飛機自動鉆鉚技術研究現狀及其關鍵技術[J]. 航空制造技術，2017，60(9)：16～25

6 袁培江，陳冬冬，王田苗，等. 航空制孔機器人末端執行器高精度制孔方法研究[J]. 航空制造技術，2016，59(16)：81～86

7 張晉，田威，周敏，等. 機器人自動鉆鉚系統集成控制技術[J]. 航空制造技術，2017，60(9)：38～42

8 林琳. 機器人雙目視覺定位技術研究[D]. 西安：西安電子科技大學，2009

9 袁培江，陳冬冬，王田苗，等. 基于雙目視覺測量系統的孔位補償研究[J]. 航空制造技術，2018，61(4)：41～46

10 孟國軍. 工業機器人離線編程系統關鍵技術的研究[D]. 武漢：華中科技大學，2011

11 王巍，惠帥，梁濤，等. 柔性導軌自動制孔機器人離線編程與仿真技術研究[J]. 航空制造技術，2012，Z1：125～127

12 彭江濤，譚紅，石章虎，等. 基于MBD的飛機鉆鉚機器人離線編程技術研究[J]. 航空制造技術，2017，528(9)：55～59

Research on Robot Automatic Drilling System Based on Binocular Vision Positioning

Zhu Qiancheng1Sai Yin2Xiong Zhenqi1Han Weiqun1Lv Yunqi1

(1. Beijing Hangxing Machinery Manufacturing Co., Ltd., Beijing 100013;2.Second Military Representative Office of Air Force Equipment Department in Beijing, Beijing 100013)

To deal with the adaptability optimization of the automatic robotic drilling system in the automatic production line and realize the automatic circulation while guaranteeing the position accuracy of holes, an approach based on binocular vision positioning to an automatic robot drilling system is presented. The proposed system integrates industrial robots, end effector, automatic guided vehicle, binocular vision measuring system and other ancillary equipment in the form of fieldbus to realize automatic drilling. The design of end effector, binocular vision measurement system, robot off-line programming and system integration control are introduced in detail. Tests have shown that the positioning accuracy of this system is ±0.3mm, the vertical precision of the system is ±0.5°, and the aperture accuracy is H8.

robot drilling；end effector；off-line programming；binocular vision；integration control

朱前成（1991），工程師，機器人技術專業；研究方向：自動化裝配技術。

2019-04-04