融合機器視覺的工業(yè)機器人虛擬平臺構(gòu)建

白瑞峰， 房朝暉， 靳荔成， 于赫洋， 張拓迷

(天津大學(xué) 電氣與自動化工程學(xué)院，天津 300072)

融合機器視覺的工業(yè)機器人虛擬平臺構(gòu)建

白瑞峰， 房朝暉， 靳荔成， 于赫洋， 張拓迷

(天津大學(xué) 電氣與自動化工程學(xué)院，天津 300072)

為滿足電氣信息類專業(yè)學(xué)生工業(yè)機器人、自動控制、機器視覺等先進技術(shù)的實踐教學(xué)需求，提高工科大學(xué)生自主創(chuàng)新、創(chuàng)業(yè)及實踐能力，設(shè)計開發(fā)了機器人實驗系統(tǒng)。利用虛擬仿真技術(shù)、互聯(lián)網(wǎng)技術(shù)與學(xué)科專業(yè)深層融合，設(shè)計了虛擬實驗對象，擴充了實驗內(nèi)容。為了便于虛擬教學(xué)資源的有效管理，依據(jù)學(xué)科特色與虛擬實驗教學(xué)的特點，構(gòu)建了統(tǒng)一的實驗教學(xué)網(wǎng)絡(luò)管理平臺，擴大了共享范圍。探索了三核心、三層次、一體化的“三三一”虛擬仿真實驗教學(xué)管理體系，促進了虛擬教學(xué)資源的開發(fā)與建設(shè)，推進了高等學(xué)校實驗教學(xué)的信息化建設(shè)，為實驗教學(xué)改革創(chuàng)新開辟新的道路。

工業(yè)機器人； 虛擬仿真； 機器視覺； 實驗教學(xué)； 管理體系

0 引 言

隨著我國智能制造2025的提出，加速了工業(yè)機器人以及機器視覺等科技人才的需求[1]，涉及工業(yè)機器人和視覺系統(tǒng)的設(shè)計、調(diào)試、控制和維修等。工業(yè)機器人，作為集機械、電子、計算機、人工智能等先進技術(shù)于一體的現(xiàn)代制造裝備，廣泛應(yīng)用于焊接、物流、切割及測量等領(lǐng)域[2-4]，成為現(xiàn)代工業(yè)自動化水平標志之一。

以培養(yǎng)學(xué)生的創(chuàng)新設(shè)計能力和綜合設(shè)計能力為教學(xué)目標，緊密結(jié)合學(xué)科及工業(yè)發(fā)展的前沿技術(shù)和學(xué)院教師科學(xué)研究的成果，天津大學(xué)于2006年校企共建了貼近工業(yè)生產(chǎn)實際環(huán)境又符合高等教育教學(xué)規(guī)律的“模擬啤酒自動化生產(chǎn)線”[5]。

隨著機器視覺、工業(yè)機器人的發(fā)展及新技術(shù)的教學(xué)需求，在原有平臺基礎(chǔ)上，對啤酒裝箱分布進行改造，增加了三菱RV-3SQ工業(yè)機器人和康耐視5100視覺傳感器等相關(guān)設(shè)備，完成了生產(chǎn)線上的智能系統(tǒng)設(shè)計，提高了該生產(chǎn)線的自動化水平，增加了工業(yè)機器人以及機器視覺的實驗教學(xué)內(nèi)容。

電氣工程與自動化虛擬仿真實驗教學(xué)中心，目標是針對自動化專業(yè)、電氣工程與自動化專業(yè)等電氣信息類相關(guān)專業(yè)的高成本、高消耗、大型綜合、高危等實驗項目，利用現(xiàn)代虛擬仿真技術(shù)將其虛擬化，將已有的實驗資源整合構(gòu)建了虛擬實驗教學(xué)管理平臺，提高共享范圍。智能生產(chǎn)線、工業(yè)機器人以及機器視覺設(shè)備價格昂貴、易于損耗、資源有限、對環(huán)境要求苛刻，屬于大型綜合、高成本、高消耗、高危的實驗項目，是中心重點建設(shè)項目。

1 系統(tǒng)結(jié)構(gòu)及其功能設(shè)計

系統(tǒng)結(jié)構(gòu)如圖1所示，根據(jù)模擬啤酒生產(chǎn)線的工藝流程，主要分為3個部分：供箱系統(tǒng)、機器視覺系統(tǒng)和工業(yè)機器人系統(tǒng)。

圖1 工業(yè)機器人實驗系統(tǒng)結(jié)構(gòu)圖

供箱系統(tǒng)包含PLC、伺服電機、變頻器、傳感器、箱體、傳送帶等。PLC可控制裝箱系統(tǒng)中的伺服電機、變頻器，通過以太網(wǎng)與機器視覺系統(tǒng)和機器人控制器進行通信。PLC根據(jù)視覺檢測獲得的裝箱工作臺上箱體的裝瓶位置(瓶位)，將待裝箱瓶體按照規(guī)劃的軌跡和速度，依次裝入箱體的瓶位中。

機器視覺系統(tǒng)使用康耐視In-Sight 5100，通過攝像頭，拍攝裝箱工作臺上的箱體，并完成圖像處理，獲取瓶位的實時坐標，并將坐標傳送至工業(yè)機器人控制器中。

工業(yè)機器人系統(tǒng)包括三菱RV-3SQ六自由度工業(yè)機器人、Q03UDCPU和Q172DRCPU、CR1Q-700控制器等。其中，Q03UDCPU為主CPU，Q172DRCPU為從CPU，即機器人CPU。

2 硬件系統(tǒng)連接

RV-3SQ工業(yè)機器包含六個關(guān)節(jié)[6]。控制器與工業(yè)機器人通過馬達動力線和編碼器信號線連接，其中馬達線用提供動力驅(qū)動電機，信號線控制電機并將機器人各軸位置信息反饋給控制器。

工業(yè)機器人與視覺整合的硬件連接如圖2所示，康耐視In-Sight 5100視覺系統(tǒng)配備工業(yè)攝像頭，采集空間坐標信息，通過以太網(wǎng)傳輸數(shù)據(jù)，為工業(yè)機器人提供裝瓶位坐標值。使用一個Hub把Insight 5100、上位PC機、工業(yè)機器人控制器和機器人CPU連接起來組成一個局域網(wǎng)。

圖2 工業(yè)機器人與視覺系統(tǒng)的硬件連接圖

3 工業(yè)機器人編程及路徑規(guī)劃

RV-3SQ工業(yè)機器人可使用RT-ToolBox2編程環(huán)境進行控制，編程語言為Melfa Basic V。

RT-ToolBox2環(huán)境包含RV-3SQ工業(yè)機器人虛擬對象，如圖3所示，提供仿真運行模式，能夠脫離工業(yè)機器人進行離線仿真運行。在實操操作前可行仿真運行，以檢驗其是否能完成設(shè)計的動作，是否可以使用，從而避免了操作不當而造成的機械結(jié)構(gòu)的損壞及人身危險。在設(shè)計中，通過對生產(chǎn)線工藝流程的分析，進行路徑規(guī)劃。使用編程軟件按照程序編寫運行指令，仿真運行成功后，轉(zhuǎn)換自動運行，工業(yè)機器人能夠按照規(guī)劃軌跡運行。

RT-ToolBox2可與PLC的進行通信，完成多CPU配置，實現(xiàn)計算機與機器人控制器的實時通信，操縱與監(jiān)視工業(yè)機器人運行。

圖3 RV-3SQ工業(yè)機器人虛擬對象

4 視覺系統(tǒng)校準及特征提取

Insight Explorer環(huán)境可完成視覺系統(tǒng)的圖像獲取、校準、坐標裝換、通過PatMax圖案工具進行特征提取與定位[7]、通信設(shè)置、數(shù)據(jù)傳出等配置等。

考慮到模擬啤酒生產(chǎn)線裝箱工藝及運行速度，圖像獲取設(shè)置為連續(xù)觸發(fā)模式，間隔為500 ms，曝光時間為8 ms，瓶位區(qū)域設(shè)置為采集圖像的50%，避免因?qū)ο蟮囊苿佣鼓繕藢ο笠瞥鲆曈颉?/p>

在工作環(huán)境中，系統(tǒng)捕獲到圖像會具有遠景畸變，可采用網(wǎng)格(帶基準)校準方式[8]。網(wǎng)格間距越小，校準精度越高，計算耗時越長，考慮箱體、瓶位尺寸及計算時間，網(wǎng)格間距定為10 mm。

瓶位的形狀為圓形，可采用PatMax模型進行定位方式，該方法根據(jù)物體的形狀進行定位，適用于外觀發(fā)生旋轉(zhuǎn)，測量縮小或者拉伸的物體。

為了避免由于光照強度的變化而引起的誤差，利用LED平面光源進行補光。為了提高定位的準確性，箱體設(shè)置為白色，瓶位中心的底箱上，用黑色標記了圓心位置。

5 實驗對象虛擬化

雖然RT-ToolBox2本身具有工業(yè)機器人的虛擬對象，可完成路徑規(guī)劃的虛擬實驗，但功能簡單無法完成工藝流程以及復(fù)雜的實驗內(nèi)容。

在原有真實三菱機械臂的基礎(chǔ)上，引入機器人虛擬仿真平臺(見圖4)，利用3D效果的VC(Visual Components)虛擬仿真軟件[9-10]，搭建了虛擬對象，可替代原有的機械對象(機器人系統(tǒng)以及裝箱系統(tǒng))。該虛擬對象可通過以太網(wǎng)與其他視覺系統(tǒng)或工業(yè)控制器通信。

工業(yè)機器人虛擬仿真實驗在向?qū)W生提供豐富的虛擬工業(yè)機器人操控實驗的基礎(chǔ)上，還可實現(xiàn)虛擬設(shè)備和真實設(shè)備的對接，實現(xiàn)虛擬機器人和實際機器人的同步，使學(xué)生在虛擬實驗的過程中不脫離現(xiàn)實環(huán)境，保證理論與實際的同步研習(xí)。

圖4 虛擬機器人仿真平臺

虛擬對象的應(yīng)用擴充了實驗教學(xué)內(nèi)容，可完成虛擬硬件系統(tǒng)搭建、機器人系統(tǒng)虛擬路徑規(guī)劃、機器視覺系統(tǒng)校準與定位、基于GX Developer及VC虛擬對象的仿真實驗、基于PLC及VC虛擬對象的虛實結(jié)合實驗，以及融合機器視覺及機器人系統(tǒng)的綜合實驗等內(nèi)容。

6 平臺建設(shè)與實驗教學(xué)管理體系

6.1 平臺建設(shè)

為了推動實驗教學(xué)改革與創(chuàng)新，持續(xù)推進實驗教學(xué)信息化建設(shè)，響應(yīng)國家及學(xué)校對虛擬仿真實驗教學(xué)的發(fā)展要求[11-13]，電氣工程與自動化虛擬仿真實驗教學(xué)中心對涉及高危、高能耗、大型綜合的電氣信息類實驗內(nèi)容進行虛擬環(huán)境開發(fā)以及仿真系統(tǒng)構(gòu)建，同時積極促進科研成果向教學(xué)資源的轉(zhuǎn)化，先后建設(shè)了“融合機器視覺工業(yè)機器人虛擬仿真系統(tǒng)”“智能電網(wǎng)仿真實驗教學(xué)平臺”“多相流虛擬仿真實驗教學(xué)環(huán)境”“高電壓虛擬仿真實驗教學(xué)環(huán)境”“工業(yè)生產(chǎn)線虛擬模型”等一批虛擬仿真實驗教學(xué)資源。為了更好地管理和優(yōu)化教學(xué)資源、提高和完善應(yīng)用效果，構(gòu)建虛擬仿真實驗教學(xué)管理與共享平臺。

虛擬仿真實驗教學(xué)的管理平臺是基于J2EE架構(gòu)的B/S結(jié)構(gòu)[14]，如圖5所示，系統(tǒng)用戶角色包括實管理員、教師、學(xué)生等角色。系統(tǒng)依托校園網(wǎng)絡(luò)，可完成局域網(wǎng)、校園網(wǎng)及互聯(lián)網(wǎng)的三級網(wǎng)絡(luò)共享。

圖5 虛擬仿真實驗教學(xué)管理與共享平臺結(jié)構(gòu)圖

虛擬仿真實驗教學(xué)的管理和共享平臺包括虛擬實驗中心門戶網(wǎng)站、實驗的開課管理、實驗教學(xué)安排、典型實驗庫的維護、實驗前的理論學(xué)習(xí)、實驗過程的智能指導(dǎo)、實驗結(jié)果的自動批改、師生互動交流和系統(tǒng)管理等內(nèi)容。

6.2 管理體系

秉承將實驗教學(xué)內(nèi)容與科學(xué)研究、前沿技術(shù)緊密結(jié)合，利用虛擬仿真技術(shù)將學(xué)科優(yōu)勢資源服務(wù)于教學(xué)[15]，依托學(xué)科發(fā)展，針對虛擬實驗教學(xué)特點及資源管理，電氣與自動化虛擬仿真實驗教學(xué)中心構(gòu)建了“三核心、三層次、一體化”的“三三一”虛擬仿真實驗教學(xué)管理體系，如圖6所示。

圖6 “三三一”虛擬實驗教學(xué)管理體系

虛擬仿真實驗中心以電氣工程及自動化領(lǐng)域的學(xué)科知識為基礎(chǔ)，設(shè)置了“電氣工程虛擬仿真實驗分中心”、“電工電子虛擬仿真實驗分中心”以及“自動化虛擬仿真實驗分中心”3個核心，體現(xiàn)廣范圍、寬領(lǐng)域的實驗體系以及優(yōu)質(zhì)資源共享的實驗教學(xué)理念；根據(jù)每個虛擬實驗分中心所涉及的學(xué)科知識，對其相應(yīng)實驗依照基礎(chǔ)實踐、專業(yè)綜合、學(xué)科創(chuàng)新3個層次進行劃分，由內(nèi)層向外層輻射式擴展，體現(xiàn)學(xué)科的縱向延伸；根據(jù)實驗內(nèi)容的不同，層與層之間既各自獨立又互為支撐、相互包容，三大核心所代表的學(xué)科之間既各具特色又互為補充、相互聯(lián)系，體現(xiàn)多學(xué)科互融互聯(lián)的一體化建設(shè)模式。

7 結(jié) 語

以培養(yǎng)學(xué)生的綜合能力和創(chuàng)新能力為目標，緊密結(jié)合電氣信息類學(xué)科及工業(yè)發(fā)展的融合機器視覺、機器人技術(shù)等前沿技術(shù)，提升了模擬啤酒自動化生產(chǎn)線實踐平臺自動化水平，擴充了實驗教學(xué)內(nèi)容。應(yīng)用虛擬化技術(shù)，解決了大型綜合高消耗實驗裝置的建設(shè)瓶頸，降低了維護成本，便于實驗教學(xué)環(huán)節(jié)的拓展與再開發(fā)，擴大了受益面。

構(gòu)建了統(tǒng)一的開放管理平臺，擴大了共享范圍，促進了虛擬教學(xué)資源的開發(fā)與建設(shè)。該平臺的構(gòu)建也填補充實了本科生實踐教學(xué)內(nèi)容，豐富了工程教育培養(yǎng)手段，是滿足多專業(yè)、多層次學(xué)生創(chuàng)新平臺。“三三一”虛擬仿真實驗教學(xué)管理體系實現(xiàn)實踐能力培養(yǎng)的統(tǒng)一規(guī)劃、分步實施；實驗平臺的資源共享，綜合利用，提高辦學(xué)效率，將會促進實驗教學(xué)的信息化建設(shè)，推動實驗教學(xué)的改革與創(chuàng)新。

[1] 周 濟. 智能制造——“中國制造2025”的主攻方向[J]. 中國機械工程, 2015(17)：2273-2284.

[2] 董翠敏, 劉永強. 以機器人教育為平臺培養(yǎng)大學(xué)生創(chuàng)新意識和能力[J]. 實驗室研究與探索, 2011，30(9)：243-244,320.

[3] 王 強. 六自由度工業(yè)機器人的運動軌跡插補算法的研究[D]. 杭州: 浙江工業(yè)大學(xué), 2012.

[4] 蘭 虎, 陶祖?zhèn)? 段宏偉. 弧焊機器人示教編程技術(shù)[J]. 實驗室研究與探索, 2011, 30(9):46-49.

[5] 袁 浩, 白瑞峰, 房朝暉,等. 模擬啤酒生產(chǎn)線可視化中央監(jiān)控系統(tǒng)設(shè)計與實現(xiàn)[J]. 實驗技術(shù)與管理, 2014, 31(9):120-123.

[6] 嚴 奎. 基于OpenGL的RV-3SQ垂直多關(guān)節(jié)型機器人監(jiān)控研究[J]. 計算技術(shù)與自動化, 2011, 30(4):137-140.

[7] 夏伯雄. 控制裝備機器人的復(fù)雜圖像處理技術(shù)[J]. 傳感器世界, 2003(7):20-21.

[8] 陳 炎, 張勤昭, 曹樹良,等. 基準溫度分布動網(wǎng)格生成方法的研究及應(yīng)用[J]. 北京理工大學(xué)學(xué)報, 2012, 32(9).900-904.

[9] 王 猛, 韓正功, 陳德焜. 可重構(gòu)制造仿真單元在車間規(guī)劃過程虛擬仿真中的應(yīng)用研究[J]. 工業(yè)控制計算機, 2013, 26(7):95-96.

[10] 白瑞峰, 韓洪洪, 于赫洋,等. 智能制造虛擬實驗系統(tǒng)設(shè)計與集成[J]. 實驗技術(shù)與管理, 2016, 33(6):129-131，149.

[11] 祖 強, 魏永軍. 國家級虛擬仿真實驗教學(xué)中心建設(shè)現(xiàn)狀探析[J]. 實驗技術(shù)與管理, 2015(11):156-158.

[12] 仲啟媛, 謝 建, 譚立龍. 創(chuàng)新實驗教學(xué)體系 推進軍隊院校實驗教學(xué)示范中心建設(shè)[J]. 實驗室研究與探索, 2015, 34(7):151-154.

[13] 王衛(wèi)國, 胡今鴻, 劉 宏. 國外高校虛擬仿真實驗教學(xué)現(xiàn)狀與發(fā)展[J]. 實驗室研究與探索, 2015, 34(5):214-219.

[14] 趙 騏. 現(xiàn)代測試技術(shù)基地網(wǎng)絡(luò)化實驗平臺設(shè)計與實現(xiàn)[D]. 成都: 電子科技大學(xué), 2015.

[15] 徐 進. 2013年國家級虛擬仿真實驗教學(xué)中心建設(shè)工作小結(jié)及2014年申報建議[J]. 實驗室研究與探索, 2014, 33(8):1-5.

Industrial Robot Virtual Platform Construction Integrated with Machine Vision

BAIRuifeng,FANGChaohui,JINLicheng,YUHeyang,ZHANGTuomi

(School of Electric Engineering and Automation, Tianjin University, Tianjin 300072, China)

In order to meet electrical information specialty practice teaching requirements of industrial robots, automatic control, machine vision and other advanced technology, improve the independent innovation ability, entrepreneurship and practice ability of engineering students, a robot experimental system was designed and developed. Combining virtual simulation technology, internet technology with specialty requirement, a virtual experiment object was designed to expand the experimental content. In order to facilitate the management of virtual teaching resources, according to the characteristics of subject and virtual experiment teaching, a unified network management platform was established to expand the scale of sharing. A "331" virtual simulation experiment teaching management system which has three centers, three levels and the integration of construction, was explored. That system promotes the development and construction of virtual teaching resources, promotes the informatization construction of experimental teaching in college, and will open up a new path for the innovation of experimental teaching reform.

industrial robots; virtual simulation; machine vision; experimental teaching; management systems

2016-08-15

天津大學(xué)2014年校級實驗室建設(shè)改革項目(LAB2014-16)；天津大學(xué)2014年實驗教學(xué)改革與研究項目(2014-44)；天津大學(xué)2016年國家級大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃項目(201610056030)；天津大學(xué)2016年大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃項目(201610056310)； 天津大學(xué)2016年校級實驗室建設(shè)與管理改革項目(LAB2016-05)

白瑞峰(1987-)，男，天津人，碩士，工程師，控制科學(xué)與工程，工業(yè)機器人與阻抗測量技術(shù)。

Tel.：13516248559；E-mail：bairuifeng@tju.edu.cn

TP 391.0

A

1006-7167(2017)05-0246-04