基于PC的運動視覺一體化開放控制平臺設計

劉亞男,倪鶴鵬,張承瑞,王云飛 ,孫好春

(1. 山東大學 機械工程學院,山東 濟南 250061；2. 山東大學 高效與潔凈機械制造教育部重點實驗室,山東 濟南 250061)

?

基于PC的運動視覺一體化開放控制平臺設計

劉亞男1,2,倪鶴鵬1,2,張承瑞1,2,王云飛1,孫好春1

(1. 山東大學 機械工程學院,山東 濟南 250061；2. 山東大學 高效與潔凈機械制造教育部重點實驗室,山東 濟南 250061)

摘要:為了更方便地在運動控制系統中集成機器視覺,簡化系統復雜程度,節約控制系統成本,借助Windows操作系統的實時拓展套件KRTS(Kithara real-time suite),在一臺多核PC上,建立運行實時任務的實時子系統.該系統能夠與運行非實時任務的Windows系統并行運行. 使用通用的以太網卡進行運動控制數據與圖像數據的傳輸,取代了運動控制卡、圖像采集卡等專用硬件. 開發了運動控制與機器視覺一體化解決方案,實現了控制平臺的標準化、通用性和網絡化,系統最大實時響應時間為36.96 μs. 基于該平臺,開發了視覺引導的DELTA高速分揀系統．

關鍵詞：KRTS；實時性；控制平臺；DELTA機械手；機器視覺

數控技術作為當代先進制造技術的基礎和核心,反映了一個國家工業發展的水平[1]. 目前,由于大部分數控系統都采用專用的封閉式體系結構,使用不同編程語言、多種操作系統和非標準硬件接口,使得各個廠家數控系統自成體系結構,限制了數控系統的通用性和可重構性,阻礙了數控系統向其他行業的發展[2-3].

隨著PC硬件性能的不斷提高,CPU性能完全可以滿足作為數控系統核心部件的要求；另外,PC價格便宜,硬件結構標準,基于Windows操作系統,軟件開發資源豐富[4],使得PC成為開發數控系統的首選硬件平臺[5],進而可以推廣到運動控制領域.

縱觀國內基于PC的機器視覺與運動控制方案,在結構實現上,PC中嵌入NC是目前比較主流的結構形式[5].硬件結構是在通用PC的擴展槽中插入運動控制卡和視覺采集卡[6]以實現運動控制或視覺所需要的實時條件,PC僅處理非實時任務. 該結構的缺點是通用PC擴展槽的數量有限,擴展性不足；沒有充分發揮PC的計算性能,閑置軟硬件資源；機器人視覺通常采用獨立于運動控制器之外的圖像采集與處理方案,即采用智能相機或單獨的計算機處理視覺信息,運動控制系統與圖像處理系統通過一定的協議進行數據交互,增加了系統的復雜程度；運動控制卡、圖像采集卡價格昂貴. 另外,在運動控制卡的選型方面,國內使用較成熟的僅有美國DELTA公司的PMAC運動控制卡和少數國外廠商產品,不利于國產運動控制平臺的發展[7].

針對以上問題,本文建立基于實時以太網的PC+Windows實時拓展軟件KRTS(Kitharareal-timesuite)[8]+ 標準網卡的運動視覺一體化控制平臺. 該平臺運動控制、圖像處理、界面顯示等功能均由單臺PC完成；在同一個工程中開發運動控制系統與視覺處理模塊；開發了基于該平臺的視覺引導高速抓取系統,對該平臺的實時性、穩定性和可靠性進行應用驗證．

1Kithara實時套件軟件架構

Kithara實時套件KRTS由德國Kithara軟件公司開發,在Windows操作系統中安裝該套件,可以將通用Windows操作系統拓展為2個并行的“操作系統”：一個是擁有豐富軟硬件平臺資源的Windows非實時操作系統；另一個為實時性能良好的實時子系統KRTS-Kernel,以滿足運動控制所需要的同步實時性. 軟件架構如圖1所示.

與傳統非實時操作系統的實時性改造[9]相比,KRTS不需要對系統內核進行裁剪配置,不需要專用的硬件設備支持,可以隨時加載,集成了實時運動控制、工業圖像處理和現場通信總線等多個成熟的模塊,開發方便,并且充分利用了PC的軟硬件資源,可以滿足工業應用的實時性要求.

圖 1　實時拓展軟件(KRTS)架構Fig.1　Software structure of Kithara real-time suite

實時拓展軟件的主要特點包括以下幾點.

1) 通過共享內存、管道、Socket、信號量等來實現非實時任務與實時任務的同步與通信.

2)PLC模塊根據IEC61131-3用不同的編程語言編寫控制程序.

3) 支持EtherCAT、CANopen、Profibus等現場總線.

4) 通過GigE、USB3相機接口實時獲取圖像,并在Halcon或者其他圖像處理庫(如OpenCV)中進行實時圖像處理.

5) 基于優先級的實時多任務環境.

根據該實時套件軟件架構,分別進行集成視覺的運動控制平臺的硬件設計與軟件開發.

2平臺硬件結構

系統的運動控制總線通信采用山東大學數控研究中心自主研發的EtherMAC[10-11]總線控制平臺,通過網關將松下專有總線RTEX[12]的伺服系統連接到EtherMAC總線平臺上.

RTEX是Panasonic公司為了實現伺服的高速實時性能而獨立開發的專用伺服總線,協議簡單. 該總線僅兼容其公司的A4N和A5N等網絡型總線伺服,缺少必要的開放性好和易于開發的主控方案. 本文的硬件平臺通過EtherMAC-RTEX網關,使得RTEX接口的伺服可以通過計算機的標準以太網進行控制. 平臺硬件連接如圖2所示.

圖2　運動控制平臺硬件連接Fig.2　Hardware connection of motion control platform

控制器集成3個標準以太網卡,通過不同的接口標準連接到不同功能的設備：GigE[13]相機接口標準連接相機,Ethernet協議連接示教器,EtherMAC現場總線連接伺服.EtherMAC可以通過不同的協議轉換分別連接松下與安川伺服,同時支持其他多種現場總線如EtherCAT[14].

3平臺軟件結構

控制系統平臺軟件基于KRTS完成開發,WindowsApplication、KRTS配置管理模塊等非實時任務在非實時操作系統中執行,而運動控制及其他實時模塊以DLL(dynamiclinklibrary)的方式被加載并運行于內核實時層.平臺軟件主要分為4部分：用戶界面層(WindowsAPI)、運行實時任務的核心運動控制層(KRTSKernel)、用于以上兩層銜接的KRTS配置管理模塊和進行物體信息獲取的視覺模塊,具體的軟件結構如圖3所示.

圖3　運動控制平臺軟件結構Fig.3　Software structure of motion control platform

3.1用戶界面層(Windows API)

為了實現人機數據的交互、數據顯示、圖像顯示等非實時任務,在軟件結構的非實時環境中設置用戶界面層. 用戶可以通過該層開啟相機、設置傳送帶速度、改變機械手的工作模式(點位示教模式、自動模式和手動模式)、設置機械手的運動參數、讀取狀態信息等. 該層支持多種語言進行開發,如.NET語言、C#、VB、還有面向對象編程、泛型編程和過程化編程的C++語言以及微軟公司提供的基于C++的WindowsAPI類庫MFC(Microsoftfoundationclass)等.

3.2核心運動控制層(KRTS Kernel)：

核心運動控制層負責該系統的實時運動控制,運行在實時環境下,主要分為機器人運動控制程序、中斷回調函數、EtherMAC-RTEX協議棧3部分,并封裝在DLL中.在配置管理模塊加載KRTS驅動后,會搶占多核CPU的一個內核作為實時核,將DLL加載到實時內核中運行,讓實時任務獨占一個內核,并安裝中斷回調函數,實時響應網卡中斷信號；然后通過EtherMAC-RTEX協議棧將機器人運動控制程序計算出的數據下發給伺服驅動器,驅動電機運行,實時控制機器人的動作,并實時反饋機器人工作的狀態信息.

機器人運動控制程序提供了機器人正逆解函數,PTP(pointtopoint)、CP(continuouspath)作業工藝流程,開發者可以通過DLL接口調用所需函數；其中PTP軌跡規劃中包含各種加減速算法,如直線加減速、修正梯形加減速[15]、S曲線加減速等,在CP作業中包含直線插補、圓弧插補和NURBS復雜曲線插補等.EtherMAC協議棧主要負責將機器人運動控制程序計算得出的數據以及I/O數字量、模擬量信號等數據組包下發,并解析反饋數據包,保證多軸的同步控制及穩定性,實現系統的實時通信,姬帥[16]對此進行了論證.

3.3KRTS配置管理模塊

該模塊主要實現WindowsAPI與KRTSKernel之間的數據通信和管理,包括共享內存模塊和配置管理模塊. 配置管理模塊屬于運行在用戶層的KRTSAPI,主要負責KRTS驅動的加載、網卡的枚舉、開辟共享內存、加載DLL等. 共享內存開辟后,Windows用戶層中的數據指針和KRTS內核層中的數據指針指向同一塊共享數據區,實現用戶數據與核心運動控制層數據的交互.

3.4視覺模塊

系統通過視覺算法模塊得到工件信息,進行識別、定位、檢測等操作,引導運動控制部分進行相應處理.

圖像處理軟件Halcon[17]是德國MVTec公司開發的具有完善的綜合標準軟件庫和視覺集成開發環境,并提供了豐富圖像處理函數庫. 在Halcon開發環境中設計圖像處理流程,并配置好VisualStudio相應的函數庫后可以直接使用Halcon導出的C++程序,提高了開發效率,增強了平臺可移植性.

系統工作時,相機拍攝的圖片經過視覺算法處理,獲得目標物體的信息；然后將這些信息進行一定的處理,通過共享內存與運動控制進行交互. 根據任務對實時性的要求,機器視覺部分可以運行于實時系統中,也可以運行于非實時系統中,但系統結構不變.

4平臺應用實例

Clavel博士于1985年發明了DELTA并聯機械手.該機構能夠完成對物料的高速分揀、插裝、封裝、包裝等操作,在電子、食品、醫藥等鄰域得到了廣泛的應用[18].

基于提出的平臺,自主設計開發DELTA機械手本體及控制系統,實現對物體的高速分揀.樣機如圖4所示.

圖4　運動視覺一體化系統樣機Fig.4　Motion-vision system prototype

系統驅動單元主要有DELTA機械手的3個電機與2條傳送帶的2個電機,機械手與傳動帶的運動參數均可以在軟件用戶界面層設置；在視覺方面,通過軟件實現相機的啟停和圖像處理參數的修改,并將圖像顯示在用戶界面.

在系統運行時,相機將拍攝的圖像通過千兆網卡傳輸到PC,由圖像處理模塊處理后,將物體位置信息通過共享內存傳遞給運動控制模塊；運動控制模塊通過遍歷共享內存,獲得圖像處理模塊計算出的物體位置信息；若物體進入機械手的抓取范圍,預測出抓取物體的位置,進行軌跡規劃并抓取物體,若共享內存中沒有數據更新,說明暫沒有物體進入相機視野,機械手處在等待狀態.

相機采用軟件周期觸發模式,運動控制與圖像處理基于系統統一的時間序列,在觸發前記錄當前時刻,連同物體在視野中的位置信息及傳送帶的速度,預測出拍攝時物體的位置,消除了由于軟件觸發和圖像處理產生的延時對物體位置計算的影響. 具體的運行流程如圖5所示.

圖5　運動控制系統的運行流程Fig.5　Operation process of motion control system

以太網總線使用EtherMAC,網絡設備節點包括松下網關板與I/O模塊；伺服電機選用松下A5N網絡型伺服. 其他硬件參數如表1、2所示.

表1　運動控制系統控制器參數

表2　系統視覺模塊相機參數

為了測試系統的實時性能、穩定性和可靠性,分別對視覺運動控制一體化平臺和基于該平臺的DELTA分揀系統進行性能測試.

1)平臺實時性能測試：設置平臺通訊周期為1ms,連續運行4h,測試平臺的實時性能及穩定性,硬件平臺配置如表1所示.

系統響應時間是系統發出處理要求到系統給出應答信號的時間,是衡量系統實時性能的一個綜合指標,系統響應時間越小則系統實時性能越好[19]. 此處的系統響應時間是指實時子系統對以太網卡中斷信號的響應時間,即每次下位機板卡上傳數據包到下位機接收到上位機下發的數據包之間的時間,在測試系統運行過程中記錄這一延時時間Δt,具體時間的分布如圖6所示.圖中，N為分布數量.

圖6　控制器響應時間分布Fig.6　Distribution of controller response time

由圖6可知,系統響應時間全部分布在10～40μs內,最大響應時間為36.96μs,響應時間波動很小,說明該平臺具有良好的實時性能.

在工控領域,Beckhoff(倍福)TwinCAT軟件可以基于Windows形成實時內核,最短通訊周期為50μs,即系統最大響應時間小于50μs.PLC集成了豐富的運動控制功能,可以用于軌跡規劃和伺服控制[20].與KRTS相比,不支持實時圖像的處理.

2)分揀系統測試.設置平臺通訊周期為1ms,傳送帶以3種不同的速度分別連續運行4h,測試平臺的穩定性及抓取性能.測試結果如表3所示. 表中,VCON為傳送帶速度,NSUM為抓取總個數,NLOSS為漏抓個數,NERR為誤抓個數.

表3　運動控制系統抓取實驗結果

經過測試可以得出,系統最快抓取頻率為110次/min,平均抓取率為99.97%,證明了控制平臺在不同速度的抓取狀態下的穩定性與可靠性.

綜上所述,視覺運動一體化解決方案的實時性能良好,性能穩定,運行可靠,可以用于需要視覺功能的運行控制.

5結論

(1)提出PC+Windows7+KRTS的視覺處理與運動控制一體化解決方案.該方案充分利用PC硬件資源,無需運動控制卡及圖像采集卡,簡化了控制系統硬件平臺,平臺的最大響應時間為36.96μs.

(2)基于山東大學自主研發的EtherMAC以太網協議+RTEX總線方案,實現了系統對商用網絡伺服電機的實時多軸聯動控制,且擴展靈活,適應于自動化行業.

(3)開發出一套基于視覺的高速分揀系統,對不同運動速度下的物體進行連續長時間抓取,運行穩定,證明了控制平臺的有效性.

參考文獻(References):

[1]周延佑. 迅速占領市場是機床數控產業的緊迫任務[J]. 中國機械工程, 1998, 9(5): 11-13．

ZHOUYan-you.TogainrapidlygreatermarketshareistheurgenttaskfornationalCNCsystemindustry[J].ChinaMechanicalEngineering, 1998, 9(5): 11-13．

[2]武洪恩. 基于Windows的開放結構控制平臺及應用研究[D]. 濟南：山東大學, 2007．

WUHong-en.ResearchonWindows-basedopenarchitectureplatforminmotioncontrolanditsapplication[D].Jinan:ShandongUniversity, 2007．

[3]PANLD,HUANGXH,MOHAMMADA.APC-basedopenarchitecturecontrollerforrobot[J].InformationTechnologyJournal,2004, 3(3): 296-302．[4]OLIVERIAA,DEPE,MONEROU.AnOpen-architecturerobotcontrollerappliedtointeractiontasks[M]. [S.l.]:INTECHOpenAccessPublisher, 2010: 99-112．

[5]XUXM,LIY,SUNJH,etal.ResearchanddevelopmentofopenCNCsystembasedonPCandmotioncontroller[J].ProcediaEngineering, 2012, 29(1): 1845-1850．

[6]張文昌.Delta高速并聯機器人視覺控制技術及視覺標定技術研究[D]. 天津：天津大學, 2012．

ZHANGWen-chang.ControltechniqueandkinematiccalibrationofDeltarobotbasedoncomputervision[D].Tianjin:TianjinUniversity, 2012.

[7] 郎需林,靳東,張承瑞,等. 基于實時以太網的DELTA并聯機械手控制系統設計[J]. 機器人, 2013, 35(5): 576-581．

LANGXu-lin,JINDong,ZHANGCheng-rui,etal.ControlsystemdesignofDELTAparallelmanipulatorbasedonreal-timeEthernet[J].Robot, 2013, 35(5): 576-581．

[8]KitharaSoftware,Kitharareal-timesuite[EB/OL]. 2016-03-01.http:∥www.kithara.de/.

[9]WUYW,YANGY,HUALL.ResearchandimprovementofLinuxreal-timeperformance[M].Berlin:Springer, 2012: 555-559．

[10]WANGK,ZHANGCR,DINGXZ,etal.Anewreal-timeEthernetfornumericcontrol[C]∥8thWorldCongressonIntelligentControlandAutomation(WCICA).Jinan:IEEE, 2010: 4137-4141．

[11] 張承瑞,王金江. 基于標準以太網的實時同步網絡及其工作方法[P].中國,CN200710013313.0. 2007-08-15.

ZHANGCheng-rui,WANGJin-jiang.Realtimesynchronousnetworkanditsworkingmethodbasedonstandardnetwork[P].China,CN200710013313.0. 2007-08-15．

[12]LIRF,LINSY,CHENJ.EmbeddedmotioncontrollerdesignbasedonRTEXnetwork[C]∥5thInternationalConferenceonIntelligentHuman-MachineSystemandCybernetics(IHMSC).Hangzhou:IEEE, 2013: 326-329．

[13]ROBBINSR.Machinevision’sGigEvisionstandard[J].ControlEngineering, 2009, 6(56): 56．

[14]SHIMONY,CARLOSEP,PETERN.Industrialcommunicationprotocols[M].Berlin:Springer, 2009: 981-999．

[15] 王云飛,郎需林,張承瑞,等. 高速并聯機械手最優加減速控制算法研究[J]. 機械設計與制造, 2014(11): 85-88．

WANGYun-fei,LANGXu-lin,ZHANGCheng-rui,etal.Theoptimalacceleration-decel-erationcontrolresearchofhigh-speedparallelmanipulator[J].MachineryDesignandManufacture, 2014(11): 85-88．

[16] 姬帥. 網絡化運動控制系統的關鍵技術研究[D]. 濟南：山東大學, 2014．

JIShuai.Researchonthekeytechnologiesofnetworkedmotioncontrolsystem[D].Jinan:ShandongUniversity, 2014．

[17]MVTecSoftwareGmbH,buildingvisionsforbusiness[EB/OL]. 2016-03-01.http:∥www.h-alcon.com/．

[18]SHIBP,KIMHS,SONGCY,etal.Dynamicsmodelingofadelta-typeparallelrobot[C]∥ 44thInternationalSymposiumonRobotics(ISR).Seoul:IEEE, 2013: 1-5．

[19]WANGK,ZHANGCR,XUX,etal.ACNCsystembasedonreal-timeEthernetandWindowsNT[J].InternationalJournalofAdvancedManufacturingTechnology, 2013, 65(9/12): 1383-1395．

[20]BECKHOFF.Newautomationtechnology[EB/OL]. 2016-03-01.http: ∥www.beckhoff.com.en/english/．

收稿日期：2015-06-23.浙江大學學報(工學版)網址： www.journals.zju.edu.cn/eng

基金項目：國家科技支撐計劃資助項目(2014BAF09B01).

作者簡介：劉亞男(1990-)，男，碩士生，從事機器人運動學的研究. ORCID: 0000-0001-9625-5806. E-mail：lynsdu@qq.com 通信聯系人：張承瑞，男，教授. ORCID: 0000-0003-1536-589X. E-mail：13969076910@126.com

DOI:10.3785/j.issn.1008-973X.2016.07.022

中圖分類號：TP 242

文獻標志碼：A

文章編號：1008-973X(2016)07-1381-06

PC-basedopencontrolplatformdesignofintegrationofmachinevisionandmotioncontrol

LIUYa-nan1,2,NIHe-peng1,2,ZHANGCheng-rui1,2,WANGYun-fei1,SUNHao-chun1

(1. School of Mechanical Engineering, Shandong University, Jinan 250061, China；2. Key Laboratory of High Efficiency and Clean Mechanical Manufacturing, Shandong University, Jinan 250061, China)

Abstract:A real-time sub-system taking advantage of Windows real-time extension software KRTS (Kithara real-time suite) was realized on a multi-core CPU computer in order to conveniently integrate motion control with machine vision, simplify motion control system as well as cost less. Real-time tasks ran in real time sub-system and other tasks ran in Windows in parallel. In this way, standard network cards instead of motion control cards and image capture cards were used to transfer data of motion control and images. The solution which integrated motion control with machine vision was proposed and achieved standardization, commonality and network as a motion control platform. The maximum response time of the system was 36.96 μs through test. A vision-guided high speed DELTA sorting system was developed based on the platform．

Key words:KRTS; real-time; motion control platform; DELTA manipulator; machine vision