基于VisionPro和PLC的視覺測量定位系統(tǒng)

楊 鑫，羅付強(qiáng)，劉宏巖，楊 健，何鎧鋒

（重慶紅江機(jī)械有限責(zé)任公司，重慶 402162）

1 引言

近年來，機(jī)器視覺系統(tǒng)以其高效率、高可靠和低成本的特點(diǎn)在國內(nèi)外取得了廣泛的應(yīng)用。機(jī)器視覺是一門涉及圖形圖像、計(jì)算機(jī)軟件、自動(dòng)化、機(jī)械設(shè)計(jì)和人工智能等諸多領(lǐng)域的交叉學(xué)科。目前業(yè)內(nèi)關(guān)注較多的是機(jī)器視覺系統(tǒng)的硬件部分或軟件部分，然而，在視覺軟件得出數(shù)據(jù)后，往往需要將數(shù)據(jù)傳輸至 PLC 及上位機(jī)，PLC 根據(jù)數(shù)據(jù)結(jié)果做出分析判定，并控制相關(guān)設(shè)備進(jìn)行相應(yīng)動(dòng)作，上位機(jī)對(duì)數(shù)據(jù)進(jìn)行整理存檔、集成展示等。例如工廠中常見的物料分揀視覺系統(tǒng)、立體倉庫視覺管理系統(tǒng)、零件質(zhì)量視覺檢測系統(tǒng)、以及本項(xiàng)目涉及的零件自動(dòng)測量定位視覺系統(tǒng)等。

2 系統(tǒng)概況

通過視覺系統(tǒng)對(duì)零件進(jìn)行直徑測量和位置矯正，零件隨機(jī)放置，其位置并不一致，通過視覺軟件獲取零件圖像并進(jìn)行處理，得出直徑和零件位置數(shù)據(jù)，將位置數(shù)據(jù)傳至PLC，PLC 根據(jù)零件實(shí)際位置控制伺服電機(jī)將其矯正至固定位置，以供機(jī)器人等自動(dòng)裝置夾持零件進(jìn)行加工裝夾或裝配，保證零件順利裝入。項(xiàng)目采用的視覺軟件是 Cognex公司的 VisionPro，PLC 為 Siemens 公司的 S7-1200，電機(jī)為 Siemens 公司的 V90 伺服電機(jī)。通過 VisionPro 創(chuàng)建 QuickBuild 視覺項(xiàng)目，利用 C# 在 VS 環(huán)境下調(diào)用QuickBuild 項(xiàng)目開發(fā)上位機(jī)軟件，通過類庫 S7.NET 與 S7-1200 通信，實(shí)現(xiàn)上位機(jī)軟件與 PLC 的數(shù)據(jù)交互，PLC 獲取零件位置數(shù)據(jù)后，控制 V90 伺服電機(jī)動(dòng)作，實(shí)現(xiàn)零件的矯向功能。系統(tǒng)組成如圖1所示。

圖1 視覺定位系統(tǒng)組成

3 VisionPro QuickBuild項(xiàng)目創(chuàng)建

項(xiàng)目選用 Basler acA1300-30gm 相機(jī)、Computar M2514-MP 鏡頭、日本 CCS LDR2-70RD 環(huán)形 LED 光源。通過軟件觸發(fā)拍照指令，通過 GigE 千兆以太網(wǎng)接口協(xié)議將圖像反饋至 VisionPro。VisionPro 提供了一個(gè)交互式的開發(fā)環(huán)境，可以利用 VisionPro 來獲取圖像，集成視覺工具來處理圖像，生成 QuickBuild 應(yīng)用項(xiàng)目，在 QuickBuild 項(xiàng)目中，先后應(yīng)用工具見下表。

表 QuickBuild 工具

?

視覺系統(tǒng)校準(zhǔn)標(biāo)定是補(bǔ)償相機(jī)的線性和非線性誤差必不可少的環(huán)節(jié)，另一方面，機(jī)器視覺系統(tǒng)的數(shù)字圖像處理是以像素為單位來表示的，而工程應(yīng)用的長度單位采用的是毫米、厘米或英寸等作為物理尺寸單位。因此，要想獲得常規(guī)的測量結(jié)果數(shù)值，需要建立像素與實(shí)際尺寸的對(duì)應(yīng)關(guān)系，標(biāo)定實(shí)際上就是確定每個(gè)像素所表示的實(shí)際物理尺寸。標(biāo)定的準(zhǔn)確與否，將直接影響視覺測量系統(tǒng)的測量準(zhǔn)確性，標(biāo)定工作的頻密程度與具體測量項(xiàng)目的準(zhǔn)確度要求相關(guān)，一般情況下視覺系統(tǒng)每次開機(jī)都應(yīng)做一次標(biāo)定，或每天做一次標(biāo)定；準(zhǔn)確度要求高的則應(yīng)考慮標(biāo)定工作做得頻密，QuickBuild 中采用 CogCalibCheckerboardTool 工具進(jìn)行標(biāo)定，在 CogCalibCheckerboardTool 標(biāo)定工具中，輸入的參數(shù)包括校準(zhǔn)點(diǎn)陣模板兩點(diǎn)之間在

X

方向和

Y

方向的實(shí)際距離，這是標(biāo)定的依據(jù)。標(biāo)定工具根據(jù)

X

和

Y

的值，用優(yōu)化的算法將復(fù)雜的標(biāo)定信息與圖像信息結(jié)合，實(shí)現(xiàn)圖像像素坐標(biāo)到實(shí)際坐標(biāo)的轉(zhuǎn)換，值得注意的是，標(biāo)定板一定要與零件特征平面等高，這樣標(biāo)定的數(shù)據(jù)才能真實(shí)反映特征數(shù)據(jù)。項(xiàng)目采用9×9點(diǎn)陣式標(biāo)定板，圓點(diǎn)直徑為 1 mm，圓心距為2 mm，在標(biāo)定工具中設(shè)置如圖2所示。得到標(biāo)定圖像后，需要在圖像中尋找模板特征來定位圖像，模板是圖像（或其子圖）的一種表達(dá)方式，其本身仍然是一幅圖像。一般情況下，模板在目標(biāo)圖像中來回移動(dòng)，直到找到使某個(gè)匹配函數(shù)值達(dá)到最大的位置為止，可以比較模板

T

和子圖

f

的內(nèi)容，若兩者一致，則

T

和子圖

f

之差為零，所以可以用下列的函數(shù)來衡量

T

和

f

的相似程度：

其中，模板尺寸是

K

×

K

，式 (1) 對(duì)模板

T

與子圖

f

在坐標(biāo)處圖像之間匹配程度提供了度量。在模板匹配中，一個(gè)基本問題就是對(duì)模板尺寸大小的選擇問題，如果模板選擇過小，就難以估計(jì)圖像的變化，以至于無法做出準(zhǔn)確的估計(jì)，如果模板太大，則窗口中覆蓋的面積太大，就無法實(shí)現(xiàn)匹配。

標(biāo)定和模板匹配是項(xiàng)目關(guān)鍵工具，通過這兩個(gè)工具獲取并匹配到標(biāo)準(zhǔn)物理尺寸的目標(biāo)圖像，然后通過尋圓擬合、構(gòu)建線、擬合線和求夾角等工具組合求出零件外徑及方位角。將 CogPMAlignTool 匹配的特征數(shù)量（定位結(jié)果）、CogFindCircleTool 擬合的外圓直徑值（測量直徑）、CogAngleLineLineTool 計(jì)算的角度（矯向角度）添加到 CogResultsAnalysisTool 進(jìn)行處理運(yùn)算，并添加到QuickBuild 發(fā)送項(xiàng)，通過高級(jí)語言調(diào)用 QuickBuild API 來獲取發(fā)送項(xiàng)，開發(fā)高級(jí)應(yīng)用功能。

圖 2 CogCalibCheckerboardTool 工具和標(biāo)定板

4 上位機(jī)軟件開發(fā)

上位機(jī)軟件采用 C# 在 Visual Studio 2019 環(huán)境中開發(fā)，主要是調(diào)用 QuickBuild 項(xiàng)目、獲取測量直徑及矯向角度、PLC 通信及控制、獲取 PLC 執(zhí)行狀態(tài)等。

4.1 調(diào)用 VisionPro QuickBuild 項(xiàng)目

VisionPro 可以為相機(jī)分配離散 IO，利用應(yīng)用程序向?qū)Э梢詣?chuàng)建完善的 QuickBuild 應(yīng)用程序，直接用于終端機(jī)。但是這種方式不方便與外界進(jìn)行交互，而且要配備 Cognex 的離散 IO 硬件，限制了應(yīng)用程序的靈活性。項(xiàng)目采用“QuickBuild+高級(jí)語言”開發(fā)模式，VisionPro與高級(jí)語言的聯(lián)合開發(fā)支持三種形式：高級(jí)語言調(diào)用VisionPro 控件、高級(jí)語言調(diào)用 VisionProToolGroup、高級(jí)語言調(diào)用 VisionProQuickBuild。第一種方式完全脫離VisionPro 開發(fā)環(huán)境，直接在高級(jí)語言環(huán)境中調(diào)用 VisionPro控件 dll 進(jìn)行編譯，這種開發(fā)方式足夠靈活，但開發(fā)難度相對(duì)較大，且不利于后期調(diào)試維護(hù)；高級(jí)語言調(diào)用VisionProToolGroup 是在 QuickBuild 中將所有的視覺工具集成到一個(gè) ToolGroup 中，然后將其單獨(dú)保存成 vpp 文件，高級(jí)語言調(diào)用這個(gè) vpp 文件進(jìn)行集成開發(fā)，其優(yōu)點(diǎn)是不必定義線程來檢測外部信號(hào)，可以采用外部 I/O 信號(hào)觸發(fā)的方式，適合用在一些高頻率取像的項(xiàng)目中；高級(jí)語言調(diào)用 VisionProQuickBuild 是將 QuickBuild 保存為一個(gè)完整的項(xiàng)目，高級(jí)語言直接調(diào)用該項(xiàng)目，其優(yōu)點(diǎn)是視覺項(xiàng)目與高級(jí)語言完全脫離，只需更改 QuickBuild 即可完成視覺的大多數(shù)修改工作，利于后期重新標(biāo)定、維護(hù)修改。

項(xiàng)目采用 C# 調(diào)用 VisionProQuickBuild 的開發(fā)模式，在VS環(huán)境中創(chuàng)建窗體應(yīng)用程序，調(diào)用 VisionPro 開發(fā)的QuickBuild 項(xiàng)目。VisionPro 程序集是針對(duì) .NET Framework 4.0 開發(fā)的，因此開發(fā)環(huán)境 Framework 要配置為4.0以上版本。在窗體上添加一個(gè) VisionPro 的 CogRecordDisplay 控件，用于顯示圖像，然后引用以下程序集：

隨后調(diào)用 QuickBuild 項(xiàng)目及運(yùn)行結(jié)果，關(guān)鍵代碼如下：

4.2 PLC 通信控制

上位機(jī)與 S7-1200PLC 有多種通信方式，采用 S7.NET實(shí)現(xiàn) PLC 的通信，S7.NET 是一個(gè) PLC 驅(qū)動(dòng)程序，要求PLC 必須具有 Profinet 功能，上位機(jī)通過以太網(wǎng)連接西門子 PLC。S7.NET 是完全基于 C# 開發(fā)編寫的開源類庫，因此在 C# 項(xiàng)目開發(fā)中可以輕松地調(diào)用調(diào)試，實(shí)現(xiàn)上位機(jī)軟件與西門子 PLC 的通信控制功能。

在 C# 窗體應(yīng)用程序中，引用“S7.Net”程序集，添加 Timer 控件定時(shí)掃描 PLC 并讀寫 PLC 狀態(tài)，關(guān)鍵代碼如下：

上位機(jī)軟件與 PLC 協(xié)同配合完成視覺定位矯向功能，上位機(jī)獲取零件位置數(shù)據(jù)，PLC 執(zhí)行位置矯正并反饋執(zhí)行結(jié)果，兩者必須配合得當(dāng)。其控制過程是： PLC 首先發(fā)出視覺請(qǐng)求信號(hào)，上位機(jī)執(zhí)行視覺取像及處理，隨后向 PLC發(fā)送零件位置數(shù)據(jù)，PLC 得到數(shù)據(jù)后，執(zhí)行矯向動(dòng)作，并反饋完成信號(hào)，上位機(jī)再次進(jìn)行視覺處理，判定矯向結(jié)果是否正確，若不正確，重復(fù)上一過程直至正確，然后發(fā)出“OK”信號(hào)，結(jié)束視覺處理；另一種情況是如果獲取圖像模板匹配不成功，則直接輸出“NG”信號(hào)結(jié)束視覺處理。

由于 PLC 的信號(hào)采用脈沖輸出，上位機(jī)軟件是通過定時(shí)器的方式掃描 PLC 狀態(tài)，并非實(shí)時(shí)采集。對(duì)于上位機(jī)而言，PLC 輸出只有“0”或“1”兩種情況，無法檢測上升沿或下降沿。在實(shí)際應(yīng)用中，如果定時(shí)器時(shí)間長度與PLC 信號(hào)脈沖設(shè)置不當(dāng)，上位機(jī)有可能會(huì)重復(fù)讀取或漏掉一些 PLC 信號(hào)。比如，當(dāng) PLC 視覺請(qǐng)求信號(hào)脈沖寬度大于上位機(jī)軟件掃描周期時(shí)，上位機(jī)在連續(xù)兩個(gè)掃描周期內(nèi)獲取的信號(hào)是一樣的，就會(huì)作出兩次視覺處理；當(dāng) PLC 視覺請(qǐng)求脈沖寬度小于上位機(jī)掃描周期時(shí)，則上位機(jī)很有可能會(huì)錯(cuò)過這個(gè)信號(hào)而不執(zhí)行任何動(dòng)作，這種情況是絕對(duì)不允許的。因此，首先必須保證 PLC 信號(hào)脈沖長度大于上位機(jī)掃描周期，然后在上位機(jī)軟件通過程序?qū)?PLC 信號(hào)構(gòu)造為 “上升沿”信號(hào)，在上位機(jī)程序中，定義一個(gè) Bool 變量，當(dāng)?shù)谝淮螜z測到 PLC 矯向請(qǐng)求為“1”時(shí)，將該變量置為“1”，直到 PLC 矯向請(qǐng)求為“0”時(shí)，將該變量置為“0”。運(yùn)行流程如圖3所示。

圖 3 視覺處理流程

5 PLC運(yùn)動(dòng)控制

S7-1200 在運(yùn)動(dòng)控制中使用了軸的概念，通過對(duì)軸的組態(tài)，包括硬件接口、位置定義、動(dòng)態(tài)特征和機(jī)械特性等，與相關(guān)的指令塊組合使用，可以實(shí)現(xiàn)絕對(duì)位置、相對(duì)位置、點(diǎn)動(dòng)、轉(zhuǎn)速控制和自動(dòng)尋找參考點(diǎn)的功能。項(xiàng)目用1200PLC 通過 PROFINET 通信方式連接西門子的 V90 PN驅(qū)動(dòng)裝置，驅(qū)動(dòng)裝置用于控制軸的運(yùn)動(dòng)，通過 PROFIdrive報(bào)文3進(jìn)行數(shù)據(jù)傳輸，使用 V90 PN 的 GSD 文件，將 V90 PN 組態(tài)為 S7-1200 的 IO device，作為從站集成到硬件組態(tài)中，在 S7-1200 中以工藝對(duì)象的方式來實(shí)現(xiàn)伺服電機(jī)的零件定位矯向控制功能。

V90 伺服驅(qū)動(dòng)組態(tài)完成后，使用工藝中的“Motion control”指令塊進(jìn)行運(yùn)動(dòng)控制編程，這里使用了“使能軸”和“點(diǎn)動(dòng)軸”兩個(gè)指令塊，如圖4所示。

圖 4 PLC Motion control 控制程序

“PLC 矯向請(qǐng)求”由“機(jī)器人矯向請(qǐng)求”和“電機(jī)旋轉(zhuǎn)完成”共同觸發(fā)，PLC 接收到機(jī)器人矯向請(qǐng)求后，首次向上位機(jī)發(fā)出矯向請(qǐng)求，上位機(jī)執(zhí)行視覺處理并將零件旋轉(zhuǎn)角度傳輸至 PLC 的 MD94，隨后啟動(dòng)伺服電機(jī)旋轉(zhuǎn)，電機(jī)旋轉(zhuǎn)完成后，PLC 再次發(fā)出矯向請(qǐng)求，上位機(jī)重新取像，驗(yàn)證矯向結(jié)果是否正確，若正確則返回“OK”信號(hào)，若不正確則再次傳輸新的零件位置數(shù)據(jù)，直至零件矯向合格為止。

6 結(jié)束語

工業(yè)視覺項(xiàng)目往往涉及到視覺軟件、上位機(jī)和 PLC運(yùn)動(dòng)控制等多學(xué)科的交叉，作為機(jī)器視覺是否能得到有效應(yīng)用，不僅在于圖像的識(shí)別處理，還在于得出數(shù)據(jù)后的系列操作，這種集成在工業(yè)應(yīng)用項(xiàng)目中尤為突出，一個(gè)完善的工業(yè)視覺項(xiàng)目應(yīng)該包括“視覺處理—執(zhí)行控制—結(jié)果驗(yàn)證”，形成閉環(huán)控制。項(xiàng)目從 VisionPro 視覺處理、上位機(jī)集成展示及數(shù)據(jù)傳輸、PLC 運(yùn)動(dòng)控制和結(jié)果判定各方面進(jìn)行集成，形成了一套較為完整的工業(yè)視覺測量定位系統(tǒng)，對(duì)工業(yè)視覺應(yīng)用有一定推廣及借鑒意義。