圖像處理耦合pLC的視覺引導與測量系統應用研究*

史小春，劉國慶，鄭筆耕

(1.四川工程職業技術學院 計算機科學技術系，四川 德陽　618000；2.荊楚理工學院 電子信息工程學院，湖北 荊門　448000)

?

圖像處理耦合pLC的視覺引導與測量系統應用研究*

史小春1，劉國慶1，鄭筆耕2

(1.四川工程職業技術學院 計算機科學技術系，四川 德陽618000；2.荊楚理工學院 電子信息工程學院，湖北 荊門448000)

摘要：電視顯示器組裝工作量大，且精度要求高，如果依靠手工或者單純機器來完成組裝作業，往往不能保證產品質量。對此，文章提出了基于圖像處理與pLC的視覺引導與測量系統來完成零部件panel的pBA壓合作業。首先，對標定板進行目標識別，得出標準點的坐標和物理距離換算比例；隨后，對panel目標進行識別，計算出偏移，并基于ModBus通信協議實現pC端軟件與pLC交互，完成pLC補正，即視覺引導。在完成壓合作業后，進行整體視覺檢測，完成目標距離測量。實驗測試結果表明：根據作業速度和準確度，與當前技術相比，文中機制具有更好的引導和測量效果，高效的完成壓合作業，提高了效率和準確度。

關鍵詞：視覺檢測；pLC；圖像處理；視覺引導；ModBus

0引言

隨著產業結構調整和經濟轉型概念的深入和實施，電子制造業正在向智能機器化方向不斷地發展。工廠開始越來越多的帶視覺功能的機器代替作業員，實現自動化生產，這樣不僅可以提高生產效率和產品質量，還可以節約人力成本，將寶貴的人力成本流向更需要的行業[1-4]。本文研究的主要問題是電視顯示器生產過程中，重要零部件panel的pBA壓合作業，用機器視覺引導機構pLC壓合，然后機器視覺自動檢測完成壓合的產品質量，即panel的Connect與十字mark的間距是否在標準范圍內。如果間距在標準范圍內，則判為良品，否則判為不良。視覺引導功能體現在壓合作業前，先計算出間距偏移，然后發送給機構pLC進行機械補正，完成補正后再壓合。panel是電視顯示器的重要零部件，按照以往的工作方法是安排熟練作業員，手動翻折panel的pBA并完成壓合，再用人眼進行檢查，是否壓合準確。這樣的缺點是作業時間長，效率低，同時存在主觀誤判。以往的工作方法還有是依靠不帶視覺引導與檢測的設備完成壓合作業，然后基于人眼檢查。這樣的缺點是壓合前的偏移并不能得到補償，并且壓合后人眼檢查，依然存在誤判，受人員主觀影響。如果采用高倍工業相機實時取像，傳送至帶智能圖像分析的pC機處理和檢測，使設備具有引導和檢查功能，將提高這個生產線的作業準確度和效率。

實際上，近幾年來機器視覺測量技術已經在該領域內得到廣泛應用，并且已在很大程度上推動了制造業發展[5-7]，尤其是在產品外觀檢測上面。目前，已有部分學者設計了相應的測量算法，并且達到了一定的效果[8-9]。這些算法的實驗結果表明其具有良好的檢測效果。

盡管上述這些測量機制能夠取得較好的效果；但是當目標背景復雜或者特征不明顯的時候，這些算法的測量精度較低，存在明顯的測量偏差[10-12]。

對此，本文提出了一個基于圖像處理與pLC的視覺引導與測量系統機制。并通過實驗，驗證了本文帶視覺引導和測量的機制與傳統機制的性能。

1本文整體引導與測量機制

本文測量的零部件為panel和標定板，panel上的兩個十字mark與中connect是圖像識別目標，識別完成后，得到三者物理坐標，容易計算出mark與connect間距。本文研究的標定板是panel的模板，標定板的圓和矩形，它們的中心點對應panel的mark、connect的中心點。如圖1所示為標定板的三個待識別、測量的目標分別為：左圓、中間矩形、右圓。如圖2所示為標定板panel的三個待識別、測量的目標分別為：左mark、中間connect、右mark。

圖1　標定板

圖2　panel中的目標

本文的機制主要是：先基于工業相機完成對標定板、panel實時圖像采集。對標定板三個目標進行識別，得到目標圖像坐標；同時計算出物理距離與圖像距離的換算比例，標定板物理坐標為已知，即完成了系統標定。接著對panel三個目標進行識別，得到目標圖像坐標；基于系統標定得到的標定板目標圖像坐標、物理坐標、距離換算比例，得到panel目標的物理坐標。計算出panel目標mark與connect的間距，再與標準范圍比較得出偏移，基于Modbus協議傳遞pLC完成機械補償。最后完成壓合作業，對panel三個目標整體視覺檢測。整體機制流程如圖3所示。

圖3　本文機制架構

為了能夠實現本機制，本文基于C++和OpenCV來實現本機制軟件的引導、檢測功能。基于串口和Modbus協議進行pC視覺軟件與pLC的數據通信。本機制在標定板原圖中用紅色框標注，panel原圖以綠色框標注，以展示識別效果。最后用OK或NG圖標展示測量結果。

2標定板識別與系統標定

首先對標定板的圓、矩形進行識別，得出中心點圖像坐標、圓半徑、矩形長寬。由于標準件目標中心點物理坐標、物理長度是給定的，從而容易得到距離換算比例、panel目標中心點的物理坐標，如式(1)、(2)所示。

(1)

(2)

式(1)中，bili為物理距離與圖像距離換算比例，Wuli_Distance為物理距離，panel_Distance為圖像像素距離。式(2)中BWL、BWC、BWR為標定板左圓、中間矩形、右圓的物理坐標。pWL、pWC、pWR為panel左mark、中間connect、右mark的物理坐標。bili為物理距離與圖像距離換算比例。BIL、BIC、BIR為標定板左圓、中間矩形、右圓的圖像坐標。pIL、pIC、pIR為panel左mark、中間connect、右mark的圖像坐標。

標定板目標(如圖4、圖8所示)識別步驟：

(1)灰度化處理，最大類間閾值分割[13]得到包含目標的二值圖(如圖5所示)。

(2)基于OpenCV函數cvFloodFill和Imfill對目標內部進行填充處理，見圖6與圖9。

(3)基于面積、形狀度特征分析，評判是否識別到目標(如圖7、圖10所示)。 圖中綠色框是經過圖像識別后的目標標定框，代表識別到的目標位置。綠色標定框準確的圍著標定板的圓形目標與矩形目標，代表本機制識別算法效果精準。

圖4　原圖

圖5　二值圖

圖6　填充圖

圖7　定位效果圖

圖8　原圖

圖9　填充圖

圖10　定位效果圖

標定板識別部分代碼：

IplImage*imagei=cvCreateImage(cvGetSize(image1),IpL_DEpTH_8U,1);

cvCvtColor(image1,image,CV_BGR2GRAY);

cvCvtColor(image1,imagei,CV_BGR2GRAY);

IplConvKernel*element=cvCreateStructuringElementEx(5,5,1,1,CV_SHApE_RECT,0);

cvDilate( image, image, element, 1);

cvErode( image, image, element, 1);

cvSaveImage("D:/image.bmp",image);

CvMemStorage *storage=cvCreateMemStorage();

CvContourScanner scanner=NULL;

CvSeq *contour=0;

CvSeq *con=0;

Cvpoint pt1,pt2;

scanner=cvStartFindContours(image,storage,sizeof(CvContour),CV_RETR_CCOMp,CV_CHAIN_AppROX_NONE,cvpoint(0,0));

contour = cvEndFindContours(&scanner);

s=cvBoundingRect(con);

cvFloodFill(image,pt,cvScalarAll(255));

3基于ModBus通信協議的pC軟件與pLC

交互

本機制基于串口和Modbus協議進行pC視覺軟件與pLC的數據通信。先對panel目標Connect進行識別，與之前標定板標定數據得出panel目標Connect的物理坐標，再與標定板矩形框中心點物理坐標進行比較，得出偏移。然后傳遞給pLC進行機械補償，傳遞方式基于串口、將偏移數值轉換為16進制，根據Modbus協議格式傳遞給pLC偏移寄存器。pLC讀取偏移寄存器數值后即實現機械補償，并發送通知給視覺軟件后，完成壓合。最后視覺軟件接收到壓合作業完成消息后，開始進行整體的視覺檢測。整體流程如圖11所示。

圖11　pLC與Vision軟件交互整體流程圖

4基于機器視覺的panel目標識別與測量

首先對panel的mark、connect進行識別，得出中心點圖像坐標。由于標準件目標中心點物理坐標、距離換算比例已知，根據標系統式(2)，容易得到panel目標中心點的物理坐標。最后計算出mark與connect間距，并與標準范圍比較，從而進行視覺測量與判斷。

panel目標(如圖12、圖15所示)識別步驟：①灰度化處理，形態學處理得到包含目標的二值圖(如圖13所示)。②基于OpenCV函數cvMatchTemplate對目標進行模板匹配。③基于周長、形狀度特征分析，評判是否識別到目標(如圖14、圖16所示)。

圖12　原圖

圖13　二值圖

圖14　識別結果

圖15　原圖

圖16　識別結果

panel目標識別部分代碼：

cvSetImageROI(image,cvRect(xmin,ymin,xmax-xmin,ymax-ymin));

cvSetImageROI(imagei,cvRect(xmin,ymin,xmax-xmin,ymax-ymin));

IplImage*ROI=cvCreateImage(cvGetSize(image),image->depth,image->nChannels);

IplImage*src=cvCreateImage(cvGetSize(imagei),imagei->depth,imagei->nChannels);

IplImage*dst=cvCreateImage(cvGetSize(imagei),imagei->depth,imagei->nChannels);

cvCopy(image, ROI, NULL);

cvResetImageROI(image);

cvErode( ROI, ROI, element, 3);

cvAnd(src,ROI,dst,NULL);

CvScalar pixel;

5實驗與討論

為了驗證本文機制的可行性與優越性，選取2組panel進行作業，每組100個。A組為本文機制下作業；B組為不帶視覺功能的設備作業， 并將其視為對照組。經過統計，實驗結果如表1所示。本機制在保證標定板、panel目標識別準確前提下，更快地計算出目標間物理距離，精準測量出目標距離。從表中可知，本文機制的準確度和效率明顯優于B組，說明本文機制的自動化程度更高，更精確。

表1　測試數據表

圖17、圖18分別為本文機制標定板識別標定、panel目標識別測量的軟件UI圖。從圖中可知，本文機制可成功識別標定板與panel目標、標定系統物理距離與圖像像素距離換算比例、測量目標間物理距離，最后得出測量結果，從而實現的視覺引導和視覺檢測的功能。

圖17　標定板識別、標定系統軟件UI圖

圖18　panel識別、測量系統軟件UI圖

為了比較不同算法的檢測精確度，本文采用對同一枚panel檢測，先用文獻[11]的技術進行檢測；然后再用本文機制檢測，得出識別結果如圖19、圖20所示。可知，當目標背景有較大干擾時，本文算法的定位精度比傳統技術要高，定位偏移非常小；而傳統的異物定位技術產生了較大的偏移。

圖19　文獻[11]技術的識別結果

圖20　本文技術的識別結果

6結論

為了實現panel pBA壓合作業的自動化和精準化，依靠不帶視覺引導與檢測的設備，較困難的問題，本文提出了一個基于OpenCV與pLC的視覺引導與測量系統，來完成零部件panel的pBA壓合作業。首先，對標定板進行目標識別，再對panel目標進行識別，計算出偏移。然后，計算出系統物理距離與圖像像素距離換算比例。并基于ModBus通信協議實現pC軟件與pLC交互，完成視覺引導。最后進行視覺檢測，完成目標距離測量。實驗測試結果表明：本文機制具有更好的引導和測量效果，提高了效率和準確度。

[參考文獻]

[1] 劉振宇, 李中生, 張濤. 基于機器視覺的碼垛機器人系統研究[J]. 組合機床與自動化加工技術，2014(4)：9-14.

[2] 袁清珂, 張振亞, 吳暉輝，等. 基于機器視覺系統的自動檢測系統設計與開發[J]. 組合機床與自動化加工技術，2014(11)：119-121.

[3] 趙霽文.機器視覺測量中成像系統光瞳球差對測量影響的研究[J]. 光學與光電技術，2014, 36(4)：181-185.

[4] 隆昌宇. 移動視覺測量中基于空間交會的匹配方法[J]. 光學學報，2014, 21(7)：1906-1913.

[5] 馬品奎. 超塑性自由脹形的雙目立體視覺測量研究[J]. 金屬學報，2014, 33(10)：2886-2890.

[6] 許曉臣. 基于CUDA的動態視覺測量像面特征點中心快速定位算法[J]. 計算機工程與科學，2014, 23(2)：371-376.

[7] Noori H, Saryazdi S. A bilateral image inpainting [J]. IJST Trans Electr Eng，2011, 25(E2)：95-108.

[8] 李虹. Bp神經網絡在列車異物檢測中的應用[J]. 統計與管理, 2014,18(15)：482-4387.

[9] JEhmann, Tpappas, DNeuhoff. Structure Texture similarity metrics for image analysis and retrieval [J]. IEEE Transactions,, 2013, 22(7): 2545-2258.

[10] 龍水軍. 基于彩色軌跡引導的AGV視覺導航方案研究[J]. 工具技術, 2014,18(15)：42-47.

[11] 郭新年, 白瑞林, 王秀平. 結構光視覺引導的焊接機器人系統自標定技術[J]. 計算機工程與應用，2013, 50(9)：262-267.

[12] Y Kuang, L Zhang, Z Yi. An Adaptive Rank-sparsity K-SVD Algorithm for Image Sequence Denoising [J]. pattern Recognition Letters，2014, 33(17)：1021-1032.

[13] Xu X Y,Xu S Z,Jin L H, et al.Characteristic Analysis of Otsu Threshold and Its Applications. pattern Recognition . 2011,2(1):124-128.

(編輯李秀敏)本刊歡迎訂閱!

歡迎在線投稿!

歡迎刊登廣告!

http:∥www.zhjcz.com.cn

The Study on Visual Guide and Measure System Based on Image processing and pLC

SHI Xiao-chun1,LIU Guo-qing1,ZHENG Bi-geng2

(1.Department of Computer Science Technology, Sichuan Engineering Technical College, Deyang Sichuan 618000, China;2. College of Electronics and Information Engineering ，Jingchu University of Technology, Jingmen Hubei 448000, China)

Abstract：In the flat panel computer assembly workload, and the accuracy requirement is high, if rely on manual or simple machines to complete the assembly work, often can not guarantee the quality of products. Therefore, this paper presents a vision based guidance and measurement system of OpenCV and pLC, to complete the components of panel pBA press operation. First of all, the calibration board for target recognition, it is concluded that the standard point coordinates and the physical distance conversion ratio; then, to identify panel targets, calculate the offset, the realization of pC client software to interact with the pLC communication protocol based on ModBus, complete the pLC correction, namely visual guide. Finally, the pressing operation is completed, the overall visual inspection, the completion of the target distance measurement. The experimental results show that: according to the operating speed and accuracy, compared with manual operation, simple machine operation, guiding and measuring effect this mechanism has better, efficient completion of the pressing operation, improve the efficiency and accuracy.

Key words：machine vision; pLC; image processing; visual guide; ModBus

中圖分類號：TH166;TG506

文獻標識碼：A

作者簡介：史小春(1978—)，男，四川渠縣人，四川工程職業技術學院講師，碩士，研究方向為計算機應用與自動化控制、模式識別，(E-mail) SCGCZYShixiaoC1978@163.com。

*基金項目：四川省科技支撐計劃(2011GZ0149)；四川省創新基金(YJCX20110014)

收稿日期：2015-03-02