基于QT的工業(yè)邊緣側(cè)視覺(jué)檢測(cè)系統(tǒng)人機(jī)協(xié)同交互方法*

高文祥 琚長(zhǎng)江,2,3 聶佳 李倩,2 郭麗君,2

(1.上海電器科學(xué)研究所(集團(tuán))有限公司，上海 200063;2.上海市智能電網(wǎng)需求響應(yīng)重點(diǎn)實(shí)驗(yàn)室，上海 200063;3.國(guó)家能源智能電網(wǎng)用戶(hù)端電氣設(shè)備研發(fā)(實(shí)驗(yàn))中心，上海 200063)

0 引言

目前，國(guó)內(nèi)外企業(yè)智能制造是繼自動(dòng)化制造之后更進(jìn)一步的制造業(yè)形態(tài)，其核心是數(shù)字化，網(wǎng)絡(luò)化，智能化。視覺(jué)檢測(cè)技術(shù)是實(shí)現(xiàn)智能制造的一種實(shí)現(xiàn)方式，它為產(chǎn)品的檢驗(yàn)、工件加工和裝配自動(dòng)化提供了一種不需要人員操作、自動(dòng)檢測(cè)產(chǎn)品缺陷、即時(shí)反饋檢測(cè)結(jié)果的解決方案。

本文即對(duì)視覺(jué)檢測(cè)技術(shù)應(yīng)用于智能制造中所產(chǎn)生的一些問(wèn)題提出了一種基于QT的工業(yè)邊緣側(cè)視覺(jué)檢測(cè)系統(tǒng)人機(jī)協(xié)同交互方法。

1 智能制造視覺(jué)檢測(cè)系統(tǒng)概述

視覺(jué)檢測(cè)技術(shù)可以用于智能制造的產(chǎn)品檢測(cè)生產(chǎn)線，典型場(chǎng)景是當(dāng)輸送線把產(chǎn)品輸送到需要裝配或檢測(cè)的工位時(shí)，通過(guò)視覺(jué)檢測(cè)算法利用攝像頭拍攝的產(chǎn)品圖片去判斷此產(chǎn)品是否合格，該系統(tǒng)示意如圖1所示。

在人機(jī)交互設(shè)備顯示的圖片都經(jīng)過(guò)了視覺(jué)檢測(cè)算法處理并被標(biāo)注了算法處理結(jié)果。此系統(tǒng)部署于產(chǎn)線運(yùn)行時(shí)，在運(yùn)行初期，視覺(jué)檢測(cè)算法存儲(chǔ)的針對(duì)該產(chǎn)品檢測(cè)數(shù)據(jù)很少，需要人工對(duì)于產(chǎn)品的檢測(cè)結(jié)果進(jìn)行確認(rèn)或干預(yù)，此過(guò)程為輔助視覺(jué)檢測(cè)算法建立檢測(cè)數(shù)據(jù)模型。

操作人員可以使用鼠標(biāo)、觸摸屏、按鍵在人機(jī)交互設(shè)備上進(jìn)行操作，操作包括更改算法檢測(cè)結(jié)果、指出產(chǎn)品缺陷位置、選擇缺陷種類(lèi)等。

根據(jù)上述需求，人機(jī)交互設(shè)備需要不僅需要支持較高分辨率的顯示還需要能夠執(zhí)行視覺(jué)檢測(cè)算法、支持對(duì)畫(huà)面的重繪，最終還需要將人工輔助的結(jié)果上傳至遠(yuǎn)程服務(wù)器，幫助遠(yuǎn)程服務(wù)器對(duì)人機(jī)交互中的視覺(jué)算法進(jìn)行優(yōu)化。

視覺(jué)檢測(cè)算法的運(yùn)行依賴(lài)于多個(gè)庫(kù)，如Opencv、Pytorch、Python解釋器，大多數(shù)傳統(tǒng)的人機(jī)界面不支持對(duì)系統(tǒng)庫(kù)進(jìn)行重新安裝，所以一般會(huì)將這些庫(kù)安裝于X86或ARM架構(gòu)計(jì)算機(jī)設(shè)備中，所以在此使用QT框架設(shè)計(jì)，不僅提供了一種較為簡(jiǎn)潔的人機(jī)交互界面，同時(shí)由于QT有著強(qiáng)大的可移植性，支持目前主流的操作系統(tǒng)平臺(tái)，如Windows，Linux桌面端/服務(wù)端/嵌入式。

圖1 智能制造視覺(jué)檢測(cè)系統(tǒng)示意圖

2 基于QT技術(shù)的視覺(jué)檢測(cè)控制系統(tǒng)人機(jī)交互界面的實(shí)現(xiàn)

2.1 界面軟件整體設(shè)計(jì)概述

采用QT框架面向?qū)ο蟮脑O(shè)計(jì)方式對(duì)人機(jī)界面進(jìn)行開(kāi)發(fā)設(shè)計(jì)，界面設(shè)計(jì)如圖2所示。

圖2 交互界面設(shè)計(jì)圖

本次設(shè)計(jì)中人機(jī)交互界面的總體布局基于Stacked Widget部件，主要進(jìn)行了如下設(shè)計(jì)：(1)用戶(hù)界面設(shè)計(jì)；(2)圖片的顯示與重繪；(3)鼠標(biāo)功能的重載；(4)開(kāi)啟線程接收視覺(jué)算法處理好的圖片信息。

2.2 用戶(hù)界面設(shè)計(jì)

圖3 系統(tǒng)配置信息界面設(shè)計(jì)流程

用戶(hù)界面主要用于對(duì)視覺(jué)檢測(cè)系統(tǒng)的配置，配置內(nèi)容包括當(dāng)前檢測(cè)產(chǎn)品的種類(lèi)、視覺(jué)檢測(cè)系統(tǒng)的網(wǎng)絡(luò)地址、檢測(cè)結(jié)果保存的目錄路徑等。這些參數(shù)保存在視覺(jué)檢測(cè)系統(tǒng)的輕量級(jí)數(shù)據(jù)庫(kù)SQLite[1]中，修改QT工程的.pro文件，添加SQL模塊。設(shè)計(jì)流程如圖3所示。

2.3 圖片顯示與重繪

圖片的顯示與重繪主要用于系統(tǒng)運(yùn)行界面，顯示拍攝到的產(chǎn)品圖像，這些圖像都經(jīng)過(guò)了視覺(jué)檢測(cè)算法的處理因而存在算法給予的標(biāo)注信息。(標(biāo)注信息是指該圖片是否存在“缺陷點(diǎn)”，如果存在“缺陷點(diǎn)”，則該信息需要包含“缺陷點(diǎn)”在圖片坐標(biāo)系中的坐標(biāo)數(shù)據(jù))。

2.4 鼠標(biāo)功能重載

鼠標(biāo)功能的重載主要應(yīng)用于系統(tǒng)運(yùn)行界面中，在系統(tǒng)運(yùn)行界面中我們對(duì)算法處理后的圖片進(jìn)行了顯示，顯示部件為QLabel類(lèi)，但是當(dāng)視覺(jué)檢測(cè)算法存儲(chǔ)的針對(duì)目前檢測(cè)產(chǎn)品檢測(cè)數(shù)據(jù)少，需要人工對(duì)于產(chǎn)品的檢測(cè)結(jié)果進(jìn)行確認(rèn)或干預(yù)時(shí)，我們需使用鼠標(biāo)在QLable部件上拖拽進(jìn)行重繪圖像，示意圖如圖4所示。

圖4 鼠標(biāo)功能重載示意圖

圖3中，我們重新定義了鼠標(biāo)的功能，使得鼠標(biāo)在QLabel部件中拖曳出一個(gè)矩形，在鼠標(biāo)放開(kāi)后需要保存最終形成的矩形信息。

2.5 矩形左上角坐標(biāo)以及矩形長(zhǎng)、寬

通過(guò)矩形左上角坐標(biāo)以及矩形的長(zhǎng)和寬可以記錄了一個(gè)“缺陷點(diǎn)”，并存在系統(tǒng)中。我們可以如此繪制多個(gè)“缺陷點(diǎn)”，用來(lái)輔助視覺(jué)檢測(cè)算法進(jìn)行標(biāo)定，優(yōu)化其模型。

使用QLabel[2]的MousePressEvent、MouseMovement Event、MouseReleaseEvent可以實(shí)現(xiàn)鼠標(biāo)按下、移動(dòng)、放開(kāi)的動(dòng)作。這些函數(shù)都是繼承于QObject的虛函數(shù)，需要在QLable部件中重寫(xiě)。這樣我們?cè)谑褂肣Lable部件使用鼠標(biāo)時(shí)能夠具備抽象描述出矩形的功能，再使用QLabel類(lèi)的paintEvent函數(shù)進(jìn)行繪制，最終在QLabel上實(shí)現(xiàn)了畫(huà)出一個(gè)矩形。

2.6 后臺(tái)線程接收模塊設(shè)計(jì)

多線程技術(shù)主要應(yīng)用于GUI程序開(kāi)發(fā)，這對(duì)于圖形界面開(kāi)發(fā)的程序尤為重要，當(dāng)一個(gè)操作耗時(shí)很長(zhǎng)時(shí)，整個(gè)系統(tǒng)都會(huì)等待這個(gè)操作，程序就不能響應(yīng)鍵盤(pán)、鼠標(biāo)、菜單等操作，而使用多線程技術(shù)可將耗時(shí)長(zhǎng)的操作置于一個(gè)新的線程，避免以上問(wèn)題。

QT多線程實(shí)現(xiàn)的主要思想就是利用Qt的事件驅(qū)動(dòng)特性，將需要在子線程中處理的業(yè)務(wù)放在獨(dú)立的模塊(類(lèi))中，由主線程創(chuàng)建完該對(duì)象后，將該對(duì)象移交給指定的子線程，同時(shí)在主線程中使用信號(hào)-槽設(shè)計(jì)，連接主線程發(fā)出的信號(hào)至該對(duì)象的槽函數(shù)，注意這里的槽函數(shù)即為該對(duì)象的實(shí)際處理業(yè)務(wù)的模塊(類(lèi))。在連接函數(shù)connect中，指定connect函數(shù)最后一個(gè)參數(shù)為：QueuedConnection，即可對(duì)不同QWidget對(duì)象發(fā)送信號(hào)。

經(jīng)測(cè)試，視覺(jué)檢測(cè)算法運(yùn)行在處理器為Intel Celeron 1.99GHz，2GHz、內(nèi)存為8G、基于X86的WIN10操作系統(tǒng)運(yùn)行時(shí)間為3s左右，如果不使用多線程技術(shù)，則界面可能會(huì)等待算法輸出結(jié)果約3s鐘，會(huì)有明顯的凍結(jié)現(xiàn)象，此舉解決了當(dāng)前顯示畫(huà)面在等待算法輸出時(shí)會(huì)出現(xiàn)界面凍結(jié)的問(wèn)題。

3 結(jié)語(yǔ)

本文所介紹的基于QT框架實(shí)現(xiàn)的應(yīng)用于工業(yè)邊緣側(cè)的視覺(jué)檢測(cè)人機(jī)交互設(shè)計(jì)方法，為智能制造中廣泛應(yīng)用的視覺(jué)檢測(cè)檢測(cè)提供了一種可視化的環(huán)境，也有別于其他傳統(tǒng)的人機(jī)交互界面設(shè)備，為視覺(jué)檢測(cè)算法收集產(chǎn)品缺陷模型提供一種解決途徑。目前基于該方法設(shè)計(jì)的人機(jī)交互界面已經(jīng)可以部署在工控機(jī)中用以輔助視覺(jué)檢測(cè)算法進(jìn)行優(yōu)化，在電機(jī)生產(chǎn)線上實(shí)驗(yàn)運(yùn)行取得了良好的效果。