基于HALCON的機(jī)器視覺(jué)在畜牧業(yè)中的應(yīng)用研究*

陳 強(qiáng)，武建新，張 涵，邱毅清

（內(nèi)蒙古工業(yè)大學(xué)機(jī)械學(xué)院，內(nèi)蒙古呼和浩特 010051）

1 概述

目前我國(guó)國(guó)內(nèi)對(duì)于畜牧業(yè)奶牛的智能檢測(cè)應(yīng)用基本還停留在奶牛的個(gè)體體征檢測(cè)，對(duì)于機(jī)器視覺(jué)擠奶機(jī)的研究與應(yīng)用尚未成熟，還需人工輔助完成工廠擠奶作業(yè)；為了實(shí)現(xiàn)全自動(dòng)擠奶技術(shù)，引入機(jī)器視覺(jué)技術(shù)來(lái)改善國(guó)內(nèi)現(xiàn)狀[1-2]。

機(jī)器視覺(jué)的應(yīng)用一般分為五個(gè)部分：檢測(cè)、測(cè)量、定位、識(shí)別和安防交通。而在畜牧業(yè)奶牛的擠奶應(yīng)用中也將用到這五個(gè)部分，在擠奶車(chē)間將這五個(gè)部分交互使用，充分實(shí)現(xiàn)視覺(jué)在牛場(chǎng)中的應(yīng)用[3]。通過(guò)HALCON視覺(jué)應(yīng)用技術(shù)，運(yùn)用HDevelop圖像處理軟件進(jìn)行檢驗(yàn)測(cè)試，可知HALCON具有強(qiáng)大的圖像處理算子和計(jì)算分析能力，能實(shí)現(xiàn)機(jī)器視覺(jué)在牛場(chǎng)中應(yīng)用的理想效果[4-5]。

圖1 機(jī)器視覺(jué)應(yīng)用分類

2 機(jī)器視覺(jué)系統(tǒng)在擠奶車(chē)間的應(yīng)用分析及實(shí)施方案

2.1 應(yīng)用分析

整個(gè)設(shè)備工作系統(tǒng)由三大主要系統(tǒng)構(gòu)成：機(jī)器視覺(jué)識(shí)別系統(tǒng)、機(jī)器智能控制系統(tǒng)和機(jī)械臂驅(qū)動(dòng)操作系統(tǒng)[6]。文章主要研究機(jī)器視覺(jué)系統(tǒng)的構(gòu)成與應(yīng)用，在機(jī)器視覺(jué)系統(tǒng)中將檢測(cè)、測(cè)量、定位、識(shí)別和安防交通五大應(yīng)用結(jié)合使用，充分引入視覺(jué)系統(tǒng)提升智能效果。

機(jī)器視覺(jué)系統(tǒng)通過(guò)圖像獲取裝置攝像機(jī)將被測(cè)目標(biāo)轉(zhuǎn)換為圖像信號(hào)，目標(biāo)即為奶牛；再將圖像信號(hào)傳送到圖像處理系統(tǒng)，在圖像處理系統(tǒng)中根據(jù)像素分布、亮度、顏色和奶牛編號(hào)等情況信息，轉(zhuǎn)變?yōu)閿?shù)字信號(hào)；由數(shù)字信號(hào)將奶牛的個(gè)體參數(shù)測(cè)量值輸入到數(shù)據(jù)庫(kù)，在數(shù)據(jù)庫(kù)中調(diào)取對(duì)應(yīng)個(gè)體奶牛，根據(jù)不同奶牛個(gè)體的狀況進(jìn)行后續(xù)工作[7]。

其中機(jī)器視覺(jué)系統(tǒng)最基本的特點(diǎn)就是提高生產(chǎn)的靈活性和自動(dòng)化程度。

2.2 實(shí)施方案

經(jīng)過(guò)機(jī)器視覺(jué)系統(tǒng)的應(yīng)用分析，可以清楚的了解到擠奶作業(yè)流程，視覺(jué)系統(tǒng)中圖像系統(tǒng)通過(guò)對(duì)某些信號(hào)進(jìn)行各種運(yùn)算來(lái)抽取目標(biāo)的特征，進(jìn)而根據(jù)判別的結(jié)果來(lái)控制現(xiàn)場(chǎng)的設(shè)備動(dòng)作。事實(shí)上，機(jī)器視覺(jué)就是用機(jī)器代替人眼來(lái)做檢測(cè)和判斷，從而實(shí)現(xiàn)智能擠奶作業(yè)。

具體應(yīng)用實(shí)施方法見(jiàn)圖2，首先將提前設(shè)置好編碼的奶牛趕制擠奶車(chē)間入口，攝像機(jī)通過(guò)圖像采集，圖像分析檢測(cè)到個(gè)體奶牛的編號(hào)；從數(shù)據(jù)庫(kù)調(diào)取個(gè)體奶牛特征，判斷估計(jì)是否達(dá)到擠奶要求和擠奶次數(shù)；當(dāng)滿足同時(shí)兩者要求，則效仿安防交通的規(guī)則，將奶牛送入擠奶工作制定區(qū)域以供擠奶，當(dāng)檢測(cè)出不滿足擠奶要求時(shí)（如患病，乳房炎等），則送入牛棚觀察室以待觀察治療，當(dāng)檢測(cè)出擠奶次數(shù)大于3次，則送入牛棚休息室。進(jìn)入擠奶區(qū)域后檢測(cè)是否滿足擠奶量，滿足則送入機(jī)器智能控制系統(tǒng)和機(jī)械臂驅(qū)動(dòng)操作系統(tǒng)環(huán)節(jié)中，識(shí)別、定位進(jìn)行乳部清洗、套杯、擠奶、脫杯，消毒。最后整個(gè)擠奶作業(yè)過(guò)程結(jié)束，送入牛舍。

圖2 應(yīng)用實(shí)施過(guò)程

3 機(jī)器視覺(jué)系統(tǒng)中圖像處理研究

機(jī)器視覺(jué)中，在運(yùn)用HDevelop圖像的處理過(guò)程中圖像的預(yù)處理很重要，是研究檢驗(yàn)的前提，對(duì)于后續(xù)檢驗(yàn)的結(jié)果影響很大，所以圖像在處理之前要先了解圖像的特性，這樣可提高圖像處理的精度，提高檢測(cè)物品的質(zhì)量。

正如圖3所示，圖像可根據(jù)灰度、色彩、運(yùn)動(dòng)、時(shí)空分布，形式或產(chǎn)生方法分為5種類別，每一種分類中又可以分為多種圖像，有單色、彩色、靜態(tài)、動(dòng)態(tài)、二維、三維等各種類別，每種不同的圖像類別將運(yùn)用不同的方法進(jìn)行處理。

圖3 圖像的分類

圖像處理過(guò)程中，首先如圖4選用攝像機(jī)進(jìn)行圖像獲取，傳入系統(tǒng)軟件進(jìn)行預(yù)處理，將圖像背景去除、平滑、濾波、去噪等處理，再將圖像二值化閾值處理進(jìn)行分割，提取出ROI特征區(qū)域?qū)D像進(jìn)行提取和匹配，最終實(shí)現(xiàn)目標(biāo)定位。

圖4 圖像處理流程圖

4 HALCON圖像處理的實(shí)例測(cè)試

機(jī)器視覺(jué)HALCON的圖像處理軟件HDevel?op，由多個(gè)圖像處理算子和交互式開(kāi)發(fā)工具組成，有強(qiáng)大的計(jì)算分析能力，對(duì)于牛場(chǎng)中奶牛擠奶的檢測(cè)、測(cè)量、定位、識(shí)別和安防交通應(yīng)用都能得到很好的結(jié)果。圖像經(jīng)攝像頭端口連接配置，將圖像傳送到HDevelop圖像處理軟件中，讀寫(xiě)圖像后進(jìn)行三通道色彩去除，如圖5中(a)、(b)通過(guò)輪廓線和灰度直方圖調(diào)制閾值，使處理圖像易分割色階，進(jìn)行下一步運(yùn)作。

圖5 圖像的參數(shù)調(diào)制

將圖像進(jìn)行分割處理，按照Row=1，Column=1，Tolerance=1，Minsize=150參數(shù)進(jìn)行設(shè)置，處理為圖6所示，又通過(guò)ROI區(qū)域選定圖中三處奶牛乳部，圖6中橢圓形區(qū)域即為ROI選定區(qū)域。設(shè)定乳部為ROI_0，設(shè)置三種顏色以便區(qū)分，將區(qū)域連通，設(shè)置Region為填充模式。

圖6 圖像分割，ROI圖像

圖像檢測(cè)處理結(jié)果如圖7所示，三個(gè)綠色橢圓即為檢測(cè)目標(biāo)，當(dāng)檢測(cè)出操作目標(biāo)則機(jī)器視覺(jué)控制系統(tǒng)控制驅(qū)動(dòng)系統(tǒng)機(jī)械臂去進(jìn)行清洗、套杯、脫杯和消毒等操作，實(shí)現(xiàn)對(duì)于乳部的機(jī)器視覺(jué)識(shí)別定位功能。

圖7 圖像目標(biāo)識(shí)別定位圖像

部分代碼為：

dev_update_window('off')

read_image(breast，'D:/Desktop/breast.jpg')

get_image_size(breast，Width，Height)

dev_close_window()

dev_open_window(0，0，Width/2，Height/2，'black'，WindowID)

dev_display(breast)

stop()

decompose3 (breast， breast1， breast2，breast3)

rgb1_to_gray(breast，breastbreast1)

regiongrowing(breast1， Regions， 1， 1， 1，150)

gen_ellipse (ROI_0， 401.5， 371.866，rad(-102.541)，55.3198，27.6102)

dev_set_colored(3)

gen_ellipse(TMP_Region， 465.5， 544.034，rad(-103.508)，51.4226，27.0963)

union2(ROI_0，TMP_Region，ROI_0)

gen_ellipse(TMP_Region， 433.5， 726.212，rad(-96.3463)，36.222，22.8328)

union2(ROI_0，TMP_Region，ROI_0)

connection(ROI_0，Single)

select_shape(Single， Selected， 'area'， 'and'，5000，10000)

dev_set_draw('fill')

dev_display(Selected)

disp_continue_message (WindowID，'black'，'true')

stop()

dev_display(breast)

dev_set_color('green')

stop()

5 結(jié)語(yǔ)

在科學(xué)技術(shù)不斷升級(jí)的今天，對(duì)于一些不適合人工作業(yè)的危險(xiǎn)環(huán)境或者人工視覺(jué)難以滿足要求的場(chǎng)合，常用機(jī)器視覺(jué)來(lái)替代人工視覺(jué)來(lái)完成作業(yè)。同時(shí)，在大批量周期性工業(yè)生產(chǎn)加工過(guò)程中，用機(jī)器視覺(jué)檢測(cè)方法可以大大提高生產(chǎn)的效率和自動(dòng)化程度。為了使各大行業(yè)更加智能化，人性化，因此加入機(jī)器視覺(jué)技術(shù)HALCON來(lái)提高產(chǎn)業(yè)效益，在生產(chǎn)工藝中運(yùn)用機(jī)器視覺(jué)系統(tǒng)來(lái)檢測(cè)目標(biāo)，去提升整個(gè)生產(chǎn)工藝的效率。

參考文獻(xiàn)：

［1］范祥，盧道華，王佳.機(jī)器視覺(jué)在工業(yè)領(lǐng)域中的研究應(yīng)用［J］.現(xiàn)代制造工程，2007（6）：129-133.

［2］童季剛，廖菲，羅良傳.一種機(jī)器視覺(jué)的瓶罐缺陷檢測(cè)系統(tǒng)設(shè)計(jì)［J］.機(jī)電工程技術(shù)，2016（8）：28-31.

［3］楊圣虎.擠奶機(jī)器人裝備結(jié)構(gòu)設(shè)計(jì)研究［D］.哈爾濱：哈爾濱工程大學(xué)，2015.

［4］王海勇.HALCON學(xué)習(xí)教程（第四版）［Z］.黑土數(shù)字圖像處理系列教材，2015.

［5］（德） 斯蒂格 （Ulrich）機(jī)器視覺(jué)算法與應(yīng)用［M］.北京：清華大學(xué)出版社，2008.

［6］ Fabienne Lathuiliere， Jean-Yves Herve.Visual hand posture tracking in a gripper guiding application［C］.Proceedings of the 2000 IEEE International Conference on Robotics&Automation San Francisco， CA， April 2000.

［7］王紅君，施楠，趙輝，等.基于視覺(jué)定位的牧場(chǎng)奶牛自動(dòng)跟蹤定位系統(tǒng)研究［J］.黑龍江畜牧獸醫(yī)，2015（11）：43-47，287.