基于CMOS圖像傳感器的采摘機(jī)器人嵌入式視覺系統(tǒng)

李娜娜

(洛陽職業(yè)技術(shù)學(xué)院 機(jī)電工程系，河南 洛陽 471000)

0 引言

隨著科學(xué)技術(shù)的快速發(fā)展，農(nóng)業(yè)生產(chǎn)的自動(dòng)化程度越來越高，這就需要農(nóng)業(yè)機(jī)械裝備具有更高的智能化，而將機(jī)器視覺系統(tǒng)應(yīng)用于農(nóng)業(yè)自動(dòng)化生產(chǎn)領(lǐng)域是實(shí)現(xiàn)農(nóng)機(jī)設(shè)備智能、高效、高精度的重要途徑。機(jī)器視覺系統(tǒng)是近年來發(fā)展起來的一種新型的模擬人工視覺的技術(shù)，不僅可以對(duì)客觀事物圖像進(jìn)行采集，且具有圖像的處理和智能識(shí)別能力。嵌入式機(jī)器視覺系統(tǒng)集圖像采集、處理及通信等功能于一體，具有智能化處理的功能，且系統(tǒng)可被嵌入到其他設(shè)備中，如果將其應(yīng)用到采摘機(jī)器人系統(tǒng)中，可以實(shí)現(xiàn)采摘機(jī)器人的自主導(dǎo)航及采摘果實(shí)的自動(dòng)識(shí)別，從而提高采摘機(jī)器人的自動(dòng)化作業(yè)能力。

1機(jī)器視覺技術(shù)及其在采摘機(jī)器人設(shè)計(jì)中的應(yīng)用

機(jī)器視覺技術(shù)是一種多學(xué)科的交叉技術(shù)，涉及到計(jì)算機(jī)圖像處理及智能模式識(shí)別等多種領(lǐng)域，利用機(jī)器視覺可以模擬人工視覺的功能，在農(nóng)業(yè)采摘作業(yè)過程中可以對(duì)待采摘果實(shí)進(jìn)行特征信息提取，進(jìn)而進(jìn)行定位和識(shí)別。機(jī)器視覺技術(shù)不僅僅是簡(jiǎn)單地進(jìn)行圖像采集，同時(shí)利用嵌入式處理器還具備對(duì)圖像的處理能力，可以從客觀事物中提取有用信息用于檢測(cè)、測(cè)量和控制等。

傳統(tǒng)機(jī)器視覺系統(tǒng)一般是基于計(jì)算機(jī)技術(shù)的，其采集的圖像需要利用計(jì)算機(jī)進(jìn)行處理，其系統(tǒng)較為復(fù)雜，且成本較高，效率較低。而嵌入式視覺系統(tǒng)可以將圖像采集、圖像處理和通信等功能集成于一體，實(shí)現(xiàn)了模塊化、智能化的嵌入式機(jī)器視覺解決方案，系統(tǒng)具有實(shí)時(shí)性高、可靠性高等特點(diǎn)。嵌入式視覺系統(tǒng)的基本框架如圖1所示。

圖1 采摘機(jī)器人嵌入式機(jī)器視覺系統(tǒng)示意圖Fig.1 The sketch diagram of embedded robot vision system for picking robot

嵌入式機(jī)器視覺系統(tǒng)的外觀體積小，可以直接安裝在采摘機(jī)器人的主體結(jié)構(gòu)上，相對(duì)于傳統(tǒng)的視覺系統(tǒng)裝卸和移動(dòng)更加方便。對(duì)于硬件系統(tǒng)，嵌入式視覺系統(tǒng)將圖像采集單元、圖像處理單元和網(wǎng)絡(luò)通信單元等集成于一體，為采摘機(jī)器人提供較高的工作效率和工作的可靠性。對(duì)于嵌入式系統(tǒng)的軟件，采用直接編程好的成品，用戶基本無需自己編程，使用起來非常方便，從而提高了系統(tǒng)集成的效率和速度，將其使用在采摘機(jī)器人設(shè)計(jì)過程中，可以大大提高采摘機(jī)器人的設(shè)計(jì)效果。

2基于CMOS圖像傳感器的采摘機(jī)器人嵌入式系統(tǒng)設(shè)計(jì)

采摘機(jī)器人嵌入式系統(tǒng)設(shè)計(jì)的核心部分是圖像采集和處理部分，利用CMOS圖像傳感器采集圖像后采用嵌入式芯片對(duì)圖像進(jìn)行處理，嵌入式芯片有很多種。其中，簡(jiǎn)單實(shí)用的是DSP芯片，如圖2所示。

圖2 DSP芯片示意圖Fig.2 The schematic diagram of DSP chip

在采摘機(jī)器人采集圖像后可以利用DSP芯片進(jìn)行處理，利用先進(jìn)的數(shù)字信號(hào)處理技術(shù)可以對(duì)采摘果實(shí)進(jìn)行識(shí)別，綜合考慮成本和可靠性因素，本次圖像采集采用CMOS真彩相機(jī)采集圖像，如圖3所示。

圖3 CMOS相機(jī)示意圖Fig.3 The schematic diagram of CMOS camera

CMOS相機(jī)和傳感器安裝在一起，構(gòu)成CMOS圖像傳感器，其供電部分由電源模塊統(tǒng)一供電。電源模塊是系統(tǒng)正常供電的基礎(chǔ)，可以為整個(gè)系統(tǒng)的其他模塊提供能源保證，在設(shè)計(jì)時(shí)要綜合考慮噪聲、能效和干擾等問題?？煽康碾娫捶桨冈O(shè)計(jì)是整個(gè)系統(tǒng)穩(wěn)定運(yùn)行的基礎(chǔ)，為保證多個(gè)模塊所需的電流和電壓容量的不同，在電源模塊中設(shè)計(jì)了多個(gè)穩(wěn)壓電路，如圖4所示。

圖4 系統(tǒng)穩(wěn)壓電路模塊Fig.4 The system voltage regulator module

采摘機(jī)器人嵌入式視覺系統(tǒng)所需的電源主要是舵機(jī)、控制編碼器和CMOS相機(jī)傳感器。舵機(jī)主要控制采摘機(jī)器人的移動(dòng)和執(zhí)行末端的動(dòng)作，供電為7V穩(wěn)壓電源；控制編碼器是對(duì)采摘末端發(fā)出執(zhí)行動(dòng)作，供電為5V穩(wěn)壓電源；CMOS相機(jī)完成圖像的采集，其供電為5V穩(wěn)壓電源。電源構(gòu)成的電路主要分為4部分：通信電路、控制電路、電機(jī)驅(qū)動(dòng)電路和數(shù)字顯示電路。系統(tǒng)的硬件框圖如圖5所示。

圖5 系統(tǒng)硬件框架結(jié)構(gòu)Fig.5 The system hardware framework

采摘機(jī)器人通過CMOS圖像采集對(duì)待采摘果實(shí)進(jìn)行識(shí)別，并通過預(yù)設(shè)的軌跡線尋跡進(jìn)行移動(dòng)，當(dāng)測(cè)距模塊測(cè)算出待采摘果實(shí)的距離后，利用控制器發(fā)出控制命令給電機(jī)驅(qū)動(dòng)模塊，通過電機(jī)的驅(qū)動(dòng)控制采摘機(jī)器人執(zhí)行末端進(jìn)行動(dòng)作，完成采摘任務(wù)。為了保證動(dòng)作的順利進(jìn)行設(shè)計(jì)了軟件系統(tǒng)，如圖6所示。

軟件控制系統(tǒng)控制依據(jù)是對(duì)于采摘果實(shí)和預(yù)設(shè)線的圖像識(shí)別，根據(jù)預(yù)設(shè)線完成自主導(dǎo)航尋跡，利用機(jī)器人位置和測(cè)距信息確定待采摘果實(shí)的具體位置，將采摘執(zhí)行末端移動(dòng)到果實(shí)位置；然后單片機(jī)發(fā)出控制指令，使采摘執(zhí)行末端發(fā)出采摘?jiǎng)幼?，完成果?shí)采摘。

圖6 采摘機(jī)器人嵌入式系統(tǒng)軟件控制流程Fig.6 The control process of embedded system software for picking robot

3 采摘機(jī)器人嵌入式視覺系統(tǒng)測(cè)試

為了驗(yàn)證基于CMOS圖像傳感器的采摘機(jī)器人嵌入式系統(tǒng)方案設(shè)計(jì)的可行性，對(duì)一款較小果實(shí)采摘機(jī)器人進(jìn)行了改裝，并安裝了CMOS傳感器視覺系統(tǒng)，如圖7所示。

圖7 改裝后的采摘機(jī)器人Fig.7 The restructured picking robot

在采摘機(jī)器人進(jìn)行作業(yè)時(shí)，由于待采摘的果實(shí)較小，需要采用圖像識(shí)別技術(shù)對(duì)待采摘果實(shí)進(jìn)行識(shí)別，識(shí)別過程主要利用軟件控制整個(gè)流程，如圖8所示。

果實(shí)圖像的識(shí)別過程主要通過軟件控制，在進(jìn)行定位時(shí)通過開關(guān)的通斷來開啟圖像采集程序，將圖像進(jìn)行處理后提取捕捉圖像特征，最后設(shè)置主頻PWM控制電機(jī)的運(yùn)轉(zhuǎn)。圖像特征提取結(jié)果測(cè)試如圖9所示。

對(duì)采摘機(jī)器人的果實(shí)識(shí)別過程進(jìn)行了測(cè)試，測(cè)試項(xiàng)目主要是對(duì)果實(shí)圖像的分割捕捉。由測(cè)試結(jié)果可以看出：采用基于CMOS圖像傳感器的視覺系統(tǒng)可以成功地捕捉到待采摘果實(shí)圖像，從而驗(yàn)證了視覺系統(tǒng)的可行性。為了保證采摘能夠順利進(jìn)行，對(duì)采摘機(jī)器人的移動(dòng)性能進(jìn)行了測(cè)試，得到了如表1所示的結(jié)果。

圖8 果實(shí)圖像識(shí)別軟件流程Fig.8 The software process of fruit image recognition

圖9 采摘機(jī)器人果實(shí)識(shí)別結(jié)果Fig.9 The fruit recognition results of picking robot表1 采摘機(jī)器人移動(dòng)任務(wù)Table 1 The moving task of picking robot

采摘機(jī)器人測(cè)試任務(wù)完成情況基礎(chǔ)移動(dòng)任務(wù)甲乙機(jī)器人分別移動(dòng)一完成第1圈甲乙同時(shí)移動(dòng)完成第1圈乙在超越區(qū)超甲完成第1圈乙先到終點(diǎn)完成

續(xù)表1

由表1可以看出:采摘機(jī)器人能夠成功的完成各項(xiàng)移動(dòng)任務(wù)。同時(shí)，對(duì)其成功定位果實(shí)和成功采摘的準(zhǔn)確率進(jìn)行了測(cè)試，得到了如表2所示的測(cè)試結(jié)果。

表2 采摘機(jī)器人采摘準(zhǔn)確性統(tǒng)計(jì)Table 2 The statistics of picking accuracy of picking robot %

對(duì)采摘機(jī)器人的采摘精度進(jìn)行了測(cè)試，首先測(cè)試的其準(zhǔn)確定位的能力。測(cè)試結(jié)果表明：其成功定位準(zhǔn)確率在95%以上，滿足定位需求；然后對(duì)其成功采摘率進(jìn)行了測(cè)試，其準(zhǔn)率也在95%以上，滿足采摘作業(yè)需求。

4 結(jié)論

為了提高采摘機(jī)器人的自動(dòng)化作業(yè)水平，將基于CMOS圖像傳感器的嵌入式視覺系統(tǒng)引入到了采摘機(jī)器人的設(shè)計(jì)過程中，并使用DSP芯片構(gòu)建了嵌入式圖像處理系統(tǒng)，采用模塊化設(shè)計(jì)構(gòu)建了采摘機(jī)器人的硬件系統(tǒng)和軟件系統(tǒng)框架，從而保證了采摘機(jī)器人的果實(shí)定位和識(shí)別過程的有效性。為了驗(yàn)證方案的可行性，將嵌入式視覺系統(tǒng)安裝到了采摘機(jī)器人上，并對(duì)其性能進(jìn)行了測(cè)試。首先測(cè)試了其圖像處理能力，結(jié)果表明：嵌入式視覺系統(tǒng)可以成功地提取果實(shí)特征圖像。對(duì)其果實(shí)定位識(shí)別的能力進(jìn)行了測(cè)試，結(jié)果表明：采摘機(jī)器人果實(shí)的定位識(shí)別準(zhǔn)確性較高，滿足設(shè)計(jì)需求。