砂糖橘采摘機(jī)器人分揀機(jī)構(gòu)設(shè)計*

侯義鋒，錢俊，王梁，賀杰，閉耀鋒

(1. 廣西民族大學(xué)電子信息學(xué)院,南寧市,530006; 2. 梧州學(xué)院廣西機(jī)器視覺與智能控制重點(diǎn)實驗室,廣西梧州,543002)

0 引言

中國是農(nóng)業(yè)大國,黨的十八大以來,為了消除絕對貧困,各地區(qū)針對各自地理條件進(jìn)行特色化種植和養(yǎng)殖,其中水果的種植和發(fā)展是各個地區(qū)首選,因此水果的種植面積大大提高。廣西的水果產(chǎn)量在2018年躍升為全國第一位,到2020年領(lǐng)先第二位達(dá)6 300 kt,其中柑橘產(chǎn)量已領(lǐng)先第二位省份7 000 kt。而砂糖橘是柑橘中的一個品種,汁多味甜很受歡迎,也常常被選作發(fā)展農(nóng)村經(jīng)濟(jì)的首選種植果樹,其規(guī)模化種植面積激增。在此背景下,為了提高農(nóng)村收入,振興鄉(xiāng)村,在加強(qiáng)種植面積的同時,加強(qiáng)農(nóng)業(yè)機(jī)械的自動化勢在必行。

隨著農(nóng)業(yè)生產(chǎn)的現(xiàn)代化,為了農(nóng)業(yè)增收,提高采摘效率,降低經(jīng)濟(jì)成本,很多學(xué)者在采摘機(jī)器人各個細(xì)節(jié)方面進(jìn)行了研究:如李贇釗等[1]研究出一種適合地壟式種植模式的草莓采摘的機(jī)器人行走機(jī)構(gòu);楊延麗[2]開發(fā)了溫室番茄采摘機(jī)器人系統(tǒng),該番茄采摘機(jī)器人系統(tǒng)主要由末端執(zhí)行器、機(jī)器視覺、機(jī)器人載體和控制系統(tǒng)構(gòu)成;魏博等[3]設(shè)計了一款欠驅(qū)動式柑橘采摘末端執(zhí)行器,該執(zhí)行器通過三指充分抓握與偏轉(zhuǎn)的融合控制,實現(xiàn)對不同大小及橢圓形的柑橘的穩(wěn)定采摘;馮柯茹[4]建立了基于4自由度的獼猴桃采摘機(jī)器人的運(yùn)動學(xué)模型和動力學(xué)模型,并以降低能耗為目的進(jìn)行了采摘軌跡規(guī)劃;劉校峰等[5]研究了可伸縮、定力矩、自運(yùn)輸式蘋果高效采摘機(jī)械手;成亮等[6]設(shè)計了一種自適應(yīng)多功能水果采摘裝置。但是對砂糖橘采摘機(jī)器人的研究較少,基于此,本文結(jié)合前期研發(fā)[7],以自動分揀成熟砂糖橘果實為研究對象,設(shè)計一款基于機(jī)器視覺技術(shù)的成熟砂糖橘果實目標(biāo)識別、檢測與分揀的裝置。

1 砂糖橘分類識別原理

砂糖橘(Citrus reticulate Blanco,Shatangju)果實色澤鮮艷,皮薄肉甜,汁液鮮美,深受廣大消費(fèi)者的喜愛。砂糖橘的果實大小不僅影響其貯藏性,而且影響果實風(fēng)味,在消費(fèi)市場上人們比較喜歡中果或小果[8]。而根據(jù)文獻(xiàn)[9]和文獻(xiàn)[10]的結(jié)果,小果和中果砂糖橘的貯藏效果較大果好,而且果實的營養(yǎng)與風(fēng)味也好于大果。因此本文砂糖橘的分級按果實的大小進(jìn)行。

1.1 砂糖橘大小識別原理

為了減少系統(tǒng)的計算量,提高系統(tǒng)的實時性,把OpenMV測砂糖橘大小做了簡化處理,圖1為測量砂糖橘直徑近似幾何示意圖,左邊為攝像頭,右邊為砂糖橘。

圖1 幾何示意圖Fig. 1 Geometric diagram

由圖1左邊的攝像頭里的幾何關(guān)系可知

(1)

(2)

(3)

由圖1右邊的幾何關(guān)系可得

(4)

代入式(1)可得

(5)

式中:R——砂糖橘的真實半徑;

Y——攝像頭中砂糖橘直徑所占的像素;

a——1/2最大視角;

b——實測物體邊緣與中心線的夾角;

X——固定的像素;

L——攝像頭距砂糖橘的長度。

感光元件是由很多個感光點(diǎn)構(gòu)成的,每個點(diǎn)就是一個像素,把每個點(diǎn)的像素收集整理起來,就是一幅圖片。當(dāng)攝像頭固定安裝好后,攝像頭和砂糖橘間的距離就是一個定值,攝像頭的視角a也就固定了,此時式(5)右邊近似為一常量,設(shè)為K,即

(6)

式(5)可簡化為

R=K×Y

(7)

其中K可以看作比例系數(shù)。通過實際測量一個砂糖橘半徑R,將砂糖橘放入測試區(qū),測出視覺模塊中砂糖橘的像素值Y,通過式(6)可得K的值。

1.2 砂糖橘成熟度識別原理

根據(jù)參考文獻(xiàn)[11]可知在柑橘類果實成熟的過程中,隨著成熟度的增加,果皮色澤由綠色轉(zhuǎn)為淺黃色,最后轉(zhuǎn)為橙黃色。因此成熟度主要通過顏色識別,本系統(tǒng)由OpenMV獲取圖像,進(jìn)行二值化處理,通過OpenMV IDE軟件中的閾值編輯器設(shè)置LAB數(shù)值為(76, 97, 10, 30, 8, 66),則可以得到橙黃色砂糖橘的二值化圖像,其中括號中的數(shù)據(jù)是L、A、B分量最小值和最大值(minL, maxL, minA, maxA, minB, maxB),L代表像素的亮度,取值范圍從0～100,為純黑色到純白色的變化;A代表顏色范圍從深綠色到深紅色的變化,取值范圍從-128～+127,負(fù)值代表綠色,正值代表紅色;B代表從深藍(lán)色到深黃色的范圍,取值范圍為-128～+127,負(fù)值代表藍(lán)色,正值代表黃色[11-13]。

2 硬件控制電路設(shè)計

控制系統(tǒng)的電路主要組成部分包括:單片機(jī)模塊、視覺識別模塊、步進(jìn)電機(jī)驅(qū)動模塊、舵機(jī)模塊、人機(jī)交互模塊、液晶顯示模塊,系統(tǒng)總體結(jié)構(gòu)如圖2所示。

圖2 系統(tǒng)總體結(jié)構(gòu)圖Fig. 2 Overall structure of the system

1) 單片機(jī):此系統(tǒng)采用STC89C51單片機(jī),該單片機(jī)相對來說性價比高,適用于計算量不是特別大的系統(tǒng)中,它具有全雙工可編程串行端口,可實現(xiàn)8位并行數(shù)據(jù)的串行傳輸和接收。16位定時器/定時器T0和T1分別對應(yīng)于兩個8位寄存器TL0,TH0和TL1,TH1。本機(jī)構(gòu)中的計算量和控制端口要求不是很高,該單片機(jī)作為該部件的控制核心已足夠,其電路圖如圖3所示。

圖3 最小系統(tǒng)電路圖Fig. 3 Minimum system circuit diagram

2) 視覺模塊:本機(jī)構(gòu)采用OpenMv模塊,電路圖如圖4所示,可以借助于該模塊識別砂糖橘的顏色和大小。

圖4 視覺模塊電路圖Fig. 4 Visual module circuit diagram

其主要是通過IDE的幀緩沖區(qū)窗口中將采集到的砂糖橘彩色圖片轉(zhuǎn)換為LAB色彩模型[14],再調(diào)用尋找色塊函數(shù),設(shè)置好顏色的閾值為黃色,并設(shè)置函數(shù)查找的色塊像素值范圍為大于等于1 000,該函數(shù)返回的是多個色塊的列表,包含目標(biāo)區(qū)域的坐標(biāo)和長寬值。隨后采用像素統(tǒng)計函數(shù),得到LAB色彩空間的直方圖及L、A、B分量的眾數(shù)值,通過比較眾數(shù)值可以判別顏色[15-16]。

由于搜尋顏色的時候采用矩形框標(biāo)記出目標(biāo)顏色區(qū)域,而標(biāo)顏色區(qū)域的直徑占的像素可以近似為該區(qū)域高和寬占像素值的均值[17-18]。則該目標(biāo)顏色區(qū)域的直徑像素

Y=(b[2]+b[3])/2

(8)

式中:b[2]——目標(biāo)區(qū)域?qū)挼南袼刂?

b[3]——目標(biāo)區(qū)域高像素值。

將Y代入式(7)可得所測砂糖橘的大小[19]。

3) 傳動機(jī)構(gòu):砂糖橘檢測到分類的整個傳動結(jié)構(gòu)采用3個舵機(jī)和1個步進(jìn)電機(jī)的組合,電路圖如圖5和圖6所示,結(jié)構(gòu)圖如圖7所示。

圖5 部分舵機(jī)電路圖Fig. 5 Partial steering gear circuit diagram

圖6 步進(jìn)電機(jī)驅(qū)動電路Fig. 6 Stepping motor drive circuit

圖7 傳動機(jī)構(gòu)示意圖Fig. 7 Schematic diagram of transmission mechanism

步進(jìn)電機(jī)的作用是將采摘后待被分揀的砂糖橘傳送到識別區(qū)域,經(jīng)識別后通過舵機(jī)轉(zhuǎn)動進(jìn)行顏色和大小分揀(為了驗證本文的設(shè)計適合黃色砂糖橘的分揀,設(shè)置了簡單的紅色、藍(lán)色、黃色和綠色四種進(jìn)行實驗),1號舵機(jī)負(fù)責(zé)分揀橙黃色大果砂糖橘,2號舵機(jī)負(fù)責(zé)分揀橙黃色色中果砂糖橘,3號舵機(jī)負(fù)責(zé)分揀橙黃色小果砂糖橘3個分裝區(qū)域,傳送帶終點(diǎn)則為不合格砂糖橘的分裝區(qū)域。本設(shè)計中采用的舵機(jī)為MG996舵機(jī),該舵機(jī)力矩大,有足夠的力量把砂糖橘撥到對應(yīng)的分揀區(qū)域。舵機(jī)有三根導(dǎo)線,橙色導(dǎo)線是信號線,紅色導(dǎo)線是電源線,棕色導(dǎo)線是地線。電源線和地線用于提供直流電機(jī)和轉(zhuǎn)向器內(nèi)信號線所需的能量。電壓通常在3.5～6 V之間。轉(zhuǎn)向器內(nèi)部有一個參考電壓。當(dāng)給定一特定的電壓,通過內(nèi)部伺服電壓與內(nèi)部參考電壓進(jìn)行比較,得到電壓差輸出。單片機(jī)通過發(fā)送0.5～2.5 ms的PWM控制舵機(jī)工作。

具體分揀步驟如下:首先設(shè)置橙黃色砂糖橘代表為已經(jīng)成熟的砂糖橘,所有采摘的砂糖橘經(jīng)過傳送帶送到識別區(qū),經(jīng)過顏色檢測,如果不是符合要求的橙黃色砂糖橘,則直接認(rèn)定為不符合要求的砂糖橘,所有舵機(jī)及其紅外對管不工作,直接隨傳送帶到終點(diǎn)的不合格分裝區(qū);如果砂糖橘顏色檢測符合要求,則進(jìn)行大小的分類,當(dāng)檢測的大小直徑大于42 mm時候,該砂糖橘隨傳送帶到達(dá)1號舵機(jī)位置,該處紅外對管檢測到砂糖橘則1號舵機(jī)旋轉(zhuǎn),將砂糖橘推入大果分裝區(qū);如果檢測的大小直徑在36.5～42 mm之間時,該砂糖橘隨傳送帶到達(dá)2號舵機(jī)位置,該處紅外對管檢測到砂糖橘則2號舵機(jī)旋轉(zhuǎn),將砂糖橘推入中果分裝區(qū);如果檢測的大小直徑小于36.5 mm時候,該砂糖橘隨傳送帶到達(dá)3號舵機(jī)位置,該處紅外對管檢測到砂糖橘則3號舵機(jī)旋轉(zhuǎn),將砂糖橘推入小果分裝區(qū)。

4) 液晶顯示模塊:為了更加明確的顯示所檢測分揀的結(jié)果,本系統(tǒng)采用一塊LCD12864作為顯示器件,該液晶屏具有128×64個像素點(diǎn)陣,內(nèi)置8 192個漢字和 128個ASCII字符集。該模塊的最大優(yōu)點(diǎn)是接口方式簡單、操作指令方便,可構(gòu)成 中文、數(shù)字、字符的直觀界面。

3 軟件設(shè)計

該系統(tǒng)的軟件設(shè)計分為步進(jìn)電機(jī)舵機(jī)、液晶顯示、OpenMV識別等。其中顯示部分和控制部分都采用C語言編程,編程軟件為keil uvision4。識別部分采用Python語言編程,編程軟件為OpenMV IDE。在電腦上編譯后分別下載到單片機(jī)和OpenMV中,對砂糖橘的顏色和大小進(jìn)行識別,識別后發(fā)送數(shù)據(jù)到單片機(jī)。

3.1 砂糖橘識別程序設(shè)計

整體流程如圖8所示。

圖8 系統(tǒng)軟件總體流程圖Fig. 8 Overall flow chart of system software

首先對砂糖橘的顏色進(jìn)行識別,尋找視野中是否出現(xiàn)設(shè)置的色塊,然后判斷色塊顏色,接著判斷識別到的色塊的大小[20],檢測砂糖橘果實的顏色是否為橙黃色,如果不是,則為不合格果實,無需測試大小。如果該果實為橙黃色,則進(jìn)行果實直徑檢測程序,分級標(biāo)準(zhǔn)為:果實直徑大于42 mm為大果;果實直徑在36.5～42 mm之間為中果;果實直徑小于36.5 mm為小果[9],先判斷果實直徑是否大于42 mm,如果是,則為大果;如果不是,則判斷該果實直徑是否小于36.5 mm,如果成立則為小果,否則為中果。

3.2 步進(jìn)電機(jī)程序設(shè)計

本設(shè)計采用的步進(jìn)電機(jī)為八拍逆時針運(yùn)行方式:A-AB-B-BC-C-CD-D-DA,順時針方式則反轉(zhuǎn)。八拍模式控制順序如表1所示,根據(jù)步進(jìn)電機(jī)工作原理可得步進(jìn)電機(jī)正反轉(zhuǎn)控制對應(yīng)數(shù)組表如表2所示。

表1 步進(jìn)電機(jī)八拍模式控制順序表Tab. 1 Control sequence of eight beat mode of stepper motor

表2 步進(jìn)電機(jī)正反轉(zhuǎn)控制對應(yīng)數(shù)組表Tab. 2 Corresponding array of stepper motor forward and reverse control

本設(shè)計采用的步進(jìn)電機(jī)的參數(shù)如表3所示,該步進(jìn)電機(jī)的步進(jìn)角度為5.625°,即單片機(jī)給一個脈沖電機(jī)的轉(zhuǎn)子旋轉(zhuǎn)5.625°,而該電機(jī)采用八拍運(yùn)行方式,也就是八個脈沖構(gòu)成一個周期,即一個周期步進(jìn)電機(jī)的轉(zhuǎn)子旋轉(zhuǎn)45°,旋轉(zhuǎn)一周則需要8個周期。而步進(jìn)電機(jī)的減速比是1∶64,即輸出軸旋轉(zhuǎn)一周需要512個周期。

表3 步進(jìn)電機(jī)參數(shù)表Tab. 3 Parameters of stepper motor

步進(jìn)電機(jī)的整個程序設(shè)計流程如圖9所示。

圖9 步進(jìn)電機(jī)程序流程圖Fig. 9 Control program of step motor

3.3 舵機(jī)程序設(shè)計流程

本設(shè)計中舵機(jī)的轉(zhuǎn)動控制是單片機(jī)通過產(chǎn)生PWM進(jìn)行控制,先設(shè)置舵機(jī)的初始角度為0°,即高電平時間為0.5 ms的PWM;舵機(jī)旋轉(zhuǎn)180°,則單片機(jī)需提供高電平時間為2.5 ms的PWM。首先,程序初始化,配置定時器參數(shù),輸出PWM波,再設(shè)置對應(yīng)的占空比,保證輸出符合參數(shù)要求的PWM波形,通過PWM波形控制舵機(jī)轉(zhuǎn)動的角度,其流程如圖10所示。

圖10 舵機(jī)程設(shè)計流程Fig. 10 Steering gear program

3.4 LCD12864液晶顯示程序設(shè)計流程

本設(shè)計中通過LCD12864液晶用于顯示分揀出的砂糖橘信息,LCD12864采用串行顯示,根據(jù)手冊編程出LCD12864的驅(qū)動程序。程序首先初始化液晶顯示屏,再設(shè)置要顯示砂糖橘信息的對應(yīng)變量,將收到變量的對應(yīng)數(shù)據(jù)轉(zhuǎn)換成ASCII碼,最后通過LCD12864液晶顯示顯示分揀出的砂糖橘大果、中果、小果信息,流程圖如圖11所示。

圖11 總體流程圖Fig. 11 System flow chart

4 試驗結(jié)果與分析

試驗地點(diǎn)為科研實驗室,實驗室照明條件是LED燈,攝像頭距離測試物體的距離為4 cm,砂糖橘的分揀速度設(shè)為120個/min,此時程序中的K值經(jīng)過測試后定為0.16。通過視覺模塊OpenMV測出砂糖橘的顏色和大小。再測試該系統(tǒng)對于各個顏色的識別能力,先找到一塊邊長為5 cm的正方形紙張上均勻涂寬為1 cm的紅色、藍(lán)色、橙黃色和綠色的色條,而各色條的長度依次遞減,分別是紅色色條長5 cm,藍(lán)色色條長4 cm,橙黃色色條長3 cm和綠色色條長2 cm,將上述紙張放在攝像頭前進(jìn)行測試,分別測試各個色條的長度和寬度,如果測試的數(shù)據(jù)和實際的色條尺寸基本吻合,則能識別該顏色,具體測試結(jié)果見表4所示。最后進(jìn)行砂糖橘直徑測試,測試結(jié)果如表5所示。

表4 系統(tǒng)顏色測試結(jié)果表Tab. 4 System color test results

表5 橙黃色砂糖橘大小檢測結(jié)果表Tab. 5 Orange sugar orange size test results

從表4可以看出,只要顏色的閾值設(shè)置合理,該系統(tǒng)的顏色識別比較準(zhǔn)確,由于現(xiàn)實生活中砂糖橘的銷售主要是通過肉眼分辨顏色,因此對砂糖橘的顏色分辨率不是很高,通過表4可以看出該系統(tǒng)可以分辨顏色,足以分辨橙黃色砂糖橘。表5是分揀速率設(shè)定為120個/min時,采用不同大小但是顏色都差不多是橙黃色的砂糖橘進(jìn)行實際測試的結(jié)果,可以看出,大小識別雖然誤差參差不齊,但是誤差不大。

表6中分別采集5組橙黃色滿足大果、中果、小果的砂糖橘各100個進(jìn)行分揀測試,測試結(jié)果表明,該系統(tǒng)對果實的分類分揀準(zhǔn)確率達(dá)到95.4%,對不合格果實檢測率達(dá)到97.2%。

表6 橙黃色砂糖橘分揀結(jié)果Tab. 6 Results of sorting orange Shatangju

綜上可以看出,該方案識別的砂糖橘大小比較精確,誤差不太大,對于現(xiàn)實中分級要求不是非常高的砂糖橘已經(jīng)足夠了;而該系統(tǒng)只要顏色閾值設(shè)置合理,對顏色的識別也可以做到比較精確。

造成上述誤差的原因有以下幾點(diǎn):(1)上述檢測的樣本是采用天然果實進(jìn)行測試,在樣本選取的時候,每個果實的顏色通過肉眼看起來都是橙黃色,其實有深有淺差別較大,再加上砂糖橘果實本身不完全是圓形,實際測量也有些誤差,所以會造成參差不齊的誤差。(2)本設(shè)計的測試區(qū)域環(huán)境需要特別注意,顏色識別很容易受到外界的干擾,本設(shè)計檢測區(qū)域底色為黑色,要做到測試誤差小,需要選擇測試物體的顏色和底色對比度高的場景,同時可以外加光源增加清晰度。

5 結(jié)論

1) 本文以自動分揀成熟砂糖橘果實為研究對象,設(shè)計了一款基于機(jī)器視覺技術(shù)的成熟砂糖橘果實目標(biāo)識別與檢測分揀裝置,解決了目前我國砂糖橘分揀過程中存在果實分類大小差異較大、人力成本大,自動化水平低的問題,有效提高了分揀成熟砂糖橘果實的精確度,保證了分揀出的每一類砂糖橘果實色彩一致,大小均勻,保證了果實的賣相好看,降低了砂糖橘的生產(chǎn)成本。

2) 在砂糖橘果實的分揀裝置中應(yīng)用了機(jī)器視覺技術(shù),采用機(jī)器視覺模塊OpenMV獲取砂糖橘果實圖像,進(jìn)行圖像二值化處理,再通過OpenMV IDE軟件中的閾值編輯器設(shè)置代表成熟砂糖橘果實的顏色的LAB數(shù)值,通過比對得出砂糖橘果實的顏色是否是成熟砂糖橘的顏色。通過顏色識別實驗,測試各個色塊:紅色(長5 cm,寬1 cm)、藍(lán)色(長4 cm,寬1 cm)、橙黃色(長3 cm,寬1 cm)和綠色(長2 cm,寬1 cm),結(jié)果表明,該系統(tǒng)對顏色的識別準(zhǔn)確。

3) 為了簡化單片機(jī)的運(yùn)算量,砂糖橘果實直徑的測量是由砂糖橘果實的像素和果實直徑的關(guān)系式計算得到,經(jīng)測試,可知誤差在1.6 mm內(nèi),精度達(dá)到96.19%,對果實的分類分揀準(zhǔn)確率達(dá)到95.4%,對不合格果實檢測率達(dá)到97.2%。測試結(jié)果表明,該裝置測試精度高、穩(wěn)定性好,能夠解決砂糖橘采摘機(jī)器人自動分揀歸類的問題,為砂糖橘采摘機(jī)器人的發(fā)展提供了新的方案,有一定的參考價值。