基于改進(jìn)型YOLO的復(fù)雜環(huán)境下番茄果實(shí)快速識別方法

劉 芳 劉玉坤, 林 森 郭文忠 徐 凡 張 白

(1.北方民族大學(xué)電氣信息工程學(xué)院, 銀川 750021； 2.北京農(nóng)業(yè)智能裝備技術(shù)研究中心, 北京 100097)

0 引言

我國是世界最大的番茄生產(chǎn)和消費(fèi)國家，番茄生產(chǎn)是農(nóng)民增收致富和出口創(chuàng)匯的重要途徑之一[1]。番茄采摘機(jī)器人對減少生產(chǎn)成本、降低勞動(dòng)強(qiáng)度、提高作業(yè)效率具有重要意義[2]。采摘機(jī)器人的設(shè)計(jì)難點(diǎn)是番茄的識別和定位，其準(zhǔn)確性關(guān)系到采摘機(jī)器人的工作效率。番茄果實(shí)的生長姿態(tài)各異，果實(shí)之間重疊，葉片、枝干、果柄等對果實(shí)遮擋嚴(yán)重，光照環(huán)境復(fù)雜，這些因素給采摘機(jī)器人識別帶來了一定的困難。因此，對溫室復(fù)雜環(huán)境下的番茄果實(shí)快速、精確識別是研發(fā)番茄采摘機(jī)器人亟待解決的關(guān)鍵問題[3]。

溫室環(huán)境下番茄果實(shí)的傳統(tǒng)識別方法是基于顏色和形狀特征進(jìn)行信息提取分析[4-6]。傳統(tǒng)目標(biāo)識別流程包括基于窮舉策略的區(qū)域選擇、基于尺度不變特征變換(SIFT)和方向梯度直方圖(HOG)等方法的特征提取、基于支持向量機(jī)(SVM)和自適應(yīng)提升(Adaboost)等方法的分類器分類等。鄭小東等[7]利用顏色特征差異提取紅色成熟番茄果實(shí)和綠色枝葉背景信息，通過閾值分割的方法識別紅色成熟番茄果實(shí)，該方法對圖像質(zhì)量要求很高，對噪聲影響較為敏感。王玉翰[8]提取顏色、形狀、紋理等5個(gè)特征，利用SVM分類器對番茄果實(shí)進(jìn)行識別，該方法有較好的分類識別能力，但分類耗時(shí)過長，不能滿足實(shí)時(shí)性需求。梁喜鳳等[9]提出一種番茄果實(shí)串采摘點(diǎn)識別方法，將整個(gè)番茄果實(shí)串視為一個(gè)整體，提取其形狀特征，該方法對垂直向下的番茄果實(shí)串采摘點(diǎn)識別效果較好，但現(xiàn)實(shí)中番茄果實(shí)生長形態(tài)各異，該方法不能對其他姿態(tài)的番茄果實(shí)進(jìn)行識別。趙源深等[10]提出一種基于非顏色編碼的番茄果實(shí)識別算法，通過基于Haar-like特征的閾值判斷獲得若干弱分類器，利用AdaBoost算法將多個(gè)弱分類器通過學(xué)習(xí)訓(xùn)練得到一個(gè)強(qiáng)分類器，用于識別紅色成熟番茄果實(shí)。在光照條件較差和果實(shí)遮擋較為嚴(yán)重的情況下，該方法對成熟番茄果實(shí)的識別率為93.3%，識別精度偏低。馮青春等[11]在2R-G-B色差模型下提取紅色成熟番茄果實(shí)顏色特征，利用動(dòng)態(tài)閾值分割的方法識別紅色成熟番茄果實(shí)，該方法識別耗時(shí)較長，且未考慮葉片遮擋等復(fù)雜環(huán)境下番茄果實(shí)的識別。綜上所述，采用傳統(tǒng)方法進(jìn)行番茄果實(shí)識別無法達(dá)到較好的精度和實(shí)時(shí)性要求。此外，上述研究大多沒有考慮溫室復(fù)雜環(huán)境下的影響因素，對多樣的特征變化魯棒性不足，因此難以滿足實(shí)際要求。

近年來興起的基于深度學(xué)習(xí)的深度卷積神經(jīng)網(wǎng)絡(luò)(Deep convolutional neural network, DCNN)為番茄果實(shí)識別提供了新的思路。DCNN在圖像目標(biāo)檢測上具有較大的優(yōu)勢，其檢測方法可歸納為兩類：一是基于區(qū)域生成的檢測方法，先由算法生成一系列候選框，再對候選框中的目標(biāo)進(jìn)行分類，R-CNN[12]、Fast R-CNN[13]、Faster R-CNN[14]等網(wǎng)絡(luò)模型都屬于此類檢測方法。這類方法識別錯(cuò)誤率低、漏識別率也較低，但速度較慢，難以滿足實(shí)時(shí)檢測場景需求。二是基于回歸的方法，該類方法在實(shí)現(xiàn)目標(biāo)定位的同時(shí)預(yù)測目標(biāo)分類，YOLO[15-17]系列網(wǎng)絡(luò)屬于此檢測方法。該類方法識別速度快，可以達(dá)到實(shí)時(shí)性要求，而且準(zhǔn)確率也基本能達(dá)到第1類方法的水平。目前，DCNN在農(nóng)業(yè)設(shè)施智能化研究方面?zhèn)涫荜P(guān)注[18-22]。研究表明[23]，第1類目標(biāo)檢測算法檢測精度較高，但占用大量計(jì)算資源，導(dǎo)致檢測時(shí)間較長，影響采摘機(jī)器人工作效率；第2類目標(biāo)檢測算法兼顧了檢測精度和速度，但其網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)過于精簡，導(dǎo)致識別精度低于第1類算法。

實(shí)際溫室環(huán)境下番茄果實(shí)重疊、遮擋嚴(yán)重，稀疏程度不同、大小不一，這些成為快速、精確識別番茄果實(shí)的難點(diǎn)。本文以DCNN中檢測速度較快的YOLO網(wǎng)絡(luò)模型為基礎(chǔ)，根據(jù)溫室環(huán)境下番茄果實(shí)的特征改進(jìn)主干網(wǎng)絡(luò)得到一種新型主干網(wǎng)絡(luò)darknet-20，以提升檢測速度；采用YOLO v3-tiny快速精確的檢測結(jié)構(gòu)，融合多尺度信息，以提升檢測精度，構(gòu)建一種溫室復(fù)雜環(huán)境下番茄果實(shí)識別的網(wǎng)絡(luò)模型。

1 數(shù)據(jù)樣本采集與預(yù)處理

番茄果實(shí)圖像數(shù)據(jù)采集于北京市農(nóng)林科學(xué)院連棟溫室，采集設(shè)備為FM810-IX-A 3D型相機(jī)(圖漾科技)，其二維RGB圖像分辨率為640像素×480像素，像素級精度為2 mm。為降低由訓(xùn)練樣本多樣性不足導(dǎo)致網(wǎng)絡(luò)模型過擬合的概率，采集時(shí)分遠(yuǎn)景和近景，遠(yuǎn)景、近景分別距離果實(shí)500～600 mm和200～300 mm，遠(yuǎn)景、近景情況下各采集左、中、右3個(gè)角度的圖像，每個(gè)角度采集3幅圖像，共1 800幅圖像。為了增加樣本的多樣性，圖像樣本中包含成熟紅色番茄果實(shí)和未成熟綠色番茄果實(shí)，包含果實(shí)數(shù)量、稠密程度、遮擋程度不同的情況，還包含順光、逆光等光照情況。為獲取準(zhǔn)確的數(shù)據(jù)參數(shù)，還需要對圖像進(jìn)行人工標(biāo)注，標(biāo)注時(shí)將番茄的最小外接矩形框作為真實(shí)框(Ground truth)，以減少真實(shí)框內(nèi)的背景像素。表1為各類番茄圖像數(shù)量，圖1為一組典型復(fù)雜環(huán)境下的番茄果實(shí)圖像。

表1 各類番茄圖像數(shù)量Tab.1 Number of tomato images under varies conditions

圖1 復(fù)雜環(huán)境下的番茄果實(shí)圖像Fig.1 Tomato images under complex environments in greenhouse

溫室環(huán)境下光照情況復(fù)雜，在光照很強(qiáng)或很弱時(shí)采集到的番茄果實(shí)圖像顏色差異很大。此外，番茄果實(shí)的生長姿態(tài)各異、重疊遮擋嚴(yán)重，導(dǎo)致果實(shí)形狀特征難以完整提取。使用傳統(tǒng)方法難以有效提取溫室番茄果實(shí)的特征。因此，在番茄果實(shí)識別時(shí)需要對采集樣本進(jìn)行預(yù)處理[24-25]。本文采用自適應(yīng)直方圖均衡化方法減小光照強(qiáng)度對圖像質(zhì)量的影響；通過縮放、水平/垂直翻轉(zhuǎn)或旋轉(zhuǎn)正負(fù)90°等方法，解決番茄果實(shí)生長姿態(tài)不同的問題，改善樣本集數(shù)據(jù)不均衡。通過以上方法，最終擴(kuò)增樣本集圖像至15 120幅，其中訓(xùn)練集70%、驗(yàn)證集10%、測試集20%。

2 復(fù)雜環(huán)境下的番茄果實(shí)快速識別方法

YOLO(You only look once)網(wǎng)絡(luò)模型采用darknet深度學(xué)習(xí)框架實(shí)現(xiàn)輸入圖像端到端的訓(xùn)練，其突出特點(diǎn)是快速性。與Faster R-CNN使用候選區(qū)域(Region proposal)特征提取方式不同，YOLO對輸入圖像的全局區(qū)域進(jìn)行訓(xùn)練，可加快訓(xùn)練速度且能更好地區(qū)分目標(biāo)和背景。利用主干網(wǎng)絡(luò)完成番茄果實(shí)特征提取之后，采用預(yù)測框(Bounding box)預(yù)測的方式，同時(shí)預(yù)測出目標(biāo)類別和預(yù)測框。

2.1 YOLO系列網(wǎng)絡(luò)模型

YOLO系列網(wǎng)絡(luò)模型中，YOLO v1存在網(wǎng)絡(luò)模型檢測精度不高、目標(biāo)定位不準(zhǔn)確等問題[15]；YOLO v2中加入了錨點(diǎn)框、批量歸一化、高分辨率分類器、更改網(wǎng)絡(luò)模型結(jié)構(gòu)等操作來提升網(wǎng)絡(luò)模型性能，尤其是檢測速度突出，但不適用于檢測目標(biāo)重疊的情況[16]；YOLO v3中引入了多尺度融合訓(xùn)練、殘差結(jié)構(gòu)、改變網(wǎng)絡(luò)模型結(jié)構(gòu)、錨點(diǎn)框選擇機(jī)制、分類方法等操作，使得網(wǎng)絡(luò)模型性能得到了極大提升，但其主干網(wǎng)絡(luò)深度達(dá)53層且采用多尺度融合，導(dǎo)致檢測速度不高，番茄果實(shí)檢測的實(shí)時(shí)性無法得到保證[17]。因此，本文在剖析YOLO v2、YOLO v3網(wǎng)絡(luò)模型特性的基礎(chǔ)上對其進(jìn)行重組，構(gòu)建一種新型網(wǎng)絡(luò)模型結(jié)構(gòu)，解決復(fù)雜環(huán)境下番茄果實(shí)檢測識別問題。

2.2 特征快速提取網(wǎng)絡(luò)結(jié)構(gòu)

在使用DCNN提取特征時(shí)，增加網(wǎng)絡(luò)深度意味著增加檢測時(shí)間。本文只需區(qū)分紅、綠兩類番茄果實(shí)，其特征明顯、易于提取。由圖2a可以看出，YOLO v2主干網(wǎng)絡(luò)darknet-19由19層卷積層和5層最大池化層交替組成。其結(jié)構(gòu)簡單、占用計(jì)算資源較少，但特征信息在傳遞時(shí)逐層丟失，導(dǎo)致檢測精度下降。本文以darknet-19為基礎(chǔ)，借鑒YOLO v3網(wǎng)絡(luò)結(jié)構(gòu)，在darknet-19主干網(wǎng)絡(luò)中引入殘差結(jié)構(gòu)，提出darknet-20主干網(wǎng)絡(luò)如圖2b所示，實(shí)現(xiàn)前后層特征復(fù)用和融合，同時(shí)滿足番茄果實(shí)特征提取的快速性和精確性。該網(wǎng)絡(luò)的構(gòu)建思想如下：去掉darknet-19中的5層最大池化層，用第2、3、6、9、14層卷積層進(jìn)行2倍下采樣代替原最大池化層的下采樣，從而縮小特征圖尺度以提取更多特征信息傳遞給后續(xù)卷積層。去掉darknet-19最后一層卷積層以便與檢測層相連，保留其余各卷積層；在darknet-19的第2層卷積層后添加兩層卷積層以構(gòu)建一個(gè)殘差模塊，由此構(gòu)成由20層卷積層順序連接的主干網(wǎng)絡(luò)。借鑒殘差思想構(gòu)建殘差模塊。通過恒等映射、跳躍連接其前層卷積輸出特征信息，將其直接傳遞給后面某層輸出，如圖2中藍(lán)線箭頭所指，以進(jìn)行信息融合。需要指出的是，在第4、5次下采樣單元后各有2個(gè)殘差模塊，其作用是在相應(yīng)尺度下融合更豐富的特征信息輸出給檢測層。

圖2 darknet-19及darknet-20主干網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Backbone structure diagrams of darknet-19 and darknet-20

綜上，darknet-20網(wǎng)絡(luò)由20層卷積層構(gòu)成，其中包含了首層卷積、5個(gè)下采樣卷積層和7個(gè)殘差塊，每個(gè)殘差塊由2層卷積層組成。相較于darknet-19主干網(wǎng)絡(luò)的19層卷積層，darknet-20只多了一層卷積層，網(wǎng)絡(luò)深度變化不大，對檢測速度的影響不大；使用卷積代替最大池化層進(jìn)行下采樣，能夠保留更多的特征信息；在特征提取過程中，引入殘差結(jié)構(gòu)可以更好地保留番茄特征信息、促進(jìn)網(wǎng)絡(luò)前后層的特征信息融合，在不增加冗余參數(shù)和計(jì)算量的前提下可以更好地提取番茄果實(shí)特征，進(jìn)一步提高檢測精度。

2.3 多尺度檢測模型結(jié)構(gòu)

為了得到精準(zhǔn)的番茄果實(shí)位置和類別信息，本文采用多尺度檢測模型結(jié)構(gòu)同時(shí)進(jìn)行預(yù)測，其結(jié)構(gòu)如圖3所示。輸入圖像尺寸為416像素×416像素，經(jīng)由darknet-20主干網(wǎng)絡(luò)進(jìn)行特征提取時(shí)，主干網(wǎng)絡(luò)依次完成5次下采樣，稱為2m(m=1,2,…,5)倍下采樣。每經(jīng)歷一次下采樣，特征圖將縮小為原輸入圖像尺寸的1/2，最終在32倍下采樣后生成尺寸為13像素×13像素的特征圖。對該圖像進(jìn)行一系列的卷積操作之后，再進(jìn)行一次2倍上采樣，生成26像素×26像素的特征圖，將其與主干網(wǎng)絡(luò)下的16倍下采樣生成的26像素×26像素的特征圖進(jìn)行張量拼接(Concat)，融合兩個(gè)圖像的特征信息，生成一個(gè)同等尺寸且含有更多特征信息的特征圖，以此提升小目標(biāo)的檢測精度。針對上述過程中32倍下采樣生成的13像素×13像素特征圖及特征融合后的26像素×26像素特征圖，分別進(jìn)行獨(dú)立檢測，生成尺寸不變且含有番茄果實(shí)預(yù)測框中心坐標(biāo)(x，y)、寬w、高h(yuǎn)等4個(gè)位置信息，1個(gè)置信度和番茄果實(shí)顏色類別c的特征圖，從而得到番茄果實(shí)的預(yù)測框和顏色類別。采用多尺度檢測結(jié)構(gòu)，能夠更好地提取不同光照條件及果實(shí)重疊、遮擋嚴(yán)重等溫室復(fù)雜環(huán)境下的番茄果實(shí)特征，從而可以極大地提升檢測精度，為采摘機(jī)器人的高效采摘奠定基礎(chǔ)。

圖3 番茄果實(shí)多尺度檢測結(jié)構(gòu)Fig.3 Multi-scale detection structure for tomato

本文借鑒YOLO v3中的檢測方式生成番茄果實(shí)預(yù)測框，圖4為番茄果實(shí)預(yù)測框生成流程圖。由darknet-20主干網(wǎng)絡(luò)提取的特征圖包含真實(shí)框的信息，如圖4a綠色框所示；特征圖通過回歸預(yù)測得到若干預(yù)測框，如圖4b黃色框所示；通過非極大值抑制(Non-maximum suppression，NMS)算法篩選出番茄果實(shí)預(yù)測框，如圖4c紫色框所示。在使用NMS方法時(shí)，根據(jù)上述多尺度檢測模型獲得2個(gè)類別的置信度，取置信度較高的類別作為預(yù)測框中對象所屬的類別，并將置信度低于置信度閾值a=0.5的所有預(yù)測框刪除；然后將剩余的所有預(yù)測框按照置信度從高到低排序，將置信度最高的預(yù)測框作為要保留類別的第1個(gè)預(yù)測框；再按照由大到小的順序計(jì)算其他預(yù)測框與第1個(gè)預(yù)測框的交并比I′OU，刪除I′OU大于其閾值b=0.5的預(yù)測框，即完成第1次迭代；接著從剩下的預(yù)測框中取置信度最高的預(yù)測框作為保留的第2個(gè)預(yù)測框，進(jìn)行第2次迭代。通過不斷迭代，輸出最后的番茄果實(shí)預(yù)測框。通過以上方法得到番茄果實(shí)預(yù)測框，即可得到番茄果實(shí)在圖像中的準(zhǔn)確位置。

圖4 番茄果實(shí)預(yù)測框生成流程圖Fig.4 Flow chart of generating bounding box for prediction tomatoes

2.4 番茄果實(shí)識別模型架構(gòu)

本文構(gòu)建的基于darknet-20主干網(wǎng)絡(luò)的復(fù)雜環(huán)境下番茄果實(shí)快速識別模型架構(gòu)如圖5所示。該架構(gòu)主要包含2個(gè)模塊：數(shù)據(jù)預(yù)處理模塊和番茄果實(shí)快速檢測網(wǎng)絡(luò)模塊。前者是在數(shù)據(jù)樣本采集后進(jìn)行的；后者以darknet-20為主干網(wǎng)絡(luò)，通過融合多尺度檢測模塊構(gòu)建，稱為IMS-YOLO(Improved multi-scale YOLO)檢測網(wǎng)絡(luò)。該網(wǎng)絡(luò)從訓(xùn)練集和驗(yàn)證集中快速提取復(fù)雜環(huán)境下的番茄果實(shí)相應(yīng)特征，并融合多尺度特征信息，同時(shí)得到番茄果實(shí)預(yù)測框和類別，從而快速精確地識別溫室復(fù)雜環(huán)境下番茄果實(shí)。其中訓(xùn)練集用于擬合檢測網(wǎng)絡(luò)，驗(yàn)證集用于調(diào)整檢測網(wǎng)絡(luò)的超參數(shù)以及對網(wǎng)絡(luò)性能進(jìn)行初步評估。對檢測網(wǎng)絡(luò)進(jìn)行樣本訓(xùn)練的目的是利用從高分辨率的番茄果實(shí)原始圖像中學(xué)習(xí)到的特征來識別低分辨率的實(shí)時(shí)采集圖像。番茄果實(shí)識別架構(gòu)的工作流程如下：首先將采集的原始圖像進(jìn)行預(yù)處理并將預(yù)處理后的圖像輸入檢測網(wǎng)絡(luò)進(jìn)行訓(xùn)練，然后根據(jù)預(yù)測框、置信度和類別的損失函數(shù)不斷調(diào)整訓(xùn)練參數(shù)，最終得到識別模型。

圖5 復(fù)雜環(huán)境下番茄果實(shí)快速識別模型的架構(gòu)Fig.5 Framework of fast recognition model for tomatoes under complex environment

3 檢測網(wǎng)絡(luò)訓(xùn)練與結(jié)果分析

3.1 番茄果實(shí)檢測網(wǎng)絡(luò)訓(xùn)練

為了得到復(fù)雜環(huán)境下番茄果實(shí)快速精確的檢測網(wǎng)絡(luò)，需要優(yōu)化損失函數(shù)，使預(yù)測框、置信度、類別的訓(xùn)練誤差達(dá)到平衡。YOLO v3的損失函數(shù)[17]為

L=kxyδ(x,y)+kwhδ(w,h)+kconfδ(conf)+kcδ(c)

(1)

式中δ(x,y)——預(yù)測邊界框中心坐標(biāo)(x,y)的誤差函數(shù)

δ(w,h)——預(yù)測邊界框?qū)抴、高h(yuǎn)的誤差函數(shù)

δ(conf)——預(yù)測置信度conf的誤差函數(shù)

δ(c)——類別的誤差函數(shù)

kxy、kwh、kconf、kc——誤差權(quán)重系數(shù)

訓(xùn)練誤差曲線可以監(jiān)測損失函數(shù)的變化趨勢。對訓(xùn)練集和驗(yàn)證集進(jìn)行約2 500次迭代訓(xùn)練后的誤差變化曲線如圖6所示。可以看出，前500次迭代中網(wǎng)絡(luò)快速擬合；1 500次迭代后損失函數(shù)基本穩(wěn)定，此后檢測網(wǎng)絡(luò)收斂。

圖6 訓(xùn)練誤差變化曲線Fig.6 Training error changing curve

本文選用的性能評價(jià)指標(biāo)主要包括均值平均精度MAP(Mean average precision)、紅色和綠色番茄果實(shí)的檢測精度APR和APG、檢測時(shí)間tr、準(zhǔn)確率P、召回率R、交并比IOU。本文目的是快速精確識別番茄果實(shí)，因此把MAP、tr作為主要評價(jià)指標(biāo)。交并比IOU是預(yù)測框和真實(shí)框的重合程度，表示番茄果實(shí)的檢測定位精度。APR、APG是針對單一類別進(jìn)行分析計(jì)算的，MAP是APR、APG的平均值。計(jì)算公式為

(2)

(3)

(4)

式中TP——實(shí)際為正樣本且被檢測為正樣本的數(shù)量

FP——實(shí)際為負(fù)樣本且被檢測為正樣本的數(shù)量

FN——實(shí)際為負(fù)樣本且被檢測為負(fù)樣本的數(shù)量

k——類別編號

J(P,R)k——平均精度函數(shù)，即類別編號為k時(shí)準(zhǔn)確率P與召回率R所構(gòu)成P-R曲線的面積

經(jīng)過NMS方法處理后得到的預(yù)測框和對應(yīng)類別并非全部正確，因此將置信度大于閾值a=0.5的預(yù)測框定義為正樣本，反之則為負(fù)樣本；將正樣本中與真實(shí)框的交并比大于閾值d=0.6的樣本視為TP，反之視為FP。若負(fù)樣本中存在實(shí)際為正樣本的，則視為FN。

檢測網(wǎng)絡(luò)IMS-YOLO在darknet深度學(xué)習(xí)框架中進(jìn)行訓(xùn)練。硬件環(huán)境為Intel Xeon CPU，E5-2680 v3@2.50 GHz×48處理器，64 GB運(yùn)行內(nèi)存，2 TB硬盤，兩個(gè)顯存為12 GB的GeForce GTX 1080ti GPU。軟件環(huán)境為Ubuntu16.04移動(dòng)操作系統(tǒng)。輸入圖像尺寸416像素×416像素，權(quán)值衰減速率為0.000 5，初始學(xué)習(xí)率為0.001，動(dòng)量設(shè)置為0.9。

3.2 番茄果實(shí)識別效果

由于IMS-YOLO模型是基于YOLO v2主干網(wǎng)絡(luò)，同時(shí)融合了多尺度檢測結(jié)構(gòu)進(jìn)行改進(jìn)的，因此有必要對改進(jìn)前后網(wǎng)絡(luò)的番茄果實(shí)檢測性能進(jìn)行對比分析。為此，對YOLO v2保留darknet-19主干網(wǎng)絡(luò)不變，采用本文所述多尺度檢測模塊與其一起構(gòu)成MS-YOLO v2檢測模型；基于darknet-20主干網(wǎng)絡(luò)的改進(jìn)型單一尺度(Single-scale)檢測模型稱為ISS-YOLO。為了對比改進(jìn)效果，同時(shí)與YOLO v2進(jìn)行對比。上述4種YOLO系列檢測模型的特點(diǎn)及其檢測結(jié)果如表2所示。

表2 4種網(wǎng)絡(luò)模型的檢測結(jié)果Tab.2 Detection results of four network models

由表2可知， IMS-YOLO比MS-YOLO v2的MAP、IOU分別提升0.85個(gè)百分點(diǎn)和1.38個(gè)百分點(diǎn)，而tr僅增加了0.093 ms。IMS-YOLO比ISS-YOLO的MAP、IOU分別提升了5.8個(gè)百分點(diǎn)和8.02個(gè)百分點(diǎn)，tr增加了0.97 ms。可以看出，分別更換了主干網(wǎng)絡(luò)和檢測結(jié)構(gòu)，除了tr略有增加，檢測模型的性能均有不同程度提升，說明本文網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)方法對模型性能具有促進(jìn)作用。而與YOLO v2相比，IMS-YOLO的多項(xiàng)性能指標(biāo)均有顯著提升，尤其是MAP和IOU分別提高了7.17個(gè)百分點(diǎn)和8.94個(gè)百分點(diǎn)，極大地提高了番茄果實(shí)的檢測精度和檢測定位精度。另外，IMS-YOLO比YOLO v2的tr增加了1.139 ms，兩者tr相差不多，均能達(dá)到較好的實(shí)時(shí)性。綜上，IMS-YOLO的檢測精度和檢測定位精度最高。其原因?yàn)镮MS-YOLO使用多尺度檢測結(jié)構(gòu)，可以較為精確地預(yù)測番茄果實(shí)預(yù)測框類別和位置，從而大幅度提升了檢測精度和定位精度； IMS-YOLO的主干網(wǎng)絡(luò)增加了殘差結(jié)構(gòu)，可以促進(jìn)前后卷積層的信息融合，有效提取番茄果實(shí)類別和真實(shí)框的信息，使訓(xùn)練誤差更小，可以進(jìn)一步提升檢測精度。綜合考慮各項(xiàng)檢測指標(biāo)，本文方法對番茄果實(shí)的檢測性能更佳。

IMS-YOLO的APR、APG分別是97.90%和96.35%，較MS-YOLO v2分別提升了0.70個(gè)百分點(diǎn)和1.00個(gè)百分點(diǎn)；而相較于ISS-YOLO和YOLO v2，IMS-YOLO的APR分別提升了3.9個(gè)百分點(diǎn)和4.58個(gè)百分點(diǎn)，APG則分別提升了7.69個(gè)百分點(diǎn)和9.75個(gè)百分點(diǎn)。可以看出，IMS-YOLO的APR、APG提升最為顯著，且APG提升更為明顯；此外，多尺度檢測模型的檢測效果遠(yuǎn)比單尺度的效果好。這是因?yàn)樵贗MS-YOLO中主干網(wǎng)絡(luò)加入了殘差模塊且采用了多尺度檢測結(jié)構(gòu)，其提取番茄果實(shí)特征、區(qū)分背景和目標(biāo)信息的能力更為突出。

3.3 不同方法識別效果對比試驗(yàn)

基于IMS-YOLO的溫室復(fù)雜環(huán)境下的番茄果實(shí)識別結(jié)果如圖7所示。對照圖1，可以看到番茄果實(shí)在數(shù)量不同、稠密程度不同、光照不同、葉片枝干遮擋、果實(shí)重疊等環(huán)境下均具有很高的識別準(zhǔn)確率，且番茄果實(shí)在圖像中定位準(zhǔn)確。因此，本文方法具有較強(qiáng)的魯棒性，可以適應(yīng)溫室下各種復(fù)雜情況。

為進(jìn)一步驗(yàn)證本文網(wǎng)絡(luò)模型對溫室番茄果實(shí)的識別性能，主干網(wǎng)絡(luò)分別取ResNet34和VGGNet，且VGGNet選用前13層網(wǎng)絡(luò)，去掉最后3層全連接層以降低參數(shù)量；檢測模塊統(tǒng)一采用YOLOv3-tiny的檢測結(jié)構(gòu)，構(gòu)成MS-ResNet34、IMS-VGGNet。將其與IMS-YOLO網(wǎng)絡(luò)進(jìn)行對比試驗(yàn)，測試網(wǎng)絡(luò)層數(shù)較少的主干網(wǎng)絡(luò)對番茄果實(shí)特征的提取能力。為驗(yàn)證IMS-YOLO的實(shí)時(shí)性，選取YOLO v3網(wǎng)絡(luò)模型與其進(jìn)行對比試驗(yàn)。番茄果實(shí)識別效果對比試驗(yàn)結(jié)果如圖7和表3所示。圖7中由左至右依次為單果、多果、逆光、順光、重疊和遮擋。

由表3可以看出，IMS-YOLO模型的IOU最大，檢測定位精度最高。IMS-YOLO比IMS-VGGNet的MAP高0.41個(gè)百分點(diǎn)。比MS-ResNet34模型的MAP高3.26個(gè)百分點(diǎn)，且tr較小。原因是MS-ResNet34在主干網(wǎng)絡(luò)開始訓(xùn)練時(shí)先進(jìn)行8倍下采樣，特征信息丟失嚴(yán)重，因此檢測精度降低；同時(shí)，其卷積層較多，計(jì)算量大，因此檢測速度較慢。相對于YOLO v3，雖然IMS-YOLO檢測精度降低了1.52個(gè)百分點(diǎn)，但檢測時(shí)間減少了12.407 ms，實(shí)時(shí)性較好。可以看出，本文方法整體性能表現(xiàn)最佳，可以同時(shí)滿足識別精度和速度的需求。

圖7 復(fù)雜環(huán)境下4種模型對番茄果實(shí)的識別結(jié)果Fig.7 Recognition results of tomatoes under complex environment of four models

表3 4種模型的試驗(yàn)結(jié)果Tab.3 Test results of four models

另外，IMS-YOLO模型的APR、APG稍低于YOLO v3而高于其他兩種模型，原因是IMS-YOLO的網(wǎng)絡(luò)結(jié)構(gòu)比YOLO v3簡單得多，對番茄果實(shí)的特征提取能力偏低，因而檢測精度偏低；而與IMS-VGGNet相比，兩者的網(wǎng)絡(luò)深度相近，但I(xiàn)MS-YOLO采用了殘差結(jié)構(gòu)，可提取更豐富的特征信息，因而檢測精度較高；MS-ResNet34網(wǎng)絡(luò)模型整體精度最低，這是因?yàn)槠湎冗M(jìn)行8倍下采樣，導(dǎo)致特征信息丟失嚴(yán)重，繼而影響網(wǎng)絡(luò)的擬合能力，對綠色番茄果實(shí)與背景的顏色區(qū)分能力下降，導(dǎo)致綠色番茄果實(shí)檢測精度降低。4種網(wǎng)絡(luò)模型對紅色番茄果實(shí)的檢測精度均高于綠色番茄果實(shí)，這是因?yàn)榧t色果實(shí)目標(biāo)與背景顏差異大，紅色顏色特征易提取。

3.4 溫室環(huán)境中番茄果實(shí)識別驗(yàn)證

為驗(yàn)證實(shí)際應(yīng)用效果，將本文模型集成在采摘機(jī)器人操作系統(tǒng)中進(jìn)行采摘試驗(yàn)。如圖8所示，采摘機(jī)器人核心部件由遨博6軸協(xié)作機(jī)械臂、FM810-IX-A型3D相機(jī)、智能移動(dòng)底盤(國興)以及一臺工控機(jī)組成。采摘試驗(yàn)過程如下：將智能移動(dòng)底盤移動(dòng)到合適位置，由工控機(jī)調(diào)用IMS-YOLO模型識別番茄果實(shí)并控制3D相機(jī)對番茄果實(shí)進(jìn)行檢測；若3D相機(jī)檢測到紅色成熟番茄果實(shí)，則選擇置信度概率最大的番茄果實(shí)目標(biāo)為第1采摘目標(biāo)并進(jìn)行定位，輸出番茄果實(shí)類別和三維坐標(biāo)至工控機(jī)，再由工控機(jī)控制機(jī)械臂實(shí)現(xiàn)采摘。針對順光、逆光兩種光照情況共設(shè)計(jì)了8組試驗(yàn)，對單果/多果果實(shí)在有遮擋、無遮擋環(huán)境條件下進(jìn)行番茄果實(shí)采摘試驗(yàn)，本次試驗(yàn)對枝葉遮擋程度大于60%以上的番茄果實(shí)不進(jìn)行采摘。由于機(jī)器人只采摘紅色成熟番茄果實(shí)，且每次只采摘一個(gè)，所以只統(tǒng)計(jì)紅色番茄的識別率。若識別到番茄果實(shí)，系統(tǒng)會(huì)返回番茄果實(shí)三維坐標(biāo)值，否則，返回至“未識別到番茄”。系統(tǒng)返回番茄坐標(biāo)值即識別成功，因番茄未識別成功而導(dǎo)致采摘不成功的情況為識別失敗，因機(jī)械臂路徑規(guī)劃失誤等導(dǎo)致采摘不成功的情況不計(jì)入識別失敗。

圖8 溫室環(huán)境中機(jī)器人采摘試驗(yàn)Fig.8 Test of harvesting robot under greenhouse environments

各種情況下番茄果實(shí)識別準(zhǔn)確率如表4所示。由表4可以看出，逆光比順光識別準(zhǔn)確率低，原因是逆光時(shí)果實(shí)與背景界限不明顯，果實(shí)邊緣特征提取難度增加，導(dǎo)致識別難度增加；多果比單果識別準(zhǔn)確率低，原因是密集情況下果實(shí)之間有重疊，果實(shí)形狀特征提取困難；遮擋比未遮擋識別準(zhǔn)確率偏低，原因是有枝葉遮擋時(shí)增加了果實(shí)形狀特征提取的難度。

表4 溫室環(huán)境下番茄果實(shí)采摘試驗(yàn)結(jié)果Tab.4 Results of tomato harvesting tests under greenhouse environments

為節(jié)約成本，采摘機(jī)器人使用了只有CPU的工控機(jī)。工控機(jī)為單CPU Intel i7-7500u 2.7 GHz處理器、 16 GB內(nèi)存。由于工控機(jī)的計(jì)算能力下降，識別試驗(yàn)中番茄果實(shí)的識別時(shí)間比圖像識別時(shí)間偏長。

4 結(jié)論

(1)提出了改進(jìn)型多尺度檢測模型IMS-YOLO，采用含有殘差模塊的darknet-20主干網(wǎng)絡(luò)實(shí)現(xiàn)特征提取和檢測速度的提升，借鑒YOLO v3-tiny檢測結(jié)構(gòu)，融合多尺度信息，提升檢測精度。該模型對復(fù)雜環(huán)境下番茄果實(shí)的檢測精度為97.13%，檢測時(shí)間為7.719 ms，準(zhǔn)確率為96.36%，召回率和交并比分別為96.03%和83.32%，紅、綠番茄果實(shí)檢測精度分別為97.90%和96.35%。對比其他網(wǎng)絡(luò)模型，該模型兼顧了識別精度與速度的要求，且檢測定位精度最高，綜合性能最佳。

(2)采用多尺度檢測結(jié)構(gòu)的IMS-YOLO、MS-YOLO v2的檢測精度、召回率、交并比比單尺度的ISS-YOLO、YOLO v2更高；與采用darknet-19的MS-YOLO v2、YOLO v2相比，采用darknet-20主干網(wǎng)絡(luò)的IMS-YOLO、ISS-YOLO的檢測時(shí)間增加不多，對檢測實(shí)時(shí)性影響不大；與YOLO v2相比，IMS-YOLO的多項(xiàng)性能指標(biāo)均有顯著提升，極大地提高了番茄果實(shí)的檢測精度和檢測定位精度。

(3)對比MS-ResNet34與IMS-VGGNet模型，IMS-YOLO模型精度最高；IMS-YOLO比YOLO v3檢測時(shí)間減少了12.407 ms；對比其他3種網(wǎng)絡(luò)模型，IMS-YOLO的交并比最高，即檢測定位精度最高，可以為采摘機(jī)器人提供精確的定位指導(dǎo)。

(4)在番茄溫室大棚進(jìn)行了機(jī)器人實(shí)際采摘試驗(yàn)，進(jìn)一步驗(yàn)證了IMS-YOLO模型的可行性和準(zhǔn)確性。該模型檢測精度高、速度快，可兼顧精度和實(shí)時(shí)性的要求，在復(fù)雜環(huán)境下魯棒性強(qiáng)、檢測定位精度高，可以滿足溫室復(fù)雜環(huán)境下采摘機(jī)器人識別番茄果實(shí)的需求。