基于YOLOv3深度卷積神經(jīng)網(wǎng)絡(luò)的田間百香果定位

林營(yíng)志 盧依琳 劉現(xiàn)

摘 要：為實(shí)現(xiàn)大田棚架栽培環(huán)境下百香果的機(jī)器自動(dòng)化采摘，使用YOLOv3深度卷積神經(jīng)網(wǎng)絡(luò)建立了復(fù)雜背景下的百香果果實(shí)定位模型。該方法使用單個(gè)卷積神經(jīng)網(wǎng)絡(luò)遍歷整個(gè)圖像，回歸目標(biāo)的類別和位置，實(shí)現(xiàn)了直接端到端的目標(biāo)檢測(cè)。訓(xùn)練集使用了400張人工標(biāo)注的圖像，測(cè)試集為100張圖片，共包含3071個(gè)百香果樣本。經(jīng)過(guò)訓(xùn)練的模型在測(cè)試集下的平均精度均值mAP為97.66%，當(dāng)使用0.65置信閾值時(shí)，準(zhǔn)確率為98%，召回率為94%，交并比IOU為83.96%。

關(guān)鍵詞：百香果;圖像識(shí)別;只需瞄一眼;深度學(xué)習(xí)

Abstract：In order to realize automatic picking of passion fruit under the environment of field shelving， YOLOv3 deep convolutional neural network was used to establish the fruit location model of passion fruit under the complex background. In this method， a single convolutional neural network was used to traverse the whole image and return to the category and location of the target thus to realize the direct endtoend target detection. The training set used 400 manually labeled images and the test set used 100 images， which included a total of 3，071 passion fruit samples. The average accuracy mean mAP of the trained model under the test set was 97.66%. When the confidence threshold of 0.65 was used， the accuracy rate was 98%， the recall rate was 94%， and the crossover ratio of IOU was 83.96%.

Key words：Passion fruit; Image recognition; You Only Look Once; Deep learning

果蔬采收是園藝生產(chǎn)的重要環(huán)節(jié)，勞動(dòng)強(qiáng)度大、工作效率低、季節(jié)性用工明顯。自20世紀(jì)80年代以來(lái)，國(guó)內(nèi)外學(xué)者開展了大量果蔬采摘機(jī)器人的研究，如獼猴桃[1]、草莓[2]、黃瓜[3]、番茄[4]。視覺(jué)識(shí)別系統(tǒng)作為采摘機(jī)器人的重要組成部分，對(duì)機(jī)器人工作效率和可靠運(yùn)行有較大影響。

早期的視覺(jué)系統(tǒng)多采用基于顏色或幾何形態(tài)特征的目標(biāo)果實(shí)算法，較難滿足穩(wěn)定性和魯棒性要求。近年來(lái)，深度卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測(cè)領(lǐng)域顯現(xiàn)出巨大的優(yōu)越性，使得在復(fù)雜情況下水果的識(shí)別變得可能。趙源深等[5]采用haarlike特征及其編碼的方法，結(jié)合AdaBoost深度學(xué)習(xí)算法，獲得用于識(shí)別成熟番茄的分類器，對(duì)光照變化、果實(shí)粘連以及枝葉遮擋等干擾具有較強(qiáng)的自適應(yīng)性和魯棒性。熊俊濤等[6]利用Faster RCNN方法進(jìn)行樹上綠色柑橘的視覺(jué)檢測(cè)研究，模型mAP達(dá)到了85.49%，對(duì)自然環(huán)境下綠色柑橘有較好的檢測(cè)效果。只需瞄一眼（You Only Look Once，YOLO）即可識(shí)別圖像中物品及其位置，YOLO是目前最快的目標(biāo)檢測(cè)方案之一，使用單一的卷積網(wǎng)絡(luò)基于整幅圖像直接進(jìn)行位置檢測(cè)和分類預(yù)測(cè)[7]。趙德安等[8]在兼顧效率和準(zhǔn)確率的情況下，使用YOLOv3實(shí)現(xiàn)了復(fù)雜背景下的蘋果識(shí)別，準(zhǔn)確率達(dá)到了97%。

百香果是西番蓮科西番蓮屬的草質(zhì)藤本植物，主要采用棚架栽培模式，果實(shí)下垂于藤蔓上，棚架底部空間大，枝干、葉、果實(shí)干涉較小，但成熟期不一致。本研究嘗試使用YOLOv3卷積神經(jīng)網(wǎng)絡(luò)來(lái)建立預(yù)測(cè)模型，實(shí)現(xiàn)田間棚架栽培模式下的百香果識(shí)別，用于百香果的自動(dòng)化采摘。

1 材料與方法

1.1 識(shí)別對(duì)象

百香果圖像采集地點(diǎn)為福建福州市閩侯縣荊溪鎮(zhèn)仁洲村和福建省漳州市薌城區(qū)埔里村百香果基地，均采用棚架式栽培模式，品種為黃金百香果，大部分處于接近成熟期（圖1）。棚架栽培模式下，機(jī)器人只能在棚架下方移動(dòng)，視角自下而上，因而易受自然光影響，圖像顏色和亮度差異較大（圖2）。大部分掛果呈現(xiàn)自然下垂?fàn)顟B(tài)，但仍存在重疊或者被葉片遮擋的狀態(tài)，使用傳統(tǒng)的色差分割等方法較難實(shí)現(xiàn)。因此本研究考慮使用深度卷積神經(jīng)網(wǎng)絡(luò)來(lái)提取果實(shí)特征，采用端到端的整體訓(xùn)練進(jìn)行自適應(yīng)學(xué)習(xí)。

1.2 試驗(yàn)平臺(tái)

訓(xùn)練使用GPU服務(wù)器，硬件配置為Intel E52665X2，32 G RECC DDR3，250 G固態(tài)硬盤，NVIDIA RTX 2080TI 11G顯卡4張，軟件配置為Ubuntu Linux 16.04， CUDA10.0， cuDNN7.6， YOLOv3。測(cè)試在筆記本電腦進(jìn)行，硬件配置為Intel i79750H 4.5 GHz 6核，內(nèi)存32 G DDR4 2666，GPU為GeForce GTX 1650，軟件配置為Windows10、CUDA10.1、Cudnn7.6、OpenCV3.4.1、YOLOv3和Yolo Mark。

1.3 數(shù)據(jù)集構(gòu)建

隨機(jī)抽取田間采集到的圖像，使用軟件YOLO Mark對(duì)圖像中的百香果進(jìn)行人工標(biāo)注，標(biāo)注信息包括目標(biāo)百香果的類別和位置。矩形框坐標(biāo)歸一化到0～1的范圍內(nèi)，便于在增強(qiáng)處理時(shí)保持坐標(biāo)數(shù)據(jù)。YOLO標(biāo)注信息存儲(chǔ)在與圖像同名的文本文件中，每行表示一個(gè)目標(biāo)，包括5個(gè)參數(shù)，分別是目標(biāo)類別編號(hào)、矩形框中心x坐標(biāo)、中心y坐標(biāo)、矩形框的寬和高。坐標(biāo)歸一化的計(jì)算公式為：

1.4 模型訓(xùn)練與評(píng)估

模型訓(xùn)練和評(píng)估基于YOLOv3，采用64個(gè)樣本作為一個(gè)處理單元，每次更新權(quán)重值時(shí)BN正則化，動(dòng)量0.9，權(quán)重衰減0.000 5，飽和度1.5，曝光度1.5，初始學(xué)習(xí)率0.001，使用0.1的學(xué)習(xí)率變動(dòng)因子。為穩(wěn)定模型，學(xué)習(xí)率控制參數(shù)設(shè)定為1000。目標(biāo)類型僅1個(gè)，因此最大迭代次數(shù)配置為4000次。為便于觀察訓(xùn)練過(guò)程，每4次迭代計(jì)算一次mAP。每100次迭代存儲(chǔ)一次權(quán)重模型。

過(guò)多訓(xùn)練可能導(dǎo)致過(guò)擬合，因此需要對(duì)模型進(jìn)行評(píng)估，尋找適當(dāng)?shù)哪Ｐ汀Ｔ诒狙芯恐幸詍AP為評(píng)估指標(biāo)，使用測(cè)試集逐一計(jì)算模型的mAP值，測(cè)試閾值為0.25，交并比IOU閾值為0.50，查找最高的mAP值，選用與該值對(duì)應(yīng)迭代次數(shù)附近的模型。

1.5 檢測(cè)閾值的選取

在找到mAP值最高的權(quán)值模型后，使用不同的置信閾值計(jì)算模型精確率、召回率和F1因子[8]，繪制PR曲線、各指標(biāo)與閾值的關(guān)系曲線，尋找最佳的置信閾值。置信閾值的變化范圍0.05～0.95，步長(zhǎng)0.05。F1因子是準(zhǔn)確率和召回率的綜合因子，準(zhǔn)確率所占權(quán)重較大。

2 結(jié)果與分析

2.1 數(shù)據(jù)集構(gòu)建

從田間采集的圖像中挑選了500張圖像，總計(jì)標(biāo)注了3071個(gè)果實(shí)，隨機(jī)挑選100張作為測(cè)試集（含551個(gè)果實(shí)），其余作為訓(xùn)練集。數(shù)據(jù)集部分圖像見圖3。

2.2 模型訓(xùn)練與最優(yōu)模型的選取

模型訓(xùn)練總計(jì)迭代4000次，耗時(shí)5 h，一共使用了256000幅圖像，獲得了120個(gè)模型。訓(xùn)練過(guò)程中的損失變化如圖4所示，剛開始迭代時(shí)損失值很大，經(jīng)過(guò)大約200次迭代后迅速縮小并逐步趨于穩(wěn)定，震蕩幅度很小。

計(jì)算120個(gè)模型在測(cè)試集上的mAP值，結(jié)果見圖5，縱坐標(biāo)為mAP值，范圍從0～100%，橫坐標(biāo)是選定模型運(yùn)行，對(duì)應(yīng)迭代次數(shù)。從圖5可看出，迭代次數(shù)從600次開始mAP值就已經(jīng)穩(wěn)定，最大97.66%，對(duì)應(yīng)迭代次數(shù)1100次，作為本研究

2.3 檢測(cè)閾值的選取

選定模型的PR曲線見圖 6，當(dāng)置信閾值在0.05～0.95范圍時(shí)，PR曲線都在較高區(qū)間，顯示模型識(shí)別能力較強(qiáng)。

不同置信閾值下的精確率、召回率、IOU值和F1值曲線見圖 7，縱坐標(biāo)表示取值范圍70%～100%，橫坐標(biāo)表示置信閾值，取值范圍0.05～0.95。從圖6可知，隨著置信閾值的增加，精確率和IOU值逐漸上升，召回率逐漸下降，F(xiàn)1值呈現(xiàn)先上升再下降的過(guò)程。在本研究中，以F1值為主的基礎(chǔ)上選擇盡可能高的精確率，在F1值的波峰

3 討論與結(jié)論

本研究使用深度神經(jīng)網(wǎng)絡(luò)YOLOv3算法進(jìn)行了圖像中百香果的識(shí)別試驗(yàn)，試驗(yàn)結(jié)果表明該模型的檢測(cè)精度較高，當(dāng)使用0.65置信閾值時(shí)，精確率可達(dá)98%，召回率94%，IOU值83.96%，模型mAP值97.66%。

模型參數(shù)的優(yōu)化過(guò)程，精確率和召回率往往是此消彼長(zhǎng)的情況。但在采摘機(jī)器人的應(yīng)用中，隨著采摘的進(jìn)行，樣本分布和視角會(huì)發(fā)生變化，原本被預(yù)測(cè)為負(fù)類別的果實(shí)仍有被識(shí)別出來(lái)的可能。錯(cuò)誤的預(yù)測(cè)則可能導(dǎo)致未成熟果實(shí)被誤摘，也可能對(duì)末端執(zhí)行器造成損壞。因此采摘識(shí)別的要求是寧缺勿濫，對(duì)精確率的要求遠(yuǎn)高于召回率。因此本研究參數(shù)優(yōu)化以精確率為主。

測(cè)試過(guò)程表明預(yù)測(cè)能力與圖像質(zhì)量有較大關(guān)系，當(dāng)圖像質(zhì)量較差時(shí)，盡管精確率和召回率仍然很高，但矩形框位置錯(cuò)位較為嚴(yán)重，IOU明顯下降，表明模型還需要進(jìn)一步訓(xùn)練以提高泛化能力，同時(shí)應(yīng)盡量提高采圖質(zhì)量。深度學(xué)習(xí)模型對(duì)計(jì)算能力要求較高，模型在測(cè)試機(jī)上的預(yù)測(cè)時(shí)間長(zhǎng)達(dá)232毫秒。盡管在采摘流程中，初始識(shí)別定位并不需要很高的刷新率，但從功耗角度考慮，仍要在可能保持精度的情況下縮減網(wǎng)絡(luò)模型。

參考文獻(xiàn)：

[1]HENRY A M WILLIAMS，MARK H JONES，MAHLA NEJATI，et al.Robotic kiwifruit harvesting using machine vision，convolutional neural networks，and robotic arms[J].Biosystems Engineering，2019，181：140-156.

[2]YA XIONG，CHENG PENG，LARS GRIMSTAD，et al.Development and field evaluation of a strawberry harvesting robot with a cabledriven gripper[J].Computers and Electronics in Agriculture，2019，157：392-402.

[3]紀(jì)超，馮青春，袁挺，等.溫室黃瓜采摘機(jī)器人系統(tǒng)研制及性能分析[J].機(jī)器人，2011，33（4）：726-730.

[4]王曉楠，伍萍輝，馮青春，等.番茄采摘機(jī)器人系統(tǒng)設(shè)計(jì)與試驗(yàn)[J].農(nóng)機(jī)化研究，2016，（4）：94-98.

[5]趙源深，貢亮，周斌，等.番茄采摘機(jī)器人非顏色編碼化目標(biāo)識(shí)別算法研究[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2016，47（7）：1-7.

[6]熊俊濤，劉振，湯林越，等.自然環(huán)境下綠色柑橘視覺(jué)檢測(cè)技術(shù)研究[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2018，49（4）：45-52.

[7]JOSEPH REDMON，ALI FARHADI.YOLOv3：An Incremental Improvement[J].arXiv preprint，2018（8）：1804.02767V1.

[8]趙德安，吳任迪，劉曉洋，趙宇艷.基于YOLO深度卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜背景下機(jī)器人采摘蘋果定位[J].農(nóng)業(yè)工程學(xué)報(bào)，2019，35（3）：164-173.