基于YOLOv5的核桃品種識(shí)別與定位*

張三林，張立萍，鄭威強(qiáng)，郭壯，付子強(qiáng)

(新疆大學(xué)機(jī)械工程學(xué)院，烏魯木齊市，830047)

0 引言

新疆南疆地區(qū)日照時(shí)間長(zhǎng)、積溫高，有利于核桃的生長(zhǎng)，是我國(guó)重要的核桃生產(chǎn)地。當(dāng)?shù)氐暮颂乙赞r(nóng)戶小規(guī)模零散種植為主，造成核桃品種混亂的局面[1]。不同品種的核桃混在一起，不僅會(huì)決定核桃加工的方式，更重要的是會(huì)影響核桃品質(zhì)和核桃利用價(jià)值，所以在加工之前對(duì)核桃的分揀成為了一項(xiàng)必不可少的工作。目前，南疆地區(qū)核桃的分揀工作仍然以傳統(tǒng)的人工方式為主，勞動(dòng)強(qiáng)度大、生產(chǎn)效率較低，耗費(fèi)了大量的財(cái)力和人力，不利于當(dāng)?shù)睾颂耶a(chǎn)業(yè)的發(fā)展。

隨著人工智能技術(shù)的快速發(fā)展，用機(jī)器代替人工作成為一種趨勢(shì)。采用機(jī)器人自主分揀可大大減輕勞動(dòng)壓力，提高工作效率，有利于推動(dòng)當(dāng)?shù)睾颂耶a(chǎn)業(yè)的機(jī)械化發(fā)展。核桃品種的準(zhǔn)確識(shí)別和精準(zhǔn)定位是機(jī)器人完成自主分揀的基礎(chǔ)和前提，目前國(guó)內(nèi)外已有眾多學(xué)者對(duì)果實(shí)的檢測(cè)研究取得了很大的進(jìn)展。如Ji等[2]利用SVM分類器對(duì)蘋果種類進(jìn)行識(shí)別，可以達(dá)到89%的準(zhǔn)確率；Hussin等[3]利用Hough變換對(duì)柑橘進(jìn)行檢測(cè)；馬翠花等[4]通過改進(jìn)Hough變換對(duì)未成熟的番茄進(jìn)行識(shí)別，檢測(cè)精度為77.6%。以上方法都需要基于其顏色、紋理、形狀等特征人為地構(gòu)建特征提取器來提取特征，需要耗費(fèi)人們大量的精力與時(shí)間，對(duì)專業(yè)領(lǐng)域知識(shí)要求極高，并且時(shí)常出現(xiàn)檢測(cè)效果不佳、泛化能力差、檢測(cè)效率難以達(dá)到實(shí)時(shí)檢測(cè)水平等問題。

自2012年AlexNet奪得ImageNet競(jìng)賽冠軍以后，以多層卷積網(wǎng)絡(luò)為特征提取器的深度學(xué)習(xí)模型在計(jì)算機(jī)視覺領(lǐng)域大放異彩。此類方法不再需要人為構(gòu)造特征提取器，且提取效率高，泛化能力強(qiáng)，在果實(shí)檢測(cè)方面得到廣泛應(yīng)用。如Sa等[5]借助Faster-RCNN 檢測(cè)算法構(gòu)建甜椒檢測(cè)系統(tǒng)；薛月菊等[6]采用YOLOv2方法在復(fù)雜背景下對(duì)未成熟的芒果進(jìn)行識(shí)別；趙德安等[7]將YOLOv3算法應(yīng)用于對(duì)蘋果的采摘；李善軍等[8]基于SSD檢測(cè)算法對(duì)柑橘進(jìn)行實(shí)時(shí)分類檢測(cè)；成偉等[9]基于改進(jìn)的YOLOv3對(duì)溫室番茄進(jìn)行識(shí)別。基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法在果實(shí)檢測(cè)方面應(yīng)用廣泛，但是還沒有將此類算法用于核桃品種與定位的相關(guān)研究。不同品種核桃之間外觀相似、顏色相近，對(duì)核桃的檢測(cè)造成巨大挑戰(zhàn)。為實(shí)現(xiàn)對(duì)傳送帶上不同品種的核桃進(jìn)行快速識(shí)別與精準(zhǔn)定位，提出一種基于YOLOv5的核桃檢測(cè)方法。研究結(jié)果可為機(jī)器人自主分揀核桃提供研究基礎(chǔ)。

1 數(shù)據(jù)集制作

1.1 圖像采集

本試驗(yàn)以南疆主要生產(chǎn)的3種核桃為樣本，自制了一個(gè)核桃數(shù)據(jù)集。三種核桃依次是新2核桃、新光核桃和溫185核桃。為模擬真實(shí)工廠環(huán)境，以黑色傳送帶為背景，考慮了相互遮擋、不同光照、不同角度以及不同密集度等情況，進(jìn)行多角度拍攝，拍攝圖像尺寸為4 032像素×3 024像素，獲得符合試驗(yàn)條件的圖像共500張，保存格式為JPG。

1.2 數(shù)據(jù)集預(yù)處理

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法需要大量的標(biāo)注樣本才能獲得良好的性能。試驗(yàn)利用Labelme標(biāo)注工具對(duì)樣本進(jìn)行標(biāo)注，為了增加數(shù)據(jù)集的大小和樣本的多樣性，減少模型訓(xùn)練的過擬合現(xiàn)象，對(duì)樣本依次進(jìn)行有監(jiān)督的模糊處理、隨機(jī)裁剪、添加噪聲、隨機(jī)擦除、翻轉(zhuǎn)、亮度變換和銳化處理等操作將數(shù)據(jù)集擴(kuò)充到4 000張，按照8∶1∶1的比例劃分，最終得到訓(xùn)練集3 200張、驗(yàn)證集400張，測(cè)試集400張。

2 YOLOv5檢測(cè)算法

2.1 YOLOv5網(wǎng)絡(luò)模型

YOLOv5目標(biāo)檢測(cè)算法是YOLO[10]的第5個(gè)版本，其核心思想是將整張圖作為網(wǎng)絡(luò)的輸入，在輸出層直接回歸出目標(biāo)的位置坐標(biāo)和類別，其特點(diǎn)是檢測(cè)精度高、檢測(cè)速度快，滿足實(shí)時(shí)監(jiān)測(cè)的需求。

YOLOv5網(wǎng)絡(luò)有4個(gè)版本，依次是YOLOv5s、YOLOv5 m、YOLOv5l和YOLOv5x，其網(wǎng)絡(luò)結(jié)構(gòu)相似，網(wǎng)絡(luò)深度和特征圖的寬度在YOLOv5s的基礎(chǔ)上依次增加，其精度和推理速度隨之變化，本文以基礎(chǔ)的YOLOv5s網(wǎng)絡(luò)為主，其結(jié)構(gòu)圖如圖1所示，介紹YOLOv5目標(biāo)檢測(cè)算法。

2.2 網(wǎng)絡(luò)輸入端

YOLOv5s網(wǎng)絡(luò)模型在輸入端共進(jìn)行三個(gè)主要操作，分別是Mosaic數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計(jì)算和自適應(yīng)圖片縮放。其中Mosaic數(shù)據(jù)增強(qiáng)有利于檢測(cè)小目標(biāo)，適用于本文對(duì)核桃這種小目標(biāo)的檢測(cè)。自適應(yīng)圖片縮放操作將不同尺寸的圖片固定為640像素×640像素作為輸入。YOLOv5s模型在訓(xùn)練不同數(shù)據(jù)集時(shí)，可自適應(yīng)計(jì)算出所用數(shù)據(jù)集的初始錨框，所計(jì)算出的本文數(shù)據(jù)集的初始錨框?yàn)閇74，77，86，79，96，86]、[84，92，95，96，99，107]、[106，95，111，111，124，125]，這極大地簡(jiǎn)化了網(wǎng)絡(luò)的訓(xùn)練過程。

2.3 主干網(wǎng)絡(luò)

在主干網(wǎng)絡(luò)中，YOLOv5s主要采用了Focus結(jié)構(gòu)和CSP結(jié)構(gòu)。其中Focus結(jié)構(gòu)是YOLOv5s網(wǎng)絡(luò)提出來的，其目的是在下采樣的時(shí)候防止信息的丟失。在本文中，F(xiàn)ocus結(jié)構(gòu)將輸入的640像素×640像素×3通道的圖像變?yōu)?20像素×320像素×32通道的特征圖。CSP結(jié)構(gòu)是借鑒了CSP網(wǎng)絡(luò)[11]的思想，其目的是通過局部跨層融合來獲取更豐富的特征圖且減少了計(jì)算量，在YOLOv5s網(wǎng)絡(luò)中設(shè)計(jì)了兩種CSP結(jié)構(gòu)，如圖1所示，依次是CSP1_X和CSP2_X。

圖1 YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)

2.4 特征融合

特征融合階段主要借鑒了PANet[12]的思想，采用FPN+PAN結(jié)構(gòu)。FPN結(jié)構(gòu)是采用上采樣的方式，由上而下的方式進(jìn)行特征信息融合，而PAN結(jié)構(gòu)采用自底向上的金字塔結(jié)構(gòu)，利用下采樣的方式進(jìn)行特征信息融合，具體結(jié)構(gòu)如圖2所示。

圖2 FPN+PAN結(jié)構(gòu)

2.5 預(yù)測(cè)輸出端

預(yù)測(cè)輸出端延續(xù)了YOLO之前的思想，同時(shí)輸出三個(gè)尺度的預(yù)測(cè)圖，分別適用于檢測(cè)小、中、大目標(biāo)。YOLOv5s在預(yù)測(cè)時(shí)最大的改變是將GIOU_Loss[13]作為損失函數(shù)，替換了YOLOv3中的IOU_Loss，解決了后者不能優(yōu)化兩個(gè)邊界框不相交的情況。

3 試驗(yàn)

3.1 試驗(yàn)環(huán)境

本次試驗(yàn)運(yùn)行環(huán)境的CPU為英特爾?酷睿TMi7-10700K，3.8 GHz，GPU為英偉達(dá)RTX2080TI，顯存為11 G，運(yùn)行內(nèi)存為64 G，操作系統(tǒng)為Ubuntu18.4，加速環(huán)境為CUDA10.1，編程語言為Python3.7，深度學(xué)習(xí)框架為Pytorch1.7。

3.2 評(píng)估指標(biāo)

本文采用目標(biāo)檢測(cè)算法中的多項(xiàng)指標(biāo)對(duì)YOLOv5s算法的性能進(jìn)行評(píng)估，其具體評(píng)估指標(biāo)包括精確度(P)、召回率(R)、平均精度均值(mAP)、調(diào)和平均值(F1)以及單幅圖像檢測(cè)耗時(shí)，其中mAP值和單幅圖像檢測(cè)耗時(shí)是目標(biāo)檢測(cè)算法中最重要的評(píng)估指標(biāo)，衡量了檢測(cè)算法的精度與速度。精確度P、召回率R、平均精度均值mAP以及調(diào)和平均值F1的計(jì)算表達(dá)式如式(1)～式(4)所示。

(1)

(2)

(3)

(4)

式中：TP——真正樣本數(shù)量；

FP——假正樣本數(shù)量；

FN——假負(fù)樣本數(shù)量；

N——樣本中種類數(shù)量。

3.3 模型訓(xùn)練

網(wǎng)絡(luò)模型訓(xùn)練階段，將總迭代周期設(shè)置為300，迭代批次大小值設(shè)置為8。動(dòng)量因子是影響梯度下降的重要參數(shù)，本試驗(yàn)設(shè)置為0.9。學(xué)習(xí)速率過大，可能會(huì)造成網(wǎng)絡(luò)無法收斂，學(xué)習(xí)率過小，會(huì)造成網(wǎng)絡(luò)收斂速度過慢，因此本試驗(yàn)將學(xué)習(xí)速率設(shè)為0.001。為防止過擬合，本試驗(yàn)將權(quán)值衰減系數(shù)設(shè)為0.000 5，將置信度閾值設(shè)為0.5，非極大抑制閾值設(shè)為0.3，如表1所示。訓(xùn)練過程中，損失值和平均精度值隨迭代周期變化情況如圖3所示。

表1 訓(xùn)練參數(shù)

(a) 損失函數(shù)值變化曲線

模型在前50個(gè)迭代周期中，損失值迅速下降至0.03左右，同時(shí)mAP值急速上升，快速升至80%左右，在第50至250個(gè)迭代周期之間，損失值下降逐漸平緩，逐漸接近于0.02，mAP值上升緩慢，逐漸接近于99%，在第250個(gè)迭代周期之后，損失值趨于穩(wěn)定，保持在0.02左右，同時(shí)mAP值也趨于穩(wěn)定，保持在99%左右，因此認(rèn)為模型達(dá)到穩(wěn)定收斂。

4 試驗(yàn)結(jié)果與討論

4.1 試驗(yàn)結(jié)果分析

將訓(xùn)練好的模型在測(cè)試集上測(cè)試，結(jié)果如表2所示。

表2 模型檢測(cè)結(jié)果

由模型測(cè)試結(jié)果可知，該模型對(duì)新2核桃的檢測(cè)精確度高達(dá)99.1%，且召回率高達(dá)96.5%，因此該模型對(duì)新2核桃檢測(cè)的平均精度值(AP)高達(dá)99.5%，調(diào)和平均值為97.8%，而該模型對(duì)新光和溫185核桃檢測(cè)的AP值分別為98.4%和97.1%，調(diào)和平均值分別為94.2%和92.2%。由結(jié)果可知，該模型對(duì)新2核桃的檢測(cè)效果是最佳的。這是由于新2核桃的外形相較于新光核桃和溫185核桃呈明顯的長(zhǎng)橢圓狀，表面更光滑，因此更容易識(shí)別，而新光核桃和溫185核桃外觀均呈圓球狀，表面紋理特征相近，因此對(duì)識(shí)別造成干擾，造成檢測(cè)效果相對(duì)較低的結(jié)果。但是該模型對(duì)三種核桃檢測(cè)的平均精度均值(mAP)高達(dá)98.3%，且單幅圖檢測(cè)僅耗時(shí)7 ms，在快速檢測(cè)的同時(shí)保持了高精度水平。

4.2 不同算法模型比較

為了進(jìn)一步驗(yàn)證本研究所提出方法的性能，用該模型與其他基于深度學(xué)習(xí)的主流目標(biāo)檢測(cè)算法進(jìn)行對(duì)比試驗(yàn)，其中包括屬于單階段目標(biāo)檢測(cè)算法的YOLOv3[14]和YOLOv4[15]，也包括屬于雙階段目標(biāo)檢測(cè)算法的Faster RCNN[16]，在相同的數(shù)據(jù)集和實(shí)驗(yàn)環(huán)境下，各算法的試驗(yàn)結(jié)果如表3所示。

表3 算法性能對(duì)比

由試驗(yàn)結(jié)果可知，YOLOv5算法的單幅圖檢測(cè)耗時(shí)僅為7 ms，比Faster RCNN算法快了7倍，且模型大小僅為14.4 MB，為YOLOv4算法的1/14，在本研究制作的數(shù)據(jù)集上訓(xùn)練時(shí)間僅為14.67 h，是所有對(duì)比算法中用時(shí)最短的，且YOLOv5算法的平均精度均值為98.3%，是所有對(duì)比算法中最高的。

本文選擇的YOLOv5算法與所有對(duì)比算法中mAP值最高的YOLOv4算法在不同條件下的檢測(cè)效果圖如圖4～圖7所示(圖上的數(shù)值為置信度)。通過對(duì)比可以看出，在不同條件下，YOLOv5算法的整體置信度是高于YOLOv4的。在相互遮擋情況下，YOLOv4不僅置信度偏低，甚至出現(xiàn)了漏檢的情況，雖然 YOLOv5檢測(cè)結(jié)果的置信度有所降低，但是沒有出現(xiàn)漏檢、誤檢的情況。在不同尺度和不同視角下，YOLOv4均出現(xiàn)了誤檢的情況，如圖7、圖8所示，而YOLOv5不僅沒有出現(xiàn)漏檢、誤檢的情況，且保持了較高的置信度。

(a) YOLOv4

(a) YOLOv4

(a) YOLOv4

綜上所述，無論是平均精度均值還是檢測(cè)速度，本文選擇的YOLOv5目標(biāo)檢測(cè)算法在所有對(duì)比算法中都是最優(yōu)的，可以對(duì)不同品種的核桃進(jìn)行準(zhǔn)確的識(shí)別與定位，且模型占用內(nèi)存最小，訓(xùn)練時(shí)間較短，更適合本研究對(duì)核桃進(jìn)行實(shí)時(shí)性檢測(cè)的需求。

5 結(jié)論

1) 針對(duì)機(jī)器人自主分揀核桃工作中對(duì)核桃實(shí)時(shí)檢測(cè)的需求，本文研究了基于YOLOv5目標(biāo)檢測(cè)算法對(duì)不同品種核桃檢測(cè)的方法。通過建立以南疆主產(chǎn)的新2、新光及溫185核桃的數(shù)據(jù)集對(duì)YOLOv5s模型進(jìn)行訓(xùn)練與測(cè)試。該模型對(duì)新2、新光及溫185核桃檢測(cè)的mAP值分別為99.5%、98.4%和97.1%，單幅圖像的檢測(cè)時(shí)間為7 ms，可以達(dá)到對(duì)核桃實(shí)時(shí)檢測(cè)的需求。

2) 為驗(yàn)證本文選擇模型的性能，本文與其他主流的目標(biāo)檢測(cè)算法進(jìn)行了對(duì)比試驗(yàn)，結(jié)果表明，本文選擇的YOLOv5s算法的檢測(cè)精度最高、檢測(cè)速度最快、訓(xùn)練時(shí)間較短且模型的占用內(nèi)存最小，更適合本研究的檢測(cè)需求。

3) 綜上所述，本文選擇的YOLOv5目標(biāo)檢測(cè)算法滿足對(duì)核桃的實(shí)時(shí)性檢測(cè)需求，該研究可為對(duì)動(dòng)態(tài)核桃自主分揀研究提供研究基礎(chǔ)，為機(jī)器人實(shí)現(xiàn)自主分揀核桃以及核桃產(chǎn)業(yè)的自動(dòng)化發(fā)展具有推動(dòng)意義。