采用改進(jìn)YOLOv4算法的大豆單株豆莢數(shù)檢測(cè)方法

郭 瑞，于翀宇，賀 紅，趙永健，于 慧，馮獻(xiàn)忠

采用改進(jìn)YOLOv4算法的大豆單株豆莢數(shù)檢測(cè)方法

郭 瑞1，于翀宇1，賀 紅1※，趙永健1，于 慧2，馮獻(xiàn)忠2

（1. 山東大學(xué)機(jī)電與信息工程學(xué)院，威海 264209；2. 中國(guó)科學(xué)院東北地理與農(nóng)業(yè)生態(tài)研究所，長(zhǎng)春 130102）

大豆單株豆莢數(shù)檢測(cè)是考種的重要環(huán)節(jié)，傳統(tǒng)方法通過(guò)人工目測(cè)的方式獲取豆莢類(lèi)型和數(shù)量，該方法費(fèi)時(shí)費(fèi)力且誤差較大。該研究利用大豆單株表型測(cè)量?jī)x采集到的表型數(shù)據(jù)，通過(guò)融合K-means聚類(lèi)算法與改進(jìn)的注意力機(jī)制模塊，對(duì)YOLOv4目標(biāo)檢測(cè)算法進(jìn)行了改進(jìn)，使用遷移學(xué)習(xí)預(yù)訓(xùn)練，獲取最優(yōu)模型對(duì)測(cè)試集進(jìn)行預(yù)測(cè)。試驗(yàn)結(jié)果表明，該研究模型的平均準(zhǔn)確率為80.55%，數(shù)據(jù)擴(kuò)充后準(zhǔn)確率達(dá)到了84.37%，比育種專(zhuān)家目測(cè)準(zhǔn)確率提高了0.37個(gè)百分點(diǎn)，若不考慮5粒莢，該研究模型的平均準(zhǔn)確率為95.92%，比YOLOv4模型提高了10.57個(gè)百分點(diǎn)，具有更強(qiáng)的檢測(cè)性能。在簡(jiǎn)單背景的擺盤(pán)豆莢檢測(cè)中，該研究模型預(yù)測(cè)的平均準(zhǔn)確率達(dá)到了99.1%，比YOLOv4模型提高了1.81個(gè)百分點(diǎn)，研究結(jié)果表明該模型在不同場(chǎng)景下的大豆豆莢檢測(cè)中具有較強(qiáng)的泛化能力，可為大豆人工智能育種提供參考。

圖像識(shí)別；算法；大豆；豆莢檢測(cè)；YOLOv4；K-means聚類(lèi)；注意力機(jī)制

0 引 言

大豆是人類(lèi)攝取優(yōu)質(zhì)蛋白質(zhì)以及食用油脂的重要來(lái)源，近年來(lái)，中國(guó)正致力于培育高產(chǎn)大豆新品種[1-2]。在尋求增產(chǎn)的過(guò)程中，除了通過(guò)各種方法培育優(yōu)質(zhì)轉(zhuǎn)基因植株外[3]，也需要對(duì)大豆進(jìn)行表型測(cè)量與分析，評(píng)估不同品種的表型性狀[4-5]。大豆單株表型測(cè)量一般采用干豆稞，此時(shí)，大豆植株已經(jīng)干枯，觀察豆子成熟之后的狀態(tài)即可選出優(yōu)良的種子。國(guó)家標(biāo)準(zhǔn)《植物品種特異性、一致性和穩(wěn)定性測(cè)試指南大豆》[6]規(guī)定了大豆考種的44項(xiàng)基本性狀與相關(guān)定義，主要包括株高、底莢高、主莖節(jié)數(shù)、有效分枝數(shù)、單株莢數(shù)（每棵植株所含豆莢數(shù)量）、莢皮色、單株粒數(shù)、單莢粒數(shù)等[7-8]。

傳統(tǒng)表型測(cè)量過(guò)程絕大部分依靠人工完成，育種專(zhuān)家對(duì)大批成熟植株觀察、分析并記錄，步驟非常繁雜，作業(yè)量巨大，同時(shí)，人工采集表型數(shù)據(jù)效率低下，數(shù)據(jù)容易產(chǎn)生錯(cuò)誤且誤差不可評(píng)測(cè)。隨著近幾年計(jì)算機(jī)視覺(jué)（Computer Vision，CV）與深度學(xué)習(xí)（Deep Learning，DL）技術(shù)的快速發(fā)展，基于人工智能和大數(shù)據(jù)的植物表型交叉融合研究加速了作物單株表型測(cè)量工作的進(jìn)展[9]。

已有研究表明[10-11]，許多國(guó)內(nèi)外學(xué)者在農(nóng)作物表型識(shí)別[12-16]與測(cè)量工作[17-19]等方面頗有成效，尤其是大豆豆莢產(chǎn)量估算。Uzal等[20]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）識(shí)別莢果粒數(shù)的分類(lèi)模型，在散列豆莢圖像數(shù)據(jù)集中進(jìn)行測(cè)試，獲得了86.2%的準(zhǔn)確率，與傳統(tǒng)的特征提取+支持向量機(jī)分類(lèi)模型相比準(zhǔn)確率提高了35.8個(gè)百分點(diǎn)。閆壯壯等[21]利用5種不同的網(wǎng)絡(luò)模型搭載2種不同優(yōu)化器對(duì)簡(jiǎn)單背景下的單個(gè)豆莢進(jìn)行分類(lèi)識(shí)別，結(jié)果顯示VGG16網(wǎng)絡(luò)搭配Adam優(yōu)化器使得單莢粒數(shù)的測(cè)試準(zhǔn)確率達(dá)到了98.41%。但是上述2種方法適用于將1棵植株的所有豆莢拆解下來(lái)拍照識(shí)別，增加了時(shí)間成本。Riera等[22]開(kāi)發(fā)了一套基于多視圖的大豆產(chǎn)量估算框架，利用VGG19網(wǎng)絡(luò)模型對(duì)復(fù)雜環(huán)境下的感興趣區(qū)域識(shí)別、隔離并檢測(cè)，最終利用跟蹤技術(shù)統(tǒng)計(jì)整個(gè)地塊的豆莢數(shù)量，對(duì)于不同數(shù)據(jù)集，豆莢識(shí)別的平均準(zhǔn)確率最高達(dá)到71%，為大豆產(chǎn)量估算提供了新思路。但該方法只能得到大豆植株的豆莢數(shù)量，并不能準(zhǔn)確計(jì)算出單株豆莢的種粒數(shù)量，與育種專(zhuān)家的需求存在一定偏差。

為了進(jìn)一步提高大豆植株考種速度和產(chǎn)量預(yù)測(cè)精確度，降低人工考種成本，本研究采用莢果粒數(shù)特征對(duì)豆莢進(jìn)行分類(lèi)，借助深度學(xué)習(xí)方法，利用大豆單株表型測(cè)量?jī)x采集大豆植株360°旋轉(zhuǎn)視頻，隨機(jī)獲取每個(gè)視頻中的關(guān)鍵幀圖像，使用LabelImg軟件對(duì)關(guān)鍵幀圖像進(jìn)行錨框標(biāo)注，通過(guò)改進(jìn)的YOLOv4算法對(duì)大豆表型數(shù)據(jù)進(jìn)行檢測(cè)，以實(shí)現(xiàn)準(zhǔn)確檢測(cè)單株上各類(lèi)豆莢的功能。本研究擬完成大豆植株考種的初步試驗(yàn)，緩解傳統(tǒng)考種方式中費(fèi)時(shí)費(fèi)力且誤差較大等問(wèn)題，為育種專(zhuān)家評(píng)估不同品種大豆產(chǎn)量提供可靠的數(shù)據(jù)依據(jù)，為大豆植株自動(dòng)化考種提供有效的先驗(yàn)性方法。

1 材料與方法

1.1 數(shù)據(jù)采集與預(yù)處理

采集大豆植株材料是制作數(shù)據(jù)集以及目標(biāo)檢測(cè)的前提，本研究試驗(yàn)數(shù)據(jù)均來(lái)源于中國(guó)科學(xué)院東北地理與農(nóng)業(yè)生態(tài)研究所的實(shí)驗(yàn)基地，使用課題組自制大豆單株表型測(cè)量?jī)x（以下簡(jiǎn)稱(chēng)“測(cè)量?jī)x”）進(jìn)行采集，該測(cè)量?jī)x結(jié)合工業(yè)相機(jī)（acA4112-20uc，Basler，寶視納視覺(jué)技術(shù)有限公司，德國(guó)）、息影燈（2016，啟燁，龍鳳極光照明有限公司，中國(guó)）等于一體，對(duì)2020年10月收獲的北豆、東農(nóng)、黑河等多個(gè)品種植株進(jìn)行采集數(shù)據(jù)并保存，具體設(shè)備形態(tài)與場(chǎng)景演示如圖1所示。數(shù)據(jù)采集的主要流程是操作員在操作臺(tái)將待拍攝植株插入自轉(zhuǎn)插座中，固定在夾持機(jī)構(gòu)內(nèi)，由機(jī)械臂攜帶植株到攝像室，自轉(zhuǎn)插座托起植株自轉(zhuǎn)360°拍攝視頻，然后回轉(zhuǎn)至原位置，操作員拔出并換新的待拍攝植株。最終采集的每段視頻3～4 s，分辨率為4 096×3 000（像素），共獲得700多個(gè)視頻。

為方便檢測(cè)，需要對(duì)采集的原始視頻預(yù)處理后再保存，預(yù)處理方法為使用隨機(jī)算法對(duì)每個(gè)視頻提取關(guān)鍵幀，利用圖像裁剪算法將雙株旋轉(zhuǎn)視頻關(guān)鍵幀裁剪成單株旋轉(zhuǎn)視頻關(guān)鍵幀，按順序?yàn)槠涿罱K選取800張圖像作為本試驗(yàn)對(duì)象。為了提高檢測(cè)的處理速度，利用圖像格式轉(zhuǎn)換算法將.raw格式的關(guān)鍵幀圖像轉(zhuǎn)換成.jpg格式。

1.操作臺(tái) 2.操作員 3.植株 4.回轉(zhuǎn)電機(jī) 5.控制箱 6.背景板 7.機(jī)械臂 8.攝像燈 9.攝像機(jī) 10.攝像室

1.2 數(shù)據(jù)標(biāo)注

為了訓(xùn)練檢測(cè)模型，首先要利用圖像標(biāo)注工具LabelImg對(duì)800張關(guān)鍵幀圖像進(jìn)行標(biāo)簽標(biāo)注，將標(biāo)注結(jié)果存放在.xml文件中，該文件包含圖像的目標(biāo)位置、錨框尺寸和不同形態(tài)豆莢的標(biāo)簽等信息，其中不同形態(tài)豆莢的標(biāo)簽由數(shù)字表示，即0粒莢表示為0，1粒莢表示為1，2粒莢表示為2，3粒莢表示為3，4粒莢表示為4，5粒莢表示為5，不同形態(tài)豆莢的分類(lèi)如圖2所示。

本研究共標(biāo)注800張圖像，所有目標(biāo)標(biāo)簽的數(shù)量與錨框平均尺寸分布如表1所示，共約16 000個(gè)豆莢目標(biāo)，其中3粒莢有7 998個(gè)豆莢目標(biāo)，數(shù)量最多，其次是2粒莢和4粒莢，分別有3 692個(gè)和3 201個(gè)豆莢目標(biāo)，5粒莢最少，僅有5個(gè)豆莢目標(biāo)。

表1 不同形態(tài)豆莢的數(shù)量和錨框尺寸

1.3 數(shù)據(jù)增強(qiáng)與數(shù)據(jù)集制作

數(shù)據(jù)增強(qiáng)是一種通過(guò)對(duì)原始圖像進(jìn)行隨機(jī)變換來(lái)擴(kuò)充數(shù)據(jù)樣本的方式，能夠使模型更好地適應(yīng)應(yīng)用場(chǎng)景。根據(jù)大豆植株中的豆莢分布特點(diǎn)，使用Python語(yǔ)言和OpenCV編碼對(duì)原始數(shù)據(jù)進(jìn)行亮度調(diào)節(jié)、水平翻轉(zhuǎn)和調(diào)整飽和度操作，最終將圖像對(duì)應(yīng)的標(biāo)注文件也進(jìn)行相應(yīng)調(diào)整，以單張圖像為例增強(qiáng)效果如圖3所示。

將標(biāo)注的所有數(shù)據(jù)制作成數(shù)據(jù)集A，其中包括圖像文件與標(biāo)簽文件，共1 600個(gè)文件，將數(shù)據(jù)增強(qiáng)后的數(shù)據(jù)與原數(shù)據(jù)一起組合成數(shù)據(jù)集B，共6 400個(gè)文件。為了驗(yàn)證本研究檢測(cè)模型在不同場(chǎng)景下的檢測(cè)性能，特制作簡(jiǎn)單背景下的擺盤(pán)豆莢數(shù)據(jù)集C，簡(jiǎn)單背景指豆莢平鋪、無(wú)遮擋的白色卡紙擺盤(pán)環(huán)境，該數(shù)據(jù)集中共有5個(gè)類(lèi)別，分別是0粒莢、1粒莢、2粒莢、3粒莢和4粒莢，其中包括1 500張豆莢擺盤(pán)圖像。為了確保數(shù)據(jù)集分布統(tǒng)一，本研究按照7∶2∶1的比例將3個(gè)數(shù)據(jù)集分別隨機(jī)拆分成訓(xùn)練集（A：560張，B：2 240張，C：1 050張）、驗(yàn)證集（A：160張，B：640張，C：300張）和測(cè)試集（A：80張，B：320張，C：150張）。

1.4 對(duì)YOLOv4豆莢識(shí)別網(wǎng)絡(luò)模型的改進(jìn)

YOLOv4模型[23]是目前目標(biāo)檢測(cè)領(lǐng)域中性能較好的算法模型，YOLOv4模型在YOLOv3目標(biāo)檢測(cè)模型[24]的基礎(chǔ)上做了一些改進(jìn)，尤其是使用了一些目標(biāo)檢測(cè)的優(yōu)化方法，比如Mosic數(shù)據(jù)增強(qiáng)方法、標(biāo)簽平滑算法、余弦退火算法等，使得YOLOv4模型對(duì)檢測(cè)結(jié)果具有更高的準(zhǔn)確率和泛化能力。雖然該模型是目前檢測(cè)效果比較好的模型，但YOLOv4模型基于COCO數(shù)據(jù)集，先驗(yàn)框尺寸和圖像物體本身的復(fù)雜度與本研究豆莢目標(biāo)有很大不同，所以本研究在YOLOv4模型的基礎(chǔ)上對(duì)其進(jìn)行了一系列改進(jìn)使其更適用于本研究單株大豆豆莢檢測(cè)。

1.4.1 K-means聚類(lèi)調(diào)整目標(biāo)先驗(yàn)框

先驗(yàn)框是基于待檢測(cè)物體中常見(jiàn)尺寸與比例的矩形框，是準(zhǔn)確預(yù)測(cè)目標(biāo)的重要前提之一。YOLOv4模型的先驗(yàn)框基于COCO數(shù)據(jù)集，其中包含80個(gè)類(lèi)別，不同類(lèi)別的錨框尺寸不一，所以YOLOv4模型的先驗(yàn)框尺寸也有很大差距。為了使其更適用于豆莢檢測(cè)，本研究利用K-means聚類(lèi)算法對(duì)YOLOv4模型中的先驗(yàn)框尺寸進(jìn)行調(diào)整。

K-means算法是一種原型聚類(lèi)算法，采用貪心策略，通過(guò)迭代優(yōu)化對(duì)所有樣本形成個(gè)聚類(lèi)，個(gè)不同尺寸的先驗(yàn)框可以表現(xiàn)為個(gè)聚類(lèi)中心，本研究利用聚類(lèi)中心與各類(lèi)標(biāo)簽錨框的交并比作為衡量先驗(yàn)框相似度的標(biāo)準(zhǔn)，具體如式（1）、式（2）所示

distance(,) = 1-IoU(,) （1）

1.4.2 引入改進(jìn)的注意力機(jī)制

注意力機(jī)制在深度學(xué)習(xí)的各個(gè)領(lǐng)域中被廣泛使用[25-27]，主要原理是通過(guò)對(duì)圖像的全局掃描，獲取需要重點(diǎn)關(guān)注的目標(biāo)區(qū)域，給予該區(qū)域更大的權(quán)重，從而獲取更多的細(xì)節(jié)信息，而對(duì)于其他無(wú)用信息則使用更小的權(quán)重將其抑制。由于豆莢中大豆種子存在的位置與周?chē)鷧^(qū)域的顏色、紋理等差別較大，所以對(duì)于大豆植株，將每個(gè)豆莢的邊緣與豆粒凸出部分作為重點(diǎn)特征進(jìn)行提取將會(huì)迅速提升檢測(cè)模型的訓(xùn)練效率。為了精確定位豆莢，提高原檢測(cè)模型的表征能力，特引入注意力模型，借鑒SENet模塊[28]中的特征重標(biāo)定思想和Yang等[29]的融合思想，提出一種更適用于豆莢檢測(cè)的全局注意力模塊，具體結(jié)構(gòu)如圖4所示。利用全局通道信息的平均池化與最大池化操作獲取新權(quán)重，對(duì)其重新加權(quán)產(chǎn)生該模塊的輸出以嵌入到后續(xù)層。

該方法核心操作的計(jì)算如式（5）～（7）所示

1.4.3 利用遷移學(xué)習(xí)對(duì)原始網(wǎng)絡(luò)預(yù)訓(xùn)練

遷移學(xué)習(xí)[30]將已有模型學(xué)習(xí)到的知識(shí)遷移到特定目標(biāo)的模型中，能夠改善模型的泛化情況。在神經(jīng)網(wǎng)絡(luò)中表現(xiàn)為將每個(gè)神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)對(duì)應(yīng)的權(quán)重參數(shù)從一個(gè)網(wǎng)絡(luò)模型遷移到另一個(gè)改進(jìn)的網(wǎng)絡(luò)模型中，而不是從頭開(kāi)始訓(xùn)練，這樣能夠利用原模型的泛化表現(xiàn)能力，基于已有神經(jīng)網(wǎng)絡(luò)前幾層提取邊緣、形狀、幾何變化等，共享這些初級(jí)特征，從而加快模型訓(xùn)練速度。

為加快模型訓(xùn)練速度，節(jié)省內(nèi)存空間，防止模型過(guò)擬合，基于遷移學(xué)習(xí)的思想，將YOLOv4模型在 COCO 數(shù)據(jù)集中學(xué)到的簡(jiǎn)單邊緣信息遷移到豆莢識(shí)別網(wǎng)絡(luò)中。利用初始權(quán)重對(duì)YOLOv4模型進(jìn)行預(yù)訓(xùn)練，先凍結(jié)部分卷積層，使其在反向傳播更新參數(shù)時(shí)只修正后面部分卷積層的模型參數(shù)，當(dāng)模型逐漸收斂時(shí)再對(duì)整個(gè)網(wǎng)絡(luò)模型解凍，訓(xùn)練整個(gè)網(wǎng)絡(luò)。整個(gè)大豆單株豆莢數(shù)檢測(cè)過(guò)程如圖5所示。

1.5 模型訓(xùn)練

1.5.1 試驗(yàn)設(shè)置

本試驗(yàn)基于Pytorch框架，圖形處理器（graphic processing unit，GPU）為Nvidia GeForce RTX 2080 Ti，在Linux操作系統(tǒng)上分別對(duì)YOLOv4模型和改進(jìn)的YOLOv4模型進(jìn)行訓(xùn)練。其中輸入尺寸為640×640（像素），初始學(xué)習(xí)率設(shè)置為0.001，通過(guò)余弦退火衰減算法實(shí)現(xiàn)學(xué)習(xí)率調(diào)整，即線(xiàn)性上升和余弦函數(shù)下降，訓(xùn)練迭代次數(shù)為1 500次。

1.5.2 訓(xùn)練結(jié)果

損失函數(shù)是判斷一個(gè)模型是否適用于當(dāng)前數(shù)據(jù)集的重要標(biāo)準(zhǔn)之一，該函數(shù)通常用于表征預(yù)測(cè)值與真實(shí)值之間的擬合程度，當(dāng)損失函數(shù)曲線(xiàn)逐漸收斂，說(shuō)明此時(shí)模型已經(jīng)達(dá)到較好的預(yù)測(cè)效果。YOLOv4模型的損失函數(shù)在YOLOv3模型損失函數(shù)的基礎(chǔ)上把邊框回歸損失函數(shù)由均方誤差變成了完全交并比（Complete Intersection Over Union，CIOU），極大地提高了模型的表現(xiàn)能力，本研究依舊沿用YOLOv4模型的損失函數(shù)。

本研究將YOLOv4模型與改進(jìn)的YOLOv4模型分別在數(shù)據(jù)集A、B、C上進(jìn)行訓(xùn)練，其中在數(shù)據(jù)集A上的訓(xùn)練損失函數(shù)曲線(xiàn)如圖6所示，模型訓(xùn)練期間損失函數(shù)逐漸下降，每進(jìn)行10代訓(xùn)練則保存一次損失值，當(dāng)訓(xùn)練1 300次之后，損失函數(shù)曲線(xiàn)逐漸趨于平穩(wěn)并收斂，取最后一次訓(xùn)練結(jié)果的模型為預(yù)測(cè)模型，在數(shù)據(jù)集A的測(cè)試集中利用目標(biāo)檢測(cè)評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)一步地驗(yàn)證與分析。

1.6 評(píng)價(jià)與驗(yàn)證

本研究使用經(jīng)典的目標(biāo)檢測(cè)評(píng)價(jià)標(biāo)準(zhǔn)，即準(zhǔn)確率（Precision，，%）、召回率（Recall，，%）、P-R曲線(xiàn)圖、單類(lèi)目標(biāo)平均精度（Average Precision，AP，%）以及所有類(lèi)別的平均準(zhǔn)確率（Mean Average Precision，mAP，%）。準(zhǔn)確率和召回率的計(jì)算如式（8）和式（9）所示

式中分別代表準(zhǔn)確率和召回率，TP（True Positive）表示正樣本檢測(cè)正確的概率，F(xiàn)P（False Positive）表示負(fù)樣本檢測(cè)為正樣本的概率，F(xiàn)N（False Negative）表示正樣本檢測(cè)為負(fù)樣本的概率。TP和FP數(shù)量的計(jì)算方法為：首先獲取真實(shí)框和利用檢測(cè)模型識(shí)別的預(yù)測(cè)框，其中預(yù)測(cè)框內(nèi)容包括類(lèi)別、置信度分?jǐn)?shù)與坐標(biāo)信息，當(dāng)置信度大于0.3時(shí)，保留該預(yù)測(cè)結(jié)果并按照置信度分?jǐn)?shù)遞減的方式對(duì)其排序，最后計(jì)算預(yù)測(cè)框與真實(shí)框之間的最大匹配IoU值，若大于0.5且兩者為首次匹配則將結(jié)果記為T(mén)P，否則記為FP。若TP數(shù)量越多，說(shuō)明預(yù)測(cè)正確的概率越大，模型的檢測(cè)性能越強(qiáng)，反之則說(shuō)明錯(cuò)檢情況越嚴(yán)重，模型性能越低。

P-R曲線(xiàn)圖顯示出了檢測(cè)模型準(zhǔn)確率和召回率的關(guān)系，一般情況下，這兩者是一對(duì)矛盾的變量，即準(zhǔn)確率越高，召回率越低。為了平衡兩者的關(guān)系，特用平均精度值來(lái)衡量模型的性能，即準(zhǔn)確率-召回率曲線(xiàn)圖下方的面積，所以當(dāng)一個(gè)模型的曲線(xiàn)被另一個(gè)模型的曲線(xiàn)包圍時(shí)，則說(shuō)明后者的性能優(yōu)于前者。其中，AP為該曲線(xiàn)下方的面積，具體定義如式（10）所示

而mAP是對(duì)所有預(yù)測(cè)類(lèi)別的AP值取平均值的結(jié)果，衡量模型在所有類(lèi)別上的好壞，具體定義如式（11）所示

2 結(jié)果與分析

2.1 不同模型預(yù)測(cè)結(jié)果

模型的預(yù)測(cè)結(jié)果是評(píng)價(jià)一個(gè)模型好壞最直觀的方式，使用2種模型分別對(duì)數(shù)據(jù)集A中的測(cè)試集進(jìn)行預(yù)測(cè)，通過(guò)真正例TP與假正例FP的數(shù)目對(duì)比分析不同模型的預(yù)測(cè)效果，具體預(yù)測(cè)結(jié)果如表2所示。可以看出，改進(jìn)的YOLOv4模型的3粒莢、2粒莢以及4粒莢的TP數(shù)量明顯多于原模型，其中3粒莢的TP數(shù)量比原模型多23個(gè)，2粒莢的TP數(shù)量比原模型多12個(gè)，4粒莢的TP數(shù)量比原模型多7個(gè)，其余類(lèi)別的數(shù)量差別不大，說(shuō)明改進(jìn)的YOLOv4模型對(duì)于不同類(lèi)別的豆莢具有較強(qiáng)的學(xué)習(xí)能力，能達(dá)到較好的檢測(cè)性能。對(duì)于FP數(shù)量而言，改進(jìn)的YOLOv4模型對(duì)于每個(gè)類(lèi)別的檢測(cè)結(jié)果相較于YOLOv4模型均有所降低，尤其是3粒莢，改進(jìn)的YOLOv4模型的FP數(shù)量減少到了YOLOv4模型FP數(shù)量的1/3，提升幅度最大，說(shuō)明改進(jìn)的YOLOv4模型對(duì)于豆莢檢測(cè)具有明顯優(yōu)勢(shì)。

為了直觀地展示不同模型在數(shù)據(jù)集A上的檢測(cè)效果，共提取3張測(cè)試圖像進(jìn)行可視化。由圖7可知，YOLOv4模型檢測(cè)結(jié)果中的置信度分?jǐn)?shù)大都低于0.7，而改進(jìn)的YOLOv4模型檢測(cè)結(jié)果中的置信度分?jǐn)?shù)大都在0.9及以上，說(shuō)明改進(jìn)的YOLOv4模型已經(jīng)能夠有效識(shí)別不同豆莢。對(duì)于植株1，YOLOv4模型未識(shí)別到0粒莢，即圖7b植株1中未出現(xiàn)0粒莢預(yù)測(cè)框，改進(jìn)的YOLOv4模型則能夠準(zhǔn)確地將其識(shí)別；對(duì)于植株2和植株3，改進(jìn)的YOLOv4模型糾正了YOLOv4模型預(yù)測(cè)錯(cuò)誤的問(wèn)題，例如，改進(jìn)的YOLOv4模型將圖7b植株3中識(shí)別為3粒莢的豆莢準(zhǔn)確修正為圖7c植株3中的2粒莢，證實(shí)了改進(jìn)的YOLOv4模型在豆莢數(shù)檢測(cè)領(lǐng)域的有效性。

表2 YOLOv4模型和改進(jìn)的YOLOv4模型在數(shù)據(jù)集A中的TP與FP數(shù)量對(duì)比

2.2 不同模型預(yù)測(cè)的準(zhǔn)確率-召回率（P-R）曲線(xiàn)

本研究對(duì)比了YOLOv4與改進(jìn)的YOLOv4模型在數(shù)據(jù)集A中的測(cè)試集上識(shí)別豆莢6種形態(tài)的P-R曲線(xiàn)圖，如圖8所示，其中曲線(xiàn)下方面積為不同模型在每個(gè)類(lèi)別中的平均精度。由圖8可知，除了圖8f的5粒莢識(shí)別效果不理想之外，YOLOv4模型對(duì)于其他5個(gè)類(lèi)別的P-R曲線(xiàn)均被改進(jìn)的YOLOv4模型曲線(xiàn)包圍，說(shuō)明通過(guò)一系列改進(jìn)之后模型對(duì)于豆莢表型的學(xué)習(xí)能力得到了提升。由表1豆莢類(lèi)別的樣本分布可知，2粒莢、3粒莢和4粒莢的數(shù)量是最多的，所以P-R曲線(xiàn)更平滑，且改進(jìn)前后的檢測(cè)結(jié)果差別不大，這說(shuō)明在防止過(guò)擬合的情況下，樣本數(shù)量也是決定模型檢測(cè)效果的重要因素之一。對(duì)于0粒莢和1粒莢來(lái)說(shuō)樣本量偏少，其P-R曲線(xiàn)也有更多拐點(diǎn)，當(dāng)召回率小于0.1時(shí)，2個(gè)模型的精度都能達(dá)到1，當(dāng)召回率逐漸變大時(shí)，添加了注意力機(jī)制的模型優(yōu)勢(shì)逐漸明顯，學(xué)習(xí)能力變強(qiáng)，這是因?yàn)樵Ｐ驼J(rèn)為圖像中每個(gè)區(qū)域的貢獻(xiàn)是平均分布的，但在實(shí)際檢測(cè)中，不同類(lèi)別的感興趣區(qū)域是不同且復(fù)雜的，而改進(jìn)后的模型重點(diǎn)關(guān)注對(duì)檢測(cè)類(lèi)別有用的特征信息，使得該模型即使在樣本量不多的情況下也能達(dá)到較好的效果。對(duì)于5粒莢，由于樣本量極少，所以P-R曲線(xiàn)非常靠近坐標(biāo)軸，且曲線(xiàn)輪廓幾乎為直角，雖然平均精度不如原模型的預(yù)測(cè)結(jié)果高，但在樣本量極少的情況下能夠預(yù)測(cè)已經(jīng)證明該模型具有較強(qiáng)的學(xué)習(xí)能力。

2.3 不同模型在不同數(shù)據(jù)集中的平均準(zhǔn)確率

為防止模型過(guò)擬合，更全面地評(píng)價(jià)模型的預(yù)測(cè)效果，對(duì)不同模型在數(shù)據(jù)集A、B中6個(gè)不同類(lèi)別的平均精度以及所有類(lèi)別的平均準(zhǔn)確率進(jìn)行分析，具體的預(yù)測(cè)值如表3所示。由表3可知，不同檢測(cè)模型分別在數(shù)據(jù)集A、數(shù)據(jù)集B上的單類(lèi)別平均精度AP和所有類(lèi)別的平均準(zhǔn)確率mAP。其中在數(shù)據(jù)集A的測(cè)試集中，YOLOv4模型的mAP為74.88%，改進(jìn)的YOLOv4模型的mAP為80.55%，比YOLOv4模型整體提升了5.67個(gè)百分點(diǎn)，其中0粒莢和1粒莢的預(yù)測(cè)結(jié)果分別比YOLOv4模型提升了18.68個(gè)百分點(diǎn)和20.73個(gè)百分點(diǎn)，提升效果顯著，而且2粒莢、3粒莢和4粒莢的類(lèi)別平均檢測(cè)精度已經(jīng)達(dá)到96%以上，相較于YOLOv4模型來(lái)說(shuō)，平均精度值的提升介于0.28～11.23個(gè)百分點(diǎn)之間，這說(shuō)明改進(jìn)的YOLOv4模型具有更高的檢測(cè)性能且更適用于大豆豆莢檢測(cè)。當(dāng)數(shù)據(jù)量增加時(shí)（數(shù)據(jù)集B），YOLOv4模型的mAP值為77.9%，改進(jìn)的YOLOv4模型的平均準(zhǔn)確率為84.37%，檢測(cè)性能依舊保持較高水平。

由于5粒莢這一類(lèi)別數(shù)量較少且非常罕見(jiàn)，并不是大豆植株考種的必要選擇，育種專(zhuān)家更關(guān)注0粒莢到4粒莢的單株數(shù)量與識(shí)別準(zhǔn)確率，以此作為考種的主要依據(jù)。若不考慮5粒莢這一類(lèi)別，根據(jù)表1數(shù)據(jù)，在數(shù)據(jù)集A中，YOLOv4模型的mAP值為85.35%，改進(jìn)的YOLOv4模型的mAP值為95.92%，比YOLOv4模型提高了10.57個(gè)百分點(diǎn)，比人眼識(shí)別準(zhǔn)確率提高了近12個(gè)百分點(diǎn)，在數(shù)據(jù)集B中，改進(jìn)后模型的mAP值達(dá)到了96.86%，表明該模型的檢測(cè)結(jié)果已經(jīng)完全滿(mǎn)足標(biāo)準(zhǔn)場(chǎng)景下的考種要求。但隨著育種技術(shù)的不斷發(fā)展與改進(jìn)，未來(lái)可能會(huì)出現(xiàn)更多的5粒莢、6粒莢甚至7粒莢等，所以為了保持模型的魯棒性與泛化能力，本模型將保留5粒莢這一檢測(cè)類(lèi)別，為多粒莢檢測(cè)提供研究基礎(chǔ)與數(shù)據(jù)參考。

表3 不同模型豆莢類(lèi)別檢測(cè)的平均精度與平均準(zhǔn)確率

2.4 簡(jiǎn)單背景下模型檢測(cè)結(jié)果

為了驗(yàn)證改進(jìn)的YOLOv4模型在不同場(chǎng)景下的豆莢檢測(cè)效果，特使用YOLOv4模型與改進(jìn)的YOLOv4模型對(duì)簡(jiǎn)單背景下豆莢擺盤(pán)數(shù)據(jù)集C進(jìn)行模型訓(xùn)練與預(yù)測(cè)，訓(xùn)練過(guò)程中每迭代1次都對(duì)驗(yàn)證集進(jìn)行預(yù)測(cè)對(duì)比并記錄結(jié)果，其中當(dāng)閾值為0.5時(shí)，YOLOv4模型的平均準(zhǔn)確率mAP值達(dá)到97.29%，改進(jìn)的YOLOv4模型的mAP值達(dá)到了99.10%，比YOLOv4模型提高了1.81個(gè)百分點(diǎn)，且改進(jìn)的YOLOv4模型對(duì)于單個(gè)類(lèi)別的檢測(cè)精度較原模型均有提升，說(shuō)明改進(jìn)的YOLOv4模型在擺盤(pán)豆莢檢測(cè)方面也具有較好的預(yù)測(cè)效果，具體數(shù)據(jù)如表4所示。

表4 簡(jiǎn)單背景下不同模型對(duì)豆莢類(lèi)別檢測(cè)的平均精度與平均準(zhǔn)確率

2.5 不同檢測(cè)方法的效率分析

目前計(jì)算一棵大豆植株上各類(lèi)豆莢的數(shù)量主要有3種方式，第一種方式為人工拆解大豆植株并計(jì)數(shù)，對(duì)應(yīng)圖9中的手工方法，該方法需要手動(dòng)完好地剪下單株大豆上的所有豆莢，擺盤(pán)后由育種專(zhuān)家對(duì)每個(gè)豆莢進(jìn)行人工檢查，由于環(huán)境或遺傳因素，豆莢內(nèi)成熟種子的差異很大，即使是訓(xùn)練有素的操作員也只能達(dá)到約84%的準(zhǔn)確率，數(shù)據(jù)獲取速度為6～10株/h。第二種方式為人工拆解大豆植株并擺盤(pán)拍照后通過(guò)不同網(wǎng)絡(luò)模型計(jì)數(shù)，對(duì)應(yīng)圖9中的卷積神經(jīng)網(wǎng)絡(luò)和VGG16+Adam檢測(cè)方法，該方法需要將單株大豆上的所有豆莢裁剪后按照一定方向擺盤(pán)拍照，對(duì)照片進(jìn)行相應(yīng)的分類(lèi)與訓(xùn)練，準(zhǔn)確率可達(dá)到86.2%[20]，最高達(dá)到98.41%[21]，數(shù)據(jù)獲取速度為5～7.5株/h。第三種方式是通過(guò)本試驗(yàn)所用的測(cè)量?jī)x對(duì)整株大豆進(jìn)行計(jì)數(shù)，對(duì)應(yīng)圖9中YOLOv4模型與改進(jìn)的YOLOv4模型，該方法將完整大豆植株插在測(cè)量?jī)x上，旋轉(zhuǎn)一周拍攝視頻并將其通過(guò)本研究模型與物體追蹤算法計(jì)數(shù)。單張照片準(zhǔn)確率目前可達(dá)到84.37%，速度可以達(dá)到240株/h。獲取大豆植株表型原始數(shù)據(jù)是整個(gè)考種過(guò)程中最耗時(shí)費(fèi)力的一個(gè)步驟，所以本節(jié)主要展現(xiàn)不同方式的數(shù)據(jù)獲取速度與考種準(zhǔn)確率，具體速度和平均準(zhǔn)確率對(duì)比如圖9所示。由圖9可知，本研究獲取數(shù)據(jù)的速度為普通方法的30～40倍，且測(cè)量?jī)x的使用大大減少了人力與物力資源的浪費(fèi)。

3 結(jié) 論

本研究在YOLOv4模型的基礎(chǔ)上引入了K-means聚類(lèi)算法以及改進(jìn)的注意力模塊，建立了改進(jìn)的YOLOv4模型，使其更適用于室內(nèi)單株豆莢檢測(cè)。

1）利用 LabelImg 軟件實(shí)現(xiàn)了不同形態(tài)豆莢標(biāo)簽的標(biāo)注，制作了多類(lèi)別豆莢檢測(cè)數(shù)據(jù)集，為大豆單產(chǎn)預(yù)測(cè)提供了充分的數(shù)據(jù)支持。

2）與YOLOv4模型相比，改進(jìn)的YOLOv4模型的平均準(zhǔn)確率提升了5.67個(gè)百分點(diǎn)，在擴(kuò)充數(shù)據(jù)集上達(dá)到了84.37%的準(zhǔn)確率，若不考慮5粒莢這一類(lèi)別，改進(jìn)的YOLOv4模型的mAP值達(dá)到了95.92%，比YOLOv4模型提高了10.57個(gè)百分點(diǎn)，比人眼識(shí)別準(zhǔn)確率提高了近12個(gè)百分點(diǎn)，具有更強(qiáng)的檢測(cè)性能，預(yù)測(cè)效果顯著。

3）在簡(jiǎn)單背景下豆莢擺盤(pán)的檢測(cè)中，改進(jìn)的YOLOv4模型達(dá)到了99.1%的平均準(zhǔn)確率，檢測(cè)精度有所提升，結(jié)果表明改進(jìn)的YOLOv4模型在不同場(chǎng)景下的大豆豆莢檢測(cè)中具有較強(qiáng)的泛化能力。

[1] 馮獻(xiàn)忠，劉寶輝，楊素欣. 大豆分子設(shè)計(jì)育種研究進(jìn)展與展望[J]. 土壤與作物，2014，3(4)：123-131.

Feng Xianzhong, Liu Baohui, Yang Suxin. Progress and perspective of soybean molecular design breeding research[J]. Soil and Crop, 2014, 3(4): 123-131. (in Chinese with English abstract)

[2] 吳曰程，王玉斌. 中國(guó)轉(zhuǎn)基因大豆進(jìn)口及其影響分析[J]. 大豆科學(xué)，2019，38(4)：635-643.

Wu Yuecheng, Wang Yubin. The effect of China's GM soybean imports[J]. Soybean Science, 2019, 38(4): 635-643. (in Chinese with English abstract)

[3] 吳國(guó)棟，修宇，王華芳. 優(yōu)化子葉節(jié)轉(zhuǎn)化法培育大豆MtDREB2A轉(zhuǎn)基因植株[J]. 植物學(xué)報(bào)，2018，53(1)：59-71.

Wu Guodong, Xiu Yu, Wang Huafang. Breeding of MtDREB2A transgenic soybean by an optimized cotyledonary-node method[J]. Chinese Bulletin of Botany, 2018, 53(1): 59-71. (in Chinese with English abstract)

[4] Ghanem M E, Marrou H, Sinclair T R. Physiological phenotyping of plants for crop improvement[J]. Trends in Plant Science, 2015, 20(3): 139-144.

[5] 馬鴻潤(rùn). 面向人工智能育種的大豆種子表型特征數(shù)據(jù)采集與分析[D]. 威海：山東大學(xué)，2020.

Ma Hongrun. The Collection and Analysis of Soybean Seed Phenotypic Characteristic Data for Artificial Intelligence Breeding. WeiHai: Shangdong University, 2020. (in Chinese with English abstract)

[6] 國(guó)家市場(chǎng)監(jiān)督管理總局、中國(guó)國(guó)家標(biāo)準(zhǔn)化管理委員會(huì).植物品種特異性、一致性和穩(wěn)定性測(cè)試指南大豆：[S]. 北京：中國(guó)標(biāo)準(zhǔn)出版社，2018.

[7] 李強(qiáng)，高聚林，蘇二虎，等. 大豆種質(zhì)表型性狀鑒定與分析[J]. 大豆科學(xué)，2015，34(5)：752-759.

Li Qiang, Gao Julin, Su Erhu, et al. Identification and analysis of phenotypic traits in soybean[J]. Soybean Science, 2015, 34(5): 752-759. (in Chinese with English abstract)

[8] 趙朝森，王瑞珍，李英慧，等. 江西大豆種質(zhì)資源表型及品質(zhì)性狀綜合分析與評(píng)價(jià)[J]. 大豆科學(xué)，2019，38(5)：686-693.

Zhao Chaosen, Wang Ruizhen, Li Yinghui, et al. Comprehensive analysis and evaluation of the phenotype and quality traits of Jiangxi soybean germplasm resources[J]. Soybean Science, 2019, 38(5): 686-693. (in Chinese with English abstract)

[9] 傅隆生，宋珍珍，Zhang Xin，等. 深度學(xué)習(xí)方法在農(nóng)業(yè)信息中的研究進(jìn)展與應(yīng)用現(xiàn)狀[J]. 中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào)，2020，25(2)：105-120.

Fu Longsheng, Song Zhenzhen, Zhang Xin, et al. Applications and research progress of deep learning in agriculture[J]. Journal of China Agricultural University, 2020, 25(2): 105-120. (in Chinese with English abstract)

[10] Kamilaris A, Prenafeta-Boldú F X. Deep learning in agriculture: A survey[J]. Computers and Electronics in Agriculture, 2018, 147: 70-90.

[11] 岑海燕，朱月明，孫大偉，等. 深度學(xué)習(xí)在植物表型研究中的應(yīng)用現(xiàn)狀與展望[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(9)：1-16.

Cen Haiyan, Zhu Yueming, Sun Dawei, et al. Current status and future perspective of the application of deep learning in plant phenotype research[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(9): 1-16. (in Chinese with English abstract)

[12] Liu Nian, Kan Jiangming. Improved deep belief networks and multi-feature fusion for leaf identification[J]. Neurocomputing, 2016, 216: 460-467.

[13] Grinblat G L, Uzal L C, Larese M G, et al. Deep learning for plant identification using vein morphological patterns[J]. Computers and Electronics in Agriculture, 2016, 127: 418-424.

[14] Zhu H Y, Huang X Y, Zhang S P, et al. Plant identification via multipath sparse coding[J]. Multimedia Tools and Applications, 2017, 76(3): 4599-4615.

[15] 孫俊，譚文軍，毛罕平，等. 基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的多種植物葉片病害識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(19)：209-215.

Sun Jun, Tan Wenjun, Mao Hanping. Recognition of multiple plant leaf diseases based on improved convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(19): 209-215. (in Chinese with English abstract)

[16] 郭小清，范濤杰，舒欣. 基于改進(jìn)Multi-Scale AlexNet的番茄葉部病害圖像識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(13)：162-169.

Guo Xiaoqing, Fan Taojie, Shu Xin. Tomato leaf diseases recognition based on improved Multi-Scale AlexNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(13): 162-169. (in Chinese with English abstract)

[17] Namin S T, Esmaeilzadeh M, Najafi M, et al. Deep phenotyping: Deep learning for temporal phenotype/genotype classification[J]. Plant Methods, 2018, 14(1): 1-14.

[18] Aich S, Stavness I. Leaf counting with deep convolutional and deconvolutional networks[C]//16thIEEE International Conference on Computer Vision (ICCV), Saskatoon: IEEE 2017.

[19] 任守綱，賈馥瑋，顧興健，等. 反卷積引導(dǎo)的番茄葉部病害識(shí)別及病斑分割模型[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(12)：186-195.

Ren Shougang, Jia Fuwei, Gu Xingjian, et al. Recognition and segmentation model of tomato leaf diseases based on deconvolution-guiding[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(12): 186-195. (in Chinese with English abstract)

[20] Uzal L C, Grinblata G L, Namíasa R, et al. Seed-per-pod estimation for plant breeding using deep learning[J]. Computers and Electronics in Agriculture, 2018, 150: 196-204.

[21] 閆壯壯，閆學(xué)慧，石嘉，等. 基于深度學(xué)習(xí)的大豆豆莢類(lèi)別識(shí)別研究[J]. 作物學(xué)報(bào)，2020，46(11)：1771-1779.

Yan Zhuangzhuang, Yan Xuehui, Shi Jia, et al. Classification of soybean pods using deep learning[J]. Acta Agronomica Sinica, 2020, 46(11): 1771-1779. (in Chinese with English abstract)

[22] Riera L G, Carroll M E, Zhang Z S, et al. Deep multi-view image fusion for soybean yield estimation in breeding applications[J/OL]. Plant Phenomics, 2021, [2020-11-25], https: //arxiv. org/abs/2011. 07118.

[23] Bochkovskiy A, Wang C Y, Liao H Y. YOLOv4: Optimal speed and accuracy of object detection[EB/OL]. [2020-10-23], https: //arxiv. org/abs/2004. 10934.

[24] Redmon J, Farhadi A. YOLOv3: An incremental improvement[EB/OL]. (2020-10-23)[2021-01-20], https: //arxiv. org/abs/1804. 02767.

[25] Dai Y M, Giescke F, Ochmcke S. Attentional feature fusion[EB/OL]. [2020-11-25], https: //arxiv. org/abs/2009. 14082.

[26] 章韜略，周永霞. 一種注意力機(jī)制與SRGAN網(wǎng)絡(luò)結(jié)合的超分辨率算法[J/OL]. 小型微型計(jì)算機(jī)系統(tǒng)，2021，[2021-01-11]，http: //kns. cnki. net/kcms/detail/21. 1106. TP. 20210106. 1406. 022. html.

[27] 朱張莉，饒?jiān)瑓菧Y，等. 注意力機(jī)制在深度學(xué)習(xí)中的研究進(jìn)展[J]. 中文信息學(xué)報(bào)，2019，33(6)：1-11.

Zhu Zhangli, Rao Yuan, Wu Yuan, et al. Research progress of attention mechanism in deep learning[J]. Journal of Chinese Information Processing, 2019, 33(6): 1-11. (in Chinese with English abstract)

[28] Hu Jie, Shen Li, Albanie Samuel, et al. Squeeze-and- excitation networks[J]. Institute of Electrical and Electronics Engineers Transactions Pattern Analysis Machine Intelligence. 2020, 42(8): 2011-2023.

[29] Yang Yang, Deng Hongming. GC-YOLOv3: You only look once with global context block[J]. Electronics, 2020, 9(8): 1235.

[30] Pan Sinno Jialin, Yang Qiang. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(10): 1345-1359.

Detection method of soybean pod number per plant using improved YOLOv4 algorithm

Guo Rui1, Yu Chongyu1, He Hong1※, Zhao Yongjian1, Yu Hui2, Feng Xianzhong2

(1.,,,264209,; 2.,,130102,)

Measuring pod number per plant has been one of the most important parts of the pod selection in the soybean growth period. However, traditional manual measurement is costly, time-consuming, and error-prone. Alternatively, artificial intelligence can ever-increasing be used to determine the type and quantity of each pod, thereby accurately predicting soybean yield in modern agriculture. In this study, a soybean phenotyping instrument was employed to collect the phenotype video of soybean plants, and then to process the phenotype data using the YOLOv4 dynamic object detection. The size of the initial anchor box and the complexity of image objects were also considered during the data set training and testing. Specifically, the COCO data set was selected for the prior box in the YOLOv4 model. The size of the objects varied in each category. K-means clustering was selected to adjust the size of original prior box for a higher accuracy of pod recognition. The size and position of container were calculated to test the original anchor frame suitable for pod detection. Accordingly, a total of 9 initial anchor frames were obtained. The average and maximum pooling operations of the global channel information were adopted to obtain the new weights and re-weighed the new weights to generate the output of module, in order to accurately locate pods for the better characterization ability of detection model. The improved attention mechanism module was integrated into the last layer of the backbone network in the YOLOv4 object detection. Migration learning was also utilized to pre-train the neural network for the optimal detection model in the prediction of test set. The experiment was performed on the Pytorch framework under the GPU (Nvidia GeForce RTX 2080 Ti). The parallel computing framework of CUDA10.1 and CUDNN deep neural network acceleration library were used to train the original and the improved YOLOv4 on Linux operating system. Experiment results showed that the improved model greatly improved the accuracy of pod detection. The mean average precision for all categories was 80.55%, 5.67 percentage points higher than the original. The average accuracy rate reached 84.37% after data expansion, The average prediction of the pod with two beans effectively reached 99.46%, indicating more suitable for pod detection. Consequently, the improved model can more accurately identify the most categories that the original model cannot recognize. Some errors were also corrected in the predictions for a better confidence score. In the recognition of pods on a simple background, the prediction mean average precision of the improved model reached 99.1%, 1.81 percentage points higher than the original. More importantly, the improved model presented strong generalization ability and detection performance. The data acquisition was 30-40 times the speed of traditional ones. Moreover, the soybean phenotype instruments performed better to greatly save the human and material resources using the improved model.

image recognition; algorithm; soybean; pod detection; YOLOv4; K-means clustering; attention mechanism

郭瑞，于翀宇，賀紅，等. 采用改進(jìn)YOLOv4算法的大豆單株豆莢數(shù)檢測(cè)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(18)：179-187.doi：10.11975/j.issn.1002-6819.2021.18.021 http://www.tcsae.org

Guo Rui, Yu Chongyu, He Hong, et al. Detection method of soybean pod number per plant using improved YOLOv4 algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(18): 179-187. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.18.021 http://www.tcsae.org

2021-01-20

2021-03-25

國(guó)家重點(diǎn)研發(fā)計(jì)劃主要經(jīng)濟(jì)作物分子設(shè)計(jì)育種（No.2016YFD0101900）

郭瑞，研究方向?yàn)樯疃葘W(xué)習(xí)與機(jī)器視覺(jué)。Email：guo_rui@mail.sdu.edu.cn

賀紅，博士，副教授，研究方向?yàn)檐浖こ膛c數(shù)據(jù)工程、算法分析與設(shè)計(jì)和分布式高性能計(jì)算。Email：hehong@sdu.edu.cn

10.11975/j.issn.1002-6819.2021.18.021

TP391.4；S126

A

1002-6819(2021)-18-0179-09