改進(jìn)YOLOv5測量田間小麥單位面積穗數(shù)

黃 碩，周亞男，王起帆，張 晗，邱朝陽，康 凱，羅 斌

改進(jìn)YOLOv5測量田間小麥單位面積穗數(shù)

黃 碩1,2，周亞男1,2，王起帆3，張 晗1,2，邱朝陽4，康 凱4，羅 斌1,2※

（1. 北京市農(nóng)林科學(xué)院智能裝備技術(shù)研究中心，北京 100097；2. 國家農(nóng)業(yè)智能裝備工程技術(shù)研究中心，北京 100097；3. 河北農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院，保定 071000；4. 北京市農(nóng)林科學(xué)院信息技術(shù)研究中心，北京 100097）

單位面積穗數(shù)是決定小麥產(chǎn)量的主要因素之一。針對人工清點(diǎn)小麥穗數(shù)的方法容易受主觀因素影響、效率低和圖像處理方法鮮有進(jìn)行系統(tǒng)部署等問題，提出一種注意力模塊（Convolutional Block Attention Module，CBAM）與YOLOv5相結(jié)合的CBAM-YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)，通過對特征圖進(jìn)行自適應(yīng)特征細(xì)化，實(shí)現(xiàn)更準(zhǔn)確的單位面積穗數(shù)測量。該研究以本地采集小麥圖像數(shù)據(jù)和網(wǎng)絡(luò)公開小麥圖像數(shù)據(jù)為數(shù)據(jù)集，設(shè)置輸入圖像分辨率為1 280，得到CBAM-YOLOv5模型，可以達(dá)到0.904的1分?jǐn)?shù)和0.902的平均精度，測試集計(jì)數(shù)的平均相對誤差為2.56%，平均每幅圖像耗時(shí)0.045 s，綜合對比，CBAM-YOLOv5模型具有顯著優(yōu)勢。模型放置于服務(wù)器，結(jié)合手機(jī)端軟件和輔助裝置，形成單位面積穗數(shù)測量系統(tǒng)，實(shí)現(xiàn)育種小區(qū)麥穗圖像實(shí)時(shí)采集、處理和計(jì)數(shù)，計(jì)數(shù)的平均相對誤差為2.80%，抗環(huán)境干擾性強(qiáng)。該研究方法與裝置可以實(shí)現(xiàn)田間小麥單位面積穗數(shù)的實(shí)時(shí)在線檢測，降低主觀誤差，具有較高的準(zhǔn)確率及較強(qiáng)的魯棒性，為小麥單位面積穗數(shù)快速、準(zhǔn)確估測提供一種新的技術(shù)和裝備支撐。

模型；小麥；單位面積麥穗數(shù)；深度學(xué)習(xí)；YOLOv5；CBAM

0 引 言

小麥?zhǔn)鞘澜缛蠹Z食作物之一，種植面積在2.24億公頃左右，養(yǎng)活了世界大約30%的人口[1]，不斷提高其單位面積產(chǎn)量一直是現(xiàn)代育種的主要目標(biāo)。及時(shí)、準(zhǔn)確地掌握小麥產(chǎn)量信息，可為科研工作者提高育種效率。單位面積穗數(shù)作為小麥最重要的產(chǎn)量指標(biāo)之一[2]，以往在生產(chǎn)過程中，經(jīng)常采用人工計(jì)數(shù)的方法來獲取，不僅人力成本和時(shí)間成本較大，而且易受主觀因素影響。進(jìn)行自動(dòng)估算單位面積穗數(shù)的研究尤為必要，其有助于小麥產(chǎn)量預(yù)估和表型鑒定的進(jìn)步，目前，有圖像處理、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)三類技術(shù)用于自動(dòng)測量小麥穗數(shù)。

傳統(tǒng)的圖像處理技術(shù)已經(jīng)被用于計(jì)算單位面積穗數(shù)，如紋理特征和混合顏色空間，來自顏色、灰度和紋理數(shù)據(jù)的多特征融合[3]。Fernandez-Gallego等使用限制對比度自適應(yīng)直方圖均衡化算法（Contrast Limited Adaptive Histogram Equalization，CLAHE）增強(qiáng)麥穗熱像圖中小區(qū)域的局部對比度，并選擇分析粒子函數(shù)過濾并計(jì)算檢測到的麥穗[4]。李毅念等轉(zhuǎn)換圖像顏色空間提取飽和度分量圖像，通過圖像預(yù)處理、去除細(xì)窄處粘連、凹點(diǎn)檢測匹配分割等算法處理，實(shí)現(xiàn)圖像中麥穗分割計(jì)數(shù)，計(jì)算籽粒數(shù)，完成產(chǎn)量預(yù)測[5]。劉濤等利用顏色特征或者紋理特征提取麥穗圖像，進(jìn)行一系列的形態(tài)學(xué)腐蝕膨脹、空洞填充和細(xì)化處理，得到麥穗骨架圖像，繼而利用角點(diǎn)檢測方法計(jì)數(shù)[6]。圖像處理技術(shù)的準(zhǔn)確性取決于圖像的質(zhì)量，而大田環(huán)境較為復(fù)雜，難以保證圖像質(zhì)量的統(tǒng)一，通用性較差。

隨著機(jī)器學(xué)習(xí)的興起，研究人員使用支持向量機(jī)等分類技術(shù)進(jìn)行麥穗識別，以提升識別的精準(zhǔn)度和魯棒性[7-8]。Fernandez-Gallego等使用拉普拉斯濾波器和尋找最大值的方法定位麥穗，從原始RGB圖像及其顏色通道中提取如面積、高度等30個(gè)特征，進(jìn)行訓(xùn)練和分類，完成一種自動(dòng)計(jì)穗系統(tǒng)的設(shè)計(jì)[9]。Zhou等應(yīng)用簡單線性迭代聚類（Simple Linear Iterative Clustering，SLIC）來提取超像素圖像斑塊，將多特征優(yōu)化和孿生支持向量機(jī)（Twin Support Vector Machine，TWSVM）相結(jié)合進(jìn)行田間條件下的小麥麥穗識別[10]。劉哲等改進(jìn)K-means算法，充分利用圖像麥穗顏色特征，進(jìn)行大田麥穗計(jì)數(shù)[11]。杜穎等通過SLIC預(yù)處理田間小麥圖像，提取并分析出適宜的顏色特征參數(shù)訓(xùn)練分類器，對識別結(jié)果進(jìn)行處理，結(jié)合角點(diǎn)數(shù)和區(qū)域統(tǒng)計(jì)結(jié)果計(jì)算小麥穗數(shù)[12]。機(jī)器學(xué)習(xí)能夠從給定的數(shù)據(jù)中學(xué)習(xí)目標(biāo)特征達(dá)到較好的識別效果，因此目標(biāo)特征選擇的準(zhǔn)確性決定該類方法的有效性，但需要由研究人員來確定目標(biāo)特征，存在主觀性。

近年來，隨著計(jì)算機(jī)硬件性能的快速提升，深度學(xué)習(xí)技術(shù)得到了廣泛應(yīng)用，許多學(xué)者開始使用深度學(xué)習(xí)方法開展麥穗識別研究[13-15]。Misra等將局部補(bǔ)丁提取網(wǎng)絡(luò)（Local Patch extraction Network，LPNet）和全局掩碼細(xì)化網(wǎng)絡(luò)（Global Mask Refinement Network，GMRNet）相結(jié)合，提出一種新的深度學(xué)習(xí)網(wǎng)絡(luò)SpikeSegNet，實(shí)現(xiàn)麥穗的識別與計(jì)數(shù)[16]。Xu等采用K-means聚類法自動(dòng)分割麥穗圖像構(gòu)建數(shù)據(jù)集，并將其送入卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和測試，實(shí)現(xiàn)小麥穗部的快速準(zhǔn)確識別[17]。鮑文霞等引用擁擠場景識別網(wǎng)絡(luò)（Congested Scene Recognition Network，CSRNet）搭建麥穗密度圖模型，利用公開數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，再用采集的數(shù)據(jù)集，調(diào)整和優(yōu)化模型參數(shù)，構(gòu)建麥穗計(jì)數(shù)函數(shù)模型，實(shí)現(xiàn)穗數(shù)估計(jì)[18]。段凌鳳等基于SegNet架構(gòu)，訓(xùn)練了PanicleNet深度全卷積網(wǎng)絡(luò)，對原始圖劃分的子圖進(jìn)行語義分割，完成對不同品種稻穗的精準(zhǔn)分割[19]。深度學(xué)習(xí)不依靠人工進(jìn)行特征提取，具有非常強(qiáng)的學(xué)習(xí)能力，提高了麥穗識別的準(zhǔn)確率和魯棒性。另外，TensorFlow、PyTorch等框架的出現(xiàn)，也讓深度學(xué)習(xí)技術(shù)可以廣泛地應(yīng)用于很多平臺。

綜上可知，目前的研究大多數(shù)只是對圖像中的麥穗進(jìn)行識別，但鮮有將方法進(jìn)行部署與應(yīng)用，難以直接拍攝小麥群體圖像并獲取單位面積麥穗數(shù)。因此，本文提出一種CBAM-YOLOv5的網(wǎng)絡(luò)結(jié)構(gòu)，目的在于利用注意力模塊進(jìn)一步提升YOLOv5對重疊、遮擋情況麥穗的識別效果，實(shí)現(xiàn)麥穗的快速識別和有效計(jì)數(shù)，為小麥單位面積穗數(shù)測量提供新的解決方法和裝置。本文主要工作有：1） 討論輸入圖片不同分辨率設(shè)置對模型性能的影響，在允許范圍內(nèi)，選用最優(yōu)參數(shù)訓(xùn)練模型；2）將CBAM集成到Y(jié)OLOv5中，利用注意力機(jī)制細(xì)化特征，提高識別精度，實(shí)現(xiàn)復(fù)雜環(huán)境下小麥穗數(shù)的精確計(jì)數(shù)；3）開發(fā)了一個(gè)單位面積穗數(shù)測量系統(tǒng)，進(jìn)行應(yīng)用測試，軟件部分采用C/S架構(gòu)，將深度學(xué)習(xí)模型和圖片分割算法部署在服務(wù)器，手機(jī)安裝客戶端進(jìn)行人機(jī)交互，硬件部分通過PVC管搭建一個(gè)1 m2的標(biāo)準(zhǔn)框，輔助計(jì)算單位面積穗數(shù)。

1 材料與方法

1.1 數(shù)據(jù)集

1.1.1 數(shù)據(jù)獲取

為提高模型的泛化能力，本研究使用兩種數(shù)據(jù)集。其中，Wheat Spikes Detection（WSD）數(shù)據(jù)集的小麥圖像拍攝于江蘇省農(nóng)業(yè)科學(xué)院六合動(dòng)物科學(xué)基地（北緯32°29′，東經(jīng)118°37′）和小湯山國家精準(zhǔn)農(nóng)業(yè)研究示范基地（北緯40°10′，東經(jīng)116°27′）。小麥品種為揚(yáng)麥29號、寧麥26號、鎮(zhèn)麥10號、京花5號，生長過程中正常施氮。小麥圖像的拍攝時(shí)間是2021年4月28日—5月27日，每隔一個(gè)星期選取2 d進(jìn)行拍攝，覆蓋了小麥的灌漿期和成熟期，且包含晴朗、多云等天氣。以1.5 h為間隔使用華為mate 40 Pro和iPhone 12 Pro Max手動(dòng)拍攝6組圖片，其中上午拍攝3組，下午拍攝3組。每組包含以20 cm為間隔在小麥冠層上方10～70 cm高度的垂直向下角度拍攝的4張圖片。共拍攝576張圖片，其中部分圖像由于手持手機(jī)拍攝存在圖像模糊等問題，為降低圖像質(zhì)量下降對模型檢測精度的影響，對圖片進(jìn)行篩選后剩余453張圖像。WSD數(shù)據(jù)集具有密度大的特點(diǎn)，其中多數(shù)圖像中麥穗的數(shù)量可達(dá)400穗，經(jīng)過圖像數(shù)量對比預(yù)試驗(yàn)，最終使用68張圖片構(gòu)建WSD數(shù)據(jù)集，約10 000個(gè)麥穗樣本，圖片均以JPG格式存儲，統(tǒng)一分辨率為3 648×2 736（像素）。圖1a展示了該數(shù)據(jù)集圖像示例。

第二個(gè)數(shù)據(jù)集是網(wǎng)絡(luò)公開的Global Wheat Head Detection（GWHD）數(shù)據(jù)集[20]，它包含了4 700張RGB圖像（1 024×1 024（像素））和190 000個(gè)標(biāo)記的麥穗。這些圖像是通過歐洲、北美洲、大洋洲和亞洲不同品種、不同種植條件、不同氣候、不同采集方法獲取匯總而成。因此，GWHD數(shù)據(jù)集具有基因型和環(huán)境的多樣性，可對提高小麥穗部檢測和定位的準(zhǔn)確性和可靠性提供幫助。相較于自行拍攝的WSD數(shù)據(jù)集，該數(shù)據(jù)集具有拍攝面積小，單幅麥穗較少的特點(diǎn)。從中隨機(jī)選取152張圖片參與模型的訓(xùn)練和評估，圖片包含約5 000個(gè)麥穗樣本。圖 1b展示了該數(shù)據(jù)集圖像示例。

圖1 數(shù)據(jù)集的圖像示例

將兩種數(shù)據(jù)集分別按照8∶1∶1的比例隨機(jī)挑選劃分為訓(xùn)練集、驗(yàn)證集和測試集，如表1所示。

表1 數(shù)據(jù)集

1.1.2 數(shù)據(jù)標(biāo)注

本文使用Labelimg工具對數(shù)據(jù)集中的麥穗進(jìn)行標(biāo)記。圖像中每個(gè)麥穗都被一個(gè)矩形框完全包裹，且盡量減少多余背景進(jìn)入矩形框，矩形框的位置由左上角和右下角頂點(diǎn)的坐標(biāo)確定。在對圖像中全部的麥穗進(jìn)行標(biāo)注后，生成對應(yīng)的XML文件，其中包括圖像的大小、標(biāo)簽的名稱和標(biāo)簽的位置等信息。

數(shù)據(jù)的標(biāo)注工作由4名相關(guān)研究人員進(jìn)行，為降低因目標(biāo)標(biāo)簽不準(zhǔn)確導(dǎo)致模型訓(xùn)練和識別性能下降的可能性，研究人員在標(biāo)注完成后交換進(jìn)行標(biāo)注結(jié)果校正工作。

1.2 目標(biāo)檢測算法

1.2.1 YOLO模型

YOLO（You Only Look Once）是一種目前廣泛應(yīng)用的目標(biāo)檢測模型，其很好地平衡檢測速度和檢測精度，且擁有較好的小目標(biāo)檢測能力[21-24]。YOLO對整幅圖像進(jìn)行處理，直接返回錨框的位置及其類別等信息[25]。YOLOv5根據(jù)寬度和深度的設(shè)置，分為YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x，它們參數(shù)量各不相同[26]，其中，YOLOv5l兼具不低的平均精度和較高的速度，在分別用4種網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練麥穗識別模型的預(yù)試驗(yàn)中，YOLOv5l的表現(xiàn)也更為出色，因此，本文選用YOLOv5l結(jié)構(gòu)，并以其為基礎(chǔ)進(jìn)行改進(jìn)。

1.2.2 CBAM注意力模塊

Convolutional Block Attention Module（CBAM）是由Woo等提出的一種前饋卷積神經(jīng)網(wǎng)絡(luò)的注意力模塊，其由通道注意力模塊和空間注意力模塊組成[27]。如圖2所示，對于輸入的特征圖，沿著通道和空間這兩個(gè)獨(dú)立的維度依次計(jì)算出注意力圖，然后將注意力圖乘以輸入特征圖進(jìn)行自適應(yīng)的特征細(xì)化。通道注意力模塊同時(shí)使用平均池化操作和最大池化操作，比單獨(dú)使用一種操作讓輸入圖像中目標(biāo)的特征表達(dá)進(jìn)一步突出，模型更容易學(xué)習(xí)到有意義的特征。空間注意力模塊是對通道注意力模塊的補(bǔ)充，沿通道軸將特征層連接起來，使目標(biāo)的特征有效地連接在一起，凸顯目標(biāo)自身和周邊區(qū)域信息。

1.2.3 CBAM-YOLOv5

基于自定義數(shù)據(jù)集，使用YOLOv5網(wǎng)絡(luò)訓(xùn)練出的模型可以識別麥穗，但一些密集麥穗的圖片的檢測結(jié)果并不理想。為改善這類情況，選擇CBAM注意力機(jī)制模塊增強(qiáng)模型的學(xué)習(xí)能力[28]。雖然CBAM是一種端到端的通用模塊，可以無縫集成到卷積神經(jīng)網(wǎng)絡(luò)中，但加入在YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)的其他位置時(shí)，難免破壞YOLOv5原本的整體性，無法將組合后的學(xué)習(xí)效果提升最大化。經(jīng)過不同加入位置結(jié)果對比后，選擇將CBAM嵌入到Y(jié)OLOv5的頸部末端，搭建如圖3所示的CBAM-YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)。CBAM-YOLOv5保留了YOLOv5的網(wǎng)絡(luò)結(jié)構(gòu)，繼承了YOLOv5較強(qiáng)的學(xué)習(xí)能力，YOLOv5的特征圖通過CBAM依次計(jì)算出一維通道注意圖和二維空間注意圖，然后與輸入特征圖相乘，對YOLOv5得到的特征圖進(jìn)行自適應(yīng)特征細(xì)化，增強(qiáng)特征圖中被遮擋目標(biāo)的特征表達(dá)，提高正確特征的提取，抑制無關(guān)特征的表達(dá)，提高麥穗識別的準(zhǔn)確率，尤其是重疊、遮擋情況的麥穗識別效果得到了提升。

圖2 CBAM結(jié)構(gòu)

注：Concat為維度拼接操作；slice為切片操作；CONV為卷積操作；BN為批標(biāo)準(zhǔn)化；SiLU為激活函數(shù)；add為疊加操作；Maxpool為最大池化操作。

1.3 試驗(yàn)配置

模型的訓(xùn)練是在本地電腦上開展，硬件配置較高，縮短訓(xùn)練時(shí)長。模型訓(xùn)練完成后，部署在云服務(wù)器，方便手機(jī)APP遠(yuǎn)程訪問。配置如下：

本地電腦的硬件配置為Intel? CoreTMi7-10700K處理器和NVIDIA GeForce RTX 3060顯卡，操作系統(tǒng)是Ubuntu 20.04.2 LTS 64位系統(tǒng)，并安裝了CUDA11.2、Python3.8.5、Pytorch1.8.1。模型的超參數(shù)和訓(xùn)練參數(shù)設(shè)置如下：學(xué)習(xí)率為0.01，學(xué)習(xí)衰減率為0.2，動(dòng)量為0.937，批處理設(shè)置為4，輸入圖片分辨率設(shè)置為1 280，輪次設(shè)置為300。

云服務(wù)器的硬件配置為Intel(R) Xeon(R) Gold 6266C處理器，操作系統(tǒng)是Windows Server 2019 64位系統(tǒng)，并安裝了Python3.8.5、Pytorch1.8.1。

1.4 評估指標(biāo)

為了驗(yàn)證模型的性能，使用1分?jǐn)?shù)（1-score）、平均精度（Average Precision，AP）和計(jì)數(shù)相對誤差作為評估指標(biāo)對訓(xùn)練后的模型進(jìn)行評價(jià)[14]。

1.5 穗數(shù)測量系統(tǒng)的設(shè)計(jì)

由于手機(jī)種類繁多，硬件配置各不相同，為減少使用過程的不便，穗數(shù)測量系統(tǒng)選擇基于客戶端/服務(wù)器模式的應(yīng)用開發(fā)，由APP和服務(wù)器組成，通過Android SDK構(gòu)建人機(jī)交互圖像界面，深度學(xué)習(xí)模型和數(shù)據(jù)庫放置在服務(wù)器。用戶可操作手機(jī)APP拍攝或從相冊選擇麥穗圖像（須有一個(gè)1 m2標(biāo)準(zhǔn)框，框由白色PVC管搭建），上傳圖像至服務(wù)器，服務(wù)器先后調(diào)用分割算法和深度學(xué)習(xí)模型，保留圖像中1 m2標(biāo)準(zhǔn)框和框內(nèi)麥穗，進(jìn)行識別和計(jì)數(shù)后，將結(jié)果反饋給客戶端，APP再根據(jù)結(jié)果換算出畝穗數(shù)，如果用戶填寫單穗質(zhì)量等參數(shù)，還可輸出畝產(chǎn)量等信息。

2 結(jié)果及分析

2.1 輸入圖片不同分辨率設(shè)置對模型性能的影響

本文的數(shù)據(jù)集有3 648×2 736和1 024×1 024兩種圖片尺寸，當(dāng)輸入到網(wǎng)絡(luò)進(jìn)行訓(xùn)練和預(yù)測時(shí)，都需要進(jìn)行改變大小（resize）操作，改變圖像尺寸。大田環(huán)境下小麥麥穗與一般的檢測目標(biāo)相比，在圖像中的尺寸更小，分布更密集，圖像縮得越小，信息丟失越嚴(yán)重。因此，為了確定CBAM-YOLOv5網(wǎng)絡(luò)最優(yōu)訓(xùn)練參數(shù)，圖像尺寸分別設(shè)置640、960、1 280像素進(jìn)行結(jié)果對比。模型的評估指標(biāo)結(jié)果如表2所示。由表2可知，設(shè)置為960和1 280像素時(shí)的評估結(jié)果均比設(shè)置為640像素時(shí)好，與設(shè)置為960像素時(shí)比，設(shè)置為1 280像素的1分?jǐn)?shù)和AP50∶5∶95分別提高了0.003和0.014，AP50降低了0.007。

表2 不同輸入圖片分辨率設(shè)置時(shí)模型的評估指標(biāo)結(jié)果

注：AP50指交并比的值為0.50時(shí)的AP值；AP50:5:95指IoU的值從0.50取到0.95，步長為0.05，計(jì)算AP的均值。下同。

Note：AP50 refers to the AP value for an Intersection over Union (IoU) value of 0.50; AP50:5:95 refers to the mean value of AP, with the value of IoU taken from 0.50 to 0.95 at a step of 0.05. Same below.

系統(tǒng)應(yīng)用時(shí)，手機(jī)拍攝帶有1 m2標(biāo)準(zhǔn)框的小麥圖像后，模型需直接對整幅圖像進(jìn)行預(yù)測，計(jì)算麥穗數(shù)量。因此，此處僅列舉WSD測試集的預(yù)測結(jié)果，如表3所示。置信閾值和IoU閾值均分別設(shè)置為0.3和0.45，模型生成的預(yù)測框經(jīng)過置信閾值和IoU閾值的篩選后，統(tǒng)計(jì)其個(gè)數(shù)即為麥穗數(shù)量。

從表3中可以看出，圖片的實(shí)際檢測計(jì)數(shù)過程中，輸入圖像分辨率設(shè)置為1 280在耗時(shí)沒有變化的同時(shí)，計(jì)數(shù)相對誤差的平均值均最低，相對誤差的標(biāo)準(zhǔn)差也僅為0.01，說明此參數(shù)設(shè)置下精度最高，且誤差波動(dòng)小。綜合來看，將輸入圖像分辨率設(shè)置為1 280是較好的選擇。

表3 不同分辨率設(shè)置時(shí)模型的測試集計(jì)數(shù)結(jié)果

2.2 模型性能的比較

為了驗(yàn)證本文提出的CBAM-YOLOv5網(wǎng)絡(luò)的性能，與Faster RCNN、YOLOv4、YOLOv5對測試集小麥穗部的檢測效果進(jìn)行對比。在相同的硬件環(huán)境下，通過調(diào)整訓(xùn)練參數(shù)，使四種模型各自達(dá)到最好的效果。表4列出模型1分?jǐn)?shù)、AP50和AP50∶5∶95的結(jié)果。表5匯總4種模型的WSD測試集的計(jì)數(shù)結(jié)果。圖片預(yù)測結(jié)果示例如圖4所示。

由表4可知，CBAM-YOLOv5在1分?jǐn)?shù)、AP50和AP50∶5∶95這3個(gè)指標(biāo)上都有著更好的表現(xiàn)，比YOLOv5分別提高了0.021、0.021、0.022，比YOLOv4分別提高了0.209、0.190、0.255，比Faster RCNN分別提高了0.308、0.398、0.353。

表4 不同模型的評估指標(biāo)結(jié)果

對WSD數(shù)據(jù)集的預(yù)測結(jié)果顯示，CBAM-YOLOv5模型計(jì)數(shù)的相對誤差為2.56%，和YOLOv5、YOLOv4和Faster RCNN相比，分別降低了1.44個(gè)百分點(diǎn)、9.04個(gè)百分點(diǎn)、24.81個(gè)百分點(diǎn)，且相對誤差的標(biāo)準(zhǔn)差為0.01，說明CBAM-YOLOv5模型計(jì)數(shù)的相對誤差更加集中，麥穗計(jì)數(shù)的結(jié)果較為穩(wěn)定。另外，CBAM-YOLOv5模型預(yù)測一幅圖像的平均耗時(shí)為0.045 s，遠(yuǎn)遠(yuǎn)低于YOLOv4和Faster RCNN的耗時(shí)，僅比YOLOv5的耗時(shí)多0.003 s。圖4中可以明顯地看出，YOLOv5和YOLOv4存在大量重復(fù)預(yù)測框，而Faster RCNN有較多麥穗未識別，與計(jì)數(shù)結(jié)果吻合。

綜合來看，CBAM-YOLOv5網(wǎng)絡(luò)的性能表現(xiàn)最好，其取得較好的效果有以下兩個(gè)原因：1）在YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)頸部末端加入CBAM模塊。把YOLOv5和CBAM的優(yōu)勢結(jié)合起來，將注意力聚焦在目標(biāo)上，降低復(fù)雜背景對目標(biāo)學(xué)習(xí)的影響，在不使用過多的參數(shù)和計(jì)算力的基礎(chǔ)上，對密集且小目標(biāo)有更好的學(xué)習(xí)效果，在麥穗檢測過程中發(fā)揮著巨大的作用；2）圖像輸入尺寸設(shè)置為1 280。在3 648×2 736分辨率的圖像中，麥穗所占像素值很小，加大了學(xué)習(xí)與檢測的難度，因此，以增大計(jì)算量為代價(jià)，換取精度的大幅提升是有必要的。

表5 不同模型的測試集計(jì)數(shù)結(jié)果

圖4 不同模型的預(yù)測結(jié)果示例

2.3 穗數(shù)測量系統(tǒng)的測試結(jié)果

系統(tǒng)測試共分為5個(gè)步驟：1）創(chuàng)建試驗(yàn)：填寫試驗(yàn)名稱，此時(shí)還可輸入作物品種、大田編號、單穗質(zhì)量等信息。2）拍攝圖片（如圖5所示）：將由白色PVC管搭建的1 m2標(biāo)準(zhǔn)框水平放置在麥田中，手機(jī)從上往下垂直拍攝圖片，標(biāo)準(zhǔn)框所占像素比例盡可能大，有助于圖像后續(xù)成功分割和識別。3）處理圖片：利用分割算法完整地將標(biāo)準(zhǔn)框及其內(nèi)部圖像分割出來，圖像分割效果不好時(shí)，需重新拍攝。4）穗部識別：調(diào)用深度學(xué)習(xí)模型得到1 m2內(nèi)麥穗的數(shù)量。5）繼續(xù)試驗(yàn)或保存退出。一次試驗(yàn)可以對小區(qū)中小麥進(jìn)行多組拍攝，自動(dòng)求取平均值，使估算結(jié)果更準(zhǔn)確。軟件使用過程流程圖如圖6所示。

圖5 拍攝圖片示例

圖6 軟件使用過程流程圖

在系統(tǒng)測試試驗(yàn)中，針對5個(gè)小區(qū)分別建立1組試驗(yàn)，每組試驗(yàn)拍攝5張麥穗圖片，軟件預(yù)測結(jié)果如表6所示，人工計(jì)數(shù)和軟件平均計(jì)數(shù)均為每平米的麥穗數(shù)量。測試結(jié)果表明，盡管不同品種穗數(shù)有一定差異，但軟件計(jì)數(shù)的相對誤差最小可以達(dá)到2.15%，誤差平均值穩(wěn)定在2.80%左右，比測試集的平均值僅高0.24個(gè)百分點(diǎn)，因此構(gòu)建的麥穗檢測模型具有良好的檢測性能，能夠應(yīng)用于實(shí)際生產(chǎn)或其他場景中單位面積穗數(shù)統(tǒng)計(jì)。

表6 麥穗計(jì)數(shù)結(jié)果

注：計(jì)數(shù)面積為1 m2。

Note：Counting area is 1 m2.

在構(gòu)建數(shù)據(jù)集時(shí)，結(jié)合WSD和GWHD數(shù)據(jù)集的特點(diǎn)，選擇逐漸增加圖片數(shù)量參與訓(xùn)練的策略，最終選擇220幅圖像，這種策略防止因過量麥穗標(biāo)注工作而浪費(fèi)研究人員精力這種情況的發(fā)生，同時(shí)可以保證模型訓(xùn)練成功。根據(jù)上述結(jié)果可以看出，訓(xùn)練出的CBAM-YOLOv5模型，不僅在1分?jǐn)?shù)、平均精度和計(jì)數(shù)相對誤差這3個(gè)指標(biāo)上表現(xiàn)良好，且在實(shí)地試驗(yàn)中，5組試驗(yàn)拍攝的小麥并未參與模型的訓(xùn)練，麥穗計(jì)數(shù)結(jié)果同樣精確且穩(wěn)定，說明基于該模型的系統(tǒng)能對不同品種小麥保持較穩(wěn)定的檢測結(jié)果。

3 結(jié) 論

本文提出一種基于改進(jìn)YOLOv5方法的田間小麥穗數(shù)計(jì)數(shù)方法，該方法主要加入注意力模塊，對YOLOv5網(wǎng)絡(luò)提取的特征圖沿著通道和空間兩個(gè)維度進(jìn)行處理，并將處理結(jié)果與輸入特征圖相乘，從而細(xì)化特征。在電腦硬件支持的范圍內(nèi)，設(shè)置輸入圖片分辨率為1280，使圖像輸入到網(wǎng)絡(luò)時(shí)不會丟失更多的特征信息，使模型可以直接從高分辨率手機(jī)圖像中檢測出麥穗的數(shù)量。最終模型1分?jǐn)?shù)、AP50、AP50∶5∶95分別達(dá)到0.904、0.902、0.515，與標(biāo)準(zhǔn)YOLOv5、YOLOv4和Faster RCNN相比有了較大的提升。在CBAM-YOLOv5模型訓(xùn)練完成后，模型在測試集上的表現(xiàn)較為穩(wěn)定，麥穗計(jì)數(shù)的平均相對誤差為2.56%。而在系統(tǒng)測試過程中，麥穗計(jì)數(shù)的平均相對誤差僅為2.80%。因此，該算法在應(yīng)用中具有準(zhǔn)確性和適用性，形成能夠?yàn)樾←溩魑锉硇蜋z測和產(chǎn)量評估的測量裝置，對不同應(yīng)用場景提供可行的技術(shù)解決方案。

[1] Eversole K, Feuillet C, Mayer K F, et al. Slicing the wheat genome[J]. Science, 2014, 345(6194): 285-287.

[2] Sadeghi-Tehran P, Virlet N, Ampe E M, et al. DeepCount: In-field automatic quantification of wheat spikes using simple linear iterative clustering and deep convolutional neural networks[J]. Frontiers in Plant Science, 2019, 10(1176): 1-16.

[3] 范夢揚(yáng)，馬欽，劉峻明，等. 基于機(jī)器視覺的大田環(huán)境小麥麥穗計(jì)數(shù)方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2015，46(S1)：234-239.

Fan Mengyang, Ma Qin, Liu Junming, et al. Counting method of wheatear in field based on machine vision technology[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(S1): 234-239. (in Chinese with English abstract)

[4] Fernandez-Gallego J, Buchaillot M, Aparicio N, et al. Automatic wheat ear vounting using thermal imagery[J]. Remote Sensing, 2019, 11(751): 1-13.

[5] 李毅念，杜世偉，姚敏，等. 基于小麥群體圖像的田間麥穗計(jì)數(shù)及產(chǎn)量預(yù)測方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(21)：185-194.

Li Yinian, Du Shiwei, Yao Min, et al. Method for wheat ear counting and yield predicting based on image of wheatear population in field[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(21): 185-194. (in Chinese with English abstract)

[6] 劉濤，孫成明，王力堅(jiān)，等. 基于圖像處理技術(shù)的大田麥穗計(jì)數(shù)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45(2)：282-290.

Liu Tao, Sun Chengming, Wang Lijian, et al. In-field wheatear counting based on image processing technology[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(2): 282-290. (in Chinese with English abstract)

[7] Zhu Y, Cao Z, Lu H, et al. In-field automatic observation of wheat heading stage using computer vision[J]. Biosystems Engineering, 2016, 143: 28-41.

[8] Wei G, Fukatsu T, Ninomiya S. Automated characterization of flowering dynamics in rice using field-acquired time-series RGB images[J]. Plant Methods, 2015, 11(7): 1-14.

[9] Fernandez-Gallego J, Lootens P, Borra-Serrano I, et al. Automatic wheat ear counting using machine learning based on RGB UAV imagery[J]. The Plant Journal, 2020, 103(4): 1603-1613.

[10] Zhou C, Liang D, Yang X, et al. Wheat ears counting in field conditions based on multi-feature optimization and TWSVM[J]. Frontiers in Plant Science, 2018, 9(1024): 1-16.

[11] 劉哲，黃文準(zhǔn)，王利平. 基于改進(jìn)K-means聚類算法的大田麥穗自動(dòng)計(jì)數(shù)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(3)：174-181.

Liu Zhe, Huang Wenzhun, Wang Liping. Field wheat ear counting automatically based on improved K-means clustering algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 174-181. (in Chinese with English abstract)

[12] 杜穎，蔡義承，譚昌偉，等. 基于超像素分割的田間小麥穗數(shù)統(tǒng)計(jì)方法[J]. 中國農(nóng)業(yè)科學(xué)，2019，52(1)：21-33.

Du Ying, Cai Yicheng, Tan Changwei, et al. Field wheat ears counting based on superpixel segmentation method[J]. Scientia Agricultura Sinica. 2019, 52(1): 21-33. (in Chinese with English abstract)

[13] 李云霞，馬浚誠，劉紅杰，等. 基于 RGB 圖像與深度學(xué)習(xí)的冬小麥田間長勢參數(shù)估算系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(24)：189-198.

Li Yunxia, Ma Juncheng, Liu Hongjie, et al. Field growth parameter estimation system of winter wheat using RGB digital images and deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(24): 189-198. (in Chinese with English abstract)

[14] 陳佳瑋，李慶，譚巧行，等. 結(jié)合輕量級麥穗檢測模型和離線Android軟件開發(fā)的田間小麥測產(chǎn)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(19)：156-164.

Chen Jiawei, Li Qing, Tan Qiaoxing, et al. Combining lightweight wheat spikes detecting model and offline Android software development for in-field wheat yield prediction[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(19): 156-164. (in Chinese with English abstract)

[15] Hao Wangli, Yu Peiyan, Hao Fei, et al. Foxtail millet ear detection approach based on YOLOv4 and adaptive anchor box adjustment[J]. Smart Agriculture, 2021, 3(1): 63-74.

郝王麗，尉培巖，郝飛，等. 基于YOLOv4和自適應(yīng)錨框調(diào)整的谷穗檢測方法（英文）[J]. 智慧農(nóng)業(yè)（中英文），2021，3(1)：63-74. (in English with Chinese abstract)

[16] Misra T, Arora A, Marwaha S, et al. SpikeSegNet-a deep learning approach utilizing encoder-decoder network with hourglass for spike segmentation and counting in wheat plant from visual imaging[J]. Plant Methods, 2020, 16(40): 1-20.

[17] Xu X, Li H, Yin F, et al. Wheat ear counting using K-means clustering segmentation and convolutional neural network[J]. Plant Methods, 2020, 16(106): 1-13.

[18] 鮑文霞，張鑫，胡根生，等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的田間麥穗密度估計(jì)及計(jì)數(shù)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(21)：186-193.

Bao Wenxia, Zhang Xin, Hu Gensheng, et al. Estimation and counting of wheat ears density in field based on deep convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(21): 186-193. (in Chinese with English abstract)

[19] 段凌鳳，熊雄，劉謙，等. 基于深度全卷積神經(jīng)網(wǎng)絡(luò)的大田稻穗分割[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(12)：202-209.

Duan Lingfeng, Xiong Xiong, Liu Qian, et al. Field rice panicles segmentation based on deep full convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(12): 202?209. (in Chinese with English abstract)

[20] David E, Madec S, Sadeghi-Tehran P, et al. Global Wheat Head Detection (GWHD) dataset: A large and diverse dataset of high resolution RGB labelled images to develop and benchmark wheat head detection methods[J]. Plant Phenomics, 2020, 1: 1-10.

[21] Redmon J, Divvala S, Girshick R, et al. You only look once: Unified, real-time object detection[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 779-788.

[22] Redmon J, Farhadi A. YOLO9000: better, faster, stronger[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 7263-7271.

[23] Redmon J, Farhadi A. YOLOv3: An incremental improvement[EB/OL].(2018-04-08)[2021-04-18].https://arxiv.org/abs/1804.02767.

[24] Bochkovskiy A, Wang C Y, Liao H Y M. YOLOv4: Optimal speed and accuracy of object detection[EB/OL]. (2020-04-23) [2021-04-18] https: //arxiv. org/abs/2004. 10934.

[25] Liu G, Nouaze J C, Touko P L, et al. YOLO-Tomato: A robust algorithm for tomato detection based on YOLOv3[J]. Sensors, 2020, 20(7): 1-20.

[26] 胡根生，吳繼甜，鮑文霞，等. 基于改進(jìn)YOLOv5網(wǎng)絡(luò)的復(fù)雜背景圖像中茶尺蠖檢測[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(21)：191-198.

Hu Gensheng, Wu Jitian, Bao Wenxia, et al. Detection of Ectropis oblique in complex background images using improved YOLOv5[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(21): 191-198. (in Chinese with English abstract)

[27] Woo S, Park J, Lee J Y, et al. CBAM: Convolutional block attention module[C]//European Conference on Computer Vision. Munich, Germany: Springer, Cham, 2018: 3-19.

[28] Yang B, Gao Z, Gao Y, et al. Rapid detection and counting of wheat ears in the field using YOLOv4 with attention module[J]. Agronomy, 2021, 11(6): 1-17.

Measuring the number of wheat spikes per unit area in fields using an improved YOLOv5

Huang Shuo1,2, Zhou Yanan1,2, Wang Qifan3, Zhang Han1,2, Qiu Chaoyang4, Kang Kai4, Luo Bin1,2※

（1.100097, China；2.100097, China；3.071000, China；4.100097, China）

The number of spikes per unit area has been one of the main factors to determine the wheat yield. Rapid and accurate acquisition of the number of spikes per unit area is of great importance for the breeding and cultivation in agricultural production. Fortunately, the high-resolution images of wheat spikes can be analyzed by the pre-trained artificial intelligence models to extract the number of spikes per unit area, particularly with the rapid development of deep learning. The consistent data can also be obtained to independently extract the feature, due to the strong learning ability of deep learning at present. In this study, a combined smartphone and server system was proposed to measure the number of wheat spikes. A Convolutional Block Attention Module (CBAM) and YOLOv5 were combined as the core of the CBAM-YOLOv5 model. Among them, the YOLOv5 network structure provided an excellent balance between the detection speed and accuracy for the small and dense targets, suitable for counting the number of wheat spikes. Since the channel and spatial attention modules were contained in the CBAM, the features were processed along both channel and spatial dimensions. The feature representation of targets was then much clearer to identify the overlapping or obscured wheat spikes. The specific procedure was as follows: 1) To manually annotate the self-photographed Wheat Spike Detection (WSD) dataset and the publicly available Global Wheat Head Detection (GWHD) dataset on the web, including 176 images as the training set, 22 images as the validation set, and 22 images as the test set. The generalization ability of the model was improved to introduce the GWHD dataset. 2) The CBAM was added at the neck end of the YOLOv5 network structure in the improved CBAM-YOLOv5 model. The input image sizes of the model were set as 640, 960, and 1 280 pixels. A comparison was then made to obtain the optimal training parameters. 3) The CBAM-YOLOv5, YOLOv5, YOLOv4, and Faster RCNN were trained with the optimal parameters to compare the performance of different network structures. 4) The spikes counting system was developed using the client-server model. Specifically, the images of wheat spikes were taken by smartphones and then uploaded to the server. The CBAM-YOLOv5 model on the server was used to recognize the images. After that, the counting data was then returned to the smartphones for display to the user. The results show that better performance was achieved in the evaluation metrics of CBAM-YOLOv5, when the input image sizes were 1 280 pixels. Among them, the1-score was improved up to 0.904, and the average precision reached 0.902 when the intersection over union was set as 0.50. The CBAM-YOLOv5 was better performed than the YOLOv5, YOLOv4, and Faster RCNN, in terms of evaluation metrics, with an average relative error of only 2.56% in the counting. It infers that the improved model was much more stable and faster. Taken together, the CBAM-YOLOv5 presented a greater improvement. The spikes counting system was simple to use and easy to operate. The relative error of count in the field test was only 2.80%, indicating a relatively stable performance. Therefore, the new system can be expected to serve as the rapid and automatic collection of wheat spike counts without manual intervention in the field. The low-cost and reliable system can also provide an accurate data reference for wheat yield prediction.

models; wheat; number of spikes per unit area; deep learning; YOLOv5; CBAM

10.11975/j.issn.1002-6819.2022.16.026

S126

A

1002-6819(2022)-16-0235-08

黃碩，周亞男，王起帆，等. 改進(jìn)YOLOv5測量田間小麥單位面積穗數(shù)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(16)：235-242.doi：10.11975/j.issn.1002-6819.2022.16.026 http://www.tcsae.org

Huang Shuo, Zhou Yanan, Wang Qifan, et al. Measuring the number of wheat spikes per unit area in fields using an improved YOLOv5[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(16): 235-242. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.16.026 http://www.tcsae.org

2022-04-19

2022-08-03

國家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（2017YFD0701205）

黃碩，研究方向?yàn)橹悄軝z測及自動(dòng)控制技術(shù)。Email：huangs@nercita.org.cn

羅斌，博士，副研究員，研究方向?yàn)檗r(nóng)業(yè)智能裝備技術(shù)。Email：luob@nercita.org.cn