基于YOLOv7 的無人機影像稻穗計數方法研究

王宏樂，葉全洲，王興林，劉大存，梁振偉

（1.深圳市五谷網絡科技有限公司，廣東 深圳 518000；2.深圳市豐農數智農業科技有限公司，廣東 深圳 518000）

【研究意義】水稻是我國乃至世界上最重要的糧食作物。科學、高效而準確地預測水稻產量，不但能為產量預估、收獲、烘干和倉儲物流提供及時、準確的農情信息，對于糧食的供需平衡、農業政策的制定等也具有重要意義［1-3］。目前，大面積的水稻估產主要采取衛星遙感估產的方法，如定量遙感反演與產量形成過程模型相耦合的方法、基于實測的水稻冠層反射光譜的多生育期復合估產模型等方法［4-5］，但其在普適性、精準性和高效性等方面仍有待進一步優化和完善，獲得更準確、及時的產量估算仍依賴于田間人工測產調查。特定品種的稻穗數量與水稻產量密切相關，準確獲得田間單位面積水稻穗數是水稻產量準確預估的重要前提和基礎［2-3,6］。然而，田間單位面積水稻穗數的調查是人工測產調查過程中最費時費力的環節，同時，調查者的主、客觀因素都極易影響調查結果的準確性［2-4］。因此，建立水稻產量快速調查的方法，對解放勞動力，提高測產工作效率和精度等具有重要意義。

【前人研究進展】目前水稻稻穗識別的主要技術為圖像分割和目標檢測。Xiong 等［7］提出Panicle-SEG 算法，實現了對不同品種及生育期大田稻穗的分割，準確率達到70%～80%。在此基礎上，宋余慶等［6］基于DBSE-Net 的大田稻穗圖像分割，進一步提高了識別精度；Tanaka 等［8］報道了基于水稻RGB 圖像的分割模型，可對多品種不同角度采集的稻穗進行精準識別及產量估算，經多地驗證后，具有廣泛的適應性和準確度。然而圖像分割模型訓練復雜，計算相對耗時，受圖像背景影響大［3］。目標檢測技術已運用于多個農業場景中，如麥穗檢測。David 等［9-10］報道并優化了小麥麥穗的識別算法，建立了全球麥穗檢測數據集（Global Wheat Head Detection,GWHD）。此后，國內外大量學者對小麥穗數檢測模型做出優化與改進，并開發出田間麥穗快速識別與計算的方法，包括基于無人機的麥穗圖片的精準計數方法研發、小麥麥穗檢測算法優化、小麥單位面積的實時在線檢測方法的實現等［9-13］。與小麥相比，水稻不同品種間的穗形差異大，稻穗由于自重下垂，高種植密度下葉片與稻穗貼合更緊密，葉片對稻穗的局部遮擋使稻穗特征中混入葉片噪聲，嚴重影響稻穗識別準確率和計數精度。姜海燕等［14］設計了一種基于生成特征金字塔的稻穗檢測（Generative Feature Pyramid for Panicle Detection，GFP-PD）方法，對稻穗的識別準確率達90%以上。Sun 等［3］使用改進的YOLOv4 對彎曲稻穗檢測，解決了秈稻品種雜交稻的精準檢測問題，在齊穗后7 d 內能獲得較高準確率。

【本研究切入點】粳稻和秈稻為我國主要的兩大類水稻種植品種，品種的多樣性和復雜性導致稻穗形狀、顏色、姿態等存在一定差異，影響圖像識別精準性。基于水稻稻穗的目標檢測算法，雖已有一些研究報道，但缺乏其對不同品種稻穗估測的系統性研究，而在水稻稻穗深度學習訓練數據集對深度學習模型的影響方面，更是缺乏相關報道。YOLO（You Only Look Once）是一種目前應用廣泛的目標檢測模型，可很好地平衡檢測速度和檢測精度，且擁有較好的小目標檢測能力。其中YOLOv5 憑借其較快的檢測速度及良好的檢測精度得到研究人員的青睞［11-13,15］。根據寬度和深度的設置，YOLOv5 分為YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x。其 中YOLOv5l兼具較高的運算速度及不錯的平均精度［11,16］。Wang 等［17］報道指出，新的網絡結構YOLOv7，其整體準確度和速度均優于YOLOv5。目前已應用于安全頭盔、交通標識等領域的目標檢測，并取得不錯的效果［18-19］。無人機具有快速、低成本、靈活獲取高分辨率圖像及農情信息的特點，尤其適合復雜農田環境的信息采集作業［1-2,4-5,12,20］。本研究擬采用粳稻和秈稻主栽品種，研究無人機照片數據深度學習數穗測產技術對粳稻和秈稻的識別效果，嘗試建立高效、可靠的稻穗快速檢測計數技術。【擬解決的關鍵問題】本研究將重點解決無人機照片的數據清洗、稻穗標注、數據集構建和PyTorch 深度學習建模訓練方法，以期獲得科學、高效和多品種適用性的數穗技術。

1 材料與方法

1.1 數據采集及稻穗田間調查

水稻秈稻稻穗圖片的采集和產量調查時間為2021 年10 月13 日，地點為廣東省廣州市從化區生態優質絲苗米產業園，種植品種為美巴香占，隨機選擇11 個調查點。水稻粳稻采集時間和產量調查時間為2022 年11 月5 日，地點為廣東省清遠市飛來峽水稻種植基地實驗田，種植品種為南粳46，隨機選擇9 個為調查點。

圖像采集時間為水稻齊穗期到灌漿期（圖1），稻穗穗形直立或略彎曲、不松散和不交纏。稻穗數據集的采集設備為大疆精靈4RTK 無人機，云臺拍攝角度為-85°～-90°之間，相機視角（Field of view，FOV）為84°，總像素為2 048 萬，分辨率為4 864×3 648。無人機圖像于晴天10: 00—14: 00 采集，拍攝高度為距離水稻冠層1.7～1.8 m，拍攝圖片的覆蓋面積約為4 m2。每個調查點面積約為4 m2，圈出范圍后在其正上方使用無人機采集圖像，隨后進行人工調查，人工調查方法參考Tanaka［6］。

1.2 特征標注及處理

為降低重復圖片數量以及非靶標圖片對模型訓練的干擾，采用人工篩選的方法對所采集圖像進行數據清洗。清洗后的數據使用Labelimg 軟件［21］對目標稻穗分別進行水平框的框選，當圖像邊緣顯示的谷粒面積≥30%以上時進行標定，否則不標定。水平框標注采用x、y、w、h 表示，其中，x、y 為目標框的中心坐標，w、h 分別為沿X和Y軸的邊界框的長度。

分別建立包含90 張粳稻和秈稻標注圖片的水稻稻穗數據集，其中包含粳稻樣本28 728 個、秈稻樣本21 608 個。依據兩種水稻的不同特征，將數據集重新分組（表1）。在目標檢測算法中，重疊率（Intersection of union，IoU）是在特定數據集中檢測相應物體準確度的標準［18-24］。平均精度（mean Average Precision,mAP）為目標檢測常用的判定指標，一般使用mAP@IoU 的方式表示［11-16,21］。分別從粳稻和秈稻的數據集中隨機抽取10 張作為獨立測試集和驗證集，其中測試集用于mAP 的計算［22］。將圖片尺寸調整到1 024×1 024 后再進行訓練與測試。

1.3 模型訓練

水稻稻穗檢測使用YOLOv5l 和YOLOv7 的網絡體系結構。YOLOv5l 參照李志軍等［25］方法進行，YOLOv7 模型訓練參照Wang 等［17］方法進行，模型的深度和寬度均設為1，將前景和背景IoU閾值設為0.3。本研究基于PyTorch 深度學習框架進行模型改進和算法訓練。計算機配有NVIDIA V100 的圖形處理器（GPU），搭載Intel（R）Xeon（R）Gold 5218 CPU@ 2.30GHz，內存為128 GB。實驗環境為Ubuntu 18.04 LTS 64 位系統、Cuda11.3、Cudnn8.1.0、Pytorch1.7.1、Python3.7。模型訓練的批處理大小為64，輸入圖像且統一為640×640 分辨率。

1.4 模型驗證及數據分析

使用建立的模型對調查點采集的圖像進行水稻稻穗數量預測，將預測結果與實際調查結果進行相關性比較分析，使用相關系數R2預測結果的準確性［1-2］。均方根誤差（Root Mean Square Error，RMSE）一般用于反映測量值與真實值之間的偏差，平均絕對百分比誤差（Mean Absolute Percentage Error，MAPE）可以反映預測值與真實值之間的相對距離［1,8］。本研究使用R2、RMSE和MAPE對模型預測值與真實值進行驗證和評價。

2 結果與分析

2.1 稻穗預測模型對水稻稻穗檢測精度驗證

用相同的測試集對使用不同數據集訓練得到的模型進行測試（表1）。將模型對測試集的檢測結果與真實值進行分析比較，計算得出每個錨框的IoU 值。使用獲得的IoU 值制作箱型圖（圖2），結果表明，在對粳稻測試集的檢測中，模型1 組所獲得的IoU 值的中位數最高，YOLOv7模型為0.6733、YOLOv5 模型為0.6455；其次為模型3 組，YOLOv7 模型為0.6499、YOLOv5模型為0.6230；模型2 組所獲得IoU 值的中位數最低，YOLOv7 模型為0.4732、YOLOv5 模型為0.3794。在對秈稻測試集的檢測中，模型2 組所獲得IoU 值的中位數最高，YOLOv7 模型為0.6494、YOLOv5 模型為0.5403；其次為模型3 組，YOLOv7 模型為0.4862、YOLOv5 模型為0.3933；模型1 組獲得IoU 值的中位數最低，YOLOv7 模型為0.4732、YOLOv5 模型為0.2581（圖2）。基于此，為更合理地評價模型的識別精度，本研究除計算通用指標mAP@0.5 外，同時考慮選擇最低IoU 的中位數0.2581，即計算mAP@0.25 的值并參考作為評價標準。對于相同的數據，YOLOv7模型下IoU 值的中位數普遍高于YOLOv5 模型。

圖2 不同模型得到的重疊率分布情況Fig.2 Distribution of interscetion over union (IoU) from different models

分別使用YOLOv7 和YOLOv5l 對3 組數據進行訓練，使用相同的測試集對模型進行測試和評價。結果表明，測試集對YOLOv7 模型的測試結果普遍優于YOLOv5l（表2、圖3、表3）。僅使用粳稻數據訓練得到的模型對粳稻有較好的識別精度，YOLOv7 模型的mAP@0.5 為80.75%、mAP@0.25 為93.01%，優于YOLOv5l 模型的mAP@0.5 值73.36%、mAP@0.25 值91.16%；但兩種模型對秈稻的識別精度均不高，mAP@0.5 及mAP@0.25 在20%～40%。對秈稻識別最佳的模型為使用秈稻數據訓練得到的模型，YOLOv7 模型的mAP@0.5 為73.19%、mAP@0.25 為83.71%，優 于YOLOv5l 模型的mAP@0.5 值72.77%、mAP@0.25 值81.66%；但兩種模型對粳稻識別精度不高，mAP@0.5 及mAP@0.25 在30%～40%。使用粳稻和秈稻混合的數據訓練得到的模型3 組對粳稻和秈稻有一定的識別精度，基本能框出識別靶標，但低于僅使用粳稻數據訓練得到的模型對粳稻的識別精度和僅使用秈稻數據訓練得到的模型對秈稻的識別精度。

表2 不同模型在水稻稻穗測試集的檢測精度（%）對比Table2 Comparison of detection accuracy of different models in rice panicles test datasets

表3 水稻稻穗計數結果Table 3 Results of rice panicles counts

圖3 不同模型對水稻不同亞種稻穗的識別結果樣例Fig.3 Detection results of rice panicles from different subspecies by different models

結果表明，單一數據訓練的模型對與其一致的靶標測試集的識別精度最高，對與其不一致的測試集測試精度最低，混合數據訓練的模型對兩種靶標均有一定的識別精度，但精度略低。所有模型的mAP@0.25 值均明顯大于mAP@0.5，重疊率對水稻稻穗的識別影響較大。

2.2 水稻稻穗田間調查及模型驗證

本研究設計了9 個粳稻、13 個秈稻的驗證樣本，對預測模型的預測結果進行驗證和評價。結果（圖4）表明，僅使用粳稻數據訓練得到的模型對粳稻有較好的識別精度，預測值與實測值顯著相關。其中YOLOv7 模型對粳稻預測精度最高，R2為0.9585、RMSE為9.17、MAPE為2.01%；其次為YOLOv5 模型，R2為0.9522、RMSE為11.91、MAPE為2.15%。對秈稻識別最佳的模型為使用秈稻數據訓練得到的，其中YOLOv7 模型對秈稻預測精度最高，R2為0.8595、RMSE為24.22、MAPE為7.55%；其次為YOLOv5，R2為0.7737、RMSE為32.56、MAPE為7.83%。僅 使用粳稻數據訓練得到的模型對秈稻的識別效果不佳，僅使用秈稻數據訓練得到的模型對粳稻識別效精度也偏低。但使用粳稻和秈稻混合的數據訓練得到的對粳稻和秈稻均有一定的識別精度，低于僅使用粳稻數據訓練得到的模型對粳稻的識別精度和僅使用秈稻數據訓練得到的模型對秈稻的識別精度；其中YOLOv7 模型對粳稻稻穗的識別效果較好，R2為0.9323、RMSE為13.17、MAPE為5.57%，對秈稻稻穗識別表現也較好，R2為0.7735、RMSE為37.73、MAPE為9.52%；YOLOv5 模型對粳稻稻穗和秈稻的識別精度略低于YOLOv7，在對粳稻的識別中，R2為0.8919、RMSE為15.73、MAPE為6.01%；在對秈稻的識別 中，R2為0.6201、RMSE為41.67、MAPE為10.94%。

圖4 水稻稻穗預測值和實際值關系Fig.4 Relationships between predict values and actual values of rice panicles number

3 討論

在目標檢測算法中，IoU 是在特定數據集中檢測相應物體準確度的標準，當IoU ≥0.5 時，通常認為目標被預測正確。IoU 閾值的設定對mAP 值影響很大。而對于稻穗、麥穗等細小目標，由于其形狀細長，且為非規則圖形，具有方向隨意性，即使較小的角度變化也會導致IoU 的迅速下降。黃碩等［11］報道的YOLOv5 檢測模型對小麥麥穗的mAP@0.5 也僅為0.467～0.515。因此，諸多關于細小密集物體檢測報道均會考量IoU 低于0.5 的情況［23-25］。本研究通過調查IoU 的實際分布情況，將IoU 的閾值設置為0.25。mAP 值評價的是算法對圖像識別的精度，在實際應用中，仍要考慮使用無人機采集稻穗圖像的方法與真實情況之間的關系。因此，田間實際調查十分必要。通常使用模型的預測值與實際值建立回歸方程，計算R2、RMSE以及MAPE等指標評價模型或方法的精度［1,12,32］。田間調查驗證表明，所獲得的最優模型的預測值，可較為準確地實現該場景下粳稻和秈稻的稻穗預測。其中，粳稻最優模型下預測值與調查值之間的R2值大于0.9、MAPE值小于5%，秈稻最優模型預測值與調查值之間的R2值大于0.8，MAPE值小于10%。本方法對秈稻的識別仍有優化空間，可通過增加或調整數據集結構來進行優化［22］。本研究所使用的算法也還有進一步優化的空間，如可考慮使用旋轉框或高分辨率識別模型等方式，或通過引入Soft-NMS 的判定機制，有可能進一步提升識別的精確度［3,27-30］。

小麥麥穗具有頂端生長，形態特征大多直立或略彎曲，大多形態相似的特點，國內外已有諸多基于深度學習的小麥麥穗識別的報道［9-13］。David 等［9-10］報道并優化了小麥麥穗的識別算法，建立全球麥穗檢測數據集（Global Wheat Head Detection,GWHD）。然而水稻稻穗在成熟期后期單穗較重，易彎曲并交纏，較難通過圖像數據進行稻穗計數［3,6-7］。因而，有學者使用基于深度學習的圖像分割技術來實現水稻稻穗的識別，但對于交纏的水稻，通過圖像分割技術也較難直接計數，它們多是通過將分割的結果與田間實測穗數建立相關性關系，來實現田間穗數預測［6-7,31］。本方法通過基于深度學習的目標檢測方法來直接實現對田間水稻穗數的預測，實現路徑更為簡單、準確。但當水稻稻穗松散、下垂、交纏時，基于深度學習的圖像識別檢測算法，較難得到可靠的結果。本方法通過在水稻齊穗至灌漿期之間進行采集圖像，來規避水稻稻穗松散交纏的情況發生，可以形成標準化的數據采集和穗數預測技術體系，但這也縮短了田間數據采集的時間窗口。在不同稻穗數據集上的表現結果表明，YOLOv7 模型優于YOLOv5 模型，與YOLOv7 在其他領域的報道結果一致［17-19］。本試驗建立的單位面積水稻穗數計算方法尚有不足，仍需進一步優化算法、引入面積計算機制，以進一步提高識別和計數準確率。

4 結論

本研究初步建立了基于YOLOv7 的無人機田間水稻單位面積穗數的快速調查方法，田間調查時間為從水稻齊穗期至灌漿期，所建立的預測模型和方法具有較高精度，可應用于實際田間測產工作。YOLOv7 對稻穗的識別普遍優于YOLOv5，不同品種類型植株需要不同的稻穗計數測產模型和方法，本技術對粳稻的檢測精度優于秈稻，對秈稻的檢測算法需進一步優化。