基于虛擬數據和旋轉目標檢測分析的大豆豆莢表型參數測量方法

摘要：為解決傳統大豆考種過程中人工測量大豆豆莢表型參數耗時費力的問題以及現有的自動化測量方式存在的人工數據標注需求量大、環境適應能力弱、計算代價高等問題，本研究提出一種基于虛擬數據集生成和旋轉目標檢測分析的豆莢關鍵表型參數自動化測量方法，重點關注莢長和莢寬的測量。該方法基于YOLOv7-tiny提出一種改進的豆莢檢測模型（CSL-YOLOv7-tiny），通過引入環形平滑標簽使模型獲得對旋轉目標的檢測能力，提升對無序擺放的狹長豆莢目標檢測的質量。為避免人工標注訓練數據，采用虛擬圖像生成方法得到含標注信息的虛擬豆莢數據集和虛擬硬幣與豆莢混合數據集。利用遷移學習策略，將模型從虛擬豆莢數據集遷移至虛擬硬幣與豆莢混合數據集，積累模型對豆莢特征的提取能力。設計一種基于K-均值聚類的后處理方法，對檢測到的旋轉邊界框進行分析，得到莢長和莢寬，以減少拍攝環境差異帶來的測量誤差。試驗結果表明，在無任何訓練數據標注的條件下，使用虛擬圖像訓練的CSL-YOLOv7-tiny對硬幣和豆莢目標檢測的最優mAP0.50和mAP0.50∶0.95分別達到了99.3%和78.0%，其模型大小和推理時間分別僅為12.92 MB和12.5 ms，莢長和莢寬測量的決定系數（R2）分別達到了0.94和0.86，與實際測量均值分別僅相差0.42 mm和0.02 mm。此外，通過對本研究提出的方法進行對比分析，驗證了其在模型訓練、輕量化部署以及不同考種環境適應能力上的優勢。研究結果可為大豆豆莢表型參數的自動化、智能化測量系統的研發提供參考，為加速優質高產大豆的選育進程提供支撐。

關鍵詞：大豆考種；豆莢表型；虛擬數據；旋轉目標檢測；YOLOv7-tiny

中圖分類號：TP391.4文獻標識碼：A文章編號：1000-4440（2024）07-1245-15Measurement method for soybean pod phenotypic parameters based on virtual data and rotated object detection analysisWU Kanglei1，2，JIN Xiu 1，2，RAO Yuan1，2，LI Jiajia3，WANG Xiaobo3，WANG Tan1，2，JIANG Zhaohui1，2

（1.College of Information and Artificial Intelligence， Anhui Agricultural University， Hefei 230036， China;2.Key Laboratory of Agricultural Sensors， Ministry of Agriculture and Rural Affairs， Hefei 230036， China;3.College of Agronomy， Anhui Agricultural University， Hefei 230036， China）

Abstract：To solve the problems such as time-consuming and labor-intensive of manual measurement for soybean pod phenotypic parameters in traditional soybean seed evaluation processes， as well as the large quantity demand for manual data annotation， weak environmental adaptation and high computational costs in existing automated measurement methods， an automated measurement method for pod key phenotypic parameters which was mainly focused on pod length and width measuring was proposed in this study， based on virtual dataset generation and rotated object detection analysis. An improved pod detection model （CSL-YOLOv7-tiny） was proposed by the method based on YOLOv7-tiny. The Circular Smooth Label was introduced to enable the model to obtain the capability for rotated object detection， and to improve the quality of detecting elongated pod targets in a disorganized arrangement. To avoid manual annotation of training data， virtual image generation method was used to get virtual pod dataset as well as virtual coin and pod mixture dataset containing annotation information. Transfer learning strategy was employed to transfer the model from the virtual pod dataset to the virtual coin and pod mixture dataset， which accumulated the model’s ability in pod features extracting. A post-processing method based on K-means clustering was designed to analyze the detected rotated bounding boxes， and obtained pod length and width， which reduced measurement errors caused by shooting environmental differences. Experimental results showed that under the condition of no training data annotation， CSL-YOLOv7-tiny trained by virtual images obtained the optimal mAP0.50 and mAP0.50∶0.95 for coin and pod targets detection， which were 99.3% and 78.0%， respectively. The model size and inference time were only 12.92 MB and 12.5 ms respectively， and the determination coefficients （R2） for pod length and width measurement reached 0.94 and 0.86 respectively， with only 0.42 mm and 0.02 mm differences compared with actual measurements. Furthermore， by comparative analysis of the proposed method， the advantages in model training， lightweight deployment and adaptation to different breeding environments were validated. The research results can provide reference for development of automated and intelligent measurement system of soybean pod phenotypic parameter and can support the acceleration of high-quality and high-yield soybean breeding.

Key words：soybean seed evaluation;soybean pod phenotype;virtual data;rotated object detection;YOLOv7-tiny

大豆富含植物油和蛋白質，是一種營養價值極高的農作物[1]。隨著中國居民的消費結構轉型升級，大豆的需求量明顯增加，而受耕地資源限制，大豆的總產量增幅較小，使得大豆的進口依賴度居高不下，這對中國糧食安全構成了潛在威脅[2]。因此培育高產量高質量的新品種大豆，對提高大豆供給能力、解決資源受限問題有著重要意義。優質大豆品種的選育過程中，準確測量大豆表型并進行統計分析是其中的關鍵環節。傳統的大豆表型性狀測量以人工觀察和手動統計方式為主，然而，人工統計往往存在測量誤差大、效率低并且會消耗大量人力和物力等不足[3-5]。因此，實現自動化、高精度的大豆表型測量對于大豆品種精準選育具有重要意義。

隨著圖像處理和深度學習技術的快速發展，越來越多的研究將其應用于農業領域[6-8] ，這對自動化農業發展作出了巨大貢獻。為解決大豆表型人工測量耗時費力的問題，已有許多學者投入到大豆表型性狀自動化測量方法的探索中。Uzal等[9]基于CNN模型估算豆莢中的種子數量并實現對大豆豆莢的分類，分類準確率達到了86.20%。閆壯壯等[10]基于搭配Adam優化算法的Vgg16模型實現了對大豆豆莢類別的精準識別，準確率高達98.41%。郭瑞等[11]通過融合K-均值聚類算法與改進的注意力機制模塊對YOLOv4目標檢測算法進行改進，并用于不同場景下的大豆單株豆莢數的檢測。寧姍等[12]基于改進的單步多框檢測（SSD）網絡和蟻群優化算法提取出完整的大豆植株莖稈和豆莢目標，獲得了整株莢數、株高、有效分枝數等表型信息。王躍亭等[13]通過植株分割、骨架提取、主莖節點去噪等操作和HDBSCAN聚類算法對大豆主莖節數進行逐級篩選統計，實現了大豆主莖節數的快速獲取。

豆莢表型是大豆表型性狀的重要組成部分，其中莢長、莢寬、莢粒數和莢皮色等是關鍵的豆莢表型參數，與全株莢數、主莖節點數等表型的測量相比，測量莢長和莢寬等表型更為耗時費力。目前，莢長和莢寬的自動化測量方法主要分為3種：第1種為傳統圖像處理方法，如張小斌等[14]提出的基于計算機圖像處理技術的菜用大豆豆莢表型信息采集分析方法，傳統圖像處理技術可以避免標注數據并擁有較高的檢測速度，但其泛化能力和魯棒性較差[15-16]，測量精度易受環境影響；第2種方法為單階段目標檢測方法，如翔云等[17]將基于YOLOv5和圖像處理的智能數據采集技術應用于菜用大豆莢型表型的識別，以Yolo系列[18]為代表的單階段目標檢測模型具有較低的計算代價[19]，易于部署到實際應用場景中，但在豆莢分布較為集中時基于水平邊界框計算莢長與莢寬的方法存在較大的誤差；第3種方法為實例分割方法，如Li等[20]基于特征金字塔、主成分分析和實例分割構建了大豆表型測量實例分割（SPM-IS）模型，用于莢長和莢寬等豆莢表型測量，該類方法可得到較高的檢測精度，但檢測速度較慢且模型體積較大，不利于輕量化部署。總之，上述3種方法尚存在環境適應能力弱、測量誤差大、計算代價高等問題。

為滿足深度學習模型訓練對高質量標注數據的需求，學者們開始嘗試設計虛擬圖像生成方法以減少人工數據采集與標注[21-23]，并以此降低模型訓練成本。在訓練豆莢檢測模型或分割模型時，由于豆莢展現出的狹小形狀以及豐富多樣的特征，導致豆莢圖像數據標注難度高且數量需求大。Yang等[24]通過使用Photoshop從圖像中手動提取出單個豆莢，再利用這些豆莢生成虛擬圖像，并將其用于實例分割模型的訓練以得到豆莢分割模型，該研究驗證了生成虛擬圖像用于豆莢分割模型訓練的可行性，但其虛擬豆莢圖像生成過程未實現完全自動化，仍面臨人工提取單個豆莢過程的費時問題。因此，設計一種全自動化的虛擬豆莢圖像生成算法以生成具有豐富特征的豆莢圖像數據集，對于進一步降低人工數據標注代價具有重要意義。

綜上所述，為解決當前自動化測量方法面臨的人工數據標注依賴性強、精度易受環境變化影響、輕量化程度低等問題，本研究提出一種自動化測量大豆豆莢關鍵表型參數的方法。為克服深度學習檢測模型對大量標注數據的需求，通過從真實圖像中自動提取豆莢或硬幣圖像，與背景結合實現虛擬數據集及相應標注數據的全自動生成。為提高對豆莢的檢測性能，利用從虛擬豆莢數據集到虛擬硬幣與豆莢混合數據集的遷移學習過程，提升模型對豆莢目標的特征提取能力。引入環形平滑標簽改進YOLOv7-tiny模型以實現對無序擺放的狹長豆莢目標的旋轉框檢測，通過基于K-均值聚類的后處理方法分析硬幣和豆莢目標的旋轉邊界框信息以獲得莢長、莢寬。

1材料與方法

1.1數據采集

本研究所需大豆來自安徽農業大學位于宿州埇橋區的皖北綜合試驗站。圖1展示了采集的部分豆莢圖像、硬幣圖像以及硬幣與豆莢混合圖像。數據采集時，首先使用剪刀將豆莢從植株上剪下，隨機擺放在黑色吸光布上。數據采集設備采用佳能6D Mark Ⅱ型相機和Redmi K60手機，相機用于拍攝高質量圖像，手機用于拍攝更貼近實際考種應用場景的圖像。

如表1所示，數據采集分為4個部分：第1部分為豆莢圖像采集，為了得到高質量的豆莢特征，使用佳能6D Mark Ⅱ型相機拍攝獲得360張豆莢圖像，其中200張圖像用于生成虛擬圖像，160張圖像用于制作測試集；第2部分為硬幣圖像采集，該部分圖像使用Redmi K60手機進行拍攝，最終獲得100張硬幣圖像，用于生成虛擬圖像;第3部分為硬幣與豆莢混合圖像采集，使用Redmi K60手機拍攝獲得45張圖像，用于制作測試集；第4部分為用于生成數據集的背景圖像采集，該部分采用相機和手機各拍攝1張黑色吸光布圖像，用于生成虛擬圖像。

1.2虛擬數據集生成

本研究提出的全過程自動化生成虛擬圖像的方法如圖2所示，該方法包括單個豆莢圖像提取、單個硬幣圖像提取和虛擬圖像生成2個階段。

1.2.1單個豆莢和硬幣圖像的提取在單個豆莢圖像、硬幣圖像提取階段，先讀取1張硬幣或豆莢圖像，隨后對圖像進行輪廓點檢測，得到若干硬幣或豆莢目標的輪廓點信息，通過執行圖像與運算的操作來確定1組輪廓點包圍的目標區域，然后對目標區域進行裁剪得到單個硬幣或豆莢圖像，接著判斷是否提取了1張硬幣圖像或豆莢圖像中的全部目標，若否，則確定下一組輪廓點包圍的目標區域，若是，則完成對1張硬幣圖像或豆莢圖像中單個硬幣圖像或豆莢圖像的提取。

1.2.2虛擬圖像生成在虛擬圖像生成階段，分為虛擬豆莢圖像生成過程和虛擬硬幣與豆莢混合圖像生成過程。為生成虛擬硬幣與豆莢混合圖像，首先讀取單個硬幣圖像，對圖像進行隨機旋轉后，隨機移動硬幣目標區域（硬幣目標區域為對旋轉后的硬幣圖像進行輪廓點檢測得到的硬幣輪廓點所包圍的區域）的像素至背景圖上，在完成全部硬幣目標的移動后再讀取單個豆莢圖像，然后隨機旋轉單個豆莢圖像并隨機移動豆莢目標區域（豆莢目標區域為對旋轉后的豆莢圖像進行輪廓點檢測得到的豆莢輪廓點所包圍的區域）的像素至背景圖上，直到完成全部豆莢目標的移動，得到虛擬硬幣與豆莢混合圖像，最終依據各個硬幣和豆莢輪廓點的最小外接矩形坐標信息生成相應的標注文件。虛擬豆莢圖像生成過程和虛擬硬幣與豆莢混合圖像生成過程類似，但為生成僅含豆莢的虛擬圖像，該部分未進行硬幣目標的移動，僅通過移動豆莢目標像素來得到虛擬豆莢圖像與相應的標注文件。

圖3展示了生成的虛擬豆莢圖像和虛擬硬幣與豆莢混合圖像。在虛擬豆莢圖像中，豆莢之間存在重疊，而在虛擬硬幣與豆莢混合圖像中硬幣和豆莢之間并未重疊。原因在于：虛擬豆莢圖像數據集僅作為遷移學習的源域來初步積累模型對豆莢特征的提取能力，因此對豆莢之間是否存在重疊不作要求，而在最終的豆莢和硬幣檢測模型訓練過程中需提取更完整的豆莢和硬幣特征，故在虛擬硬幣與豆莢混合圖像生成過程中，移動目標區域像素時需判斷其是否與其他目標的最小外接矩形區域存在重疊。

1.2.3數據處理本研究采用生成的虛擬圖像數據集訓練模型。如表2所示，虛擬圖像數據集分為2類，分別對應遷移學習的源域與目標域。具體而言，一種為虛擬豆莢圖像數據集，該數據集僅包含豆莢圖像，用于源域的檢測模型訓練，以積累模型對豆莢特征的提取能力；另一種為虛擬硬幣與豆莢混合圖像數據集，該數據集包含硬幣和豆莢2個目標的圖像，用于目標域檢測模型的訓練，以得到最終的檢測模型。為滿足試驗的需要，本研究通過虛擬數據生成算法分別生成了400張、600張、800張和1 000張圖像，用于制作虛擬豆莢圖像數據集和虛擬硬幣與豆莢混合圖像數據集中的訓練集和驗證集，2種虛擬數據集中訓練集和驗證集所含圖像數量的比例均為8∶2。此外，160張用相機拍攝的豆莢圖像用于測試通過虛擬豆莢圖像數據集訓練得到的模型檢測豆莢目標的性能，40張用手機拍攝的硬幣與豆莢混合圖像用于測試通過虛擬硬幣與豆莢混合圖像數據集訓練得到的模型檢測硬幣與豆莢目標的性能，剩余5張用手機拍攝的硬幣與豆莢混合圖像用于測試模型實際考種環境下測量莢長和莢寬的性能。

1.3基于旋轉目標檢測的CSL-YOLOv7-tiny模型構建YOLOv7[25]作為當前主流的目標檢測模型之一，被廣泛地應用于各個領域。模型采用了包括增強高效層聚合網絡（E-ELAN）、復合模型縮放等新方法，同時引入多頭框架和輔助頭部進行深度監督，通過軟標簽訓練，實現更有效的學習。為了便于輕量化部署，YOLOv7衍生出了輕量化版本——YOLOv7-tiny，其具有更低的模型參數量和計算復雜度，更易于部署到邊緣設備中。為緩解目前豆莢表型參數測量方法存在的計算代價高的問題，本研究采用YOLOv7-tiny模型作為豆莢識別基礎模型進行改進。

盡管角度回歸在旋轉目標檢測中表現出色，但普遍存在邊界不連續的問題，這導致模型在角度邊界處損失值急劇增加，主要是由于角度預測結果超出了定義的范圍[26]。為了應對這一問題，Yang等[26]設計出環形平滑標簽（CSL），將角度回歸問題轉變為分類問題，將角度劃分為0°到179°之間的180個角度標簽類別。

如圖4所示，為更有效地檢測形狀彎曲且狹窄的豆莢目標，本研究采用環形平滑標簽改進YOLOv7-tiny模型，使其獲得旋轉檢測目標的能力，以更好地適應豆莢的形狀特征并為莢長和莢寬的測量奠定基礎。具體地，環形平滑標簽被用于在訓練前預處理數據集中的角度標簽，將角度映射為180個值作為輸入網絡的角度標簽，并在計算損失函數時使用二值交叉熵損失計算角度損失。環形平滑標簽（CSL）的表達式如公式（1）所示：

1.4莢長與莢寬自動化測量方法

本研究在得到模型的檢測結果后，通過一系列后處理操作實現豆莢莢長與莢寬的準確測量。其中，先對檢測得到的硬幣目標旋轉邊界框進行分析來得到檢測圖中單位像素對應的毫米值，再對豆莢目標旋轉邊界框進行分析得到最終的莢長和莢寬表型參數值。

1.4.1單位像素對應毫米值的計算取硬幣目標旋轉邊界框的長度和寬度之和的平均值，再用硬幣真實直徑除以計算得到的長寬均值作為單位像素對應的毫米值，計算方法如公式（3）所示：

1.4.2莢長與莢寬的計算為更精準高效地測量莢長和莢寬，本研究提出了1種基于K-均值聚類的莢長和莢寬測量方法。采用該方法測量1個目標豆莢莢長和莢寬的過程如圖5所示，首先灰度化完成檢測的豆莢圖像并生成目標豆莢邊界框區域掩碼，通過掩碼與灰度圖的運算提取目標豆莢區域，然后裁剪目標豆莢區域，以目標豆莢邊界框的短邊為底旋轉整個區域；將區域內的每一像素點與其所在的列索引進行組合，形成以列索引為橫坐標、像素值為縱坐標的一系列二維坐標數據。使用K-均值聚類算法對二維坐標數據樣本進行聚類，簇的數目設為2，迭代次數設為10。聚類結束后得到2類數據，對2類數據中的像素值分別進行求和，以像素值求和結果較大的類別對應的像素點作為前景，即屬于豆莢的像素，結果較小的類別對應的像素點作為背景，形成1幅二值圖像。

莢寬的計算：對K-均值聚類后形成的二值圖像進行距離變換，計算豆莢區域每一像素點到背景像素點的最短距離，以距離變換中最短距離最大的像素點作為圓心，以該像素點與背景像素點的最短距離作為半徑得到豆莢區域內的最大圓，將該圓的直徑與單位像素對應的毫米值相乘得到目標豆莢的真實莢寬，計算過程如公式（4）和公式（5）所示：

莢長的計算：移除K-均值聚類后形成的二值圖像中行向量全為背景像素的行，將處理后的二值圖像的長度與單位像素對應的毫米值相乘，得到目標豆莢的真實莢長。

2.1試驗環境配置與網絡參數設置

本研究模型訓練和測試環境為Centos7.9 64位操作系統，服務器配置為Intel Xeon Gold 5118（2.30 GHz）12核CPU（中央處理器），NVIDIA RTX2080Ti GPU（圖形處理器），顯存11 GB，深度學習框架PyTorch1.10，開發語言Python 3.7，并行計算框架CUDA 11.2和加速庫cuDNN7.6.5。本研究所有模型對比試驗均在該硬件配置條件下進行。模型訓練輪數設置為300輪，學習率設置為0.01，批大小設置為16。

2.2評價標準

本研究采用平均檢測精度（AP）、平均檢測精度均值（mAP）、模型大小和模型推理速度作為檢測模型的評價指標，采用決定系數（R2）、平均絕對誤差（MAE）和均方根誤差（RMSE）作為豆莢表型參數自動化測量方法的評價指標。

2.3虛擬豆莢數據集有效性分析

為了驗證生成的虛擬豆莢數據集的有效性，并探究YOLOv7-tiny模型的優勢和CSL-YOLOv7-tiny模型的性能，本研究對比分析了兩階段的Faster R-CNN[27]模型和一階段的YOLOv5n、YOLOv7-tiny與CSL-YOLOv7-tiny模型分別在400張、600張、800張和1 000張虛擬豆莢圖像組成的數據集下訓練后的性能（表3）。值得注意的是，訓練模型使用的訓練集和驗證集由虛擬豆莢圖像組成，而為了測試模型在真實場景下的檢測精度，測試集由真實拍攝的圖像構成。此外，模型大小和推理時間為各個模型在1 000張虛擬豆莢圖像組成的數據集下訓練得到的結果。

從表3可以看出，使用虛擬豆莢圖像訓練的各個模型均取得了較高的檢測精度，且模型的精度隨虛擬豆莢數據集規模的增大而逐漸增加并趨于穩定。如圖6所示，隨著迭代輪數的增加，各個模型在400張、600張、800張和1 000張虛擬圖像組成的數據集下訓練取得的AP0.50也逐漸增加，并最終呈現收斂的情況，未出現過擬合或者欠擬合的情況。因此，虛擬豆莢數據集可以有效地用于模型的訓練，避免了訓練模型前耗時費力的數據標注工作。

在400張、600張、800張和1 000張虛擬豆莢圖像組成的數據集下，與Faster R-CNN模型相比，YOLOv7-tiny的AP0.50分別高出了1.4個百分點、1.5個百分點、2.6個百分點和2.5個百分點，且擁有更輕量化的模型結構以及更快的推理時間；與YOLOv5n相比，YOLOv7-tiny的AP0.50分別高出了1.1個百分點、0.9個百分點、0.8個百分點和0.6個百分點，雖然輕量化水平稍弱于YOLOv5n，但其也可達到輕量化的部署需求。因此，選擇YOLOv7-tiny模型作為基準模型進行旋轉目標檢測的改進是合適的。

與Faster R-CNN和YOLOv5n 模型的最優AP0.50相比，CSL-YOLOv7-tiny模型的最優AP0.50分別高出1.6個百分點和0.5個百分點，充分體現了CSL-YOLOv7-tiny模型的優越性。與基準模型YOLOv7-tiny相比，加入環形平滑標簽的CSL-YOLOv7-tiny模型大小增加了0.95 MB，推理時間增加了0.3 ms，這可能是因為加入環形平滑標簽帶來了額外計算開銷；同時，其精度有所下降，但當虛擬圖像數量達到800張和1 000張時，精度的差距只有0.1個百分點，這說明加入環形平滑標簽并未對模型輕量化程度和檢測性能造成較大損失。

上述試驗結果充分說明了使用虛擬豆莢圖像訓練模型的有效性，虛擬豆莢圖像的合成經歷了從真實豆莢圖像中提取若干張單個豆莢圖像并將其進行隨機組合的過程，其保留了真實豆莢所具有的細節特征，在合成過程中通過旋轉和隨機移動等操作來展現多樣的豆莢特征以及分布情況，提供給模型訓練并學習豆莢的特征以精確地檢測到豆莢。通過從真實豆莢圖像中提取豆莢并合成虛擬圖像，避免了耗時費力的人工標注過程，極大地降低了訓練一個高性能檢測模型的成本。此外，該試驗驗證了選擇YOLOv7-tiny模型作為基準模型的優勢，同時表明加入環形平滑標簽使得模型檢測性能和輕量化水平略有下降，但模型仍表現出較高的檢測性能，可為后續基于旋轉邊界框的莢長莢寬測量奠定基礎。2.4檢測模型不同訓練方法分析

為了評估遷移學習的效果，并驗證虛擬硬幣與豆莢混合數據集的有效性，本研究以CSL-YOLOv7-tiny模型為基礎，對比了在由400張、600張、800張和1 000張虛擬硬幣與豆莢混合圖像組成的數據集下使用遷移學習和未使用遷移學習訓練模型后的性能。由于在2.3節試驗中CSL-YOLOv7-tiny模型在1 000張虛擬豆莢圖像組成的數據集下訓練后得到的模型性能最優，因此使用其得到的模型權重進行遷移學習。

如表4所示，使用遷移學習與未使用遷移學習訓練得到的模型的mAP0.50指標相差不大，且隨著虛擬圖像數量的增加，其數值變化不大，這說明在不考慮檢測邊界框質量的情況下，通過上述2種方式在不同規模的虛擬硬幣與豆莢混合數據集下訓練得到的模型均能準確檢測到豆莢和硬幣，且檢測精度穩定。而在更嚴格的mAP0.50∶0.95指標下，使用遷移學習和未使用遷移學習在不同規模的虛擬硬幣與豆莢混合數據集下訓練的結果均存在較大差異，具體來說，在400張、600張、800張和1 000張虛擬硬幣與豆莢混合圖像組成的數據集下訓練模型，使用遷移學習比未使用遷移學習得到的mAP0.50∶0.95分別高出了2.4個百分點、5.5個百分點、2.6個百分點和1.2個百分點，這表明在進一步考慮檢測到的邊界框質量的情況下，采用遷移學習方法訓練模型具有明顯優勢。

本研究中豆莢莢長和莢寬參數的測量是基于對豆莢檢測邊界框的進一步處理來實現的，因此有必要關注檢測邊界框的質量，評估模型性能時，mAP0.50和mAP0.50∶0.90均具有參考價值。本研究發現，遷移學習的應用有效提升了豆莢目標邊界框的質量，充分表明其在實際考種場景中對于莢長和莢寬準確測量的潛力。

為進一步驗證使用遷移學習方法訓練模型的優勢，圖7展示了2種訓練方法得到的模型檢測結果。圖中圓圈框出的為低質量的檢測邊界框，放大了未使用遷移學習的模型檢測結果中的低質量檢測邊界框以及使用遷移學習的模型檢測結果中的對應檢測邊界框，可以看出低質量的檢測邊界框無法將整個豆莢目標很好地框選出來。2種訓練方法得到的模型都能夠檢測到所有的豆莢目標，但均存在檢測邊界框質量較差的情況。未使用遷移學習得到的模型出現低質量檢測邊界框的次數更多，比使用遷移學習得到的模型多4個。由于計算莢長與莢寬需要依賴檢測邊界框信息，低質量的豆莢檢測邊界框會造成莢長和莢寬測量誤差，相較于不使用遷移學習訓練模型，使用遷移學習進行模型訓練可以得到更優的檢測結果。

2.5豆莢長寬測量結果分析

為了進一步評估本研究提出的莢長和莢寬自動化測量方法在實際考種場景下的測量性能，本研究使用5張手機拍攝的圖像進行測試，每張圖像各包含20個豆莢目標，共包含100個豆莢目標。對這100個豆莢目標的莢長和莢寬進行人工測量，并與本研究提出的方法得到的測量值進行對比，采用R2、MAE和RMSE評價指標來評估該方法的測量性能。

如表5所示，在莢長測量方面，本研究提出的自動化測量方法表現出色，R2達到0.94，MAE為0.80，RMSE為1.37，顯示出與實際觀測值間的良好擬合度和準確性。而在莢寬預測方面，雖然R2為0.86，但MAE和RMSE都保持在相對較低的水平，分別為0.18和0.21。這表明所提出的方法對莢寬表型的預測同樣具有較高的準確性。此外，莢長的人工測量均值和本研究方法的測量均值相差0.42 mm，莢寬的人工測量均值和本研究方法的測量均值相差0.02 mm，本研究方法的測量結果與人工測量結果基本一致，進一步驗證了本研究所提出的測量方法的可靠性。pod為模型檢測到的豆莢目標標簽，數據表示模型對豆莢目標檢測結果的置信度。

圖8給出了莢長和莢寬的預測結果。顯然，本研究方法測量出的莢長和莢寬均高度接近實際數值，測量結果集中地分布于理想預測直線（y=x）附近，但2種測量結果均出現了少量異常點，造成該現象的原因可能是使用K-均值聚類方法測量莢長和莢寬的過程會受噪聲的影響，導致異常結果出現。總體來看，莢長和莢寬的自動測量均展現出了較優的性能，誤差也保持在合理范圍內。

2.6不同自動化測量方法對比

本研究提出CSL-YOLOv7-tiny模型，通過從虛擬豆莢數據集到虛擬硬幣與豆莢混合數據集的遷移學習訓練模型，并基于K-均值聚類的后處理方法對檢測結果進行分析處理，實現了對大豆豆莢關鍵表型的自動化測量。現將本研究提出的方法與不同大豆豆莢表型的自動化測量方法進行對比，分析本研究所提出的測量方法的有效性。

2.6.1基于傳統圖像處理的方法圖9展示了實際的典型考種環境中不同光照條件下傳統圖像處理方法和本研究設計的測量方法的結果對比。傳統圖像處理方法往往依賴于圖像二值化，可以看到，在正常亮度的測試圖像下二值化效果最佳，而在亮度較低的條件下二值化后會丟失大量豆莢目標像素信息，在亮度較高的條件下二值化后會造成大量的噪聲。二值化往往需要設定閾值來達到預期效果，受環境影響顯著，當拍攝環境發生變化時，使用傳統圖像處理方法來測量莢長和莢寬會造成較大的誤差。本研究設計的方法采用CSL-YOLOv7-tiny旋轉目標檢測模型和基于K-均值聚類的后處理過程來得到莢長和莢寬，在3種典型考種環境下的測量結果未出現較大的誤差，有效地避免了環境變化帶來的影響，具有較強的考種環境適應能力。

2.6.2基于實例分割的方法在本研究的試驗中，基于兩階段的檢測模型Faster R-CNN的模型大小為315.87 MB，推理時間為103.3 ms，而CSL-YOLOv7-tiny模型大小僅有12.92 MB，推理時間為12.5 ms，與Faster R-CNN模型相比分別降低了95.9%、87.9%。此外，文獻[24]采用Mask R-CNN進行豆莢圖像分割，在使用相同主干網絡的情況下，其模型參數量高于Faster R-CNN，實際部署應用困難。本研究設計的CSL-YOLOv7-tiny模型具有更小的體積和更短的推理時間，更易于在實際大豆考種過程中的邊緣端部署應用。

2.6.3基于目標檢測的方法與實例分割模型相比，目標檢測模型的輕量化程度更高，但由于豆莢特殊的狹長形狀，采用基于水平邊界框的目標檢測模型測量莢長和莢寬會產生很大的誤差，往往需要加入后處理的過程才能進一步準確地測量，然而后處理操作需避免噪聲干擾，若區域內噪聲較多則會影響后處理過程。如圖10所示，基于水平目標檢測得到的邊界框區域范圍較廣，在一個豆莢目標邊界框區域內會出現其他豆莢目標的部分像素，而采用旋轉目標檢測可以有效地避免該問題，并減輕密集分布的豆莢間的干擾，可以更好地對豆莢區域采取進一步處理來獲得更精確的莢長和莢寬。

2.6.4基于深度學習方法的訓練數據獲取基于深度學習的檢測與分割模型訓練往往需要依賴大量數據標注，如圖11所示，目標檢測任務需要對物體進行邊界框標注，實例分割任務需要對物體進行輪廓點標注，然而數據標注過程十分耗時，且對于豆莢這類形狀不定的目標，標注過程較為困難，從而導致訓練1個豆莢檢測模型或分割模型的成本較高。本研究提出的虛擬數據集生成方法有效地緩解了該問題，在未使用任何人工標注數據的條件下，使用虛擬豆莢圖像和虛擬硬幣與豆莢混合圖像訓練的模型在實際拍攝的圖像上均取得了較高的檢測精度，與文獻[24]的結果相比，本研究設計的虛擬數據生成方法避免了從真實圖片中人工提取單個豆莢的過程，輸入真實圖片后無需人工干預即可得到帶有標注信息的虛擬圖像，實現了端到端式的虛擬豆莢圖像生成，用生成的虛擬數據訓練模型，在得到了高精度的同時最大程度地降低了模型的訓練成本。

pod為模型檢測到的豆莢目標標簽，數據表示模型對豆莢目標檢測結果的置信度。

3結論

本研究提出了虛擬豆莢數據集、虛擬硬幣與豆莢混合數據集生成方法，通過遷移學習方法訓練CSL-YOLOv7-tiny模型，并設計基于K-均值聚類的后處理方法對檢測結果進行分析，實現了大豆豆莢表型參數自動測量，主要結論如下：

（1）通過采用不同規模虛擬豆莢數據集進行訓練， CSL-YOLOv7-tiny模型取得的AP0.50最優值為99.2%；通過采用不同規模虛擬硬幣與豆莢混合數據集進行訓練， CSL-YOLOv7-tiny模型取得的最優mAP0.50 和mAP0.50∶0.95分別達到了99.3%和78.0%。本研究設計的虛擬圖像生成方法實現了端到端式的虛擬圖像生成，使用虛擬圖像訓練得到的模型均取得了較高的檢測精度，且完全避免了數據人工標注，降低了模型訓練的成本。

（2）CSL-YOLOv7-tiny模型在虛擬豆莢數據集上訓練得到的最優AP0.50分別比Faster R-CNN和YOLOv5n模型高1.6個百分點和0.5個百分點；通過使用遷移學習，模型在不同規模虛擬硬幣與豆莢混合數據集上訓練得到的mAP0.50∶0.95較未使用遷移學習訓練得到的模型均具有明顯的提升，在遷移學習過程中，模型積累了復雜豆莢特征的提取能力，與未使用遷移學習方法訓練的模型相比具有更高的檢測邊界框質量。此外，CSL-YOLOv7-tiny模型大小僅有12.92 MB，推理速度達到了12.5 ms，更易于輕量化部署及應用。

（3）利用基于K-均值聚類的后處理方法測量莢長和莢寬，決定系數（R2）分別達到了0.94和0.86，與實際測量均值分別相差0.42 mm和0.02 mm，本研究設計的莢長和莢寬測量方法獲得了較高的測量精度，且具有較強的考種環境適應能力，該方法為大豆豆莢表型信息的準確、自動智能獲取提供了技術支撐，有助于提高育種專家對優質大豆品種的選育效率。

在未來的工作中，可嘗試結合大模型對更多農作物的種子、果實進行表型測量，如玉米、麥穗和花生等，以建立一個具有強泛化能力的通用表型測量模型，并通過不斷優化算法和輕量化模型來實現更全面的應用，為育種專家進行更廣泛的農作物育種工作提供幫助。

參考文獻：

[1]PADALKAR G， MANDLIK R， SUDHAKARAN S， et al. Necessity and challenges for exploration of nutritional potential of staple-food grade soybean[J]. Journal of Food Composition and Analysis，2023，117：105093.

[2]陳雨生，江一帆，張瑛. 中國大豆生產格局變化及其影響因素[J]. 經濟地理，2022，42（3）：87-94.

[3]宋晨旭，于翀宇，邢永超，等. 基于OpenCV的大豆籽粒多表型參數獲取算法[J]. 農業工程學報，2022，38（20）：156-163.

[4]XIANG S， WANG S Y， XU M， et al. YOLO POD：a fast and accurate multi-task model for dense Soybean Pod counting[J]. Plant Methods，2023，19（1）：8.

[5]ZHOU W， CHEN Y J， LI W H， et al. SPP-extractor：automatic phenotype extraction for densely grown soybean plants[J]. The Crop Journal，2023，11（5）：1569-1578.

[6]周華茂，王婧，殷華，等. 基于改進Mask R-CNN模型的秀珍菇表型參數自動測量方法[J]. 智慧農業，2023，5（4）：117-126.

[7]CHEN S， ZOU X J， ZHOU X Z， et al. Study on fusion clustering and improved yolov5 algorithm based on multiple occlusion of Camellia oleifera fruit[J]. Computers and Electronics in Agriculture，2023，206：107706.

[8]RONG J C， ZHOU H， ZHANG F， et al. Tomato cluster detection and counting using improved YOLOv5 based on RGB-D fusion[J]. Computers and Electronics in Agriculture，2023，207：107741.

[9]UZAL L C， GRINBLAT G L， NAMíAS R， et al. Seed-per-pod estimation for plant breeding using deep learning[J]. Computers and Electronics in Agriculture，2018，150：196-204.

[10]閆壯壯， 閆學慧，石嘉， 等. 基于深度學習的大豆豆莢類別識別研究[J]. 作物學報，2020，46（11）：1771-1779.

[11]郭瑞，于翀宇，賀紅，等. 采用改進YOLOv4算法的大豆單株豆莢數檢測方法[J]. 農業工程學報，2021，37（18）：179-187.

[12]寧姍，陳海濤，趙秋多，等. 基于IM-SSD+ACO算法的整株大豆表型信息提取[J]. 農業機械學報，2021，52（12）：182-190.

[13]王躍亭，王敏娟，孫石，等. 基于圖像處理和聚類算法的待考種大豆主莖節數統計[J]. 農業機械學報，2020，51（12）：229-237.

[14]張小斌，謝寶良，朱怡航，等. 基于圖像處理技術的菜用大豆豆莢高通量表型采集與分析[J]. 核農學報，2022，36（3）：602-612.

[15]趙巖，張人天，董春旺，等. 采用改進Unet網絡的茶園導航路徑識別方法[J]. 農業工程學報，2022，38（19）：162-171.

[16]楊蜀秦，王帥，王鵬飛，等. 改進YOLOX檢測單位面積麥穗[J]. 農業工程學報，2022，38（15）：143-149.

[17]翔云，陳其軍，宋栩杰，等. 基于深度學習的菜用大豆莢型表型識別方法[J]. 核農學報，2022，36（12）：2391-2399.

[18]JIANG P Y， ERGU D， LIU F Y， et al. A review of Yolo algorithm developments[J]. Procedia Computer Science，2022，199：1066-1073.

[19]DIWAN T， ANIRUDH G， TEMBHURNE J V. Object detection using YOLO：challenges， architectural successors， datasets and applications[J]. Multimedia Tools and Applications，2023，82（6）：9243-9275.

[20]LI S， YAN Z Z， GUO Y X， et al. SPM-IS：an auto-algorithm to acquire a mature soybean phenotype based on instance segmentation[J]. The Crop Journal，2022，10（5）：1412-1423.

[21]JUNG Y， BYUN S， KIM B， et al. Harnessing synthetic data for enhanced detection of Pine Wilt Disease：an image classification approach[J]. Computers and Electronics in Agriculture，2024，218：108690.

[22]BARRIENTOS-ESPILLCO F， GASC E， LPEZ-GONZLEZ C I， et al. Semantic segmentation based on deep learning for the detection of Cyanobacterial harmful algal blooms （CyanoHABs） using synthetic images[J]. Applied Soft Computing，2023，141：110315.

[23]ABBAS A， JAIN S， GOUR M， et al. Tomato plant disease detection using transfer learning with C-GAN synthetic images[J]. Computers and Electronics in Agriculture，2021，187：106279.

[24]YANG S， ZHENG L H， YANG H J， et al. A synthetic datasets based instance segmentation network for high-throughput soybean pods phenotype investigation[J]. Expert Systems with Applications，2022，192：116403.

[25]WANG C Y， BOCHKOVSKIY A， LIAO H Y M. YOLOv7：trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[C]. Vancouver：IEEE，2023：7464-7475.

[26]YANG X， YAN J C. Arbitrary-oriented object detection with circular smooth label[C]. Glasgow：Springer，2020：677-694.

[27]GIRSHICK R. Fast r-cnn[C]. Santiago：IEEE，2015：1440-1448.

（責任編輯：陳海霞）