基于特征遞歸融合YOLOv4網絡模型的春見柑橘檢測與計數

易 詩，李俊杰，張 鵬，王丹丹

基于特征遞歸融合YOLOv4網絡模型的春見柑橘檢測與計數

易 詩1,2，李俊杰1，張 鵬1，王丹丹1

（1. 成都理工大學機電工程學院，成都 610059；2. 重慶郵電大學工業互聯網與網絡化控制教育部重點實驗室，重慶 400065）

春見柑橘個體小、單株果樹柑橘密集、柑橘之間的形態與顏色相似度高且易被樹葉嚴重遮擋，這些特點給春見柑橘檢測與計數帶來了較大困難。該研究以實際春見果園環境中的春見柑橘作為檢測與計數對象，提出了一種以春見柑橘為檢測目標的基于特征遞歸融合YOLOv4網絡模型（YOLOv4 network model based on recursive fusion of features，FR-YOLOv4）。針對春見柑橘尺寸小的特點，FR-YOLOv4網絡模型的主干特征提取網絡采用了感受野更小的CSPResNest50網絡，降低了小尺寸目標的特征圖傳不到目標檢測器中的可能性；針對春見柑橘被遮擋和密集分布的情況，采用了遞歸特征金字塔（Recursive Feature Pyramid，RFP）網絡來進行特征遞歸融合，提高了對果園環境下春見柑橘的檢測精度。試驗結果表明：FR-YOLOv4網絡模型對于果園環境中春見柑橘的平均檢測精度為94.6%，視頻檢測幀率為51幀/s。FR-YOLOv4網絡模型相比于YOLOv4、單次多框檢測器（Single Shot Multi-Box Detector，SSD）、CenterNet和更快速卷積神經網絡（Faster- Region-Convolutional Neural Networks，Faster R-CNN）的平均檢測精度分別提高了8.9、29.3、14.1和16.2個百分點，視頻檢測幀率分別比SSD、Faster R-CNN提高了17和33幀/s。FR-YOLOv4網絡模型對于實際果園環境中春見柑橘的檢測精度高，具備檢測實時性，適用于春見果園中春見柑橘檢測與計數。

機器視覺；圖像處理；模型；檢測；春見柑橘；YOLOv4

0 引 言

隨著農業智能化與自動化的普及，種植園果實的檢測與計數是近年來的研究熱點。春見柑橘為晚熟雜柑品種，是日本有發展前途的雜交柑良種。由于其產量高、肉質脆嫩、化渣、清甜，少籽與無籽、品質優的特點，被廣泛種植于四川、重慶等地[1-2]。春見柑橘果園環境復雜，且單株果樹產量高，柑橘之間遮擋嚴重，在人工勞動力緊張條件下，實現春見柑橘的精準檢測與計數對春見柑橘的經濟價值評估與機械自動化果實采摘具有廣闊應用前景與重大現實意義。

基于深度學習的目標檢測算法具有強大的學習能力和特征表示能力，在對存在遮擋、尺度變換和背景切換的目標檢測效果上比傳統的檢測算法更具優勢。基于深度學習的目標檢測主要包括三類，第一類是基于區域生成的卷積網絡結構，代表網絡為區域卷積神經網絡（Region-Convolutional Neural Networks，RCNN）、更快速卷積神經網絡（Faster Region-Convolutional Neural Networks，Faster R-CNN）[3-4]；第二類是把目標位置的檢測視作回歸問題，直接利用卷積神經網絡（Convolutional Neural Networks，CNN）進行圖像處理，同時預測出目標的類別和位置，代表網絡有單次多框檢測器（Single Shot Multi-Box Detector，SSD）、單次檢測器（You Only Look Once，YOLO）[5-6]；第三類是檢測器采用目標的關鍵點以估計目標中心點，再回歸到其他目標屬性的無錨點目標檢測方法，代表網絡有用于目標檢測的關鍵三元組（CenterNet）[7]。在農作物目標檢測方面，薛月菊等[8]采用了改進型的YOLOv2檢測方法實現了對未成熟芒果的識別。武星等[9]采用了殘差塊串聯的輕量化YOLOv3檢測算法實現了對蘋果的識別。呂石磊等[10]采用了改進的YOLOv3-LITE輕量級神經網絡實現了對柑橘的識別。李善軍等[11]采用了改進的SSD檢測方法實現了對柑橘的實時分類檢測。張領先等[12]等采用非極大值抑制的卷積神經網絡檢測方法對冬小麥麥穗進行計數。鮑文霞等[13]等采用擁擠場景識別網絡（Congested Scene Recognition Network，CSRNet）對田間麥穗進行麥穗密度估計及計數。Yu等[14]采用了基于掩膜的區域卷積神經網絡（Mask Region-based Convolutional Neural Network，Mask R-CNN）提高了草莓采摘機器人果實檢測的性能。Tian等[15]采用了改進的YOLOv3檢測方法實現了對果園不同生長階段的蘋果的識別。Anami等[16]設計了一個深度卷積神經網絡對稻谷各階段進行了檢測。Neupane等[17]利用無人飛行器結合深度學習的方法對香蕉進行檢測和計數。Khaki等[18]將卷積神經網絡與非最大抑制結合對玉米籽粒進行計數。H?ni等[19]結合深度學習方法和基于高斯混合模型的半監督方法對蘋果進行了高精度的檢測和計數。Afonso等[20]利用Mask R-CNN對西紅柿進行了像素級檢測。Rahnemoonfar等[21]設計了一種基于Inception-ResNet的改進型算法對水果進行了有效的計數。Qureshi等[22]利用深度學習對芒果紋理進行分割后對芒果進行計數。黃豪杰等[23]利用基于SSD改進模型對蘋果進行檢測。Wu等[24]采用了改進的YOLOv4網絡模型實現了對蘋果花的識別。但以上方法未涉及復雜特定條件下的果實檢測與計數，本研究以YOLOv4網絡模型為基礎，以遮擋等復雜特定條件為背景，以春見柑橘為檢測與計數對象進行研究。其中YOLOv4網絡模型具有檢測速度快、檢測精度高、模型泛化能力強等優點，但對復雜果園環境中的春見柑橘進行檢測還存在以下問題：1）對小尺寸春見柑橘的檢測精度需進一步提高；2）對重疊和遮擋下的春見柑橘檢測精度需進一步提高；3）對各種不同光照等復雜環境下的密集春見柑橘目標檢測精度需進一步提高。

綜上，本研究針對復雜果園環境中的春見柑橘特點，在YOLOv4目標檢測網絡的基礎結構上，提出了一種基于特征遞歸融合YOLOv4網絡模型（YOLOv4 network model based on recursive fusion of features，FR-YOLOv4）。該網絡模型根據復雜果園環境中春見柑橘的尺寸小、密度大、易遮擋等特點，將原始YOLOv4的主干特征提取網絡換為感受野更小的CSPDarknet53網絡[25]，以此提高對小尺寸春見柑橘的檢測能力，特征融合層采用遞歸特征金字塔（Recursive Feature Pyramid，RFP）[26]，以提高對不同環境下密集遮擋目標的檢測精度。

1 材料與方法

1.1 試驗數據采集

為進行對春見柑橘的精確檢測與計數，需根據果園環境的多樣性進行春見柑橘數據采集，本研究數據采集于四川省蒲江縣春見果園，使用4K攝像頭（AT-C0320X2-REV1.1，索尼）、4K高清相機（FDR-AX700，索尼）等多種設備實時采集圖像與視頻，采集距離為1～3 m，采集時間為1月中上旬，采集環境包括陰天、雨天、晴天、遮擋等，共拍攝得到時長為15～600 s的多段視頻。為增強模型泛化能力和保證春見柑橘數據的多樣性，通過網絡爬蟲得到春見柑橘圖像200張。經過圖像和視頻數據處理，共得到900張不同環境下的高清春見柑橘數據集圖像。

1.2 數據集制作

為提高模型的泛化能力，采用OpenCV軟件工具對數據集進行增廣，包括亮度變化、加入高斯噪聲、45°～60°方向的隨機旋轉。對原始數據集中900張圖像進行上述3種方式的數據增強，最終得到了3 600張圖像的增強數據集。對增強數據集使用LabelImg軟件工具對春見柑橘進行標注。按7∶3劃分訓練集與測試集，其中訓練集包括2 520張圖像，測試集包括1 080張圖像，數據集樣本中春見柑橘圖像樣本如圖1所示。數據集中不同情況數量具體分布如表1所示。

表1 春見柑橘數據集數量分布

2 檢測方法

2.1 YOLOv4 網絡模型

YOLO系列目標檢測網絡模型由于其速度與檢測精度的優勢，被廣泛用于工業與科研領域，YOLOv4是YOLO系列目標檢測網絡模型之一，其特點在于訓練成本低、檢測速度快、檢測精度高。YOLOv4網絡模型由主干特征提取網絡（CSPDarknet53）、YOLOv3目標檢測器[27]、路徑聚合網絡（Path Aggregation Network，PANet）[28]、基于距離交并比的非極大值抑制（Distance Intersection over Union Non Maximum Suppression，DIoU_NMS）[29]4 個部分組成，YOLOv4結構如圖2所示，其中卷積殘差層CSPRes_X結構如圖3所示。YOLOv4模型輸入圖像分辨率為608×608，其主干特征提取網絡采用CSPDarknet53網絡，經主干特征提取網絡得到大小為19×19的深層特征圖，利用空間金字塔池化（Spatial Pyramid Pooling，SPP）[30]對最后得到的特征進行不同尺寸的最大值池化。將經過空間金字塔池化得到的特征進行拼接和處理后送入PANet網絡。PANet網絡在進行特征融合的同時減少了淺層特征的丟失，有助于提高模型的準確率。YOLOv3目標檢測器對不同尺寸的特征進行回歸分析，得到目標位置和分類置信度，DIoU_NMS算法在剔除冗余的檢測框的同時，不僅提高了模型的收斂速度，而且使目標框回歸更加穩定，使目標位置信息更準確，置信度更高。

YOLOv4雖在COCO數據集[31]上取得了較好的檢測效果，但由于YOLOv4網絡模型的主干特征提取網絡CSPDarknet53感受野太大，小目標信息不易傳到YOLOv4的目標檢測器中，易造成小目標丟失。此外特征融合方式不利于檢測遮擋環境下、光照變化條件下的密集春見柑橘目標。因此需要對YOLOv4網絡模型做出改進，進一步提高復雜果園環境中春見柑橘的檢測精度。

2.2 特征遞歸融合YOLOv4網絡模型（FR-YOLOv4）

YOLOv4網絡模型中，在主干特征提取網絡中采用了多個3×3卷積層，并未充分考慮到小尺寸目標的特征圖向后傳遞過程中會因為感受野過大而出現信息丟失嚴重的問題，并且在特征融合層中采用的路徑聚合網絡（PANet）只是單純保留了更多的淺層信息，然而忽視了對于復雜環境單次提取的特征不足的問題和特征金字塔（Feature Pyramid Network，FPN）[31]的表示能力不足以應對遮擋和不同光照等復雜問題。為提高YOLOv4網絡模型對實際復雜果園環境中具有遮擋、不同光照、不同尺寸的春見柑橘目標檢測精度，同時保證檢測的實時性。本研究提出了特征遞歸融合YOLOv4網絡模型。特征遞歸融合YOLOv4網絡模型結構如圖4所示，在YOLOv4網絡模型基礎上采用了一種感受野更小的特征提取網絡CSPResNext50，并將原始YOLOv4網絡模型中的特征融合層FPN換為遞歸特征金字塔（Recursive Feature Pyramid，RFP）。該改進提高了對小尺寸目標的特征提取能力，增強了網絡對特征的學習能力，有利于提升其目標檢測性能，提升實時性。

小尺寸目標檢測困難是由于隨著卷積神經網絡中卷積層數的增加，特征圖的尺寸會不斷縮小，導致小尺寸目標的特征圖傳不到目標檢測器中。FR-YOLOv4網絡模型使用了主干特征提取網絡CSPResNext50，主干特征提取網絡CSPResNext50在ResNext50網絡[32]的基礎之上引入了CSPNet結構。與ResNext50網絡相比，CSPResNext50網絡的計算量減少了47%左右[33]，有利于提高檢測速度，并且ResNext50網絡的殘差單元中采用了組卷積，大大降低了參數量，模型因此更輕量化，便于部署在移動嵌入式設備上。FR-YOLOv4網絡模型的主干特征提取網絡主要由3個卷積歸一化層（Conv_BN_Leaky）、1個最大池化層（MaxPooling）、4個跨階段卷積殘差層（CSPResx_X）組成，跨階段卷積殘差層（CSPResx_X）結構如圖5所示。其中4個跨階段卷積殘差層中的殘差單元的數量分別為3、4、6、3。在最后3個跨階段卷積殘差層中輸出19×19、38×38、76×76大小的特征圖，19×19大小的特征圖用于檢測大尺寸目標，38×38大小的特征圖用于檢測中尺寸目標，76×76大小的特征圖用于檢測小尺寸目標，在遞歸特征金字塔RFP中，以3個尺寸的特征圖進行特征融合，提升檢測精度。

RFP結構主要思想是在特征提取網絡和特征金字塔網絡之間加入了若干條反饋連接，該反饋連接可以將FPN中的特征信息再送給特征提取網絡進行2次甚至多次提取。在反饋連接之前首先會采用1×1的卷積來處理FPN中需要進行反饋的特征，使反饋特征的維度與主干網絡提取的特征維度適配。該方法既能增強主干特征提取網絡提取特征的能力，也能增強FPN對特征的表示能力，極大地提高了檢測性能。

主干特征提取網絡第層輸出的特征圖x計算如式（1）所示。

式中B表示主干特征提取網絡的第層，表示主干特征提取網絡總共的層數，x表示主干特征提取網絡第層所提取的特征圖。

特征金字塔網絡（FPN）第層輸出的特征圖f計算如式（2）所示。

式中F表示特征金字塔FPN中的第次特征融合操作，f表示同時擁有主干特征提取網絡和FPN的網絡中FPN所輸出的第層特征圖。

在RFP中，采用R來表示特征在反饋到主干特征提取網絡之前進行的特征轉換，則x的計算如式（3）所示，RFP中輸出的第層特征圖f計算如式（4）所示。

由此構成一個遞歸特征金字塔，輸出特征f可以不斷地通過遞歸特征金字塔送回到主干網絡反復進行特征提取，有助于網絡對于復雜特征的理解。采用來表示RFP中的第次遞歸，則第次遞歸過程中x的計算公式如式（5）所示，RFP中輸出的第層特征圖f計算公式如式（6）所示。

由于遞歸特征金字塔RFP會增加整個網絡的計算成本，為保證實時性要求，在本試驗中，取最大遞歸次數為2。如再增加遞歸次數，對本試驗配置而言，不僅會造成視頻處理幀率下降，平均精度也不會顯然提高。因此在本文試驗中，保持最大遞歸次數為2，這能以較少的計算成本換取較高的檢測精度，實現對果園環境中具有不同光照和遮擋程度的春見柑橘目標進行高精度與高實時性檢測。

2.3 FR-YOLOv4網絡模型的損失函數

FR-YOLOv4網絡模型的損失函數繼續沿用原始YOLOv4網絡模型中的損失函數，總的損失函數主要分為邊界框回歸損失值（BBOX）、分類損失值（Class）、置信度損失值（Pre）三部分[27]，其計算如式（7）所示。

與YOLOv3網絡模型相比，YOLOv4網絡模型只在邊界框回歸損失值（BBOX）上做了改進，邊界框回歸損失采用了完全交并比損失值（Complete Intersection over Union loss，CIoU）[32]，CIoU考慮了邊界框回歸中被忽略的3個幾何因素，即重疊面積、中心距離、寬高比。因而CIoU能夠更好地描述邊界框回歸，同時CIoU 損失的收斂速度更快，性能更優越。完全交并比損失值（CIoU）的相關定義如式（8）和式（9）所示。

式中IoU為交并比，為預測框，為真實框，ctr為預測框的中心坐標，ctr為真實框的中心坐標，為歐氏距離，表示和的最小包圍框的對角線長度，為長寬比的懲罰項，其中和的相關定義分別如式（10）和式（11）所示。

式中gt、gt分別為真實框的寬和高，、分別為預測框的寬和高，為正參數，用以調節寬高比，衡量了邊界框寬高比的一致性。主要用來使預測框的寬高比與真實框的寬高比盡可能接近，當預測框的寬高比與真實框的寬高比相等時，值為0，CIoU減小，進一步使邊界框的回歸效果更精確，與真實框更接近。

綜上，使用CIoU損失可以直接最小化預測框和真實框的中心距離，有利于提高FR-YOLOv4網絡模型的收斂速度以及邊界框的回歸精度，進一步提高對復雜果園環境中春見柑橘的平均檢測精度與檢測實時性。

2.4 試驗參數

本試驗采用硬件設備配置為Core i5-10600kf 4.1Ghz處理器，內存為16 GB，Geforce GTX 1080ti 8 GB顯卡，軟件試驗配置環境為：Win10操作系統，配置安裝tensorflow1.13.1，Python3.6和Opencv4.4。對FR-YOLOv4網絡模型訓練時，優化器采用隨機梯度下降算法（Stochastic Gradient Descent，SGD）[34]，訓練集圖像分辨率為608×608的圖像，初始學習率設置為0.000 1，動量設置為0.95，訓練迭代次數設置為5 000，每次訓練喂入網絡的批量樣本數為8，每迭代100次保存模型，最終選取在測試集上損失最小的模型為本研究試驗模型[21-24]。

2.5 評價指標

本試驗采用精確率（Precision，）、召回率（Recall，）、平均精度均值（mean Average Precision，mAP）、幀率（Frames Per Seconds，FPS，幀/s）作為評價指標。試驗采用動態視頻采樣，以置信度分數高于0.6的目標數量作為本網絡所檢測到的春見柑橘數量。、和mAP的相關計算如式（12）、式（13）和式（14）所示。

式中TP為被模型預測為正類的正樣本，FP為被模型預測為正類的負樣本，FN為被模型預測為負類的正樣本。

3 結果與分析

3.1 YOLOv4網絡模型改進前后的效果對比

為驗證本研究提出的FR-YOLOv4網絡對實際果園環境中的春見柑橘檢測的優勢，試驗采用改進前的YOLOv4網絡模型、主干特征提取網絡為CSPResNext50的YOLOv4網絡模型、特征融合層為RFP的YOLOv4網絡模型、特征遞歸融合YOLOv4網絡模型（FR-YOLOv4）進行對比。試驗采用相同數據集和相同參數訓練各個模型，并且采用相同測試集來評估模型。在實際果園環境中，春見柑橘體積偏小，柑橘密度大，柑橘之間、柑橘與樹葉之間遮擋嚴重。因此首先選取測試集中在此類情況下出現的春見柑橘目標進行檢測，其檢測結果如圖6所示。

對比小目標測試結果圖，對主干特征提取網絡進行改進前，YOLOv4網絡不能檢測出矩形框中小尺寸春見柑橘。對主干特征提取網絡進行改進后，矩形框中小尺寸春見果實目標能夠被檢測到，春見柑橘邊界框回歸也更精準。因此，采用感受野更小的CSPResNext50特征提取網絡，可防止小尺寸目標特征信息丟失，利于小尺寸目標的檢測，提高了小尺寸春見果實的平均檢測精度。

對比遮擋目標測試結果圖和密集目標測試結果圖，對特征融合層改進前，YOLOv4網絡對于密集春見柑橘目標的識別能力不足，并且由于春見果樹單株產量高，YOLOv4網絡不足應對春見柑橘之間遮擋和樹葉遮擋情況。采用遞歸特征金字塔RFP作為YOLOv4的特征融合網絡后，改進的YOLOv4網絡能夠順利識別到遮擋目標測試圖中矩形框標注的兩處遮擋春見柑橘和密集目標測試圖中矩形框標注的一處密集春見柑橘。因此，該改進提高了YOLOv4網絡在復雜果園環境中的識別力，提高了對遮擋春見柑橘與密集情況下的春見柑橘檢測精度。對于FR-YOLOv4網絡，RFP特征融合網絡彌補了由于CSPResNext50網絡深度不夠而帶來的識別能力不足的問題，CSPResNext50特征提取網絡也彌補了RFP對小尺寸目標特征融合不足的問題。最終測試效果（圖6）顯示FR-YOLOv4網絡模型能夠實現對實際果園環境中小尺寸、高密度、重疊遮擋等不同環境下春見柑橘的精準識別。

經完整測試后，對上述4個目標檢測網絡檢測春見柑橘目標的準確率、召回率、平均精度均值mAP、視頻處理幀率進行統計。由表2可知，對于春見柑橘檢測平均精度，本研究提出的FR-YOLOv4網絡模型比原始的YOLOv4目標檢測網絡模型高出了8.9個百分點，分別比只改進特征提取網絡為CSPResNext50的YOLOv4網絡模型與只改進特征融合層為RFP的YOLOv4網絡模型高出7.3與2.3個百分點，因此FR-YOLOv4網絡模型對于實際果園環境下的春見柑橘檢測效果最精確。FR-YOLOv4網絡模型的視頻處理幀率分別比原始YOLOv4網絡模型和CSPResNext50-YOLOv4網絡模型降低了6和9幀/s，比RFP-YOLOv4網絡模型提高了5幀/s。雖然RFP網絡會增加YOLOv4網絡模型的計算量，造成了幀率的下降，但對于春見柑橘檢測與計數任務，該幀率足以保證春見柑橘檢測的高實時性。

表2 不同YOLOv4網絡模型識別春見柑橘的結果對比

3.2 不同方法的效果對比

為了驗證本研究提取的方法相對于其他目標檢測方法在檢測復雜果園環境中春見柑橘的優勢，本研究采用FR-YOLOv4與目前具有代表性的目標檢測網絡Faster R-CNN[4]、SSD[5]、CenterNet[7]、YOLOv4[27]進行對比，試驗采用相同數據集和相同參數進行訓練，采用相同測試集進行模型評價。在測試時，主要測試小尺寸、遮擋、密集3種情況下春見柑橘的檢測情況，各個模型的檢測情況如圖7所示。

首先，選擇遠距離拍攝的春見柑橘圖像進行測試，此類圖像春見柑橘目標尺寸較小，測試結果如圖7小目標結果圖所示。由圖7小目標測試結果，FR-YOLOv4網絡檢測精度最高。YOLOv4網絡能夠檢測大尺寸春見柑橘，對小尺寸識別精度不足。SSD目標檢測網絡模型只檢測到了3處春見柑橘，CenterNet和Faster R-CNN檢測效果居于SSD和YOLOv4之間。

在實際的果園環境中，由于春見樹葉茂盛，果實產量高，春見柑橘通常被樹葉和果實遮擋，這對檢測與計數造成了相當大的難度。因此再選取測試集中具有遮擋效果的春見柑橘圖像進行測試，測試結果如圖7遮擋結果圖所示。由圖7遮擋結果圖所示，FR-YOLOv4網絡模型對遮擋春見柑橘目標的檢測數量最多，YOLOv4、CenterNet、Faster R-CNN對弱遮擋目標的檢測有一定效果，SSD對遮擋春見柑橘的檢測效果最差。由結果可知，FR-YOLOv4網絡模型對遮擋春見柑橘的檢測最精準。

在春見果園中，春見柑橘常以小尺寸且多遮擋的密集狀態出現，對春見柑橘的精確檢測有一定程度上的影響。因而最后選取測試集中密集狀態下的春見柑橘目標進行測試，檢測結果如圖7密集結果圖所示。由圖7密集結果圖，FR-YOLOv4檢測到的春見柑橘數量最多，對密集狀態下各種復雜遮擋的小尺寸春見柑橘檢測精度最高。YOLOv4網絡檢測數量低于FR-YOLOv4，高于SSD、CenterNet、Faster R-CNN這3種目標檢測網絡模型，僅對輕遮擋目標有較好的檢測效果。

經完整測試后，對上述5個目標檢測網絡檢測春見柑橘目標的準確率、召回率、平均精度均值mAP、視頻處理幀率進行統計。由表3可知，本研究提出的FR-YOLOv4網絡模型，對實際果園環境中的春見柑橘目標檢測精度最高，分別高于YOLOv4、SSD、CenterNet、Faster R-CNN網絡模型8.9、29.3、14.1、16.2個百分點。在檢測實時性上，由于RFP網絡會增加計算時間，因而FR-YOLOv4網絡模型分別比YOLOv4網絡模型、CenterNet網絡模型降低了6和11幀/s，分別比SSD網絡模型、Faster R-CNN網絡模型提高了17和33幀/s。對于春見柑橘目標檢測與計數任務，51幀/s的處理速度足以保證任務的實時性檢測。綜上所述，基于特征遞歸融合YOLOv4網絡模型（FR-YOLOv4）的春見柑橘檢測方法，是一種精度高、處理速度快的目標檢測方法。

表3 不同網絡模型識別春見柑橘的結果對比

4 結 論

1）本研究針對實際春見果園環境中春見柑橘檢測與計數提出了一種特征遞歸融合YOLOv4網絡模型（YOLOv4 network model based on recursive fusion of feature，FR-YOLOv4），該網絡模型具有較高的準確率，試驗結果表明，模型平均精度均值達到了94.6%，平均檢測速度達到了51幀/s。

2）針對春見果園中出現的春見柑橘目標特點，本研究對YOLOv4網絡模型結構做出改進，首先將主干特征提取網絡換為CSPResNext50網絡，降低了原始主干特征網絡的感受野，提高了小目標檢測精度；然后將路徑聚合網絡（Path Aggregation Network，PANet）換為遞歸特征金字塔（Recursive Feature Pyramid，RFP），提高了網絡對具有密集遮擋的小尺寸春見柑橘的檢測精度。

3）對實際果園環境下的春見柑橘檢測測試中，本研究所提出的FR-YOLOv4網絡模型是一種精度高、處理速度快的目標檢測網絡模型。平均檢測率高于改進前YOLOv4目標檢測網絡8.9個百分點，分別高于單次多框檢測器（Single Shot Multi-Box Detector，SSD）、CenterNet、更快速卷積神經網絡（Faster Region-Convolutional Neural Networks，Faster R-CNN）29.3、14.1、16.2個百分點。對于檢測速度，FR-YOLOv4網絡的幀率為51幀/s，分別比SSD網絡模型、Faster R-CNN網絡模型快了17和33幀/s，滿足實際春見果園環境下對春見柑橘的檢測與計數要求。

[1] 鐘德民. 高糖型柑桔新品種“春見”的生物學特性與栽培要點初報[J]. 中國南方果樹，2005，34(5)：6-7.

Zhong Demin. Preliminary report on biological characteristics and cultivation key points of a new citrus variety “Chunjian” with high sugar content[J]. Fruit Science in South China, 2005, 34(5): 6-7. (in Chinese with English abstract)

[2] 林媚，姚周麟，王天玉，等. 8個雜交柑橘品種的糖酸組分含量及特征研究[J]. 果樹學報，2021，38(2)：202-211.

Lin Mei, Yao Zhoulin, Wang Tianyu, et al. Study on the content and characteristics of sugar and acid components in 8 hybrid citrus cultivars[J]. Journal of Fruit Science, 2021, 38(2): 202-211. (in Chinese with English abstract)

[3] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Colombia: IEEE, 2014.

[4] Ren S Q, He K M, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[C]//Advances in Neural Information Processing Systems, Montreal: NIPS Foundation, 2015: 91-99.

[5] Liu W, Anguelov D, Erhan D, et al. SSD: Single shot multibox detector[C]//European Conference on Computer Vision, Amsterdam: Springer, 2016.

[6] Redmon J, Divvala S, Girshick R, et al. You only look once: Unified, real-time object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas: IEEE, 2016.

[7] Duan K W, Bai S, Xie L X, et al. CenterNet: Keypoint triplets for object detection[C]//Proceedings of the IEEE International Conference on Computer Vision, Seoul: IEEE, 2019.

[8] 薛月菊，黃寧，涂淑琴，等. 未成熟芒果的改進 YOLOv2 識別方法[J]. 農業工程學報，2018，34(7)：173-179.

Xue Yueju, Huang Ning, Tu Shuqin, et al. Improved YOLOv2 identification method for immature mango[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(7): 173-179. (in Chinese with English abstract)

[9] 武星，齊澤宇，王龍軍，等. 基于輕量化YOLOv3卷積神經網絡的蘋果檢測方法[J]. 農業機械學報，2020，51(8)：17-25.

Wu Xing, Qi Zeyu, Wang Longjun, et al. Apple detection method based on lightweight YOLOv3 convolutional neural network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(8): 17-25. (in Chinese with English abstract)

[10] 呂石磊，盧思華，李震，等. 基于改進YOLOv3-LITE輕量級神經網絡的柑橘識別方法[J]. 農業工程學報，2019，35(17)：205-214.

Lü Shilei, Lu Sihua, Li Zhen, et al. Citrus recognition method based on improved YOLOv3-LITE lightweight neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(17): 205-214. (in Chinese with English abstract)

[11] 李善軍，胡定一，高淑敏，等. 基于改進SSD的柑橘實時分類檢測[J]. 農業工程學報，2019，35(24)：307-313.

Li Shanjun, Hu Dingyi, Gao Shumin, et al. Real-time classification and detection of citrus based on improved SSD[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(24): 307-313. (in Chinese with English abstract)

[12] 張領先，陳運強，李云霞，等. 基于卷積神經網絡的冬小麥麥穗檢測計數系統[J]. 農業機械學報，2019，50(3)：144-150.

Zhang Lingxian, Chen Yunqiang, Li Yunxia, et al. Convolutional neural network based winter wheat spike detection and counting system[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(3): 144-150. (in Chinese with English abstract)

[13] 鮑文霞，張鑫，胡根生，等. 基于深度卷積神經網絡的田間麥穗密度估計及計數[J]. 農業工程學報，2020，36(21)：186-193.

Bao Wenxia, Zhang Xin, Hu Gensheng, et al. Estimation and counting of field wheat ear density based on deep convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(21): 186-193. (in Chinese with English abstract)

[14] Yu Y, Zhang K L, Yang Li, et al. Fruit detection for strawberry harvesting robot in non-structural environment based on Mask-RCNN[J]. Computers and Electronics in Agriculture, 2019, 163(32): 104846.

[15] Tian Y, Yang G, Wang Z, et al. Apple detection during different growth stages in orchards using the improved YOLO-V3 model[J]. Computers and Electronics in Agriculture, 2019, 157(15): 417-426.

[16] Anami B S, Malvade N N, Palaiah S. Deep learning approach for recognition and classification of yield affecting paddy crop stresses using field images[J]. Artificial Intelligence in Agriculture, 2020, 4(24): 12-20.

[17] Neupane B, Horanont T, Hung N D. Deep learning based banana plant detection and counting using high-resolution Red-Green-Blue (RGB) images collected from Unmanned Aerial Vehicle (UAV)[J/OL]. PloS one, 2019, 14(10), [2019-10-17], https://doi.org/10.1371/journal.pone.0223906.

[18] Khaki S, Pham H, Han Y, et al. Convolutional neural networks for image-based corn kernel detection and counting[J]. Sensors, 2020, 20(9): 2721.

[19] H?ni N, Roy P, Isler V. A comparative study of fruit detection and counting methods for yield mapping in apple orchards[J]. Journal of Field Robotics, 2020, 37(2): 263-282.

[20] Afonso M, Fonteijn H, Fiorentin F S, et al. Tomato fruit detection and counting in greenhouses using deep learning[J]. Frontiers in Plant Science, 2020, 11: 1759.

[21] Rahnemoonfar M, Sheppard C. Deep count: Fruit counting based on deep simulated learning[J]. Sensors, 2017, 17(4): 905.

[22] Qureshi W S, Payne A, Walsh K B, et al. Machine vision for counting fruit on mango tree canopies[J]. Precision Agriculture, 2017, 18(2): 224-244.

[23] 黃豪杰，段先華，黃欣辰. 基于深度學習水果檢測的研究與改進[J]. 計算機工程與應用，2020，56(3)：127-133.

Huang Haojie, Duan Xianhua, Huang Xinchen. Research and improvement of fruit detection based on deep learning[J]. Computer Engineering and Applications, 2020, 56(3): 127-133. (in Chinese with English abstract)

[24] Wu D, Lv S, Jiang M, et al. Using channel pruning-based YOLO v4 deep learning algorithm for the real-time and accurate detection of apple flowers in natural environments[J]. Computers and Electronics in Agriculture, 2020, 178: 105742.

[25] Wang C Y, Liao H Y M, Wu Y H, et al. CSPNet: A new backbone that can enhance learning capability of CNN[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Seattle: IEEE, 2020.

[26] Qiao S, Chen L C, Yuille A. Detectors: Detecting objects with recursive feature pyramid and switchable atrous convolution[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Kuala Lumpur, Malaysia: IEEE, 2021.

[27] Bochkovskiy A, Wang C Y, Liao H Y M. Yolov4: Optimal speed and accuracy of object detection[J/OL]. Computer Science, (2020)[2021-3-17]. https://arxiv.org/abs/2004. 10934.

[28] Wang K X, Liew J H, Zou Y T, et al. Panet: Few-shot image semantic segmentation with prototype alignment[C]// Proceedings of the IEEE International Conference on Computer Vision, Seoul: IEEE, 2019.

[29] Zheng Z H, Wang Ping, Liu Wei, et al. Distance-IoU Loss: Faster and Better Learning for Bounding Box Regression[C]// Proceedings of the AAAI Conference on Artificial Intelligence. A Virtual, Online-only Conference: AAAI, 2020.

[30] He K M, Zhang X Y, Ren S Q, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916.

[31] Lin T Y, Dollár P, Girshick R, et al. Feature pyramid networks for object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Hawaii: IEEE, 2017.

[32] Xie S N, Girshick R, Dollár P, et al. Aggregated residual transformations for deep neural networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Hawaii: IEEE, 2017.

[33] Wang C Y, Bochkovskiy A, Liao H Y M. Scaled-yolov4: Scaling cross stage partial network[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Kuala Lumpur, Malaysia: IEEE, 2021.

[34] Bottou L. Stochastic Gradient Descent Tricks[M]. Berlin: Springer, 2012.

Detecting and counting of spring-see citrus using YOLOv4 network model and recursive fusion of features

Yi Shi1,2, Li Junjie1, Zhang Peng1, Wang Dandan1

(1.,,610059,; 2.,,,400065,)

Automatic fruit picking has widely been popular for the intelligent estimation of orchard economic harvest in the field of smart agriculture. Object detection using deep learning has presented broad application prospects for spring-see citrus detection and counting. But, it is still a very challenging task to detect and count spring-see fruits, due mainly to the small size of spring-see citrus, the high density of fruit on a single spring-see tree, the similar shape and color of fruits, and the tendency to be heavily shaded by foliage. In this study, a YOLOv4 network model was proposed using a recursive fusion of features (FR-YOLOv4) for spring-see citrus detection. CSPResNext50 network with a smaller receptive field was also selected to detect small targets with higher accuracy. As such, the feature extraction in the original YOLOv4 object detection network model was replaced with the CSPResNext50 network, particularly for the small size of spring-see citrus. Therefore, the difficulty was reduced to greatly improve the detection accuracy of small-scale spring-see citrus, where the feature map of small-scale objects was easily transmitted to the object detector. In addition, the Recursive Feature Pyramid (RFP) network was used to replace the original YOLOv4 Path Aggregation Network (PANet), because of the fuzzy and dense distribution of spring-seeing citrus. Correspondingly, RFP networks significantly enhanced the feature extraction and characterization capabilities of the entire YOLOv4 network at a small computational cost. More importantly, the detection accuracy of the YOLOv4 network was improved for spring-see citrus in a real orchard environment. Additionally, a dataset was collected using images and videos of spring-see citrus captured in various environments in spring-see orchards. Subsequently, three data augmentation operations were performed using OpenCV tools to add Gaussian noise, luminance variation and rotation. The dataset was obtained with a total of 3 600 images, of which the training dataset consisted of 2 520 images and the test dataset consisted of 1 080 images. The experimental results on this test dataset showed that the average detection accuracy of FR-YOLOv4 was 94.6% for spring-see citrus in complex orchard environments, and the frame rate of video detection was 51 frames/s. Specifically, the average detection accuracy increased by 8.9 percentage points, whereas, the frame rate of video detection was only 6 frames/s lower, compared with YOLOv4 before the improvement. Consequently, the FR-YOLOv4 presented an average detection accuracy of 29.3, 14.1, and 16.2 percentages higher than that of Single Shot Multi-Box Detector (SSD), CenterNet, and Faster Region-Convolutional Neural Networks (Faster-RCNN), respectively. The frame rate of video detection was 17 and 33 frames/s higher than SSD and Faster-RCNN, respectively. Anyway, the YOLOv4 network model using a recursive fusion of features (FR-YOLOv4) can widely be expected to detect and count spring citrus suitable for actual complex environments in orchards, indicating a higher detection accuracy with real-time performance.

machine vision; image processing; models; detection; spring-see citrus; YOLOv4

易詩，李俊杰，張鵬，等. 基于特征遞歸融合YOLOv4網絡模型的春見柑橘檢測與計數[J]. 農業工程學報，2021，37(18)：161-169.doi：10.11975/j.issn.1002-6819.2021.18.019 http://www.tcsae.org

Yi Shi, Li Junjie, Zhang Peng, et al. Detecting and counting of spring-see citrus using YOLOv4 network model and recursive fusion of features[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(18): 161-169. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.18.019 http://www.tcsae.org

2021-02-22

2021-04-02

國家自然科學基金項目（61771096）；成都理工大學2020年研究生質量工程教育教學改革項目（人工智能圖像處理可視化綜合實驗平臺建設）；工業物聯網與網絡化控制教育部重點實驗室開放基金（2020FF06）

易詩，高級實驗師，研究方向為人工智能、紅外圖像處理、信號處理、嵌入式系統開發。Email：549745481@qq.com

10.11975/j.issn.1002-6819.2021.18.019

S126

A

1002-6819(2021)-18-0161-09