基于改進型YOLOv4-LITE輕量級神經網絡的密集圣女果識別

張 伏，陳自均，鮑若飛，張朝臣，王治豪

基于改進型YOLOv4-LITE輕量級神經網絡的密集圣女果識別

張 伏1,2,3，陳自均1，鮑若飛1，張朝臣1，王治豪1

（1. 河南科技大學農業裝備工程學院，洛陽 471003；2. 江蘇大學現代農業裝備與技術教育部重點實驗室，鎮江 212013；3. 機械裝備先進制造河南省協同創新中心，洛陽 471003）

對密集圣女果遮擋、粘連等情況下的果實進行快速識別定位，是提高設施農業環境下圣女果采摘機器人工作效率和產量預測的關鍵技術之一，該研究提出了一種基于改進YOLOv4-LITE輕量級神經網絡的圣女果識別定位方法。為便于遷移到移動終端，該方法使用MobileNet-v3作為模型的特征提取網絡構建YOLOv4-LITE網絡，以提高圣女果果實目標檢測速度；為避免替換骨干網絡降低檢測精度，通過修改特征金字塔網絡（Feature Pyramid Networks，FPN）+路徑聚合網絡（Path Aggregation Network，PANet）的結構，引入有利于小目標檢測的104×104尺度特征層，實現細粒度檢測，在PANet結構中使用深度可分離卷積代替普通卷積降低模型運算量，使網絡更加輕量化；并通過載入預訓練權重和凍結部分層訓練方式提高模型的泛化能力。通過與YOLOv4在相同遮擋或粘連程度的測試集上的識別效果進行對比，用調和均值、平均精度、準確率評價模型之間的差異。試驗結果表明：在重疊度為0.50時所提出的密集圣女果識別模型在全部測試集上調和均值、平均精度和準確率分別為0.99、99.74%和99.15%，同比YOLOv4分別提升了0.15、8.29、6.55個百分點，權重大小為45.3 MB，約為YOLOv4的1/5，對單幅416×416（像素）圖像的檢測，在圖形處理器（Graphics Processing Unit，GPU）上速度可達3.01 ms/張。因此，該研究提出的密集圣女果識別模型具有識別速度快、識別準確率高、輕量化等特點，可為設施農業環境下圣女果采摘機器人高效工作以及圣女果產量預測提供有力的保障。

機器視覺；模型；YOLO；深度學習；圖像識別；目標檢測

0 引 言

視覺識別系統作為果蔬采摘機器人系統的組成部分，在果蔬目標識別定位、自動采摘和果蔬估產等方面[1-2]具有至關重要作用。圣女果（Cherry tomatoes）因其營養價值高、風味獨特而被廣泛種植。由于圣女果果實高度密集（粘連）、果實小、葉片遮擋嚴重，且其生長周期長、果蔬高度不一，采收環節成為最費時耗力的工作[3-4]，因此研究圣女果快速精確識別，對實現采摘機器人自動采摘、提高作業效率具有較大應用價值。

近年來，國內外基于傳統機器視覺和圖像處理技術，對自然環境下果疏目標識別提出了解決方法。馬翠花等[5]提出了使用基于密集和稀疏重構的顯著性檢測方法與改進隨機Hough變換識別方法，對番茄果簇中的綠色單果番茄進行識別，識別準確率為77.6%。李寒等[6]通過RGB-D圖像和SOM-K-means算法獲取果實的位置信息與輪廓形狀，該方法對多個番茄重疊粘連識別正確率達87.2%。Payne等[7]提出一種基于機器視覺的芒果產量估測方法，利用RGB和YCbCr顏色空間分割和基于相鄰像素變異性的紋理分割方法，從背景像素中有效分割出水果，該方法可計算芒果果實的數量及產量估測。李昕等[8]將邊緣預檢測、快速定位圓心點等模塊添加在Hough算法中，對遮擋油茶果識別率為90.70%。Gong等[9]提出一種改進的8連通性的編碼識別算法，進行簇狀柑橘的產量預測。Gong等[9]提出一種改進的8連通性的編碼識別算法，進行簇狀柑橘的產量預測。Xu等[10]采用基于面向梯度直方圖（Histogram of Oriented Gradient，HOG）描述符與支持向量機（Support Vector Machine，SVM）分類器相結合的方法，分類器檢測率為87%。此外，還有學者對粘連、重疊的果實進行識別研究[11-15]，檢測準確率均在90%左右。上述方法利用果實的形狀特征、紋理特征與背景顏色差異特征等單特征或多特征組合實現果實的識別，一旦遇到光照改變、果實粘連重疊、枝葉遮擋、相似度高的背景等情況識別準確率會降低。另外，運用傳統的機器視覺技術識別果實，受制于自身分類器算法的限制，無法滿足當前復雜環境下果實目標識別任務[16-17]。

近年來，隨著計算機視覺與深度學習技術在農業領域的廣泛應用，深度卷積神經網絡（Deep Convolutional Neural Networks，DCNN）在果蔬目標檢測中凸顯出巨大的優越性，其主要分為兩種，一種是以RCNN[18]、Fast RCNN[19]、Faster RCNN[20]為代表的兩階段（two stage）目標檢測方法，其算法思想是先獲得目標區域建議框再在區域建議框中進行分類。閆建偉等[21]提出改進的Faster RCNN自然環境中不同成熟度和遮擋情況下刺梨果實的識別方法，識別召回率達81.4%，準確率達95.53%，F1值達94.99%，識別速度為0.2 s/張，其模型精度高、泛化能力強，但兩階段（two stage）目標檢測方法生成候選區域步驟需占用大量資源，檢測時間較長。另一種方法是以SSD（Single Shot MultiBox Detector）[22]、YOLO（You Only Look Once）[23]等為代表的單階段（one stage）目標檢測方法，其算法思想是目標建議框與分類標簽在同一網絡下完成。成偉等[24]基于改進的YOLOv3網絡識別溫室番茄，識別模型估產平均精度（mean Average Precision，mAP）為95.7%，單幅圖像處理耗時15 ms，并且對密集和受遮擋的果實具有更好的識別效果。呂石磊等[25]通過引入GIoU邊框回歸損失函數和，使用MobileNet-v2作為模型的骨干網絡，構建了基于改進型YOLOv3-LITE輕量級神經網絡，對自然環境下密集、葉片遮擋嚴重的柑橘進行識別定位，在全部測試集上調和均值為93.69%，平均精度值為91.13%，對單張416×416（像素）的圖片識別速度為16.9 ms，因此使用YOLO算法對果實進行識別，在保證較高的識別準確率情況下，又具備檢測速度快、內存占用少等特點[26-29]。

為解決設施農業環境下密集度高、果實小、遮擋粘連嚴重的圣女果精確、快速識別問題，提出改進型YOLOv4-LITE輕量級神經網絡，在特征融合結構中引入實現對小目標檢測的特征層，增加模型細粒度檢測，并進行剪枝操作和引入深度可分離卷積結構壓縮網絡量，加快識別速度，同時通過載入預訓練權重并凍結部分層的訓練方式提高模型精度，以期為圣女果快速精準識別提供參考。

1 材料與方法

1.1 試驗數據獲取

圣女果圖像的采集地點為河南省洛陽市孟津區某采摘園基地溫室內，拍攝時間為2021年3月19日上午10:00-12:00。在白天自然光條件下采集，采集時，使用高清數碼單反相機距圣女果果實20～80 cm的距離拍攝，為模擬采摘機器人識別系統，拍攝角度為左側拍、右側拍、俯拍、仰拍和正面拍共5個方向角度[30]，共采集成熟圣女果原始圖像249張，挑選出214張。所采集圣女果圖像大小為6 000×4 000（像素），種類涵蓋順光、逆光、重疊、遮擋、粘連等各種實際溫室中圣女果生長環境的圖像。溫室環境下的部分圣女果如圖1所示，可以發現圣女果果實出現重度粘連、遮擋現象。

1.2 數據擴增

在深度學習模型訓練階段，數據采集的越充分、越全面，模型識別效果越顯著，因此通過數據擴增方法（Data augmentation）擴充樣本數量。為更能模擬復雜場景下拍攝狀態和應用到深度神經網絡中，在Keras框架下結合Opencv，先對采集數據裁剪和壓縮至416×416（像素），再對圖像進行平移、隨機旋轉、鏡像翻轉、水平翻轉、垂直翻轉、顏色增強、亮度改變、添加高斯噪音等不同程度與組合的物理變換對圖像進行數據增強[18,31]。增強后共得到10 710張圖像作為數據集。

1.3 數據集準備

使用LabelImg工具對圖像中圣女果果實進行手工標記矩形框。標注時，對完全裸露的圣女果切于矩形框內側進行標注，對遮擋或粘連的圣女果果實裸露于圖像的部分進行矩形框標注，對圖像邊界出現部分和遮擋的圣女果程度小于10%時進行無標注處理。標注完成后得到包含ground truth的.xml文件，之后將數據集按照9∶1比例劃分，其中90%部分再按照9∶1分為訓練集和驗證集，剩余10%作為測試集，最終得到訓練集、驗證集和測試集的樣本數量分別為8 674、965、1 071張。

2 密集圣女果識別網絡

2.1 YOLOv4網絡模型

相對于R-CNN、Fast R-CNN、Faster R-CNN等兩階段（two-stage）的目標檢測方法，YOLOv4[32]作為經典的單階段（one-stage）深度識別網絡模型，直接在網絡中生成預測物體分類（Classification）和邊界框（Bounding box），極大提高了目標檢測速度，其結構簡圖如圖2所示。YOLOv4網絡模型由3大部分組成：主干網絡（Backbone network）、頸部網絡（Neck network）、頭部網絡（Head network）。主干網絡為CSPDarknet53特征提取網絡，由CSP1～CSP5共5個模塊構成，每個模塊由CSPX模塊和CBM或CBL模塊相互交替堆疊而成，YOLOv4在主干網絡中使用了CSPnet結構，如圖2c所示，在殘差塊X Res unit堆疊的另一邊經CMB處理后形成一個大的殘差邊，增強了CNN的學習能力。在CSPnet結構中又引入Mish激活函數替代Leaky ReLU激活函數，Mish函數具有無上界、有下界、非單調、無窮階連續性、平滑性等特點，有助于模型實現正則化、穩定網絡梯度流。Mish函數表達式為

式中為輸入值，tan為雙曲正切函數，ln為以常數e為底數的對數函數。

經過CSPDarknet53主干網絡得到52×52×256（特征層P3）、26×26×512（特征層P4）、13×13×1 024這3個特征層，其中對13×13×1 024特征層在空間金字塔池化（Spatial Pyramid Pooling，SPP）中分別進行13×13、9×9、5×5、1×1四個不同尺度的最大池化處理，然后通過Concatenate運算整合得到特征層P5，SPP結構極大地增大感受野，獲得了更多上下文特征。P3、P4、P5三個特征層先經過特征金字塔網絡（Feature Pyramid Networks，FPN）進行自下向上的上采樣（Upsample）融合，但FPN融合低、高層特征方法路徑長，細節信息傳遞困難，因此YOLOv4設計路徑聚合網絡（Path Aggregation Network，PANet）通過下采樣（Downsample）對3個特征層完成自上向下的路徑增強，極大縮短了信息傳播路徑，同時利用了低層特征的精準定位信息。YOLOv4使用了Mosaic數據增強、Label Smoothing平滑、CIOU回歸損失函數和學習率余弦退火衰減法等訓練技巧。

YOLOv4的損失函數Loss包括回歸損失函數Loss（coord）、置信度損失函數Loss（conf）和分類損失函數Loss（cls）。損失函數公式如下：

2.2 改進的YOLOv4-LITE網絡模型設計

YOLOv4網絡含有CSPnet結構的CSPDarknet53網絡，雖降低了參數量，獲得更快的速度，但模型計算仍復雜，需消耗較多的內存空間。本研究提出一種基于目標檢測的輕量級網絡模型，在傳統的YOLOv4網絡基礎上，將MobileNet-V3網絡作為特征提取主干網絡，構建YOLOv4-LITE輕量級網絡模型。MobileNet是一種基于移動端和嵌入式設備的高效CNN模型，具有更輕量級、更快速的特點。MobileNet-V3既繼承了MobileNet-V1的深度可分離卷積（depthwise separable convolutions），又融合了MobileNet-V2的具有線性瓶頸的逆殘差結構（the inverted residual with linear bottleneck）的結構特點，MobileNet-V3由多個block堆疊而成，block的bneck結構如圖3所示，其依次經過1×1、3×3、1×1的卷積提升通道數量、進行深度卷積和降低維度。MobileNet-V3在bottlenet結構中引入SE（Squeeze and Excitation）結構的輕量級注意力機制，并基于MobileNet-V2的結構：將頭部的卷積核通道數量由32降低至16；在尾部通過avg pooling將特征圖大小由7×7降到了1×1，并且舍棄了紡錘形的3×3和1×1的卷積，在減少消耗時間的同時又提高了精度。

圣女果作為識別目標，其尺度各有差異、不盡相同，因此為避免使用MobileNet-V3骨干網絡降低對小目標的檢測精度，通過修改FPN網絡，如圖4所示，從YOLOv4-LITE輕量級神經網絡的主干網絡MobileNet-V3中，輸出13×13（特征層P5'）、26×26（特征層P4'）、52×52（特征層P3'）和104×104（特征層P2）共4個尺度，P5'感受野較大適合大尺寸目標檢測，P4'適合中等目標檢測，在P3'基礎上進行上采樣，融合P2特征層后獲得豐富的淺層信息，使之對小目標檢測更加敏感，實現細粒度的檢測。在特征傳播過程中13×13尺度特征層仍然經過SPP結構得到特征層P5'，本研究將特征層P5'、P4'、P3'和P2在FPN結構中通過上采樣進行不同金字塔級別的Feature map結合，每一個特征層經過DBL和Upsample操作變換，獲得與上一個特征層相同的尺度和通道數量，然后經過Concatence與上一個特征層融合獲得信息更加豐富的Feature map。為防止網絡過于冗余，對FPN特征融合后輸出的4個特征層進行剪枝操作，也即將FPN輸出的104×104尺度特征層不再進行YOLO Head的預測輸出，直接在PANet結構中上采樣，因此改進算法仍保留了YOLO Head的13×13、26×26、52×52三個尺度的特征層（P5''、P4''、P3''）預測輸出。

但在改進FPN網絡，增加104×104特征層負責檢測小目標的同時，網絡數量必然會相應增加，為降低網絡運算數量，在PANet結構中引入深度可分離卷積（Depthwise separable convolution）代替原網絡Downsample中普通卷積進行下采樣，實現自上而下的特征信息交互，有效減少網絡計算量和參數；同時深度可分離卷積可由自身的1×1 Filter數量任意決定輸出通道數量，解除了普通卷積核個數和步長的限制，代替了池化操作的作用，在節省內存消耗的同時也提高了模型精度[33]。

注：P5'、P4'、P3'和P2為改進FPN+PANet結構的輸入特征層；P5''、P4''、P3''為改進FPN+PANet結構的輸出。

2.3 模型的訓練與測試

2.3.1 試驗平臺

本研究使用Tensorflow和Keras框架來改進YOLOv4網絡。試驗環境如表1所示。

2.3.2 密集圣女果識別網絡訓練

密集圣女果目標檢測網絡流程如圖5所示。通過對比改進模型的不同修改之處進行對比試驗，并在相同驗證集上驗證模型的效果。首先對采集的數據進行預處理，然后在LabelImg工具上進行目標圣女果手工標注，標注時對圖像邊界出現部分和遮擋的圣女果程度小于10%時進行無標注處理，對標注的圖像數據與對應的.xml文件同時進行擴增，并以PASCALVOV數據格式保存，分別采用使用預訓練權重、不使用預訓練權重的訓練方法進行網絡模型的訓練，使用預權重訓練時先凍結預訓練權重網絡層，將更多的資源放在后面網絡的參數訓練上，后解凍這部分網絡層的訓練方式，通過先凍結部分層后解凍的訓練方式可有效保證權值。模型訓練時，采用Keras訓練中的早停法（early stopping）技巧，當模型在訓練集上的損失值不再下降時，停止訓練，有效防止過擬合。

表1 試驗環境

網絡訓練參數設置。不使用預訓練權重訓練時，模型超參數設置批樣本（batch size）數量為2，動量因子（Momentum）為0.9，權值初始學習率（learning rate）為0.001，衰減系數為0.000 5；使用預訓練權重時，模型凍結層超參數設置代訓練（epoch）為50，批樣本數量為8，動量因子為0.9，權值初始學習率為0.000 1，衰減系數為0.000 5，解除凍結后超參數設置代訓練為50，批樣本數量為2，動量因子為0.9，權值初始學習率為0.001，衰減系數為0.000 5，總代訓練為100。2種訓練方式均采用BN（batch normalization）正則化進行網絡層權值更新，在訓練集上每經過一代訓練（epoch）保存一次權重文件，并生成日志文件輸出訓練集和驗證集的損失值。訓練集損失和驗證集損失曲線如圖6所示。

在前50代訓練時驗證集損失雖在前期出現震蕩但總體趨于減小趨勢，訓練集損失持續下降；在第50代訓練時由于解凍訓練使訓練集損失升高，驗證集損失減少；在第50代訓練之后由于驗證集損失的減小，訓練集損失不斷減小，當驗證集損失不再發生大幅變化時，訓練集損失也不再變化，模型收斂。

2.3.3 模型測試

為客觀衡量模型對密集圣女果的目標檢測效果，使用調和均值F1值（F1-score）、召回率（Recall）、準確率（Precision）、檢測速度、網絡參數量、權重大小來評價訓練后的模型，其中F1、Recall、Precision計算公式如公式（6）～（8）所示。

式中TP為真實的正樣本數量，FP為虛假的正樣本數量，FN為虛假的負樣本數量。平均精度（Average Precision，AP）計算公式如式（9）所示。

式中為積分變量，是對召回率與精確度乘積的積分。AP為PR（Precision-Recall）曲線與坐標軸圍成的面積，取值在0～1之間。AP50為重疊度（Intersection Over Union，IOU）=0.5時不同查全率下的精度平均值；AP75為IOU=0.75時不同查全率下的精度平均值。

3 結果與分析

為驗證密集圣女果目標識別算法的性能，分別對是否載入預訓練權重并凍結部分層方法和不同骨干網絡在相同密集圣女果數據集和參數設置上進行訓練，之后對提出的模型的部分改進之處進行對比試驗分析。

3.1 載入預訓練權重并凍結部分層的檢測結果

以YOLOv4-LITE網絡為對象網絡，分別對其進行使用預訓練權重并凍結部分層的訓練方式和不使用預訓練權重的訓練方式的2種方式進行訓練。不使用預訓練權重即在訓練集上對所有參數進行初始訓練；使用預訓練權重并凍結部分層的訓練方式為載入COCO數據集的MobileNet-V3權重，初始訓練凍結YOLOv4-LITE中的MobileNet-V3網絡層，先訓練后半部分網絡，在訓練50代后開始解凍凍結部分網絡層，進行全部網絡的訓練。表2比較了2種訓練策略的結果。

試驗結果表明，相比于不使用預訓練權重，使用預訓練權重并凍結部分層的訓練方式在IOU=0.50和IOU=0.75時平均精度值提升約3個百分點，同時調和均值和準確率也有不同程度的提升。

3.2 不同骨干特征提取網絡的比較

為滿足設施農業圣女果采摘機器人與相關嵌入式移動端檢測設備的實際生產需求，以MobileNet-V3作為骨干網絡設計YOLOv4-LITE輕量級神經網絡。為驗證設計的YOLOv4-LITE的合理性，在1 071張相同測試集上進行對比試驗，試驗結果如表3所示。從表3可以看出，相較于原YOLOv4以CSPDarkNet-53作為骨干網絡，YOLOv4-LITE以MobileNet系列輕量級網絡作為骨干網絡，權重大小、檢測速度和網絡參數量都有大幅改善，但MobileNet-V1和MobileNet-V2作為骨干網絡，在IOU=0.50和IOU=0.75時，大部分F1值、AP、Recall和Precision均低于原YOLOv4網絡。采用MobileNet-V3作為骨干網絡，模型在F1值、AP和Precision指標上均有不同程度的提升，在IOU=0.50時，且相對于原YOLOv4 方法在IOU=0.50時，F1值提升了0.01，AP值提升了1.71個百分點，準確率提升了3.69個百分點，對單張416×416（像素）圖像的檢測速度高達2.78 ms/張，權重大小減小了142 MB，網絡參數量也減少了37.82%，因此YOLOv4-LITE輕量級神經網絡在移動設備或嵌入式終端上應用具有明顯優勢，但在IOU=0.75時的AP為43.94%低于原YOLOv4網絡的50.75%，可能是由于在目標識別過程中，對于小目標的特征檢測不夠充分。

表2 不同方式訓練結果比較

表3 不同骨干網絡檢測結果對比

3.3 FPN+PANet結構的改進結果比較

在原始的YOLOv4算法檢測圣女果目標時，其尺度各有差異、不盡相同，往往由于識別目標密集度高、重疊和目標小等問題，出現漏檢、誤檢的情況。因此提出改進型YOLOv4-LITE輕量級密集圣女果識別神經網絡模型，具體改進方式如下：①骨干網絡替換。以MobiletNet-V3作為骨干網絡。②改進FPN結構。在FPN結構中增加104×104特征層。兼顧大、中目標檢測的同時，增加了有利于小目標檢測的Feature map。③改進PANet。在PANet引入深度可分離卷積，為減少因增加小目標檢測Feature map后網絡參數量的增大。為驗證改進型YOLOv4-LITE中FPN+PANet結構改進的優越性，在1 071張相同測試集上進行對比試驗，試驗結果如表4所示。

表4 不同改進結構檢測結果對比

注：①骨干網絡替換；②改進FPN結構；③改進PANet。

Note: ① Replace backbone network; ② Improve FPN structure; ③ Improve PANet.

在YOLOv4基礎上改進FPN結構比原YOLOv4的AP50提高了8.29個百分點，AP75提高了15.01個百分點，F1值在相應的IOU閾值下相應提升了0.14和0.24，但其權重大小增加了4 MB，檢測速度增加了0.27 ms/張，網絡參數量增加了14.85%。與只替換骨干網路(YOLOv4-LITE+ MobiletNet-V3)相比，骨干網路替換+改進FPN結構網絡，AP50提高了6.58個百分點，AP75提高了21.82個百分點，F1值在相應的IOU閾值下相應提升了0.13和0.20，但其權重大小增加了146 MB，檢測速度增加了2.11 ms/張，網絡參數量增加了63.23%。說明YOLOv4和YOLOv4+ MobiletNet-V3通過增加小目標的Feature map提高了模型細粒度的檢測，但模型權重大小、檢測速度和參數量會相應增大。

骨干網絡替換+改進FPN結構+改進PANet網絡，在保證F1、AP、Recall和Precision較高的同時，模型權重大小為45.3 MB，檢測速度為3.01 ms/張，網絡參數量為12 026 685。相比于YOLOv4網絡，其模型權重大小減小了198.7 MB，檢測速度減少了1.61 ms/張，模型參數量減少了81.33%；相比于YOLOv4+MobiletNet-V3，其模型權重大小減小了56.7 MB，檢測速度增加了0.23 ms/張，模型參數量減少了69.97%。說明改進PANet的策略在不影響精度等情況下，可有效減小內存消耗、降低模型參數量、加快模型識別速度。

總體來看，本研究提出的改進型YOLOv4-LITE輕量級網絡，與YOLOv4網絡相比，在IOU=0.50時，F1值提升了0.15，AP提高了8.29個百分點，準確率提高了6.55個百分點，權重大小約為YOLOv4的1/5，檢測速度降低了34.85%。

圖7對比了YOLOv4網絡與改進型YOLOv4-LITE輕量級網絡在設施環境下對密集圣女果的識別結果，圖中深色框標注為算法對圣女果的識別結果，淺色框為對識別結果圖像的人工標注，表明有個別果實未能識別出來，即算法間對果實識別的差異。從圖中可以看出，YOLOv4在識別高密集圣女果時，對高度粘連和遮擋的圣女果果實出現漏檢的情況，對較小目標未能成功檢測識別，相比之下，本文所提出的算法對高度粘連、嚴重遮擋和小目標果實有較高識別率和良好的泛化性能。

4 結 論

1）提出了一種改進型的YOLOv4-LITE輕量化神經網絡檢測高度密集、嚴重粘連的圣女果目標識別算法。利用MobileNet-V3作為骨干網絡構建YOLOv4-LITE輕量化網絡，在特征融合層（Feature Pyramid Networks，FPN）結構中引入小目標檢測的特征層以增加圖像檢測細粒度，對并在PANet網絡中引入深度可分離卷積網絡代替傳統網絡使改進網絡更輕量化，更利于嵌入式設備和移動端的部署，為實現采摘機器人自動采摘提供理論依據。并通過采用載入預訓練權重并凍結部分層的訓練方式比不使用預訓練權重平均精度提高約3%。

2）在1 071張相同測試集上以調和平均值、平均精度和準確率為判斷依據，通過對比試驗驗證提出方法的可行性與優越性。與YOLOv4網絡相比，通過替換骨干網路、改進特征金字塔網絡和改進路徑聚合網絡，在IOU=0.50時，本文提出的方法調和均值提升了0.15，平均精度提高了8.29個百分點，準確率提高了6.55個百分點，權重大小約為YOLOv4的1/5，檢測速度為3.01 ms/張。通過對比試驗，驗證了該方法具有顯著優勢。

[1] Tang Y C, Chen M Y, Wang C L, et al. Recognition and localization methods for vision-based fruit picking robots: Areview[J]. Frontiers in Plant Science, 2020, 11: 1-17.

[2] 趙獻立，王志明. 機器學習算法在農業機器視覺系統中的應用[J]. 江蘇農業科學，2020，48(12)：226-231.

Zhao Xianli, Wang Zhiming. Application of machine learning algorithm in agricultural machine vision system[J].Jiangsu Agricultural Sciences, 2020, 48(12): 226-231. (in Chinese with English abstract)

[3] 林偉明，胡云堂. 基于YUV 顏色模型的番茄收獲機器人圖像分割方法[J]. 農業機械學報，2012，43(12)：176-180.

Lin Weiming, Hu Yuntang. Image segmentation method based on YUV color space for tomato harvesting robort[J]. Transactions of the Chinese Society for Agricultural Machinery, 2012, 43(12): 176-180. (in Chinese with English abstract)

[4] Ochida C O, Itodo A U, Nwanganga P A. A review on postharvest storage, processing and preservation of tomatoes (lycopersicon esculentum mill)[J]. Asian Food Science Journal, 2018, 6(2): 1-10.

[5] 馬翠花，張學平，李育濤，等. 基于顯著性檢測與改進Hough變換方法識別未成熟番茄[J].農業工程學報，2016，32(14)：219-226.

Ma Cuihua, Zhang Xueping, Li Yutao, et al. Identification of immature tomatoes base on salient region detection and improved Hough transform method[J]. Transactions of the Chinese Society of Agricultural Engineering, 2016, 32(14): 219-226.

[6] 李寒，陶涵虓，崔立昊，等. 基于SOM—K-means 算法的番茄果實識別與定位方法[J]. 農業機械學報，2021，52(1)：23-29.

Li Han, Tao Hanxiao, Cui Lihao, et al. Recognition and localization method of tomato based on SOM—K-means algorithm. Transactions of the Chinese Society for Agricultural Machinery, 2021,52(1):23-29.

[7] Payne A B, Walsh K B, Subedi P P, et al. Estimation of mango crop yield using image analysis-segmentation method[J]. Computers and Electronics in Agriculture, 2013,91: 57-64.

[8] 李昕，李立君，高自成，等. 改進類圓隨機Hough 變換及其在油茶果實遮擋識別中的應用[J]. 農業工程學報，2013，29(1)：164-170.

Li Xin, Li Lijun, Gao Zicheng, et al. Revised quasi-circular randomized Hough transform and its application in camellia-fruit recognition[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(1): 164-170. (in Chinese with English abstract)

[9] Gong A, Yu J, He Y, et al. Citrus yield estimation based on images processed by an Android mobile phone[J]. Biosystems Engineering, 2013, 115(2): 162-170.

[10] Xu Y, Imou K, Kaizu Y, et al. Two-stage approach for detecting slightly overlapping strawberries using HOG descriptor[J]. Biosystems Engineering, 2013, 115(2): 144-153.

[11] 謝忠紅，姬長英，郭小清，等. 基于改進Hough 變換的類圓果實目標檢測[J]. 農業工程學報，2010，26(7)：157-162.

Xie Zhonghong, Ji Changying, Guo Xiaoqing, et al. Target detection of fruit-like fruit based on improved Hough transform[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(7): 157-162. (in Chinese with English abstract)

[12] Zhao C, Lee W S, He D. Immature green citrus detection based on colour feature and sum of absolute transformed difference (SATD) using colour images in the citrus grove[J]. Computers and Electronics in Agriculture, 2016, 124: 243-253.

[13] Liu S, Yang C, Hu Y, et al. A method for segmentation and recognition of mature citrus and branches-leaves based on regional features[C]//Chinese Conference on Image and Graphics Technologies. Singapore: Springer, 2018: 292-301.

[14] 盧軍，桑農. 變化光照下樹上柑橘目標檢測與遮擋輪廓恢復技術[J]. 農業機械學報，2014，45(4)：76-81.

Lu Jun, Sang Nong. Detection of citrus fruits within tree canopy and recovery for occlusion contour in variable illumination[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(4): 76-81. (in Chinese with English abstract)

[15] Stein M, Bargoti S, Underwood J. Image based mango fruit detection, localisation and yield estimation using multiple view geometry[J]. Sensors, 2016, 16(11): 1915.

[16] Xu Y, Imou K, Kaizu Y, et al. Two-stage approach for detecting slightly overlapping strawberries using HOG descriptor[J]. Biosystems engineering, 2013, 115(2): 144-153.

[17] Wachs J P, Stern H I, Burks T, et al. Low and high-level visual feature-based apple detection from multi-modal images[J]. Precision Agriculture, 2010, 11(6): 717-735.

[18] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//IEEE Conference on Computer Vision and Pattern Recognition,Columbus, OH, USA, 2014: 580-587.

[19] Girshick R. Fast R-CNN[C]//IEEE International Conference on Computer Vision, Santiago, Chile, 2015: 1440-1448.

[20] Ren S, He K, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[C]//Annual Conference on Neural Information Processing Systems, Montreal, Canada, 2015: 91-99.

[21] 閆建偉，趙源，張樂偉，等. 改進Faster-RCNN 自然環境下識別刺梨果實[J]. 農業工程學報，2019，35(18)：143-150.

Yan Jianwei, Zhao Yuan, Zhang Lewei, et al. Recognition of Rosa roxbunghii in natural environment based on improved Faster RCNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(18): 143-150. (in Chinese with English abstract)

[22] Liu W, Anguelov D, Erhan D, et al. Ssd: Single shot multibox detector[C]//European Conference on Computer Vision Springer, Cham, 2016: 21-37.

[23] Redmon J, Divvala S, Girshick R, et al. You only look once: Unified, real-time object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 2016: 779-788.

[24] 成偉，張文愛，馮青春，等. 基于改進YOLOv3的溫室番茄果實識別估產方法[J].中國農機化學報，2021，42(4)：176-182.

Cheng Wei, Zhang Wenai. Feng Qingchun, et al. Method of greenhouse tomato fruit dentification and yield estimation based on improved YoLOv3[J]. Journal of Chinese Agricultural Mechanization. 2021 42(4): 176-182. (in Chinese with English abstract)

[25] 呂石磊，盧思華，李震，等. 基于改進YOLOv3-LITE 輕量級神經網絡的柑橘識別方法[J]. 農業工程學報，2019，35(17)：205-214.

Lü Shilei, Lu Sihua, Li Zhen, et al. Orange recognition method using improved YOLOv3-LITE lightweight neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(17): 205-214. (in Chinese with English abstract)

[26] 薛月菊，黃寧，涂淑琴，等. 未成熟芒果的改進YOLOv2 識別方法[J]. 農業工程學報，2018，34(7)：173-179.

Xue Yueju, Huang Ning, Tu Shuqin, et al. Immature mango detection based on improved YOLOv2[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(7): 173-179. (in Chinese with English abstract)

[27] 趙德安，吳任迪，劉曉洋，等. 基于YOLO 深度卷積神經網絡的復雜背景下機器人采摘蘋果定位[J]. 農業工程學報，2019，35(3)：164-173.

Zhao Dean, Wu Rendi, Liu Xiaoyang, et al. Apple positioning based on YOLO deep convolutional neural network for picking robot in complex background[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 164-173. (in Chinese with English abstract)

[28] 張健. 基于改進YOLOv3的果園行人檢測方法研究[D]. 鎮江：江蘇大學，2020.

Zhang Jian. Research on Orchard Pedestrian Detection Method based on Improved YOLOv3[D]. Zhenjiang: Jiangsu University, 2020. (in Chinese with English abstract)

[29] 蔡逢煌，張岳鑫，黃捷. 基于YOLOv3 與注意力機制的橋梁表面裂痕檢測算法[J]. 模式識別與人工智能，2020，33(10)：926-933.

Cai Fenghuang, Zhang Yuexin, Huang Jie. Bridge surface crack detection algorithm based on YOLOv3 and attention mechanism[J]. Pattern Recognition and Artificial Intelligence, 2020, 33(10): 926-933. (in Chinese with English abstract)

[30] Hu X L, Liu Y, Zhao Z X, et al. Real-time detection of uneaten feed pellets in underwater images for aquaculture using an improved YOLO-V4 network[J]. Computers and Electronics in Agriculture, 2021, 185: 106135.

[31] 李就好，林樂堅，田凱，等. 改進Faster R-CNN的田間苦瓜葉部病害檢測[J]. 農業工程學報，2020，36(12)：179-185.

Li Jiuhao, Lin Lejian, Tian Kai, et al. Detection of leaf diseases of balsam pear in the field based on improved Faster R-CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(12): 179-185. (in Chinese with English abstract)

[32] Bochkovskiy A, Wang C Y, Liao H Y M. YOLOv4: Optimal speed and accuracy of object detection[J]. arXiv preprint arXiv: 2004. 10934.

[33] Howard A, Sandler M, Chen B, et al. Searching for MobileNetV3[C]. // IEEE/CVF International Conference on Computer Vision, Seoul, SOUTH KOREA, 2019: 1314-1324.

Recognition of dense cherry tomatoes based on improved YOLOv4-LITE lightweight neural network

Zhang Fu1,2,3, Chen Zijun1, Bao Ruofei1, Zhang Chaochen1, Wang Zhihao1

(1.,,471003,;2.,,212013,;3.,471003,)

Small and hidden conditions of dense cherry tomatoes have posed a great challenge to the rapid identification and positioning of fruits. New key technology with strong robustness is highly demanding to improve the efficiency and yield prediction of cherry tomatoes in the facility agriculture environment. In this study, a novel recognition method was proposed to locate the dense cherry tomatoes using an improved YOLOv4-LITE lightweight neutral network. A mobile Net-v3 easy migration to mobile terminals was selected as the feature extraction network of the model to construct a YOLOv4-LITE for a higher detection speed of cherry tomatoes. A feature pyramid network was set as the modified (FPN) + Path Aggregation Network (PANet) structure, in order to avoid replacing the backbone network to reduce the detection accuracy. Specifically, a 104×104 Future map was introduced to achieve fine-grained detection for the small targets. More importantly, a deep separable convolution was used in the PANet structure to reduce the number of model calculations. The new network was more lightweight, where the generalization ability of the model was improved by loading pre-training weights and freezing partial layer training. A comparison was made on the recognition effect of YOLOv4, F1, and AP on the test set with the same degree of occlusion or adhesion, further to evaluate the difference between the models. The test results show that the improved FPN structure on the basis of YOLOv4 was higher than the AP50of the original YOLOv4 AP75increased by 15.00 percentage points, and the F1 increased by 0.14 and 0.24 under the corresponding IOU threshold. However, the weight increased by 4 MB, while the detection speed increased to 0.27 ms/sheet, and the number of network parameters increased by 14.85%. The improved FPN structure on the basis of YOLOv4+MobiletNet-V3, AP50increased by 6.58 percentage points, AP75increased by 21.82 percentage points, F1 value increased by 0.13 and 0.20 under the corresponding IOU threshold, indicating that YOLOv4 and YOLOv4+MobiletNet-V3 lacked small goals. Fortunately, the Future map of small targets was added to improve the fine-grained detection of the model, but the number of model parameters and weights increased accordingly. As such, the PANet structure was improved to introduce a deep separable convolutional network, while ensuring high F1, AP, Recall and Precision.Optimal performance was achieved, where the model weight was compressed to 45.3 MB, the detection speed was 3.01 ms/sheet, and the network parameters were 12 026 685. Specifically, the new network was reduced by 198.7MB, compared with the original YOLOv4. The data indicated that the improved PANet strategy presented similar accuracy under such circumstances, while effectively reduced memory consumption, and the number of model parameters, but accelerated the speed of model recognition. The F1, AP50, and recall of the proposed recognition model for the dense cherry tree on all test sets were 0.99, 99.74%, and 99.15%, respectively. The improved YOLOv4 increased by 0.15, 8.29, and 6.55 percentage points, respectively, and the weight size was 45.3MB, about 1/5 of YOLOv4. Additionally, the detection of a single 416×416 image reached a speed of 3.01ms/frame on the GPU. Therefore, the recognition model of dense cherry tomatoes behaved a higher speed of recognition, a higher accuracy, and lighter weight than before. The finding can provide strong support to the efficient production forecast of cherry tomatoes in the facility agriculture environment.

computer vision; models; YOLO; deep learning; image recognition; target detection

張伏，陳自均，鮑若飛，等. 基于改進型YOLOv4-LITE輕量級神經網絡的密集圣女果識別[J]. 農業工程學報，2021，37(16)：270-278.doi：10.11975/j.issn.1002-6819.2021.16.033 http://www.tcsae.org

Zhang Fu, Chen Zijun, Bao Ruofei, et al. Recognition of dense cherry tomatoes based on improved YOLOv4-LITE lightweight neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(16): 270-278. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.16.033 http://www.tcsae.org

2021-06-02

2021-08-14

國家自然科學基金資助項目（52075149）；河南省科技攻關計劃項目（212102110029）；現代農業裝備與技術教育部重點實驗室和江蘇省農業裝備與智能化高技術重點實驗室開放基金課題（JNZ201901）；河南省高等教育教學改革研究與實踐項目（研究生教育）成果（2019SJGLX063Y）

張伏，教授，研究方向為農業信息化與農業裝備仿生技術。Email：zhangfu30@126.com

10.11975/j.issn.1002-6819.2021.16.033

TP391，TP81

A

1002-6819(2021)-16-0270-09