基于YOLOv4的胡瓜鈍綏螨自動檢測計數

李建興， 劉振宇， 馬 瑩， 何棟煒， 鄭小剛， 宋 江

(福建工程學院電子電氣與物理學院，福建福州 350118)

目前，全世界在開展綠色防控技術方面的需求日趨急迫。我國是農業大國，也是農藥使用大國，長期累積形成較大的環境和生態問題。生物防治是從根本上解決農藥濫用和殘留問題的有效途徑，天敵馴化并形成產品是生物防治的重要基礎。捕食螨的馴化與推廣應用是天敵馴化的重要分支。近年來，我國已研發出具有自主知識產權的天敵捕食螨工廠化生產技術。胡瓜鈍綏螨是捕食螨的一種，它廣泛分布于世界各地，利用胡瓜鈍綏螨能有效控制薊馬和葉螨等害蟲，可在農業螨害綠色防治上發揮重要作用。目前胡瓜鈍綏螨已經能夠進行工業化養殖，在工業養殖過程中質量檢測尤為重要，待出廠銷售的產品需要對胡瓜鈍綏螨數量進行計數檢測?，F階段質量檢測工作步驟為專業人員對養殖的胡瓜鈍綏螨進行抽樣檢測，在顯微鏡下進行人工計數，這種方法效率低下。由于粉螨與胡瓜鈍綏螨長相相似，肉眼長時間檢測會提高檢錯概率。為了解決這一問題，本研究建立一種準確快速的捕食螨檢測計數工具，以期對提升胡瓜鈍綏螨工業化生產質量檢測提供指導。

目標檢測是當前計算機視覺領域的研究熱點之一。近年來目標檢測技術在昆蟲防治檢測、農業養殖領域的應用取得了較大進步?；诨貧w思想YOLO(you only look once)檢測算法，經過單次檢測可直接得到最終的檢測結果，因此有著更快的檢測速度，滿足實時檢測要求。YOLO算法經過不斷改進，優化了對小目標類的檢測性能，到目前的YOLOv4版本，針對螨蟲類小目標的檢測精度高。

為了解決胡瓜鈍綏螨自動檢測計數問題，本研究使用工業相機搭配電子顯微鏡制作螨蟲數據集，構建YOLOv4檢測模型對螨蟲進行分類檢測，利用該模型多尺度、高精度分類的特點，對胡瓜鈍綏螨、粉螨進行準確區分計數。

1 材料與方法

1.1 試驗設計

本研究通過工業相機搭配電子顯微鏡拍攝，拍攝樣品是福建省農作物害蟲天敵資源工程技術研究中心生產的合格罐裝螨，罐裝內包含麥麩(生長環境)、胡瓜鈍綏螨、粉螨。罐裝螨內含有大量麥麩，螨蟲附著于麥麩表面。使用40目、孔徑為 0.45 mm 標準篩將麥麩和螨蟲進行初步過濾，可以將螨蟲和面積較大的麥麩進行分離，有利于后期圖像拍攝。

每次從樣品罐中取0.1 g麥麩進行初步過濾分離后得到的麥麩碎片和螨蟲放入定制凹槽載玻片(凹槽深度1 mm，長寬14 mm)中，胡瓜鈍綏螨和粉螨具有活性會在凹槽載玻片中移動，每間隔 10～15 s 拍攝1幅照片，每拍攝30幅照片后更換凹槽載玻片重新取樣拍攝。將所采集到的數據進行處理，整個數據處理流程見圖1。

1.2 圖像采集

本試驗圖像采集裝置見圖2。主要由調焦機構架、CMOS(互補金屬氧化物半導體)工業相機(200萬像素，型號為XG200S)、電子顯微鏡頭(目鏡0.5×，物鏡0.8×)、定制凹槽載玻片、LED(發光二極管)背光源組成。將通過振動過濾后的螨蟲放入載玻片凹槽內，垂直凹槽向下拍攝。采集圖像總數量為1 030幅，拍攝圖像放大倍數為40倍，圖像分辨率為1 280×1 024像素，圖像格式為jpg。

在載玻片上拍攝的圖像中螨蟲種類為2種，分別是胡瓜鈍綏螨、粉螨，圖像中存在少許幼蟲，質量把控檢測對象為胡瓜鈍綏螨成蟲(體長約0.20～0.50 mm)數量，粉螨幼蟲體積不到胡瓜鈍綏螨和粉螨成蟲的1/10，對檢測胡瓜鈍綏螨成蟲不影響，因此本試驗標簽主要分為2類：胡瓜鈍綏螨成蟲(hunt)、粉螨成蟲(dust)。胡瓜鈍綏螨和粉螨采集樣本見圖3，胡瓜鈍綏螨形態呈橢圓型頭部尖銳，在背光源照射下通體呈米黃色。粉螨形態圓潤呈橢圓狀，在背光源照射下通體呈灰色。

1.3 捕食螨品質檢測人機界面設計

為了方便操作人員進行檢測，設計了GUI(圖形用戶界面)品質監控界面，見圖4，在監控界面中，點擊打開相機，可以調用相機進行拍攝并且加載到界面中，點擊捕食螨蟲計數，即會調用模型進行檢測計數，檢測結果會顯示至界面，分別將胡瓜鈍綏螨與粉螨計數結果顯示在左上角。

2 基于圖像處理的捕食螨自動識別計數方法

2.1 數據集預處理

使用LabelImg圖像標注工具對采集的螨蟲圖片進行標注，生成xml格式文件，文件中保存矩形框的長寬高和中心坐標以及標注類別等信息。每頭螨蟲使用一個矩形框標注，矩形框大小以螨蟲最小外接矩形為最佳。在圖片邊緣存在拍攝不完整螨蟲，人工進行判斷標注。每標注完1幅圖片上所有目標螨蟲將保存文件，標注了1 030幅圖片，共標注了10 590個胡瓜鈍綏螨標簽，3 038個粉螨標簽。為了豐富所采集到的數據集背景，通過mosaic(馬賽克)數據增強方法，每次將讀取到的4幅圖片進行水平翻轉、縮放、色域變化、垂直翻轉，并且4個方向按照一定比例進行截取后拼接出一幅新的訓練圖，數據組合效果見圖5。網絡輸入端為了提高網絡訓練和減少運算量，將圖片的尺寸大小統一調整至608×608像素。

將數據集中包含的圖片和xml格式標簽文件分別放入不同文件夾，圖片與標簽的文件名相對應。訓練模型之前，將1 030幅數據集隨機分為訓練集、驗證集、測試集，訓練集和驗證集占總數據集的90%，測試集占總數據集的10%，其中，訓練集和驗證集的比例為9 ∶1。

2.2 螨蟲檢測方法介紹

目標檢測方法可以分為傳統檢測算法和深度學習檢測算法。傳統的檢測方法通常分為區域選擇、特征手工提取、分類回歸3個步驟，其中區域選擇耗時長且效果不好，特征手工提取所提取的語義特征信息少，該方法目前已經難以滿足對復雜背景的高性能檢測需求。隨著深度學習發展，在實際檢測過程中，表現出高精度、實時性、特征自動提取等優點，深度學習逐漸成為研究人員所青睞的檢測方法。

目前，深度學習目標檢測常用的主流算法分為兩大類，第1類是兩階段檢測算法，首先由算法生成一系列作為樣本的候選框，再通過卷積神經網絡進行樣本分類，代表算法有Faster R-CNN(區域卷積神經網絡)。第2類是一階段檢測算法，不需要產生候選框，直接將目標框定位的問題轉化為回歸問題處理，代表算法有YOLO模型、EfficientDet模型。

Faster R-CNN算法結構為主干特征提取網絡、RPN (區域生成網絡)、ROI(特征圖上的框) Pooling層、分類與回歸層，圖像傳入主干特征提取網絡得到特征層，采用RPN對特征圖上的每個網格進行滑窗處理，得到每個網格上錨框調整參數以及判斷框內是否包含物體，獲得候選框，完成第1階段前景與背景的粗定位，再將獲得的候選框傳入至ROI Pooling層調整至相同大小，最后傳入分類與回歸層，判斷是否包含目標且對候選框進行調整得到最后的預測結果，該兩階段算法經過前景背景粗篩選后再對物體進行精細調整，檢測精度高，但由于特征圖錨框尺度較大，對于小尺寸目標的檢測效果不佳。

EfficientDet算法結構為EfficientNet主干特征提取網絡、BiFPN特征融合層、類別與邊界框預測層，圖片傳入主干特征提取網絡，該網絡利用殘差神經網絡結構增大神經網絡的深度，通過更深的網絡提取特征，獲得5個有效特征層完成初步的特征提取，將所得到的5個有效特征層傳入FPN結構的改進版BiFPN特征融合層，BiFPN模塊對獲得的特征層進行多次自頂向下、自底向上的雙向路徑特征加權融合，獲得具有更高語義的有效特征層。最后對特征加以利用整合，輸入類別與邊界框預測層得到最后的檢測結果。EfficientDet算法中具有多尺度特征融合結構，提升了對小尺寸目標的檢測性能。

YOLO算法經過不斷改進，相對比于YOLOv1、YOLOv2版本，YOLOv3、YOLOv4、YOLOv4-Tiny版本擁有多尺度預測結構，提高了對不同尺寸目標的檢測性能，其中YOLOv3算法結構為Darknet53主干特征提取網絡、FPN特征融合層、YOLOv3預測層。其中Darknet53主干特征提取網絡利用殘差網絡結構，增大網絡深度提取圖像特征。圖像經過主干特征提取網絡后獲得3個有效特征層，后傳入FPN特征融合層通過融合高低層特征提升目標檢測的效果，尤其可以提高小尺寸目標的檢測性能，將所得到的特征最后輸入YOLOv3多尺度預測層中得到分類結果以及邊界框參數。YOLOv4算法在YOLOv3算法基礎上結合了同時期幾種優秀網絡結構，在保證計算速度的情況下，針對小尺寸目標檢測精度有進一步提升。YOLOv4-Tiny是 YOLOv4的簡化版，在主干特征提取網絡中卷積層數減少，在特征融合部分采用FPN特征融合結構，僅使用了2個特征層進行分類回歸預測，提升了檢測速度，但精度有所降低。

2.3 YOLOv4模型結構

YOLOv4模型結構見圖6，主要包括CSPDarknet53主干特征提取網絡、Neck模塊、YOLOv3頭部。特征提取網絡結構采用CSPDarkNet53網絡，輸入的圖像經過CSPDarkNet53網絡中5個殘差單元塊，每個殘差單元塊個數為1、2、8、8、4，圖像大小不斷壓縮，所提取的特征深度不斷堆疊，提取圖像中更深層的語義信息，最終獲得3個有效特征層，特征層維度分別為中層(76，76，256)、中下層(38，38，512)、下層(19，19，1 024)，中層特征圖感受野較大，用于預測圖片當中的較大目標物，中下層特征層用于預測中等大小目標物，下層特征圖提取圖像中更深層語義信息，細節信息表達能力更好，用于預測圖像中較小目標物。

其中Neck模塊中增加空間金字塔池化模塊(spatial pyramid pooling，簡稱SPP)網絡結構，對CSPdarknet53處理后的最后一個特征層分別利用4個不同尺度的最大池化進行特征融合，池化核大小分別為13×13、9×9、5×5、1×1，這樣有助于極大地增加感受野，能將最顯著的上下圖特征分離出來。路徑聚合網絡(path aggregation network)結構為Neck模塊的特征融合部分，對CSPDarkNet53處理后的特征層中層、中下層、下層進行PANet特征金字塔多通道融合，由圖6可知，首先進行1次自底向上的多尺度特征融合，下層特征層進行多次上采樣將所提取到的特征傳遞到中層，經過多層網絡才能達到金字塔頂端，后繼續進行1次自頂向下路徑增強分支，盡可能多地保留特征信息，實現特征的反復提取，有效提取圖像中有效的特征。

經過PANet網絡結構處理后，最后將獲得的特征進行回歸預測處理，YOLOv4采用的是YOLOv3的預測頭。首先會將整幅圖像劃分為S×S個小方格，在(19×19)、(38×38)、(76×76)3個特征圖上進行回歸預測，利用Anchor機制每個特征圖的小方格都會預測3個大小不同的邊界框，每個邊界框會產生(4+1+C)維向量，其中4表示網格預測目標中心的偏移量(，)和邊框尺寸相對于整幅圖片的寬高尺寸(，)，1表示目標邊框置信度值，C為識別目標類別數。本研究的需求為檢測胡瓜鈍綏螨和粉螨2個類目，因此每個邊界框的輸出向量為(4+1+2)。

2.4 回歸損失函數

YOLOv4回歸損失函數使用全局交并比(complete-intersection over union，簡稱CIoU)，計算公式為式(1)，利用該檢測算法評價邊界框是否存在目標物體以及檢測準確度，CIoU考慮了檢測框的重疊面積、中心點距離、長寬比，優化了訓練過程中發散等問題且在矩形框回歸預測問題中有速度與精度的提升。其中IoU為評價預測框與真實框的面積交并比，計算公式為式(2)。

(1)

(2)

(3)

(4)

式中：為2個框中心點歐式距離；、分別為預測框、真實框的中心點，可以反映出預測框與真實框的距離；表示2個中心點最小外接矩的對角線長度；為權重參數；DetectionResult、GroundTruth分別為預測框的面積和真實框的面積；(，)、(，)分別為預測框、真實框的寬、高；為長寬比的懲罰項，用來測量長寬比的一致性，該懲罰項作用就是迅速控制預測框的寬高能夠盡可能快速地與真實框的寬高接近，使模型預測位置準確度提高。

3 試驗結果與分析

3.1 試驗環境與參數設置

本試驗研究采用Pytorch深度學習開源框架，使用圖像處理器加速訓練過程。硬件配置：圖形處理器為英偉達GeForce RTX 3090 (顯存為24 GB)，中央處理器為英特爾酷睿 i7-10700K @ 3.80 GHz，內存為16 GB。運行環境為Windows10，CUDA庫版本為11.0，Python版本為3.7，Pytorch版本為1.7.1。

搭建好YOLOv4、YOLOv4-Tiny、YOLOv3、Faster R-CNN、EfficientDet共5種目標檢測模型后，由于螨蟲數據集較少，使用遷移學習的方法進行訓練。網絡權重由YOLOv4模型訓練MicroSoft COCO數據集得到，該數據集是一個大型的、豐富的物體檢測數據集，訓練得到的網絡參數可以作為檢測模型預訓練權重，這種訓練方法是常用且高效的，使用該預訓練權重能節省螨蟲數據集訓練時間，網絡訓練過程收斂更快、檢測效果更好。

對胡瓜鈍綏螨、粉螨2種試驗樣本圖像分別標定好后生成對應xml文件放入待訓練文件夾中，將搭建好的幾種深度學習模型設置好訓練參數，設置訓練階段批量大小batch_size=8，總訓練輪數為100，初始學習率為0.001 0，學習率在50輪后下降至0.000 1。

3.2 評價指標

召回率(recall)也稱作查全率，表示在所有真實目標(TP+FN)當中模型能夠預測正確的目標比例，計算公式為式(5)，本研究預設定的IoU閾值為0.5，TP(true positives)代表模型正確分配出的正樣本個數，即預測框與標注框類別相同；FN表示錯誤分配成了負樣本的個數。以胡瓜鈍綏螨為例，模型能夠正確找出圖片中更多的胡瓜鈍綏螨召回率越高，展示出模型識別目標的能力。

(5)

精確率(precision)也稱作查準率，計算公式為式(6)，表示模型檢測出正確目標所占的比例，(TP+FP)是模型檢測的所有正樣本，精確率用來表示模型檢測的準確性，精確率越高，表示模型檢測的準確性越好。

(6)

由于精確率和召回率會隨參數交并比的變化而改變，因此單單使用精確率和召回率作為模型的評價指標存在一定的局限性。

本研究以胡瓜鈍綏螨檢測精度(average precision，簡稱AP)、檢測精度平均值(mean average precision，簡稱mAP)和檢測時間作為模型性能評估指標。每一類別螨蟲檢測精度指的是P-R(precision-recall)曲線下區域面積，檢測精度數值越大，表示算法針對該類別檢測效果越好。檢測精度均值(mAP)即為胡瓜鈍綏螨、粉螨2個類別的檢測精度均值，計算公式見式(7)。

(7)

式中：代表檢測的總類別數量；為類別的序號數。檢測精度均值數值越大，表示算法對所有類別整體檢測性能越好。

3.3 YOLOv4檢測結果

將103幅測試集使用YOLOv4模型進行目標檢測，測試集圖像中一共有1 213頭胡瓜鈍綏螨，280頭粉螨，檢測過程當中IoU閾值設置為0.5，可保留更多預測框，所計算的精度率會更準確。在對應置信度下得到、、值，根據公式(5)、(6)分別計算出2類螨蟲在不同置信度下所得到的精確率和召回率，由精確率和召回率圍成的P-R曲線見圖7。胡瓜鈍綏螨的檢測精確率為99.45%，粉螨的檢測精確率為93.94%，最后求得胡瓜鈍綏螨、粉螨2個類別檢測精度均值為96.69%。

3.4 多種算法對比分析

本研究使用相同的圖片數據集和網絡參數，分別使用YOLOv4、YOLOv4-Tiny、YOLOv3、Faster R-CNN和EfficientDet共5種檢測模型進行試驗對比。

在訓練好以上5個模型后使用圖像采集裝置隨即拍攝3幅圖片a、b、c進行試驗對照，圖片中存在雜質和螨蟲相接觸的情況，檢測效果見圖8，5種模型的檢測效果均有不同的差異。在圖8-a中，YOLOv3模型所檢測到的目標中存在漏檢測1頭胡瓜鈍綏螨，將胡瓜鈍綏螨和雜質誤判斷為粉螨的情況，Faster R-CNN模型所檢測到的目標中存在將4個雜質誤判斷為粉螨，1頭粉螨未被識別，EfficientDet模型檢測結果中存在1頭胡瓜鈍綏螨未識別。在圖8-b中，YOLOv3模型和EfficientDet模型檢測結果中均存在漏檢2頭粉螨且將雜質誤檢測成粉螨的情況。在圖8-c中，YOLOv4-Tiny模型檢測結果中存在漏檢測1頭粉螨，且圖片中2頭胡瓜鈍綏螨接觸狀態時誤檢測為1頭且存在將胡瓜鈍綏螨誤分類為粉螨的情況，YOLOv3模型檢測中存在漏檢測胡瓜鈍綏螨的情況，Faster R-CNN模型檢測結果針對檢測胡瓜鈍綏螨接觸狀態時只能檢測出單頭且目標框定位不準確，EfficientDet模型檢測結果存在漏檢測粉螨情況。從這3幅圖片中，可以看出YOLOv4檢測效果最佳，在存在雜質和螨蟲相接觸的情況下，相接觸螨蟲能夠較好地被分別檢測出且不存在誤檢測情況，檢測出的螨蟲置信度值(預測類別是真實類別的概率)也是5個模型中最高的，YOLOv4模型針對螨蟲小目標檢測具有良好的魯棒性。

使用相同測試集103幅圖片，其中測試集共有1 213個胡瓜鈍綏螨和280個粉螨標簽，分別對5種模型進行評估。在相同IoU閾值下，由表1可知，YOLOv4模型針對胡瓜鈍綏螨的平均檢測精度比YOLOv4-Tiny模型高4.48百分點，比YOLOv3模型高0.11百分點，比Faster-RCNN模型高25.39百分點，比EfficientDet模型高7.91百分點，以上數據表明YOLOv4模型針對于胡瓜鈍綏螨的檢測能力更為優秀。

表1 不同算法在測試集檢測結果

YOLOv4檢測模型檢測2類螨蟲的檢測精度均值高于YOLOv4-Tiny模型14.85百分點，高于YOLOv3模型2.12百分點，高于Faster-RCNN模型35.77百分點，高于EfficientDet模型27.18百分點。針對螨蟲小目標數據集，YOLOv4模型的檢測精度均高于其他檢測模型。

對單幅圖片檢測時間進行測試，使用圖像采集裝置拍攝10幅螨蟲照片，分別使用5個模型對采集的照片進行預測計時，平均檢測時間為檢測10幅照片所耗費的時間均值，其中YOLOv4-Tiny模型由于結構是YOLOv4的簡化版，只使用2個預測特征層，網絡參數少，預測時間最快，達到平均檢測單幅圖片時間為0.098 s，YOLOv3平均檢測單幅圖片時間為0.115 s，YOLOv4平均檢測單幅圖片時間為0.137 s，Faster-RCNN平均檢測單幅圖片時間為0.154 s，EfficientDet模型平均檢測單幅圖片時間最慢為0.164 s。YOLOv4在5個模型中檢測時間為中等，平均檢測時間為0.137 s，滿足質量檢測過程對速度的要求。

4 結論

本研究使用采集裝置隨機拍攝3幅螨蟲圖片進行試驗，在圖片中存在雜質且螨蟲相接觸的情況下，YOLOv4模型均能夠準確檢測胡瓜鈍綏螨、粉螨，檢測效果明顯優于同系列的YOLOv4-Tiny、YOLOv3模型，及主流算法Faster R-CNN和EfficientDet模型。

通過現場隨即拍攝圖片對5種模型進行檢測計時，結果表明YOLOv4模型檢測單幅圖片平均時間僅需0.137 s，檢測速度達到現場應用要求。

本研究所構建的YOLOv4胡瓜鈍綏螨檢測模型與現有的幾種流行檢測模型進行比較，結果表明，YOLOv4模型對胡瓜鈍綏螨檢測精度分別比YOLOv4-Tiny模型高4.48百分點，比YOLOv3模型高0.11百分點，比Faster-RCNN模型高25.39百分點，比EfficientDet模型高7.91百分點，YOLOv4檢測模型對胡瓜鈍綏螨和粉螨檢測精度均值均高于YOLOv4-Tiny、YOLOv3、Faster-RCNN、EfficientDet模型，能達到高準確率檢測胡瓜鈍綏螨。

通過測試集與實際拍攝圖片測試表現，本研究提出基于YOLOv4檢測算法應用于螨蟲檢測計數方案是可行的，達到目前工業化生產胡瓜鈍綏螨質量檢測自動精確計數的要求，具有很好的應用價值。