基于圖像處理的薊馬計數方法研究

王茂林，榮二花，張利軍，賀曉紅，武文卿，李亞林，郝曉娟，郭艷瓊，馬瑞燕，趙 清，趙志國

（1.山西農業大學農學院，山西太谷030801；2.太谷縣植物保護植物檢疫站，山西太谷030800；3.山西省農業科學院園藝研究所，山西太原030031）

隨著農業經濟的迅速發展，如何快速準確地監測害蟲成為農業生產的一個重要問題。對于害蟲的監測與預防，需要從蟲害的發生初期就對害蟲進行精確、快速地監測與計數，從而準確獲取蟲害信息并且進行害蟲防治[1]。在實踐中，害蟲的預測預報主要依靠人工。但是，在人工調查時，人們運用放大鏡對害蟲進行計數，不僅工作量大、效率低，而且不能對害蟲進行精確地識別與計數，影響了害蟲的監測結果，因此，探索一種實時、準確的監測害蟲技術成為害蟲防治的前提和關鍵[2]。

為了對薊馬害蟲進行預測預報需要誘集薊馬害蟲，目前，我國已經對薊馬害蟲的誘捕方法進行了大量研究。米娜[3]通過對薊馬趨光規律和不同波長色板田間誘捕效果進行研究，結果發現，450 nm的藍色自制黏蟲色板和反射波長為440～470 nm的誘蟲色板對薊馬的誘蟲效果最好。劉陽等[4]通過對藍色黏蟲板在不同高度、時間段對牛角花齒薊馬的誘集效果進行研究，結果表明，黏蟲板距植物頂部10 cm 時，誘捕效果最好；黏蟲板在10：00 對薊馬的誘集數量最多。李煒等[5]運用不同顏色的黏蟲板對春季茶園做綠色防控，結果表明，藍色黏蟲板對薊馬的誘殺效果最好。大量研究結果表明，藍色黏蟲板對薊馬的誘捕效果最好。

同時，我國在害蟲圖像診斷研究方面已取得了一定的進展。ZHAO 等[1]通過運用圖像處理方法和邏輯模型，對梨小食心蟲圖像進行灰度化、分離和形態分析，實現了對梨小食心蟲的自動計數，并構建邏輯斯諦模型進行梨小食心蟲的防治關鍵時期的預報，實現了對梨小食心蟲種群的控制。張震等[6]運用圖像處理方法對螞蟻進行計數研究，通過對圖像灰度化、銳化、二值化等處理，獲得的螞蟻數量準確率較高，通過圖像處理可以取得較好的效果。張成龍[7]基于計算機視覺技術對菜用大豆和豌豆的豆莢內是否存在害蟲進行了檢測。桂便等[8]基于卷積神經網絡對儲糧害蟲進行識別，選取了5 種儲糧害蟲作為訓練樣本，運用卷積網絡的Alexnet 模型對儲糧害蟲進行識別，準確度達到97.62%。樊景超[9]通過MobileNets 構建深度學習模型對果園害蟲進行分類識別，對6 種果園害蟲識別的準確率均在90%以上。目前，研究對象主要集中在大于5 mm 的昆蟲，對于2 mm 下的昆蟲研究在算法和軟件精準識別和計數上還存在一定的問題。

本研究以薊馬為研究對象，通過運用害蟲誘捕器、遠程傳輸系統和自動計數軟件，實現對薊馬的遠程監測。其中，自動化計數軟件以OpenCV 圖像處理和VGG19 深度神經網絡模型相結合的基本手段，通過OpenCV 模塊獲取最佳的顏色分割通道對圖像進行裁剪。對裁剪后的圖像進行高斯濾波處理，去除圖像噪聲。再對圖像進行灰度化、閾值化和二值化處理，利用低通濾波器、形態學開操作得到清晰的二值圖像，利用Canny 算子進行輪廓檢測，獲取所有輪廓的目標圖像，繼而獲取每個輪廓的RGB 圖像。運用VGG19 深度神經網絡對目標圖像進行識別鑒定，從而將薊馬篩選出來，統計所有的薊馬圖像并計數，最終實現對薊馬準確快速識別與計數。本研究運用OpenCV 圖像處理方法和VGG深度神經網絡相結合的方法對薊馬進行識別與計數，提高了薊馬監測的效率和準確率。

1 材料和方法

1.1 試驗材料

試驗在山西省晉中市太谷縣烏馬河附近的蔬菜大棚中進行。試驗通過薊馬誘捕器、遠程圖像傳輸、自動化計數軟件實現對薊馬的遠程監測。薊馬害蟲誘捕器由三角形誘捕器、薊馬誘芯和藍色黏蟲板組成，并在三角形誘捕器兩端放置2.38 mm 篩孔的防蟲網。圖像遠程傳輸系統運用樹莓派將采集的薊馬圖像遠程上傳到對象存儲服務器。圖像采集設備使用自主研發遠程監控攝像頭，按需求定時獲取薊馬圖像，本試驗設置每2 h 采集一次薊馬圖像。在害蟲初期，溫室內害蟲較少，每7 d 更換一次藍色黏蟲板；中后期害蟲數量迅速增加，每3 d 更換一次藍色黏蟲板。OpenCV 是開源的計算機視覺和機器學習庫，提供了C++、C、Python、Java 接口，并支持Linux、Mac、Android 和Windows 系統。OpenCV 提供了很多函數，實現了從最基本的濾波到高級的物體檢測等計算機視覺算法。因此，本試驗在Python 環境下使用OpenCV 實現對薊馬害蟲的識別與計數。

1.2 試驗方法

1.2.1 圖像處理方法

1.2.1.1 讀取薊馬圖片 在計算機內存中讀取薊馬RGB 圖片，薊馬圖片的保存類型為二進制文件，圖像的輸入和輸出為uint8 類型。

1.2.1.2 選取最佳的顏色分割通道 在讀取的RGB 圖像中，除了需要獲取的薊馬藍色黏蟲板圖像外，還存在著其他背景像素，背景像素會對薊馬圖像識別造成干擾，因此，需要刪除其他背景像素，只提取實際的藍色黏蟲板圖像。為了將藍色黏蟲板圖像與背景進行較好地區分，需要尋找圖像最佳的顏色通道。本試驗通過對圖像的RGB、Lab 和HSV 的9 個通道進行比較，結果表明，HSV Color 空間的H通道對藍色黏蟲板圖像和背景圖像區分效果最佳。因此，選用H 通道進行后續的圖像處理。

1.2.1.3 圖像分割 圖像分割是圖像處理技術的一種重要方法。在對圖像的處理過程中，人們只會獲取感興趣的部分圖像，這些感興趣的圖像部分被稱為目標和前景[10]。其中，圖像中的具有薊馬像素的藍色黏蟲板就是目標像素。對于圖像的分割，本試驗采用K 均值聚類對圖像進行分割處理。在H 通道上，通過K 值聚類，選擇2 個聚類進行K 均值聚類分析，其中，一個聚類為前景帶有薊馬的藍色黏蟲板圖像，另一個聚類為不需要的背景圖像。對聚類后H 通道圖像進行裁剪，去除所有的黑色背景像素（刪除像素值為0 的像素），得到薊馬的藍色黏蟲板圖像。

1.2.1.4 高斯濾波去噪 在獲取薊馬的黏蟲板圖像時，由于成像設備、環境、光照以及拍攝背景等因素的影響，在成像過程中容易產生一定的噪聲。圖像中的噪聲不僅影響圖像的觀看，而且也會對圖像的處理造成重大影響，降低圖像處理結果的準確性。因此，采用高斯濾波去噪的方法處理藍色黏蟲板圖像，以消除圖像噪聲。

1.2.1.5 二值化圖像 目標圖像的二值化操作方法是通過灰度直方圖選取最佳的閾值，將256 個亮度等級的灰度圖像通過閾值分割獲得可以反映圖像整體和局部特征的二值圖像。其中，在灰度圖像中，大于閾值的像素值設置為255，顯示為白色；小于閾值的像素值設置為0，顯示為黑色。將去噪后的藍色黏蟲板圖像進行二值化處理，使灰度圖像轉化為黑白圖像。

1.2.1.6 圖像開操作 開運算是將輸入圖像先被結構元素腐蝕，然后再被結構元素膨脹的結果[11]。開運算不僅可以使圖像的其他像素轉化為背景，而且開運算在黏連目標的分離及背景噪聲（椒鹽噪聲）的去除方面有較好的效果，可以起到低通濾波的作用。圖像經過分割處理后，對于出現的噪聲，本試驗采用開操作對二值圖像進行處理。

1.2.1.7 圖像邊緣檢測 目標圖像的邊緣檢測方法是圖像分析中非常重要的一種方法，被廣泛地應用于區域形狀提取、目標區域識別和圖像分割等圖像處理操作中。圖像的邊緣檢測有利于圖像識別過程中目標像素特征的提取。在圖像中，每個物體邊界上的像素點，在像素周圍存在梯度變化的像素值。采用灰度的變化方向和大小來表示圖像灰度值的變化特征[12]。

1.2.1.8 獲取圖像輪廓 在計算機視覺中，輪廓檢測是另一個比較重要的任務，不單是用來檢測圖像中物體的輪廓，而且還有其他操作（多邊形邊界、形狀逼近和計算感興趣區域）與輪廓檢測有關[13]。

1.2.1.9 獲取感興趣區域圖像 通過獲取圖像輪廓，獲取每個輪廓的坐標，將輪廓內區域從藍色黏蟲板圖像上裁剪下來，生成若干個可能是薊馬的圖像。對若干的目標圖像進行保存。

1.2.1.10 VGG19 網絡進行薊馬識別與計數 對于獲取的若干個目標圖像，運用已經訓練好的VGG19 深度神經網絡模型實現對目標圖像的鑒定，判斷目標圖像是否為薊馬，如果目標圖像是薊馬，統計所有是薊馬圖像個數，完成對整個藍色黏蟲板圖像的薊馬計數。

1.2.2 圖像處理算法

1.2.2.1 K 均值聚類 為了實現藍色黏蟲板圖像的聚類，完成圖像分割，本試驗采用K 均值聚類。K 均值聚類算法是一種需要進行多次運算求解的圖像處理方法，K 均值聚類首先需要在圖像上隨機地選取K 個點作為均值聚類的聚類中心，其中，K 值為需要對圖像像素進行分類的類別個數[14]。分別計算圖像上每個像素到各個聚類中心點的距離，根據該距離的大小，把每個像素點和距離最近的聚類中心分為一類。每完成一次聚類，都要對聚類中心進行重新計算。這個過程需要進行多次迭代直到沒有像素被重新計算為止。

K-Means 算法為迭代型聚類算法，以距離大小作為分類指標，從而將像素分為K 個類，而且每個聚類中心都是通過求平均值的方法得到的[15]。根據給定的一個（包含n 個一維以及一維以上的數據點的）數據集X，將X 的數值分為K 個類別，運用歐式距離進行相似性分類，要求K 個聚類目標的聚類平方和最小，即最小化。

1.2.2.2 高斯濾波去噪 對于圖像的去噪，本試驗采用高斯模糊來處理圖像。高斯模糊主要運用傅里葉變換，基于傅里葉變換，本試驗通過采用低通濾波器（LowPass Filer，LPF）來消除圖像噪聲。低通濾波器是在像素與周圍像素的亮度差值小于一個特定值時，平滑該像素的亮度[16]。高斯模糊是最常用的低通濾波器之一，它是削弱高頻信號強度的低通濾波器。通過高斯濾波處理，可以去除圖像噪聲，為圖像進行分割處理做準備。

1.2.2.3 圖像邊緣檢測 圖像中所有物體的像素點，其邊界的像素都在灰度級的變化，物體與周圍環境的差別越大，則像素的灰度值變化越明顯。其中，這種變化最主要的特征為灰度值變化的梯度方向和幅值大小。

圖像的像素值在邊緣上差值較大，其像素差值的導數存在局部最大值。因此，通過獲取像素差值的局部最大值和梯度方向就可以得到圖像的邊緣。

已知像素f（x，y）在沿梯度r 的方向定義如下。

由于梯度模算子具有各向同性和位移不變性的特點，可以運用到圖像的邊緣檢測，而像素值變化的方向即邊界的方向，則可由像素點的正切函數的反函數得到。

試驗中，梯度模算子運用微分算子來表示，通過對微分算子的卷積函數來獲取梯度。

微分算子主要有Canny 算子、Roberts 算子、Prewitt 算子、Soble 算子以及Isotropic Soble 算子，本研究使用Canny 算子進行卷積。Canny 算子在階梯型邊緣檢測中效果最好。Canny 算子的實現步驟如下：（1）將圖像進行卷積來消除噪聲，運用2D 高斯濾波模板進行卷積。（2）利用Sobel 算子找到灰度值的導數Gx、Gy。（3）運用Gx、Gy的值求出梯度變化的方向。（4）計算邊緣的方向。需要把圖像邊緣的梯度方向分為0°、45°、90°、135°，并且記錄各梯度方向上的像素值。（5）對像素值計算進行迭代。圖像像素的灰度值為g，其中，在梯度方向上，只要像素的灰度值g 小于等于任意一個相鄰的像素值，則將該像素的灰度值g 等于0，即該像素不屬于邊緣像素。（6）圖像邊緣檢測。通過所有像素與灰度直方圖中2 個閾值g1、g2的大小來確定圖像邊緣，其中，g1＞g2。如果像素與閾值g1差值大于0，則這個像素為圖像邊緣；如果該像素與閾值g2差值小于0，則這個像素不是邊緣；如果像素值介于g1和g2之間，那么這個像素周圍的其他像素值若都是小于閾值的像素，則該像素為邊緣像素，否則不是。

1.2.2.4 VGG 卷積神經網絡 VGG 網絡模型是深度卷積神經網絡的一種模型，用于對目標圖像進行分類，VGG 有2 種結構，分別是VGG16 和VGG19，二者網絡深度不一樣，本試驗選擇深度比較深的VGG19 網絡模型對目標圖像進行檢測。

1.2.2.5 計數結果判定 將獲取的薊馬結果進行統計，以人工統計的薊馬數量作為對照，通過正確識別率（REFR）來評價薊馬的計數效果。

其中，REFR 表示正確識別率，Nm表示人工識別的結果，Na表示圖像識別的結果。

2 結果與分析

將試驗獲取的10 個不同藍色黏蟲板的薊馬圖像通過自動化計數軟件進行處理，應用人工計數結果作為對比，獲取每個黏蟲板上的薊馬數量，應用正確識別率公式進行計數準確率計算。從圖1 可以看出，對不同藍色黏蟲板上的薊馬進行計數，人工計數與圖像計數的結果存在差異，圖像計數獲取的薊馬數量比人工計數得到的薊馬數量少。其中，圖像計數與人工計數薊馬數量差距的最大值為3 頭。自動化計數軟件對薊馬計數的結果相對誤差最大值為8%，平均相對誤差為3.20%。通過計算準確率，對自動化計數軟件獲取得到的薊馬數量和人工計數的薊馬數量做對比，自動化計數軟件的計數準確率的平均值為96.8%，表明自動化計數軟件的正確識別率較高，通過對薊馬圖像進行處理，可以獲得薊馬害蟲發生的動態數據。因此，圖像計數可以用于薊馬的遠程監測。存在誤差可能是由于黏蟲板上薊馬個體較小，存在薊馬圖像重疊，重疊后的薊馬圖像不易分辨，而且，圖像計數存在的誤差也受到環境因素的影響，溫室大棚內光線不足，也會對薊馬圖像的計數產生比較大的影響。為了提高圖像計數的準確率，可以經常更換黏蟲板，更換后的黏蟲板薊馬數量減少，可以減小薊馬的重疊，而且需要在高清攝像頭周圍補充可控制的LED 光源，從而提高薊馬害蟲的識別率。總的看來，自動化計數軟件可以應用于薊馬的計數和種群監測。

3 結論與討論

隨著計算機技術的不斷發展，害蟲的預測預報在農業中所起的作用越來越大。本研究利用自動化計數軟件對溫室內的薊馬害蟲進行計數。自動化計數軟件采用OpenCV 圖像處理和VGG 深度神經網絡圖像相結合的方法，可以很好地實現對藍色黏蟲板上的薊馬計數，該方法不僅準確率高，而且處理方法簡單，可以實現對薊馬快速、準確的預測預報。

統計害蟲數量是害蟲監測的重要手段與方法，傳統的害蟲監測方法需要人工手動進行計數，費工、費時。因此，需要更加高效、準確的計數方法來對害蟲進行計數。利用圖像處理方法對害蟲進行計數存在理論的可行性。周愛明[17]通過運用圖像處理和深度學習技術對放置于水稻田間的智能測報燈采集的燈誘昆蟲進行研究，實現水稻測報害蟲的自動識別與計數，其中，對白背飛虱和褐飛虱的識別率分別為90.7%和85.5%。曹旨昊等[18]運用Android手機，基于HSV 空間的圖像處理技術去除無關背景，使用濾波技術處理害蟲圖像中的翅、足等邊緣不規則部分，減少了噪聲的干擾，提高了識別的準確率。ZHAO 等[19]基于Gabor 小波提取特征，采用AdaBoost 算法進行特征篩選并選用SVM作為分類器訓練分類模型，結果表明，可以有效地提高識別效率與精度，能夠滿足實時應用的需要。從目前害蟲數量統計的方法來看，還沒有對2 mm 以下的微小害蟲計數進行研究，并且對于圖像的樣本獲取還需要人工獲取，費時費力。

本研究利用自動化計數軟件，通過樹莓派遠程獲取害蟲圖像，上傳到服務器，通過OpenCV 圖像處理技術對獲取的藍色黏蟲板圖像進行灰度化、閾值化處理，再利用低通濾波器、形態學開操作一系列圖像處理后，得到清晰的二值圖像，利用Canny算子進行輪廓檢測，獲取每個輪廓內的彩色圖片，運用訓練好的VGG19 深度神經網絡模型對輪廓內的圖像進行識別，統計所有薊馬圖像的數量，可以準確地對薊馬進行識別與計數。此方法也可運用于其他害蟲的計數和檢測。然而，當環境發生巨大變化時，如光照嚴重干擾圖像或溫室內其他害蟲增加時，可能會影響自動化計數軟件的準確率，下一步將采用卷積神經網絡方法來識別和計數害蟲，從而提高害蟲計數的準確率和對更加復雜環境的適用性。

本試驗通過對圖像處理計數與人工計數做對比，相對誤差在8%以下，自動化計數軟件運行效果良好，可以實現薊馬的計數和種群監測，提高薊馬計數的準確率，對于薊馬的預測預報具有重要意義。