粘蟲板害蟲自動識別計數研究

包曉敏，盛家文

(浙江理工大學 信息學院，浙江 杭州 310016)

蟲害是農業生產中的重要問題，嚴重制約著我國現代農業發展。及時獲悉田間害蟲種類及數量，不僅是有效制定害蟲防治方案的基礎，更能為后期預測預報害蟲爆發期提供原始數據。

害蟲具有趨黃性，在田間設置黃色粘蟲板誘殺害蟲的方法目前已被廣泛使用[1]。粘蟲板上害蟲的計數方法主要分為2種：一種是人工計數；一種是基于機器視覺的自動計數。前者費時費力且實時性差，需要基層測報人員具有相關的理論知識；而后者利用圖像處理、模式識別等方法對害蟲圖像進行自動分析，能夠有效地識別害蟲種類及數量，排除了人為因素的干擾。傳統的基于機器視覺的計數方法，需要工作人員深入田間進行拍照，然后將圖片傳送至計算機終端進行識別計數，工作量大，實時性差[2-3]。姚仲敏等[4]設計了一種基于移動無線傳感器網絡的植株圖像監測系統，但該系統需要無人機作為傳輸節點，成本較高；曹旨昊等[5]設計了一種基于Android系統的粘蟲板害蟲計數系統，然而該系統不能實時獲取害蟲圖片。近年來，深度學習技術在圖像處理領域的表現愈加出色，有學者將深度學習的方法引入到農作物的害蟲識別中[6]。然而，深度學習需要大量的樣本才能獲得較好的識別結果，但在實際生產活動中往往無法獲得大量的目標樣本。為解決上述問題，本文提出了一種基于樹莓派的農業害蟲測報系統。利用樹莓派自動拍照并將圖像上傳至云服務器進行處理，以Web網頁作為客戶端展現測報結果。許多昆蟲誘捕試驗都發現，黃色粘蟲板的誘捕效果最好[7-9]。為此，本試驗選擇黃色粘蟲板誘捕米蛾(Corcyracephalonica)，并以此為例開展研究。針對拍攝的圖片，在進行背景去除的基礎上，提出一種基于顏色矩特征提取的方法，提高計數結果的準確率。

1 材料與方法

1.1 系統架構

系統由數據采集端、測報云平臺和客戶端組成(圖1)。數據采集端主要包括環境數據采集、害蟲圖片采集、數據及圖片上傳，測報云平臺主要包括云數據庫(存儲環境數據)、云對象存儲服務器(存儲害蟲圖片)和云服務器(處理圖像)，客戶端主要負責數據可視化和發送指令。數據采集以樹莓派作為處理的核心，將采集到的環境數據和害蟲圖片通過4G無線Wi-Fi模塊以TCP協議的形式上傳至測報云平臺。圖像上傳至云對象存儲服務器后展開計數，并將計數結果存儲至云數據庫中，用戶通過瀏覽器訪問網頁，以HTTP請求形式調用云數據庫和云對象存儲服務器中的數據查看信息，同時可通過云服務器發送拍照、設定拍照時間等功能指令驅使樹莓派獲取環境值和圖像。

1.1.1 數據采集端

數據采集端以樹莓派3代B型開發板作為核心，通過杜邦線連接溫濕度傳感器、光照強度檢測模塊和下雨檢測模塊，通過USB接口連接4G無線上網卡，通過CSI接口連接樹莓派專用攝像頭。主要功能及其實現簡述如下：1)環境數據采集。樹莓派驅動傳感器模塊采集溫濕度、光照和降水情況。2)害蟲圖像采集。將樹莓派置于距百葉箱(百葉箱置于戶外，靠近米蛾的培養中心)底部30 cm高的橫梁上，攝像頭正對底部含有黑色誘芯(米蛾性誘劑誘芯)的黃色粘蟲板，樹莓派驅動攝像頭進行拍照。3)數據及圖片上傳。樹莓派通過4G無線上網卡獲取網絡連接，將環境數據和圖片通過TCP協議上傳到云平臺，并通過心跳機制保證TCP長期有效連接。

1.1.2 測報云平臺

測報云平臺包含云服務器、云數據庫、云對象存儲服務器3部分。云服務器是測報云平臺的核心部分，管理云數據庫和云存儲對象，負責數據采集端的數據交互，處理上傳圖片；云數據庫負責管理測報系統使用到的數據表；云對象存儲服務器用于存放終端上傳的圖像。測報云平臺與數據采集端通過TCP連接。數據采集端先上傳樹莓派標識，然后再上傳環境數據，并將其寫入云數據庫。上傳過程中，先上傳圖像名字，后循環上傳圖像內容，待圖像內容上傳完畢后，存入云對象存儲服務器。

1.1.3 客戶端

客戶端包括數據可視化和指令傳輸。數據可視化是指采集的環境數據和計數結果在網頁上的呈現，指令傳輸是指何時進行拍照計數和獲取環境值，整體功能如圖2所示。

1.2 云平臺圖像處理及計數

圖像上傳至云對象存儲服務器后，進行圖像預處理、圖像分割、測報害蟲特征提取和識別計數4個步驟。

1.2.1 圖像預處理

針對圖像中存在的黑色誘芯(圖3-A)，采用最小二乘圓擬合獲取疑似誘芯位置(圖3-B)。

相對于RGB空間，HSV空間能夠更直觀地表達色彩的明暗、色調和鮮艷程度，更具有穩定性。因此，在完成最小二乘圓擬合檢測后，進行顏色過濾替換，將圖片從RBG空間過濾替換為HSV空間。定位黑色區域，將其替換為背景板的顏色，結果如圖3-C所示。

圖2 客戶端功能示意圖Fig.2 Diagram of client functions

1.2.2 圖像分割

圖像分割的實質是分割背景與前景，為特征提取及過濾非靶標物質提供條件。圖像分割方法大體可分為4類，其中以基于聚類的方法最為常見[10]。由于本試驗中的圖片背景具有相對一致性，因此采用基于HSV顏色空間的背景分割方法[11]。過程如下：1)空間轉換，將輸入圖像轉換為HSV空間下的圖像；2)背景去除，顏色過濾替換(以圖像背景為模板進行過濾)；3)形態學操作，包括二值化和高斯濾波。處理結果如圖4所示。

1.2.3 測報害蟲特征提取

背景去除后，在圖像上遍歷輪廓，獲取輪廓位置，以最大外接矩形包圍輪廓，并在原圖相應位置設置感興趣區域(region of interest，ROI)。對于害蟲來說，其特征主要有顏色、形狀和紋理。

A、B、C分別是原始圖片、最小二乘法擬合后圖片、顏色過濾替換后圖片。A， B and C were the original picture， the picture after least square fitting and the picture after color filtering and replacement， respectively.圖3 圖像預處理結果示意圖Fig.3 Diagram of image preprocessing

A、B、C分別為空間轉換、背景去除和形態學操作之后的圖片。A， B and C were pictures after spatial transformation， background removal and morphological operation， respectively.圖4 去背景結果示意圖Fig.4 Diagram of background removal

在本試驗條件下，最簡單直接的特征就是顏色特征，而害蟲圖像的尺寸、方向、旋轉等因素對鑒別害蟲影響較小[12-14]。顏色的主要信息集中在一階矩(mean)、二階矩(variance)和三階矩(skewness)。其中，一階矩描述的是平均顏色，二階矩描述的是顏色方差，三階矩描述的是顏色的偏移性。顏色矩能夠全面呈現圖像的顏色分布特征。

(1)

(2)

(3)

式(1)～(3)中：pij表示第j個像素的第i個顏色分量；N為圖中像素點的個數；i為顏色模型的分量，i=1表示R分量，i=2表示G分量，i=3表示B分量；μi、σi、δi分別表示一、二、三階矩。經過計算得到的部分一、二、三階矩如表1所示。從表1的15組數據統計出待測害蟲與干擾(主要是灰塵和其他非測報害蟲)顏色矩的范圍，從而選定R分量的二階矩、G分量的二階矩，以及B分量的一、二、三階矩作為識別害蟲的特征。

為了提高識別的準確率，將RGB圖像轉換到HSV顏色空間，轉換公式如下：

(4)

式(4)中：H、S、V為HSV顏色空間模型的H、S、V值；R、G、B分別為紅、綠、藍3分量像素值；min(R，G，B)為R、G、B分量中最小值。為了直觀表示，令

(5)

式(5)中：h、s、v為變化后的H、S、V值。

表2中μ、σ、z為待測害蟲與干擾在HSV模型顏色參數的一、二階矩和眾數。

綜合表1和表2的統計結果，將RGB空間中B分量的一、二、三階矩，以及HSV空間中S分量的一階矩和眾數作為特征。

表1 待測害蟲與干擾RGB模型顏色參數值

Table1Values of color parameters of forecast pests and disturbances in RGB model

類別CategoryRμσδGμσδBμσδ待測害蟲142.12120.118-12.072188.35534.318-20.027105.91939.22850.016Forecast pest119.73626.358-23.781154.06729.896-22.87494.31639.51939.969121.32922.548-17.257168.22330.939-33.54395.89733.27247.588130.22425.336-19.332178.58935.226-35.969102.66532.86149.964127.95223.227-15.332166.22533.874-35.254103.22537.84544.258干擾142.06816.363-20.963157.88822.567-28.29625.23375.23315.155Disturbances130.46715.134-9.644182.95512.433-13.53587.08685.9569.402136.3339.079-19.041164.57318.491-21.66885.95697.08617.071137.66510.589-15.689175.36515.358-17.54955.68487.62520.258139.54812.689-17.258166.58316.468-16.25864.58492.65216.582

表2 待測害蟲與干擾HSV模型顏色參數值

Table2Values of color parameters of forecast pests and disturbances in HSV model

類別Categoryhμσδsμσδvμσδ待測害蟲142.12120.118-12.072188.35534.318-20.027105.91939.22850.016Forecast pest119.73626.358-23.781154.06729.896-22.87494.31639.51939.969121.32922.548-17.257168.22330.939-33.54395.89733.27247.588130.22425.336-19.332178.58935.226-35.969102.66532.86149.964127.95223.227-15.332166.22533.874-35.254103.22537.84544.258干擾142.06816.363-20.963157.88822.567-28.29625.23375.23315.155Disturbances130.46715.134-9.644182.95512.433-13.53587.08685.9569.402136.3339.079-19.041164.57318.491-21.66885.95697.08617.071137.66510.589-15.689175.36515.358-17.54955.68487.62520.258139.54812.689-17.258166.58316.468-16.25864.58492.65216.582

另外，利用Matlab數學工具進行統計，獲得面積、周長特征的范圍分別為51.6～89.6和43.7～95.3。

1.2.4 識別計數

特征提取的識別計數過程如圖5所示。對選中的ROI進行特征計算，然后依(6)式進行決策：

(6)

根據(7)式獲得最終識別結果：

W=δφ+βφ+γφ，

(7)

式(7)中：δ、β、γ分別為圖片顏色特征、輪廓面積和輪廓周長的權重。經過多次測試，取δ=0.4，β=0.3，γ=0.3。若W值大于0，則表明該ROI區域是測報害蟲。

識別結果如圖6-A所示。可以看出，圖片中有粘連的情況。為解決此問題，對面積較大的區域采用自適應分水嶺方法進行局部分割，分割后再對其進行上述操作，結果如圖6-B所示。

圖5 特征提取的識別計數流程Fig.5 Flow chart of computation of selected features

1.3 識別效果判定

將獲取的圖像應用到害蟲測報系統進行數量統計，以人工計數作為對照，用正確識別率(REFR，單位%)評價害蟲識別效果[15]。

(8)

式(8)中：VREFR表示REFR的值；Nm表示人工識別的結果；Na表示圖像自動識別的結果。

于每天不同時間段進行拍照計數，隨機選擇不同天數進行害蟲數目統計，對比兩種方法的效果。

A、B為初始識別結果和解決粘連問題后的識別結果。A and B were the identification result before and after solving adhesion.圖6 識別結果示意圖Fig.6 Diagram of identification result

2 結果與分析

如圖7所示，編號1～10的粘蟲板上害蟲數目較少，編號11～20的粘蟲板放置時間稍長，害蟲數目較多?？梢钥闯?，人工計數與系統算出的個數接近。當害蟲數目較少時，系統計算結果準確率較高，相對誤差穩定在5%左右；當害蟲數目增多時，系統計算結果的準確率略降，相對誤差也有所增加，但仍保持在7%左右?？赡茉蛑皇?，隨著粘蟲板放置時間的延長，周圍環境對粘蟲板的影響越來越大，導致計數的正確率下降。若能及時更換粘蟲板，是可以保證系統計數的準確率的?？偟膩砜?，通過該系統是可以自動獲取害蟲發生的動態數據的。

圖7 人工計數與系統計數結果對比Fig.7 Comparison of manual count and automatic count of proposed system

3 結論與討論

傳統的害蟲計數方法需要將圖像在計算機終端進行人工剪裁以去除無關背景。本文基于自適應方法去除粘蟲板背景，提出將顏色空間矩和圖像幾何形特征相結合的量化害蟲特征的方法，采用加權決策方法來識別害蟲。所提方法具有普適性。然而，當環境發生劇烈變化時，如光照嚴重干擾圖像時，會導致本方法的計數精度下降。同時，若害蟲種類增加，也需要另行選取合適的特征。下一步考慮采用基于深度學習的算法來應對環境更加復雜的情況。

經測試，本系統自動計數與人工計數的誤差在7%，運行效果良好，能夠有效地實現對粘蟲板害蟲的自動計數，提高了統計效率，對于做好害蟲測報及防護工作具有實際意義。