基于Mask R-CNN的玉米田間雜草檢測方法

姜紅花 張傳銀 張 昭 毛文華 王 東 王東偉

(1.山東農業大學信息科學與工程學院， 泰安 271018； 2.寶雞文理學院電子電氣工程學院， 寶雞 721016；3.中國農業機械化科學研究院， 北京 100083； 4.山東農業大學農學院， 泰安 271018；5.青島農業大學機電工程學院， 青島 266109)

0 引言

雜草與作物爭奪養分、陽光、空間和水[1]，是作物生長的最大威脅之一。目前，雜草的防治清理以傳統的全淋式噴灑農藥為主，即使用相同劑量的除草劑對雜草進行均勻處理。這種均勻噴灑除草劑的方法不能區分作物和雜草，不但造成大量農藥的浪費，還對土壤和水源造成污染，甚至影響農田生產力和作物生長。為了減少農藥浪費，提高農藥的利用率，基于雜草檢測的農藥精準變量噴灑[2]研究十分必要。

雜草的準確定位與識別是實現精準除草的重要環節[3]，對此，國內外學者已經進行了廣泛研究[4-19]。但這些研究存在以下不足：①單純的雜草定位識別只能確定雜草的具體方位，并進行識別，卻忽略了雜草的輪廓面積，使用相同劑量除草劑可能造成過噴或少噴，既浪費了除草劑，也達不到防治效果。②在實際應用中，作物跟雜草可能會互相遮掩并一同出現，普通的分類很難準確識別復雜背景下的雜草。③簡單的作物雜草語義分割，只能區分不同類別的作物雜草，當多幅相同類別的作物雜草一同出現時，不能對每個作物雜草進行實例化的分割定位，這不利于確定每幅作物雜草的具體方位，對變量噴霧造成一定困擾。基于此，本文提出基于Mask R-CNN[20]的雜草檢測分割方法，該方法結合目標檢測和語義分割，可使用ResNet-101[21]網絡提取復雜背景下的雜草圖像特征，利用區域建議網絡(Region proposal network，RPN)提取區域坐標特征，再利用區域特征聚集方法(RoIAlign)得到固定尺寸的特征圖，使用輸出模塊對特征圖進行分類回歸分割計算，完成復雜背景下雜草的具體方位、類別及輪廓的計算，根據雜草的輪廓面積和具體方位進行定位、定量的農藥噴灑，以解決上述問題。

1 數據材料

1.1 數據采集

本文使用的雜草數據采集自陜西省自然環境下的玉米田間。采用Intel RealSense Depth Camera D435型相機距地面1 m處垂直拍攝，可以減少太陽光反射的影響。如圖1所示，在不同的日照強度、土壤背景(如濕度、麥稈殘茬)條件下，采集4種不同雜草(刺兒草、莎草、灰菜、早熟禾)和玉米幼苗圖像。共采集到6 000幅圖像，每種圖像為1 200幅。試驗中，將原始圖像調整為224像素×224像素，使用4 200幅圖像(每種為840幅)作為訓練數據集，剩下的1800幅圖像作為測試數據集。

1.2 數據集標記

為實現雜草分割網絡模型的訓練，本文使用圖像標注工具LabelMe[22]對雜草數據集樣本進行分割掩碼標記，完成圖像中雜草的標注，標注生成的json文件轉換為8位灰度圖作為樣本標簽，標注后的雜草及玉米掩碼圖像如圖2所示。

圖1 雜草和玉米圖像Fig.1 Images of weeds and corns

圖2 雜草及玉米手工分割掩碼示例Fig.2 Examples of weeds and corns manual segmentation masks

2 雜草檢測分割模型

圖3 Mask R-CNN雜草檢測分割模型框架Fig.3 Mask R-CNN weed detection and segmentation model framework

將Mask R-CNN模型與目標檢測算法、FCN[23]分割算法相結合，可以在檢測目標的同時分割出目標輪廓。為了滿足精準農業變量噴藥的需要，實現雜草的實時精準檢測識別，本文提出了基于Mask R-CNN的玉米田間雜草檢測分割方法，實現對復雜背景下雜草的識別、檢測、分割。該模型的框架如圖3所示。該模型由卷積神經網絡(Convolutional neural networks，CNN)、區域建議網絡(RPN)、RoIAlign、輸出模塊4部分組成。①CNN：利用基層卷積神經網絡提取包含雜草語義空間信息的特征圖。②RPN：將特征圖按比例映射到原圖像，并根據錨點在相應區域產生預選框(Bounding box，BBox)，根據BBox與真實值的交并比(Intersection over union， IoU)[24]選出正、負樣本，進行分類回歸訓練，使用非極大值抑制(Non maximum suppression，NMS)[25]方法篩選BBox，選出雜草的預選區域。③RoIAlign：取消量化操作造成坐標值的偏差，使用雙線性內插法獲得坐標為浮點數的像素圖像，根據預選區域的坐標位置，將特征圖的相應預選區域池化為固定尺寸的特征圖。④輸出模塊：由分類回歸模塊和FCN模塊構成，分類回歸模塊負責特征圖目標的類別分類及目標框回歸，FCN模塊負責計算目標的像素，進行目標輪廓的分割。

2.1 雜草CNN特征提取

ResNet-101網絡結構有101層網絡，可以充分獲取雜草圖像的語義、空間信息，本文基層卷積神經網絡采用含有5個網絡模塊層的ResNet-101網絡結構，進行雜草樣本圖像的特征提取。其網絡結構如表1所示。

2.2 區域建議網絡

RPN的功能是計算圖像目標區域的預選框，2.1節中已經用卷積神經網絡獲得了雜草圖像的特征圖，RPN在雜草特征圖上用3×3滑動窗口進行全圖的滑動生成，然后生成2個1×1的卷積層。①邊框回歸層(reg-layer)：用于計算BBox的中心坐標值x、y以及寬w、高h(BBox坐標是指原圖的坐標偏移)。②目標分類層(cls-layer)：用于判斷該區域是否包含目標。將特征圖的錨點映射到原圖像，計算錨點跟期望區域的IoU，IoU大于0.7時為正樣本，IoU小于0.3時為負樣本，其余不計算，經過迭代訓練產生一定數量的BBox，使用非極大值抑制方法去除重疊的BBox，得出雜草的預選區域。其中RPN的損失函數為

表1 ResNet-101網絡結構Tab.1 ResNet-101 network architecture

(1)

(2)

(3)

(4)

(5)

(6)

(7)

式中i——錨點的序號Ncls——分類層數

Nreg——回歸層數

pi——樣本被預測為包括目標的概率

ti——預測邊界框的4個參數化坐標

Lcls——樣本分類中的損失函數

Lreg——樣本回歸損失函數

λ——平衡參數

xa、ya、wa、ha——錨點邊界框的中心坐標值及寬、高

x*、y*、w*、h*——真值邊界框的中心坐標值及寬、高

pu——真值類別u的預測概率

smoothL1——魯棒范式損失函數，比范式損失函數具有更強的適應性

2.3 RoIAlign層

在Fast R-CNN[26]、Faster R-CNN[27]、R-FCN[28]檢測框架中，使用RoI Pooling根據候選區域的坐標位置將特征圖的相應預選區域池化為固定尺寸的特征圖，便于進行后續分類和預選框回歸操作。RoI Pooling運算過程中存在兩次量化，導致得出的預選框與第一次回歸產生的預選框不匹配，影響檢測與分割精度。為了解決上述問題，提高檢測與分割的精度，本文提出了RoIAlign方法。RoIAlign取消量化操作，遍歷各個預選區域，保持邊界浮點數不做量化，將預選區域分割成f×f個單元，每個單元的邊界不做量化，用雙線性內插法計算每個單元4個位置的值，然后進行最大池化操作。結果表明，RoIAlign可以在小誤差下將RPN產生的預選區域調整為固定尺寸的特征圖。

2.4 輸出模塊

輸出模塊由分類、回歸、FCN等部分組成，RoIAlign層輸出的每一個感興趣區域(Region of interest，RoI)經過卷積核為1×1的兩個卷積層、FCN層后劃分為3個分支，前兩個分支用于分類回歸運算，分類分支計算目標與真實標簽的分類損失，回歸分支計算預測框與真實框的回歸損失，FCN分支用于RoI像素計算。FCN層通過反卷積層對RoI進行上采樣計算，使其恢復到原圖像尺寸，并計算RoI區域像素值與原圖像區域像素值的平均二進制交叉熵。輸出模塊的RoI損失函數為

L=Lcls+Lreg+Lmask

(8)

圖4 玉米及雜草的AP與mAP值隨迭代次數的變化曲線Fig.4 AP and mAP values change curves of corn and associated weeds with iterations

(9)

式中L——模型總代價損失函數

Lmask——平均二進制交叉熵損失函數

s——像素數量

p(si)——si預測類別的概率

針對每個RoI，Mask分支有Ks2個輸出，并對K個尺寸為s2的Mask編碼，每個Mask有K個類別，然后使用sigmod函數對每個像素進行分類。

最終，分類分支計算出候選區域的類別，回歸分支計算出候選區域的位置邊界框，FCN模塊計算出候選區域的像素。從而準確地檢測分割出雜草的類別、位置和輪廓。

3 雜草分割模型的構建與評估指標

3.1 雜草分割模型的構建

使用TensorFlow-GPU構建了基于Mask R-CNN的雜草檢測分割模型，硬件環境為GeForceGTX1080Ti GPU，IntelXeonE5-2630@2.20 GHz×20 CPU，使用訓練集對該模型進行訓練。學習率設為0.001，每次迭代的批處理量(Batch size)設為32，模型一共迭代20 000次。

3.2 分割評估指標

使用均值平均精度 (Mean average precision，mAP)作為雜草分割的評估指標，每一個類別都可以根據召回率(Recall)和精確率(Precision)繪制一條曲線，平均精度(Average precision，AP)是該曲線與坐標軸圍成的面積。mAP是由對全部類別的AP值求平均值得到，其計算公式為

(10)

(11)

(12)

(13)

式中P——精確率R——召回率

TP——被正確預測為正樣本的數量

FP——負樣本被預測為正樣本的樣本數量

FN——正樣本被預測為負樣本的樣本數量

n——類別數目AP——平均精度

mAP——均值平均精度

在模型訓練過程中記錄各個類別的AP值并計算mAP，統計結果如圖4所示，隨著模型訓練的不斷深入，各類別的AP值逐步提高并達到較高的穩定值。

4 試驗結果與分析

4.1 雜草分割結果

圖5 3種方法對雜草和玉米數據集的分割樣例 Fig.5 Weed dataset segmentation sample of three methods

為了驗證所提出的基于Mask R-CNN的雜草檢測分割方法的有效性，本文將DeepMask[29]、SharpMask[30]方法與本文方法進行試驗對比，DeepMask首先輸出一個與類別無關的分割掩碼，然后再輸出該圖像補丁在完整對象上居中的概率，DeepMask通過學習實例嵌入，將粗形狀細化為實例級掩碼。SharpMask是DeepMask的擴展，首先在前饋傳遞中生成粗略掩碼編碼，然后使用連續較低層的特征在自上而下的傳遞中細化此掩碼編碼，讓掩碼更好地粘附到對象邊界。選用1 800幅玉米、雜草圖像對3個方法進行測試比較，其中刺兒草、莎草、灰菜、早熟禾、玉米各360幅，在IoU為0.5時，3種方法的AP、mAP如表2所示，可以得知，本文方法在玉米雜草數據集上mAP可達到0.853，優于SharpMask、DeepMask的0.816、0.795，3種方法的單樣本耗時分別為280、256、248 ms，可滿足實時田間農藥變量噴灑的控制要求。圖5為玉米、雜草數據分割樣例。由表2、圖5可知，3種方法對刺兒草、灰菜的分割效果最好，對玉米、莎草的分割效果較差，原因可能是刺兒草、灰菜的圓形葉片比玉米、莎草的條形葉片更易區分。由圖5可知，本文方法相對于DeepMask、SharpMask，不會出現欠分割、過分割的情況。綜上所述，本文方法的分割效果優于DeepMask、SharpMask方法。

表2 3種方法在玉米、雜草數據集上的測試結果Tab.2 Results of three methods on datasets of corn weeds

4.2 其他數據集驗證

為測試本文方法在復雜背景下的分割效果，共采集300幅復雜背景下的玉米、雜草圖像進行分割測試，同時，與DeepMask、SharpMask方法進行對比，3種方法的分割測試結果如圖6所示，圖中橙色表示玉米，綠色表示雜草。在IoU為0.5時，3種方法的AP、mAP如表3所示，Mask R-CNN的mAP為0.785，遠高于SharpMask、DeepMask的0.684、0.462，3種方法在復雜背景下的單樣本耗時分別為285、260、252 ms。由圖6、表3可知，3種方法對玉米的分割效果優于雜草，主要原因可能是雜草不夠明顯。由圖6可知，SharpMask方法對玉米及雜草都出現了欠分割現象，DeepMask方法分割效果更差，而本文方法仍有很好的分割效果。因此，本文方法可用于復雜背景下的玉米雜草分割。

圖6 分割樣例 Fig.6 Segmetation samples

表3 3種方法在復雜背景數據集上的測試結果Tab.3 Test results of three methods on complex background datasets

5 田間試驗

為了驗證本文方法的可行性，采用如圖7所示的變量噴灑裝置進行試驗驗證。該設備主要由驅動系統、支架系統、噴藥系統3部分組成。驅動系統由發動機、傳動系統、驅動輪、變速箱等組成。支架系統由方向機、地盤架、藥箱、橫梁、橡膠輪及橡膠輪支撐架組成。噴藥系統由驅動液壓馬達、高壓噴藥泵、過濾器、電磁閥、噴管支架、攝像頭等組成。

圖7 變量噴灑裝置Fig.7 Spraying device1.電磁閥噴頭 2.左橫向噴桿 3.左桁架 4.中間桁架 5.中間橫向噴桿 6.噴桿折疊機構 7.右桁架 8.噴藥管 9.右橫向噴桿 10.橫向噴桿噴頭 11.攝像頭

田間噴藥流程如圖8所示。試驗中，噴灑裝置行走速度為0.2 m/s，共前進25 m，攝像頭每0.5 s采集一幅視場內含玉米植株行間隙與玉米植株行的圖像，圖像經過本文方法處理，獲取圖像中玉米、雜草目標的位置、標簽和像素。單片機根據圖像的位置標簽信息，計算出距離雜草最近的噴頭。根據分割像素，單片機控制電壓，調節電磁閥開度，對雜草進行變量噴霧，從獲取圖像到電磁閥噴灑的平均時間為0.98 s。田間試驗如圖9所示。

田間試驗于2019年4月29日(天氣晴、微風、空氣相對濕度78%)在山東省泰安市山東農業大學南校區玉米試驗田中進行。試驗田玉米植株行間距50 cm，株距10 cm，植株高度20 cm。方案1：在玉米植株行間放置3個電磁閥噴頭，攝像頭在電磁閥噴頭前方30 cm處居中放置，如圖9c所示。 根據模型分割檢測得出玉米植株行間雜草位置，相應的電磁閥噴頭打開進行噴霧，噴霧效果如圖9e所示。方案2：在玉米植株間及行間各放置一個電磁閥噴頭，攝像頭在電磁閥噴頭前方30 cm處居中放置，如圖9d所示，雜草處于玉米植株行間時，相應的電磁閥噴頭打開噴霧，雜草處于玉米植株間時，控制玉米植株間的電磁閥噴頭打開噴霧，噴霧效果如圖9f～9h所示。考慮到控制系統響應時間造成的延遲噴霧，將攝像頭置于電磁閥噴頭前方30cm處提前探測，攝像頭與地面垂直距離50 cm，視場角30°，攝像頭與單片機連接，單片機連接電磁閥噴頭，用于控制電磁閥的開啟，如圖9a所示。單片機通過WiFi與計算機連接，將獲取的圖像信息通過WiFi傳給單片機，傳輸過程如圖9b所示。試驗同時，在玉米、雜草葉片一側覆蓋水敏紙，進行噴霧測試，噴灑后的水敏紙如圖9i所示。方案1噴灑靠近玉米一側的雜草時，容易造成對玉米的誤噴，因此本次試驗采用方案2。

圖8 工作流程圖Fig.8 Working process chart

圖9 田間試驗Fig.9 Field experiment

試驗噴灑過程耗時312 s，共采集玉米、雜草現場圖像608幅，其中包括1 728株玉米， 936株雜草，本文方法對圖像的識別結果如表4所示。由表4可知，本文方法對田間雜草的識別準確率為91%，識別出雜草并準確噴霧的準確率為85%，識別出雜草但沒有噴霧的主要原因是田間地面顛簸、風力、電磁閥噴頭等因素的影響，電磁閥噴頭對識別的雜草噴灑農藥時不能完全覆蓋(霧滴漂移導致部分雜草區域沒有噴灑)。對玉米的誤噴率為3%，在噴灑過程中玉米被識別為雜草的概率為6%，玉米被識別為雜草并噴霧的概率為4%，在無雜草、無玉米情況下，被誤識別為雜草的概率為2%，噴霧的概率為1%。造成被誤噴的主要原因是某些雜草靠近玉米根部，噴灑時玉米葉片遮蓋了雜草，從而導致玉米被誤噴。

表4 本文方法對現場圖像的識別結果Tab.4 Identification results of field images by proposed method 株

霧滴覆蓋密度是判斷霧滴變量噴灑效果的重要參數，是指霧滴收集裝置單位面積上所收集的霧滴個數，采用文獻[31]相同的軟件及方法獲取水敏紙上的總霧滴個數。霧滴覆蓋密度計算公式為

(14)

式中N——霧滴總數，個

M——水敏試紙總面積，cm2

根據田間實際噴灑的統計結果，本試驗準確噴霧的雜草農藥霧滴覆蓋密度為55個/cm2，根據袁會珠等[32]關于霧滴覆蓋密度與農藥防治效果的關系研究可知，農藥霧滴覆蓋密度大于28個/cm2時即可達到理想的防治效果。

6 結論

(1)在IoU為0.5時，本文方法在玉米、雜草數據集上的mAP為0.853，優于SharpMask、DeepMask的0.816、0.795。本文方法相比SharpMask、DeepMask具有更好的分割效果，本文方法的單樣本耗時為280 ms，滿足田間雜草變量噴灑的實時控制要求。

(2)在玉米、雜草數據集上進行分割測試，結果表明，本文方法可準確檢測出圖像中雜草目標的類別、位置和輪廓，對復雜背景下的雜草仍有良好的分割效果，單樣本耗時285 ms，滿足復雜背景下的雜草識別檢測。

(3)在田間變量噴藥試驗中，雜草識別準確率為91%，識別出雜草并準確噴霧的準確率為85%，準確噴霧的雜草農藥霧滴覆蓋密度為55個/cm2，裝置對每幅圖像的平均處理時間為0.98 s，滿足農藥變量噴灑的控制要求。