基于深度學習的白菜田雜草分割

喻 剛，蔣紅海，孫騰飛，王春陽，尚建偉

（昆明理工大學 機電工程學院 云南 昆明 650504）

0 引言

我國是一個以農業為主的國家，促進農產品的發展具有很大的意義，而白菜有作為生活中常見的蔬菜之一，廣受人民的喜愛，但是白菜的生長經常受到雜草的影響，田間雜草憑借其強悍的生存能力不且與白菜掠奪土壤養分和空間陽光等[1]，而且有些雜草還是許多病蟲的中間宿主，促使田間病蟲害的發生。所以，田間除草對于提高白菜的質量和產量具有重要的意義。

目前田間雜草管理方法大致包括人力除草、噴灑化學除草劑和傳統農耕機械除草三種方式。隨著智能除草機器人的出現，在一定程度上代替傳統除草方式，不僅提高了生產效率，同時也減少了農民的田間勞作時間和化學除草劑的噴灑，降低了農業生產成本，減少環境的破壞。近些年來，許多學者對除草算法進行了深入研究。關強等人[2]在田間植物圖像的分割中使用二維OTSU算法對植物部分和背景部分進行處理，根據RGB 顏色模型和HSV 顏色模型的灰度化使用5種不同的圖像分割算法；胡波等人[3]通過引入像素灰度級和鄰域灰度級構成的二維直方圖，提出了一種彩色圖像算法進行雜草分割。Arefi等人[4]基于圖像形態學和顏色，使用RGB和HSI顏色模型定義雜草顏色特征，采用兩種形態學特征對雜草進行識別。

上述圖像處理方法主要根據顏色特征或直方圖對雜草圖像進行分割，容易受到環境的影響。所以本文將深度學習引入雜草識別領域，應用 Mask R-CNN算法對雜草及白菜幼苗進行分割識別，并與傳統圖像算法對比。實驗結果表明，該算法在自然環境下能對雜草和作物進行有效的識別。

1 Mask R-CNN算法原理

圖像分割是在檢測出圖像中被測物位置并分類

的前提下，對被測物進行像素級別的分割。所以圖像分割可以看作物體識別和語義分割的結合，它不僅要正確的找到圖像中的物體進行識別，還要對其精確的分割。結合Faster R-CNN的圖像分割和FCN語義分割算法，何愷明等研究員[5]，提出了如圖 1所示的分割算法Mask R-CNN，它從Faster R-CNN模型中借用了兩個方面。首先是提取圖像框（RPN），用來產生候選對象框。然后是作類別和邊框預測，給每個RoI都輸出一個二值掩模。其模型示意圖如圖所示。

圖1 Mask R-CNNFig.1 Mask R-CNN

1.1 RPN網絡

RPN是通過一個全卷積神經網絡來實現的，其輸入是一幅特征圖像，輸出的是一組帶有對象得分的目標推薦矩形，與目標檢測中的ss算法[6]類似。基準框在多次卷積后的特征圖上滑動后映射到一個低維特征上，然后，這個低維特征被輸入到邊框回歸層和邊框分類層，最終生成一組有編號和坐標的錨框。

RPN在每一個滑動窗口位置同時預測多個區域枚舉，并將最大可能枚舉數目記錄為 k。所以 reg層用4k輸入編碼k幀坐標，cls層輸出2k得分以估量每個枚舉是否是目標對象。特征圖中每個紅色框的中心點可以對應于原始圖像中的像素點。對于每個錨點，選擇9個不同大小和寬高比的矩形，一般為128*128，256*256，512*512的三種尺寸，每種尺寸按1∶1，1∶2，2∶1的長寬比縮放，并且它們的預測順序被固定為要評估的RPN的候選框。其中具有最大重疊率的錨點被記錄為前景樣本，并且如果剩余錨點與某個校準重疊，則其大于0.7，記為前景樣本； 如果它與任何校準重疊，則該比率小于0.3，將其記錄為背景樣品。而介于 0.3～0.7之間的錨點棄用。構造好錨點之后，訓練RPN的問題就可以轉化為最小化一個多任務損失函數。

1.2 掩模分支

Mask R-CNN采用了一個全卷積網絡的掩模（mask）分支[7]，與對象分類同時進行，對特征圖進行像素級的分割。掩模分支在每個RoI上產生一個Km2維輸出，為K個類別各編碼一個m*m的二值掩模。掩模損失是一個用像素級 sigmoid定義的交叉熵損失，記為Lmask。

Sigmoid函數定義：

交叉熵損失函數定義如公式：

其中，x表示樣本，y表示真實值，a表示輸出值，n為樣本總數。

整體損失函數表示為：

1.3 特征提取

圖片輸入到 Mask R-CNN網絡后，首先經過ResNet分類網絡，并從整幅圖片中提取特征。特征提取的操作一般包括卷積層、Relu激活函數和池化層[8]，經處理后得到特征圖。

（1）卷積操作是讓權值矩陣在圖像上按照固定的步幅移動，權值矩陣每停下一個位置，就讓權值矩陣中每個值與圖像中對應的元素進行矩陣運算，得到的值就是這一步卷積層對應位置的值；同時卷積還能實現參數共享，減少計算量。圖像中需要通過不同尺寸的的卷積核來提取相應的維度特征。

（2）ReLU激活函數是校正線性單元函數，它是神經網絡中經常出現的一種激活函數，其表達式為：

（3）Mask R-CNN采用了一種RoIPool擴展層的池化操作，稱為RoIAlign層，它摒棄了RoIPool的粗糙量化，通過插值在每個RoI網格的四個規則采樣位置計算輸入特征的精確值，在進行最大池化或平均池化的聚合處理。

2 數據采集與超參數設置

2.1 數據集

在kaggle官網公布了現有唯一的室內培育的雜草幼苗數據集，本文選取其中田間最常見的三種雜草幼苗各200張：田芥菜、馬齒莧和白花藜，為了防止數據集單一，產生過擬合現象，數據集中加入野外雜草幼苗照片每類各50張。本文搜集白菜幼苗50張，并實際拍攝100張.由于白菜幼苗的圖片較少，所以本實驗需要對圖片數量進行數據擴充到 250張。數據擴充的方式有很多，包括圖像的水平翻轉、移動、增加噪聲、改變對比度、變換尺寸、色彩抖動等[9]，在數據集上采取這些數據擴充的方法，可以有效地提高網絡的泛化能力，降低錯誤率。變換效果圖如圖2所示。

圖2 數據擴充Fig.2 Data amplification

2.2 超參數的選擇

（1）Epoch和Batch Size

在深度學習中，訓練集對網絡訓練一次是不能完全使網絡收斂的，所以需要多次訓練，它根據數據集中對象的多樣性來確定，本次實驗選取三種雜草和一種蔬菜，對象的復雜度較低，所以選取Epoch值為100。

在整個 Epoch中需要訓練的數據集數量過于多，計算機可能無法承載，所以需要將它分成很多個較小的Batches。本次實驗選擇在電腦上訓練，電腦CPU是英特爾志強X5570，主頻2.93 GHz；顯卡是NVIDIA GeForce 1050Ti，顯存容量為6 GB，顯存位寬64bit，實驗將Batch Size的值設置為2。本文完成一輪迭代所需要的批次大小記為Iterations。

（2）學習率

學習率是控制深度學習中權值的更新速率的一個參數，它直接決定了權值沿梯度方向下降的變化情況。它對權重的變化可以表示為：

其中newω是更新后的權重，oldω是更新前的權重，α為學習率，gradient為梯度。

首先，實驗分別選取學習率 0.1、0.01、0.001作為第一輪訓練的學習率，來測試網絡整體損失函數變化。從圖3可以看出，當學習率α=0.1時，總損失函數值迅速下降，網絡快速擬合，訓練結果與真值之間的差值變小的速率很高，但當訓練的批次達到100次以上時，損失函數值略有升高，并且在以后的訓練過程后期呈震蕩趨勢。損失函數數值整體趨勢呈現先降低后震蕩的趨勢，這是因為學習率過大，導致梯度出現震蕩，網絡較難收斂。當學習率α=0.001時，損失函數整體呈下降趨勢，但下降速率低于α=0.1時的速率。當學習率α=0.00001時，損失函數值下降速度極為緩慢，這是因為學習率很低，權重更新速度慢，致使網絡收斂速度變慢。

圖3 α-lossFig.3 α-loss

本實驗使用網絡在COCO數據集上訓練得到的參數作為初始值，網絡初始就具有一定的收斂，因此初始學習率設為0.001，每兩輪訓練后降低50%。

（3）網絡正則化

深度學習的一個核心問題是怎樣使學習算法新的數據集上有優異的表現，這通常被稱為“泛化能力”。往往深層網絡在訓練集中表現優異，但在測試集中的表現卻差強人意，這種由于網絡出現了過擬合現象，而利用“正則化”可以有效的避免過擬合的發生，提高泛化能力[10]。

l2正則化：假設網絡層參數為ω，則公式可表示為

其中參數λ是決定正則項的大小，較大的λ值會在一定程度上約束模型復雜度，反之則亦然[11]。

l1正則化：

l1正則化不但能限制參數量級之外，同時還能讓許多參數稀疏化，減少模型中的噪點和存儲空間。隨機失活是正則化中一種重要方法，本文將失活率設置為0.5。

綜合以上分析，本次實驗采用的超參數數據如表1所示：

表1 超參數Tab.1 Superparameter

經上文分析后，確定深度網絡訓練的超參數。本實驗將800張白菜幼苗和三類雜草幼苗圖像作為訓練集對網絡進行訓練，200張作為測試集驗證識別效果。

3 結果與分析

3.1 損失函數變化情況

首先，將 800張標注完成的照片投入到 Mask R-CNN卷積神經網絡中訓練，觀察訓練過程中總損失函數變化情況，評價網絡擬合程度。圖4是在100輪訓練過程中損失函數數值變化數據。從圖4展示的數據變化圖不難看出，loss值在前25輪訓練中下降較快，這是由于學習率比較高，網絡參數更新速度較快。在隨后的25輪訓練中，α逐漸減小，loss值整體趨勢雖然在下降，但是下降速度減小。在50-80輪訓練中，loss值下降速度略有增加，網絡繼續收斂，當訓練到80輪后，loss值趨于平穩，直至100輪，loss變化微小，網絡趨于穩定。

圖4 損失函數變化情況Fig.4 Loss function variation

3.2 實驗對比

神經網絡訓練完成后，實驗將200張未標注的植物照片作為測試集，投入到網絡中測試準確率。本文將識別結果分為三個級別：定位和分類準確，且分割出植物主體95%以上的設為優秀；分類準確，定位框出現偏差或分割不完全的設為合格；出現定位框偏離物體較大或分類錯誤，即設為不合格。表2為基于Mask R-CNN算法的各級別所占比例：

表2 各級別占比Tab.2 Percentage by grade

下圖是基于 OTSU閾值分割與基于 Mask R-CNN的識別效果的對比圖像。

在第一組照片中，兩種方案都有效識別，但Mask R-CNN算法的識別精度較高，對于雜草的定位和分割都較為準確。在第二組圖像中，由于光照影響，OTSU閾值分割算法在白菜細小葉柄部分產生了過分割現象，將小葉片識別為雜草，這是由于強光照照射在物體和地面上，致使物體本身特征發生了變化，難以識別。而Mask R-CNN算法對白菜和雜草識別準確。在第三組照片中，白菜葉片遮擋了雜草區域，OTSU閾值分割算法未能將白菜與雜菜分割，進而在識別過程中將二者識別為一個整體；而 Mask R-CNN算法有效識別出連接的雜草和白菜，并且定位準確。所以，Mask R-CNN算法在處理復雜環境時表現更優。

圖5 分割對比Fig.5 Segmentation effect

4 結論

本文將深度學習引入雜草分割領域，詳細介紹了Mask R-CNN神經網絡結構，并將該網絡用于雜草與白菜的實例分割，得到了81%的合格率。與基于OTSU閾值分割的雜草識別方案進行對比，Mask R-CNN不僅能在不同光照下準確識別圖像中物體種類，同時在作物葉片相互遮擋的情況下也能很好的識別和定位雜草，實現了戶外環境下的圖像定位和分類，證明了該算法在自然環境能對雜草和作物進行有效的識別。同時，Mask R-CNN算法結構還避免了傳統圖像識別過程中的分類器設置工作，有效的提高算法的適應性。